谷歌:即时动作追踪技术让物体可以无缝的和动态的实时环境进行互动

今日,谷歌research团队在网站上发表博客称,为安卓上的motion stills(视频捕捉和观看app)增加了全新的ar模式。在ar模式下,用户只需点击屏幕就可以将有趣的虚拟3d物体放置在静止,或者移动中的水平面上(比如桌子、地板和手上),让这些物体可以无缝的和动态的实时环境进行互动。我们还可以直接录像以及导出gif图和视频。
这一ar模式由实时动作追踪功能所实现,这是基于ios版motion stills的motion text和youtube上的privacy blur的技术所实现的6自由度追踪,能够精确的追踪静止和移动的物体。谷歌的团队对这一技术进行的完善和提升,使其可以在任何配备了陀螺仪的安卓设备上实现有趣的ar功能。
当用户碰触屏幕时,motion stills ar能够将一个3d的虚拟物体“粘贴”到指定的位置,使其看起来就像真实世界的一部分一样。通过假定跟踪表面和地平面是平行的,同时使用设备的加速传感器来提供手机相对于地平面的初始定向,可以追踪摄像头的6自由度(3个平移自由度和3个旋转自由度)。这让我们可以精确的改变和渲染虚拟物体。
即时动作追踪
即时运动跟踪的核心是将摄像机的平移和旋转估计分离,将其视为独立的优化问题。 首先,我们只根据相机的视觉信号确定3d相机的平移。 为此,我们观察目标区域的明显2d映射和跨帧的相对比例。 一个简单的针孔照相机模型将图像平面中的盒子的平移和缩放与相机的最终3d平移相关联。
为了解决这个问题,我们在我们现有的跟踪器中添加了比例估计,并在摄像机的视场之外追加了区域跟踪。 当相机靠近被跟踪的表面时,虚拟内容能够精确地缩放,这与真实世界对象的感知一致。 当你在目标区域的视场之外平移时,虚拟物体将重新出现在大致相同的位置。
在这之后,我们使用手机的内置陀螺仪来获得设备的3d旋转(滚动,俯仰和偏航)。 估测的3d对应图像与3d旋转相结合,使我们能够在取景器中正确渲染虚拟内容。 而且由于我们分别处置旋转和平移,所以我们的即时运动跟踪方法不需要校准,可以在任何带有陀螺仪的android设备上工作。

光学心率传感器在可穿戴医疗设备中的应用
智能工厂如何实现深度学习自动化?
什么是三态电路?在FPGA上如何使用三态电路作为IO呢?
无线局域网性能优化知识
Redmi K30系列国内销量突破100万台 上市时间不到3个月
谷歌:即时动作追踪技术让物体可以无缝的和动态的实时环境进行互动
小米平板3:1500元升级4GB运存,实测续航9个小时
PCB板组装的原理及工艺
三星Galaxy Z Flip2铰链开量产
海信收购之后:东芝电视销量超越夏普登上第一宝座
物联网是如何改变供应链管理的
通过指纹传感器和Blackfin处理器增强设备识别与数据的安全性
成就客户,成就同路人!国仪量子成功举行2023新春年会
湖北师范大学党委常委、副校长余涛莅临本源量子考察调研
眼部按摩仪离线语音控制芯片——NRK3301
首个全国集成电路标准化组织即将成立
浅析相控阵的角分辨力和精度
Owkin与匹兹堡大学合作设计和验证高级机器学习模型
基于MAX19994A设计的双路RF下变换方案
牺牲阳极与外接电源阴极保护的区别