“算法+硬件”融合改变无线传输格局

如今,诸如oculus rift和htc vive等最先进的vr系统都需要一根稍显麻烦的线缆,来降低延迟和确保高保真图像以及电能传输到头显。但用过的用户都对此深恶痛绝,线缆直接影响了沉浸感。这个问题激发了不少于七个解决方案,这些方案都致力在高端主机pc和头显之间建立无线链路。
去掉高端vr头显的线路可谓众望所归,但到现在都没有明显的解决方案。 问题归结为三个主要因素:带宽,延迟和价格。以前的无线视频技术满足不了vr的需求,于是2016年三大高端vr头显都还需要拖着根电线走来走去。
线缆一个最致命的缺陷是它损害了沉浸感,尤其在房间尺寸vr下,当你在vr世界走来走去的时候,突然踩上了线缆,瞬间毁所有。吃亏多了大脑的潜意识就会自动避免碰到线缆,所以无线将意味着虚拟世界中更深层次的沉浸感和物理自由。
现在至少有七种解决方案希望通过使用各种技术来解决高端无线vr头显这一问题。 本文旨在全面概述这些解决方案,并了解每种技术的定位。我们联系了在这个领域工作的几家公司,由他们告诉我们各自的技术方法,以及为什么他们觉得自己有独一无二的优势。
imr和其他公司的无线技术之间的区别在于imr已经设计了专门的vr标准,来让任何vr设备之间都能进行vr视频传输。更具体地说,市场上出现的其他解决方案大多都使用h.264或类似的芯片,imr与此不同的是,他们的帧帧间的比较会导致至少11ms的延迟(90fps下),而我们不会采用这种偏旧的技术,再加上特别为vr设计的压缩标准,这让我们的解决方法独一无二。我们实现了90-95%的压缩,用户极难发现压缩前后的差异。
imr为此开发了一种算法和硬件来为无线传输vr视频,它们的目的不仅是无线vr,更是开发出一套整个vr行业都可以使用的标准,不仅是大家想的到的vr应用,还包括无人机和机器人。 imr为该vr标准开发的算法和整体技术可用于在任何具有vr功能的设备:hmd、pc、笔记本电脑、手机、摄像机等之间传输vr数据。
我们的新vr标准为虚拟现实和3d远程在线应用提供了视频数据压缩和超低延迟,以下是其功能的具体描述:
快速数据传输:95%的压缩率,延迟小于1ms。这意味着玩家感知到的等待时间为零,这降低了由于延迟引发的眩晕,保持用户的舒适度。
图像质量:解压缩图像的质量与原始图像无关,无运动模糊和伪影。
眼睛跟踪:imr的算法使用单程动态压缩方案,包括移动(foveation)可调参数,并提供对眼球跟踪的支持。此外,该算法的内置灵活性有助于进一步的定制压缩。
多功能:imr的技术可以利用802.11ac和802.11ad无线标准,以及其他具有足够带宽的无线通信。这包括符合ac标准的当代hmd,并且能够进行ad标准下的2x 4k vr视频传输,为未来做好了准备。
多面应用:imr的压缩标准有助于设备之间(pc、hmd、智能手机、360摄像机和其他启用vr的设备)进行对等数据传输。
我们的技术旨在让所有vr和远程机器人在应用程序中运行,并且每个都可以有各自不同的无线要求。我们的技术为全部的应用在超低延迟下提供必要的压缩/解压缩,同时我们还正在与不同的无线制造商和通信链路供应商合作,寻求与这些技术的合作机会。
kwikvr与其他无线竞争对手的独特优势很难说,因为我们无法测试竞争对手的解决方案。所有人都声称一到两毫秒的延迟,这是完全不可能的,所以我会说我们的主要优点是诚实。此外,我们的解决方案不会在用户头上使用影响健康的60ghz wifi, 5ghz wi-fi在信号方面也不容易出现阻塞问题,因此我们认为我们的延迟是在当前条件下最佳的,但只有客户才有资格评价。
我认为可以根据使用哪种类型的收音机以及什么类型的压缩来给无线解决方案分类,当然,所有的系统都必须在一个往返延迟的帧下运行。
多种无线电类型有:
wifi 802.11ac 5ghhz和2.4ghz
wifi 802.11ad 60ghz
5g lte蜂窝用于云vr(频率不一)
无授权频率下的专用无线电(例如5ghz)
我们的解决方案使用wifi 802.11ac和lte,它不需要视线传输,60ghz传输在通过包括人体在内的物理障碍时会遭受大的衰减,802.11ac可以比60ghz运行更长的距离,并提供多个房间的覆盖,它还便宜得多,无线天线要求也比60ghz小得多。发射器的放置对于802.11ac也不像60ghz那么重要,功率也低一些,从而延长了hmd的电池寿命。
各种压缩类型有:
具有3:1压缩的jpeg(帧内)
jpeg 2000(帧内),6:1压缩
mpeg h.264(帧内和帧间)100:1压缩
mpeg h.265(帧内和帧间)200:1压缩
专有压缩
我们的解决方案使用mpeg h.265 / hevc压缩,可提供200:1的压缩。例如。 1080p60帧需要3,000 mbps的传输压缩。我们将其压缩为15 mbps,压缩比为200:1。这样可以给误差校正、更高分辨率、从5g lte和光纤网络进行云端传输的数据速率提供剩余的空间,还可以将现成的移动芯片组用到移动hmd中。我们未来将采用h.265配置文件,可以使用多视图和屏幕内容编码工具等工具来提供更好的压缩。
其他供应商都注于将无线配件引入已有的hmd,nitero则是唯一开发可集成解决方案的公司。
我们的新型微秒延迟压缩引擎提供免版税和视觉无损的编码,端到端延迟一毫秒,功率低于1瓦。它可以集成到未来的头显中,而不需要昂贵的散热器或通风口。这就让nitero的无线解决方案比电线还便宜得多,导致整体成本降低,这对于vr走向主流至关重要。
nitero于wigig可互操作,具有先进的成像功能,可在室内支持nlos。此外,vr显示器可以同时支持计算机视觉、眼球跟踪、3d音频和其他即将到来的技术,无需另一芯片组。
一些通过投资和协作支持本司的行业领导者包括valve software、super ventures和colopl vr fund,以及其他未公开宣布的公司。
我们使用了视频压缩和专有流协议的结合,将高分辨率内容传输到多个头显。我们的解决方案主要针对主题公园和商场,大多数情况需要将两个或更多的人放在同一个跟踪空间中。
我们认为,无论是因为分辨率升高(4k甚至视网膜分辨率16k),或者是想将服务器放在本地网络之外,未来所有人都或多或少需要压缩。理想情况下,您可以将gpu 放在云端,再也不需要家用电脑。我认为在五年内,您在家里需要的唯一的电脑将只会是一个小的移动芯片,可能内置在头显里面。
当然,任何类型的压缩都会引入延迟。不过,过去两年来,发展有很大的进展。我们将发布类似oculus的spacewarp那样的网络感知技术,微软在研究预测渲染,对减少延迟做了大量研究。irides项目能够在demo中展示他们补偿120 ms的网络延迟。我们一直在和irides的主要研究人员进行沟通,并且将在2017年发布类似的技术。总之,无线vr的未来非常光明!
结语
这些并不是全部从事无线vr的公司,但是我们希望通过这一调查给读者展示出常用的解决方案。其他的解决方案还有英特尔和vive无线vr计划,该公司表示会基于wigig,以及使用60ghz的tpcast。
我们上手测试过一些上述提到的技术,但没有在适当的控制条件下。随着这些产品越来越接近市场发售,预计会有更多的测评反馈。

昆二晶:我眼中的电子元器件
一文告诉你虹膜识别技术可不可靠
电源开关怎么选型号参数,电源开关选型怎么选
静电放电发生器原理 静电放电发生器的主要用途 静电发生器怎么使用
智能门禁系统让金融机构安防管理更智能
“算法+硬件”融合改变无线传输格局
人脸识别、指纹识别都太弱了,美国五角大楼研发远距离心跳识别
能够预测700多种疾病的“腾讯觅影”AI辅诊
工业互联网的未来在哪里
简述新一代变速箱控制器—TDG1增强版控制器
声频功率放大器的音源选择电路
vivoX9这6个功能太方便了,用了就离不开!
蔡司3D扫描仪可以应用在哪些方面呢?
振荡器,振荡器的分类,振荡器的特性
新闻:中国成功发射试验六号03星 苹果推迟MacBook和iPad生产 小米申请铁蛋商标
Mini LED能否解决电视易烧屏问题
基于STM32CUBEMX驱动低压步进器电机驱动器STSPIN220(3)----定时器中断产生指定数量脉冲
与营销大咖共话AR广告营销的潜力
私自删除用户存据?拼多多回应“远程删除用户照片”
2014就快过去了,你知道你的SDRAM在哪里吗?它将会有什么变化?