AMD大神告诉你VR技术还有哪些坑
你是否感到从时下最火的vr当中窥探到了未来科技的影子？其实当前的vr技术还有相当多的不足需要开发者们共同去推进。
vr还有哪些技术的发展有所欠缺？未来的vr体验和使用场景究竟是什么样子的？vr产业还有哪些你没想到的商业模式？当前最大的技术挑战是什么？这些你想知道的问题，报告作者amd的工程师allen rush都试着从自身的角度做出了解答。
vr主要的体验通过光学和显示技术实现，沉浸感的营造通过控制本地视觉和位置信息来实现。参数包括了分辨率，光学调制，朝向，帧率和动态范围等。
到2016年，vr用户达到200万，开发者有20万。共有超过260家创业公司进入vr行业，业内关键玩家则包括了oculus，索尼，微软，谷歌，三星，htc等。
vr应用的场景很广泛，比如教育，医疗，可视化大数据， 模拟训练，远程互动，虚拟社交，游戏娱乐等。
视觉技术演进的路线从基础的2d渲染，3d渲染， 着色单元，沉浸式2d显示，物理基础渲染走到今天来到了虚拟现实的发展水平，未来还会发展vr中的照相写实主义，最终实现全景呈现。当然也可以认为，当前的技术发展水平使我们暂时只能看到这么远。
视窗显示和人眼视场显示两种呈现方式在原理上的差异在于，考虑到人的视场，就需要在vr设备上配备摄像头，其拍摄内容补齐了人眼观察到的真实世界环境数据，然后就能通过视频合成器向显示器输出人眼视场的vr图像。
从动作捕捉到形成画面，这其中所产生的延迟主要来自输入，usb转换，游戏引擎，cpu设置，以及框架方面的gpu渲染，传输框架缓冲，像素转换到图像显示等功能和进程。
vr技术应用到的机器视觉技术体现在四个层面：
基本信息模块：眼球追踪反馈，位置信息（包括静态的位置，动态的移动方向以及倾斜，旋转，俯仰等九个自由度的信息），肢端探测器（手，脚等等）。
基础功能：红外追踪，位置追踪及校准。
复合应用：需要对用户的眼球追踪进行深度学习，以理解其表达含义并进行动作预测。
知觉融合：视觉拼接，触觉，动态环境模型加速器。
vr技术正在进行快速的进化和发展，但是还有很长的路要走。
神经系统科学家 maria v. sanchez-vives和计算机科学家mel slater这样写过：“对一个可与真人互动的虚拟人物进行渲染，比如通过语言识别，生成有意义的语句，面部表情，情绪，肤色，语调以及肌肉关节的活动，这样的效果目前实时的计算机图形学和人工智能的能力还达不到。”
需要改进的关键参数包括：延迟，分辨率，视场，色彩，动态范围和焦点管理。
需要补充的关键功能包括：眼球追踪，环境视觉捕捉，精确定位，物体探测追踪以及3d视场角。
需要改进的关键功能包括：运动与反馈，光学系统，眼球追踪和沉浸感俘获等附加功能的发展方向是成为vr平台的自有构成功能。
新兴的vr/cv社区会逐渐生长出更生态化的东西，比如sdk，应用开发，用户社群，度量工具以及更多的测评等等。
举例而言，leap motion的“虚拟手” 最开始的做法就是通过视像投影与视觉反馈实现的动作交互。接下来需要补足的就是复杂化的渲染，识别，景深和追踪等性能。
vr的应用空间比较多样化，具有创新性。
app开发者可以从军事，医疗，游戏，电影，社交，教育，甚至沉浸式工作环境等领域寻找需求。
vr内容需要的技术创新则包括了cgi，摄像机以及视频拼接。
进击的vr是否超出你的想象？
更进一步的发展可以从基础创新中延展出更加亮眼的体验。
比如通过沉浸式的远程成像技术，你可以体验一下虚拟会议是什么样子的。实现这样的功能需要眼球追踪，面部重建和表情投影等技术。
只有改善沉浸和感觉的营造问题，才能让用户从观看变成体验。
一旦vr的群众基础打好了，就会生发出一大波的创新的app，功能，创意等等。
原有的问题可以通过新的技术解决，比如传感器，探测器和覆盖的同步问题；又比如liquid vr可以使用多个gpu分离并优化工作量，通过算法改进兼容性或延迟问题；再又如，通过漏斗化渲染技术，可以让计算机重点处理用户眼睛所关注的画面，这个范围大约在视线中心的10%~20%范围，结合眼球追踪技术并能实现快速响应的话，可以大大降低当前图形处理技术在计算能力上的负担。
同时也可以开发新型工具，比如视频拼接，工作流管理，混合机器视觉探测，识别，学习，追踪和标记等等功能。
最终要实现将视觉，听觉，触觉，方向，位置等各种感官进行知觉整合与全景呈现。
而目前在技术上还需要对各种感官参数进行量化，提升cpu，gpu以及加速器。
商业模式和产业生态
产业生态
从技术的角度来看，vr产业还有很多生态体系并不成熟，也不健全。
内容开发：游戏开发，3d游戏向vr游戏转化，vr摄影机，360度全景捕捉，重订格式，图形渲染，vr显示投影等；
ui方面：寻找鼠标键盘的替代方案；
捕捉内容与图像内容的合成；
机器视觉覆盖：探测器，物体标记和追踪；
平台sdk：制定开发者标准，包括测试，度量，分布和支持；也需要对库，编译器，以及向新平台的移植进行优化。
商业模式
对于游戏商来讲，可以探讨其销售，租赁和服务器和伺服器存储等的相关商业模式。
而在硬件方面，除了主机型vr，一体机型vr，移动vr以外，还要考虑拍摄设备的研发，因为未来的vr也需要对环境信息进行捕捉。
嵌入式开发则需要考虑系统集成和服务。
vr技术最大的挑战是什么？
技术和设计上的挑战——显示和图形
提升渲染和限时体验；
人眼视觉系统存在一定的限制：根据瑞利判据，人眼能分辨两点的极限距离是爱里斑的半径；
想要实现每秒90帧，就要达到每秒20g像素的渲染速度；
还需要更好的光学系统和镜头阴影矫正以及提高渲染复杂性等；
技术挑战——摄像头和机器视觉
举例而言，vr技术的一大关键就是需要对手和眼球进行追踪。这其中就涉及到细节捕捉，帧速率，位置追踪以及预测。相关的技术在文献《deep learning to customize and train》有介绍。
挑战——生态和商业环境
内容开发：内容主题，故事，360度/180度全景，声音表现……
分发：内容的标准格式，如何有效的进行传送；
内容创新需要如何进行测试，评估以及使用反馈；
当然，最重要的是，这一波vr兴起，谁能赚到钱呢？
总结
vr是一个兴起的产业！
它得益于技术局限的突破，发展于性价比最优的解决办法，将会成熟于更优异的体验。
cv（机器视觉）加速了各种类型的应用的兴起。
使用其公共属性可以发展为探测器，追踪器等；
使用其特有属性，如精确性和多样性，可以应用于医疗和游戏等行业。
生态的构建需要sdk，用户社群，内容创作，评测评论。
商业模式就需要从娱乐，效率，功能化等应用场景中寻找新的需求。
下面是参考文献，有兴趣可以找来看一看。
事实上，尽管环境一直在说vr风口已过，但是对于应经入局的玩家而言，相当多的参数和性能需要你们锲而不舍的搞上去，而更优化的性价比方案需要你们搞下来。
同时对于内容创作者而言，除了技术上可以实现游戏或影视内容本身的无脑转化以外，需要更多关注的是创作适合vr体验的作品。
与此同时，在这个行业当中的参与者并不是只有公司和制作团队，智东西作为媒体是观察者，我们的读者有些是从业者，有些是期待vr的用户。非常幸运的，我们能在这个行业发展共同聚焦在这一点，而媒体和用户的发声被本文的作者同样视为非常重要的声音，是构成整个vr行业的一部分。
本文为智东西整理呈现，文中所有数据结论版权归原作者所有。
IDT荣膺名企浪潮公司2018年度最佳支持奖
虚拟化教程: NVIDIA vGPU软件之vPC、vApp简析
电容式触摸芯片GT308L的原理及特性
璟丰JF系列微型精密加工设备：微型零件超高精密加工解决方案
各种因素对超声波液位计的影响
AMD大神告诉你VR技术还有哪些坑
小米电视5 Pro来袭，量子点电视的第一选择
阿里云中标中国铁塔IT系统 2020 年统一云管理平台
开源维护者的挣扎和无奈
IMT和北京大学微电子学研究院携手加快MEMS技术在中国和美国的发展
DeFi生态的发展现状以及未来展望
漏电保护插头原理图解说明
电动汽车联盟成立 旨在改革美国现有的电动汽车补贴政策
做3G潮人必备软件有哪些?
如何在AD中定制公司的元器件材料表（BOM）？
SSD性能测试应该使用什么工具啊？SSD性能测试第一神器FIO
iPhone信号差该怎么办，如何正确地查看信号强度
可燃气体报警值为多少
华北工控专用计算机方案助力植保无人机满足多种严苛作业环境应用
基本组合逻辑功能双向管脚的Verilog HDL源代码
vr还有哪些技术的发展有所欠缺？未来的vr体验和使用场景究竟是什么样子的？vr产业还有哪些你没想到的商业模式？当前最大的技术挑战是什么？这些你想知道的问题，报告作者amd的工程师allen rush都试着从自身的角度做出了解答。
vr主要的体验通过光学和显示技术实现，沉浸感的营造通过控制本地视觉和位置信息来实现。参数包括了分辨率，光学调制，朝向，帧率和动态范围等。
到2016年，vr用户达到200万，开发者有20万。共有超过260家创业公司进入vr行业，业内关键玩家则包括了oculus，索尼，微软，谷歌，三星，htc等。
vr应用的场景很广泛，比如教育，医疗，可视化大数据， 模拟训练，远程互动，虚拟社交，游戏娱乐等。
视觉技术演进的路线从基础的2d渲染，3d渲染， 着色单元，沉浸式2d显示，物理基础渲染走到今天来到了虚拟现实的发展水平，未来还会发展vr中的照相写实主义，最终实现全景呈现。当然也可以认为，当前的技术发展水平使我们暂时只能看到这么远。
视窗显示和人眼视场显示两种呈现方式在原理上的差异在于，考虑到人的视场，就需要在vr设备上配备摄像头，其拍摄内容补齐了人眼观察到的真实世界环境数据，然后就能通过视频合成器向显示器输出人眼视场的vr图像。
从动作捕捉到形成画面，这其中所产生的延迟主要来自输入，usb转换，游戏引擎，cpu设置，以及框架方面的gpu渲染，传输框架缓冲，像素转换到图像显示等功能和进程。
vr技术应用到的机器视觉技术体现在四个层面：
基本信息模块：眼球追踪反馈，位置信息（包括静态的位置，动态的移动方向以及倾斜，旋转，俯仰等九个自由度的信息），肢端探测器（手，脚等等）。
基础功能：红外追踪，位置追踪及校准。
复合应用：需要对用户的眼球追踪进行深度学习，以理解其表达含义并进行动作预测。
知觉融合：视觉拼接，触觉，动态环境模型加速器。
vr技术正在进行快速的进化和发展，但是还有很长的路要走。
神经系统科学家 maria v. sanchez-vives和计算机科学家mel slater这样写过：“对一个可与真人互动的虚拟人物进行渲染，比如通过语言识别，生成有意义的语句，面部表情，情绪，肤色，语调以及肌肉关节的活动，这样的效果目前实时的计算机图形学和人工智能的能力还达不到。”
需要改进的关键参数包括：延迟，分辨率，视场，色彩，动态范围和焦点管理。
需要补充的关键功能包括：眼球追踪，环境视觉捕捉，精确定位，物体探测追踪以及3d视场角。
需要改进的关键功能包括：运动与反馈，光学系统，眼球追踪和沉浸感俘获等附加功能的发展方向是成为vr平台的自有构成功能。
新兴的vr/cv社区会逐渐生长出更生态化的东西，比如sdk，应用开发，用户社群，度量工具以及更多的测评等等。
举例而言，leap motion的“虚拟手” 最开始的做法就是通过视像投影与视觉反馈实现的动作交互。接下来需要补足的就是复杂化的渲染，识别，景深和追踪等性能。
vr的应用空间比较多样化，具有创新性。
app开发者可以从军事，医疗，游戏，电影，社交，教育，甚至沉浸式工作环境等领域寻找需求。
vr内容需要的技术创新则包括了cgi，摄像机以及视频拼接。
进击的vr是否超出你的想象？
更进一步的发展可以从基础创新中延展出更加亮眼的体验。
比如通过沉浸式的远程成像技术，你可以体验一下虚拟会议是什么样子的。实现这样的功能需要眼球追踪，面部重建和表情投影等技术。
只有改善沉浸和感觉的营造问题，才能让用户从观看变成体验。
一旦vr的群众基础打好了，就会生发出一大波的创新的app，功能，创意等等。
原有的问题可以通过新的技术解决，比如传感器，探测器和覆盖的同步问题；又比如liquid vr可以使用多个gpu分离并优化工作量，通过算法改进兼容性或延迟问题；再又如，通过漏斗化渲染技术，可以让计算机重点处理用户眼睛所关注的画面，这个范围大约在视线中心的10%~20%范围，结合眼球追踪技术并能实现快速响应的话，可以大大降低当前图形处理技术在计算能力上的负担。
同时也可以开发新型工具，比如视频拼接，工作流管理，混合机器视觉探测，识别，学习，追踪和标记等等功能。
最终要实现将视觉，听觉，触觉，方向，位置等各种感官进行知觉整合与全景呈现。
而目前在技术上还需要对各种感官参数进行量化，提升cpu，gpu以及加速器。
商业模式和产业生态
产业生态
从技术的角度来看，vr产业还有很多生态体系并不成熟，也不健全。
内容开发：游戏开发，3d游戏向vr游戏转化，vr摄影机，360度全景捕捉，重订格式，图形渲染，vr显示投影等；
ui方面：寻找鼠标键盘的替代方案；
捕捉内容与图像内容的合成；
机器视觉覆盖：探测器，物体标记和追踪；
平台sdk：制定开发者标准，包括测试，度量，分布和支持；也需要对库，编译器，以及向新平台的移植进行优化。
商业模式
对于游戏商来讲，可以探讨其销售，租赁和服务器和伺服器存储等的相关商业模式。
而在硬件方面，除了主机型vr，一体机型vr，移动vr以外，还要考虑拍摄设备的研发，因为未来的vr也需要对环境信息进行捕捉。
嵌入式开发则需要考虑系统集成和服务。
vr技术最大的挑战是什么？
技术和设计上的挑战——显示和图形
提升渲染和限时体验；
人眼视觉系统存在一定的限制：根据瑞利判据，人眼能分辨两点的极限距离是爱里斑的半径；
想要实现每秒90帧，就要达到每秒20g像素的渲染速度；
还需要更好的光学系统和镜头阴影矫正以及提高渲染复杂性等；
技术挑战——摄像头和机器视觉
举例而言，vr技术的一大关键就是需要对手和眼球进行追踪。这其中就涉及到细节捕捉，帧速率，位置追踪以及预测。相关的技术在文献《deep learning to customize and train》有介绍。
挑战——生态和商业环境
内容开发：内容主题，故事，360度/180度全景，声音表现……
分发：内容的标准格式，如何有效的进行传送；
内容创新需要如何进行测试，评估以及使用反馈；
当然，最重要的是，这一波vr兴起，谁能赚到钱呢？
总结
vr是一个兴起的产业！
它得益于技术局限的突破，发展于性价比最优的解决办法，将会成熟于更优异的体验。
cv（机器视觉）加速了各种类型的应用的兴起。
使用其公共属性可以发展为探测器，追踪器等；
使用其特有属性，如精确性和多样性，可以应用于医疗和游戏等行业。
生态的构建需要sdk，用户社群，内容创作，评测评论。
商业模式就需要从娱乐，效率，功能化等应用场景中寻找新的需求。
下面是参考文献，有兴趣可以找来看一看。
事实上，尽管环境一直在说vr风口已过，但是对于应经入局的玩家而言，相当多的参数和性能需要你们锲而不舍的搞上去，而更优化的性价比方案需要你们搞下来。
同时对于内容创作者而言，除了技术上可以实现游戏或影视内容本身的无脑转化以外，需要更多关注的是创作适合vr体验的作品。
与此同时，在这个行业当中的参与者并不是只有公司和制作团队，智东西作为媒体是观察者，我们的读者有些是从业者，有些是期待vr的用户。非常幸运的，我们能在这个行业发展共同聚焦在这一点，而媒体和用户的发声被本文的作者同样视为非常重要的声音，是构成整个vr行业的一部分。
本文为智东西整理呈现，文中所有数据结论版权归原作者所有。
IDT荣膺名企浪潮公司2018年度最佳支持奖
虚拟化教程: NVIDIA vGPU软件之vPC、vApp简析
电容式触摸芯片GT308L的原理及特性
璟丰JF系列微型精密加工设备：微型零件超高精密加工解决方案
各种因素对超声波液位计的影响
AMD大神告诉你VR技术还有哪些坑
小米电视5 Pro来袭，量子点电视的第一选择
阿里云中标中国铁塔IT系统 2020 年统一云管理平台
开源维护者的挣扎和无奈
IMT和北京大学微电子学研究院携手加快MEMS技术在中国和美国的发展
DeFi生态的发展现状以及未来展望
漏电保护插头原理图解说明
电动汽车联盟成立 旨在改革美国现有的电动汽车补贴政策
做3G潮人必备软件有哪些?
如何在AD中定制公司的元器件材料表（BOM）？
SSD性能测试应该使用什么工具啊？SSD性能测试第一神器FIO
iPhone信号差该怎么办，如何正确地查看信号强度
可燃气体报警值为多少
华北工控专用计算机方案助力植保无人机满足多种严苛作业环境应用
基本组合逻辑功能双向管脚的Verilog HDL源代码