借助摄影测量方法以及GPU赋力的深度学习

借助摄影测量方法以及gpu赋力的深度学习,以虚拟形式探访陵墓的细节。
现在,游客无需越洋飞行就能探索纳菲尔塔莉墓的精致细节。
纳菲尔塔莉墓被誉为埃及最好的墓穴之一。主人纳菲尔塔莉被认为是拉美西斯二世五位妻子中最美丽的一位。拉美西斯二世为其建造的陵墓是纪念其美貌的圣地,陵墓中三间墓室和走廊墙壁都用彩饰进行装饰。
纳菲尔塔莉墓与王后谷中的大多数陵墓一样,在考古学家发现之前也曾遭到过盗墓。虽然已采取相应的保护措施,但景点仍然非常脆弱。
simon che de boer及其位于新西兰的视觉特效研发公司realityvirtual.co找到了一种数字方式来保护纳菲尔塔莉墓,为无数人参观墓中景象提供了机会。
纳菲尔塔莉:永恒之旅(nefertari: a journey to eternity)提供vr体验,通过高端摄影测量、视觉效果技术和ai,打造令人震撼的细节体验,使纳菲尔塔莉墓重现昔日辉煌。游客可以采用数字方式四处行走,从不同视角进行参观,还可以进行放大以近距离观察
对于需要跨越半个地球才能目睹这一景观的游客来说,这是一个效果逼真的替代选择。
使用nvidia quadro gpu处理海量数据
为了复制陵墓精致的细节,che de boer拍摄了近4000张4200万像素的景点照片,然后将摄影测量(在照片中进行测量的科学)与深度学习方法结合,对其进行处理和可视化。
nvidia gpu在处理现场采集的大量摄影测量数据上发挥了关键作用,其处理速度比cpu快很多倍。
gpu也是进行3d重建和呈现细节纹理不可或缺的部分。通过借助部署高端nvidia quadro gpu的强大hp工作站,realityvirtual.co使用capturingreality将数据转换为密集的240亿3d点云,以进行初始创建。
初始清理工作则使用autodesk meshmixer和maya完成。然后,他们使用内部专用流程完成改良工作并提高效率,包括填充孔、推断材料特性、去除噪点和清理人工痕迹。
che de boer 在陵墓内部拍摄图像
接下来,他们对这些庞大的数据集进行优化,以便在unreal engine中以每秒90帧的稳定速度进行实时渲染,利用granite的纹理流保留全部240亿个细节点。
che de boer说:“由于数据集非常庞大,处理和播放速度是关键。nvidia的新架构与unreal engine相结合,加快了处理速度,并为处理庞大的数据量提供支持。”
ai助力创建更为逼真的vr
如果不去除陵墓中的现代人工痕迹,就不可能参观到“真正”的古墓。为了实现这一目标,realityvirtual.co收集了陵墓的所有压缩数据,并且使用可编程tensor core和单个高端nvidia quadro gpu提供的24gb vram容量训练其超级采样集。
通过训练计算机使其理解所看到的事物,计算机可以修改图像以清除现代人工痕迹。例如,通过图像修复方法去除出口标志、牌匾、扶手、地板和卤素灯,并使用与周边环境相关的元素取代这些区域。
为了覆盖图像中的缺口、清除不需要的元素或修复源摄影测量图像中的重叠区域,realityvirtual.co利用一种新的基于ai的图像修复方法(此方法由nvidia research开发,并且即将通过nvidia ngx技术堆栈提供给软件开发者),使用周边环境的元素填充这些区域。
che de boer说:“如果没有高端nvidia quadro提供的内存,处理4200万像素图像的数据是不可能的。我们在摄影测量和ai处理过程中广泛使用了nvidia cuda cudnn,且贯穿到我们创作的各个环节,以实现最为逼真的效果。这看起来非常震撼,您可以获得一种身临其境的感觉,如果我们将nvidia rtx实时光线追踪整合到未来的版本中,这种体验只会变得更好。”
更新的内部版本已通过realityvirtual.co的超级采样法运行。这是在他们自己的数据集上进行超级采样训练,进一步提高了最终纹理映射的细节水平。
无论参观者距离陵墓的现代人工痕迹有多近,都无法分辨得出它们。除此之外,最近越来越多的项目开始使用realityvirtual.co的deeppbr方法,以消除图像扩散、粗糙和位移。这对使用基于物理渲染的引擎(例如unreal engine)而言非常重要。
所有这些数据都是自行进行训练的,这是一个ai使用自身数据进行自我改进的好例子。此结果可用作教学模拟,并可在steam游戏平台免费获得,但是需要vive、rift或windows vr头盔。
为了继续记录遗产并在未来对其进行数字保护,最近che de boer与来自洛桑联邦理工学院(epfl,瑞士洛桑的一所著名的研究大学)的sarah kenderdine教授达成了战略合作关系。他们希望通过合作以虚拟形式重建新西兰的克赖斯特彻奇大教堂,重现它2011年遭到地震破坏之前的样子。此外,他们也在其他一些尚未公布但非常著名的自然景观上进行合作。
che de boer 表示:“这些都是知之者众而见之者寡的地方,我们的目标是让全世界的人都能参观这些景点,否则他们可能在有生之年都没有机会感受这些景点。”

IDC 预计:2020 年AR/VR市场全球支出规模或将达120.7 亿美元
不同电路中可靠性的概率设计
英飞凌推微型晶圆级芯片封装的工业级eSIM卡—SLM 97
全新后PC时代:谁,猎杀了台湾电子业
怎样将笔记本电脑变成闹钟
借助摄影测量方法以及GPU赋力的深度学习
剑指顶级市场,博通腾达推5G路由器
运动DVBGA芯片底部填充胶应用案例分析
如何围绕SIMO核心转换器量身定制的集成式电源管理方法
浪潮信息以新一代存储核心构建新一代集中式和分布式存储平台
博途Modbus RTU通信如何实现?
区块链岗位人才短缺,2018年职位空缺比去年增长151%
HDZF智能蓄电池充电放电放电综合测试仪如何对电池充电
我国5G候选方案正式提交,NB-IoT备胎转正
使用FPGA实现基于硬件的安全性
捷波朗推出Elite 85t 双芯降噪 声音定制科技感十足
上海和晟HS-SS-1A耐碎石冲击试验机校准证书
联电豪华律师团成晋华案致胜关键!
笔记本概述
小米27英寸电竞显示屏上架:支持165Hz高刷新率