首个能根据单一图像生成较高分辨率3D人脸模型的系统
智东西1月26日消息，伦敦帝国理工学院和初创公司facesoft.io的研究人员设计出一个人脸建模系统avatarme。avatarme可以依据任意一张人脸照片和一些面部细节，生成4k x 6k分辨率的3d人脸模型。
avatarme是首个能根据单一图像生成较高分辨率3d人脸模型的系统。在未来，avatarme或可用于视频会议等各个vr应用场景。
这项研究发表于cvpr 2020，论文标题为《avatarme：“在野外”的真实的可渲染的3d脸部重建（avatarme：realistically renderable 3d facial reconstruction “in-the-wild”）》。
论文链接：https://arxiv.org/pdf/2003.13845.pdf
cvpr（conference on computer vision and pattern recognition）是由ieee举办的计算机视觉和模式识别领域的顶级会议，本届会议在6月13日到6月19日之间举办。
一、avatarme：依据一张照片生成逼真的3d人脸
3d人脸建模是计算机视觉、图形学、机器学习领域的研究焦点之一。在过去几年，许多研究团队研发了基于生成对抗性网络（gan）的3d人脸建模系统。
gan由一个生成网络和一个判别网络组成。gan模型的学习过程就是生成网络和判别网络的相互博弈的过程：生成网络随机合成一张图片，让判别网络判断这张图片的真假，继而根据判别网络给出的反馈不断提高“造假”能力，最终做到以假乱真。
但是，在依据任意人脸照片生成3d人脸模型方面，现有的解决方案普遍性能较差，生成的3d人脸模型分辨率较低。
伦敦帝国理工学院和初创公司facesoft.io的研究人员认为，这是因为两个原因：
一方面，研究人员缺乏可用于培训的数据；另一方面，可成功应用于高分辨率数据的稳健方法也比较少。
为了解决这些问题，伦敦帝国理工学院和初创公司facesoft.io的研发人员捕获了一个关于面部形状和反射率的大型数据集。
同时，研究人员采用基于艺术状态的3d纹理和形状重建方法，以渲染所需的每像素分辨率和镜面反射分量。最终，研究人员成功地优化了3d人脸建模结果。
▲avatarme系统的管道结果
二、采用两种捕获方法，收集超200张人脸图像
为了建立可用于训练的人脸数据集，研究人员采用两种方法收集数据。
第一种方法中，研究人员利用一个有168个光源的极化led球泡灯和9台单反相机，捕获高分辨率的孔隙级人脸反射率图。极化led球泡灯中，一半的光源是垂直极化的，另一半光源是水平极化的。两种极化方式的光源交错排布。
第二种方法中，研究人员利用非极化的led球泡灯进行色彩空间分析，以捕获解缠的纹理。相比于第一种方法，利用非极化的led球泡灯只需捕获不到一半的数据，因此捕获时间较短短。另外，由于不需要偏振片（polarizer），非极化的led球泡灯设置也比较简单。
通过这两种方法，研究人员采集到超过200个不同年龄和特点的人的孔隙级人脸反射率图。为便于进一步研究，研究人员将收集到的图像引入一个标准拓扑结构中，建立人脸数据库。
研究人员将这一数据库命名为realfacedb，根据论文，与同类人脸数据库相比，realfacedb规模为最大。
▲将人脸图像引入标准拓扑结构
三、不仅能用低分辨率照片建模，戴墨镜照片也行
基于realfacedb数据库，研究人员开始训练基于gan的avatarme系统。
训练过程中，研究人员首先输入一张低分辨率的人脸图片，用3dmm算法重建一个带纹理的基本几何体。然后，利用一个超级分辨率网络，研究人员重建纹理映射。接下来，研究人员利用一个去照明网络获得高分辨率的漫反射函数（ad）。最后，研究人员利用漫反射函数ad和基本几何体，推断出其他部分的函数（as、nd、ns），进而建立仿真的3d人脸模型。
经过训练，avatarme系统可以输出4k x 6k分辨率的3d人脸模型。
为了评估avatarme的性能，研究人员输入随机图片，观察avatarme重建的3d模型是否逼真。结果显示，avatarme系统重建的3d人脸模型没有产生伪影。另外，在照片主人公戴有墨镜的情况下，系统也能较精准地建模。
结语：未来计划把realfacedb数据库开源
本项研究中，伦敦帝国理工学院和初创公司facesoft.io的研究人员设计出人脸建模系统avatarme。avatarme可以利用任意一张人脸照片，建立出较高分辨率的3d人脸模型。
研究人员还建立了同类数据库中规模最大的realfacedb数据库。研究人员称，未来计划将这一数据库向科学界开源。
同时，论文指出，realfacedb数据库还存在一些局限性。比如，realfacedb数据库中缺乏来自深肤色种族的样本。因此，在依据深肤色种族样本建模时，avatarme系统建立的3d人脸模型分辨率有所降低。
配置高,空间大,耗油低-比亚迪2017款S7,居家旅行的首选之车！
Microsoft Surface Go与Surface Pro的区别是什么
盘点传感器制造那些不得不知的21种表面处理工艺
螺旋波纹管(FEP波纹管的应用)详解
百度首席科学家吴恩达：人工智能的寒冬不会再来了
首个能根据单一图像生成较高分辨率3D人脸模型的系统
关于铝电解电容在汽车电子中的应用详解
LED虚拟拍摄：电影制作与电视广播的新方向
iPhoneX芯片级拆解评测：先进的PCB工艺与突破性的光学系统
中科创达：构建以汽车智能操作系统为核心的生态圈
纯电动车辆的结构及其原理
工业LCD生产看板：提升生产效率的智能工具
AR／MR 应用正在改变制造业的面貌，成为车间工作的全新用户界面
AMD发布更为先进且基于突破性AMD RDNA 3架构和小芯片设计的游戏显卡
电表智能管理系统-实现智能化、数字化的电力管理
浅谈希尔德在LED荧光粉市场的成长之路
超迷你！ 便携可拆卸充电LED手电筒
低碳与无光害电子纸公交站牌助力构建智慧城市，降低全社会能源消耗水平
关于转换器设计与IC额定负载能力的区别和应用
贸泽电子推出Microchip和Vishay电阻式电流传感解决方案网站
avatarme是首个能根据单一图像生成较高分辨率3d人脸模型的系统。在未来，avatarme或可用于视频会议等各个vr应用场景。
这项研究发表于cvpr 2020，论文标题为《avatarme：“在野外”的真实的可渲染的3d脸部重建（avatarme：realistically renderable 3d facial reconstruction “in-the-wild”）》。
论文链接：https://arxiv.org/pdf/2003.13845.pdf
cvpr（conference on computer vision and pattern recognition）是由ieee举办的计算机视觉和模式识别领域的顶级会议，本届会议在6月13日到6月19日之间举办。
一、avatarme：依据一张照片生成逼真的3d人脸
3d人脸建模是计算机视觉、图形学、机器学习领域的研究焦点之一。在过去几年，许多研究团队研发了基于生成对抗性网络（gan）的3d人脸建模系统。
gan由一个生成网络和一个判别网络组成。gan模型的学习过程就是生成网络和判别网络的相互博弈的过程：生成网络随机合成一张图片，让判别网络判断这张图片的真假，继而根据判别网络给出的反馈不断提高“造假”能力，最终做到以假乱真。
但是，在依据任意人脸照片生成3d人脸模型方面，现有的解决方案普遍性能较差，生成的3d人脸模型分辨率较低。
伦敦帝国理工学院和初创公司facesoft.io的研究人员认为，这是因为两个原因：
一方面，研究人员缺乏可用于培训的数据；另一方面，可成功应用于高分辨率数据的稳健方法也比较少。
为了解决这些问题，伦敦帝国理工学院和初创公司facesoft.io的研发人员捕获了一个关于面部形状和反射率的大型数据集。
同时，研究人员采用基于艺术状态的3d纹理和形状重建方法，以渲染所需的每像素分辨率和镜面反射分量。最终，研究人员成功地优化了3d人脸建模结果。
▲avatarme系统的管道结果
二、采用两种捕获方法，收集超200张人脸图像
为了建立可用于训练的人脸数据集，研究人员采用两种方法收集数据。
第一种方法中，研究人员利用一个有168个光源的极化led球泡灯和9台单反相机，捕获高分辨率的孔隙级人脸反射率图。极化led球泡灯中，一半的光源是垂直极化的，另一半光源是水平极化的。两种极化方式的光源交错排布。
第二种方法中，研究人员利用非极化的led球泡灯进行色彩空间分析，以捕获解缠的纹理。相比于第一种方法，利用非极化的led球泡灯只需捕获不到一半的数据，因此捕获时间较短短。另外，由于不需要偏振片（polarizer），非极化的led球泡灯设置也比较简单。
通过这两种方法，研究人员采集到超过200个不同年龄和特点的人的孔隙级人脸反射率图。为便于进一步研究，研究人员将收集到的图像引入一个标准拓扑结构中，建立人脸数据库。
研究人员将这一数据库命名为realfacedb，根据论文，与同类人脸数据库相比，realfacedb规模为最大。
▲将人脸图像引入标准拓扑结构
三、不仅能用低分辨率照片建模，戴墨镜照片也行
基于realfacedb数据库，研究人员开始训练基于gan的avatarme系统。
训练过程中，研究人员首先输入一张低分辨率的人脸图片，用3dmm算法重建一个带纹理的基本几何体。然后，利用一个超级分辨率网络，研究人员重建纹理映射。接下来，研究人员利用一个去照明网络获得高分辨率的漫反射函数（ad）。最后，研究人员利用漫反射函数ad和基本几何体，推断出其他部分的函数（as、nd、ns），进而建立仿真的3d人脸模型。
经过训练，avatarme系统可以输出4k x 6k分辨率的3d人脸模型。
为了评估avatarme的性能，研究人员输入随机图片，观察avatarme重建的3d模型是否逼真。结果显示，avatarme系统重建的3d人脸模型没有产生伪影。另外，在照片主人公戴有墨镜的情况下，系统也能较精准地建模。
结语：未来计划把realfacedb数据库开源
本项研究中，伦敦帝国理工学院和初创公司facesoft.io的研究人员设计出人脸建模系统avatarme。avatarme可以利用任意一张人脸照片，建立出较高分辨率的3d人脸模型。
研究人员还建立了同类数据库中规模最大的realfacedb数据库。研究人员称，未来计划将这一数据库向科学界开源。
同时，论文指出，realfacedb数据库还存在一些局限性。比如，realfacedb数据库中缺乏来自深肤色种族的样本。因此，在依据深肤色种族样本建模时，avatarme系统建立的3d人脸模型分辨率有所降低。
配置高,空间大,耗油低-比亚迪2017款S7,居家旅行的首选之车！
Microsoft Surface Go与Surface Pro的区别是什么
盘点传感器制造那些不得不知的21种表面处理工艺
螺旋波纹管(FEP波纹管的应用)详解
百度首席科学家吴恩达：人工智能的寒冬不会再来了
首个能根据单一图像生成较高分辨率3D人脸模型的系统
关于铝电解电容在汽车电子中的应用详解
LED虚拟拍摄：电影制作与电视广播的新方向
iPhoneX芯片级拆解评测：先进的PCB工艺与突破性的光学系统
中科创达：构建以汽车智能操作系统为核心的生态圈
纯电动车辆的结构及其原理
工业LCD生产看板：提升生产效率的智能工具
AR／MR 应用正在改变制造业的面貌，成为车间工作的全新用户界面
AMD发布更为先进且基于突破性AMD RDNA 3架构和小芯片设计的游戏显卡
电表智能管理系统-实现智能化、数字化的电力管理
浅谈希尔德在LED荧光粉市场的成长之路
超迷你！ 便携可拆卸充电LED手电筒
低碳与无光害电子纸公交站牌助力构建智慧城市，降低全社会能源消耗水平
关于转换器设计与IC额定负载能力的区别和应用
贸泽电子推出Microchip和Vishay电阻式电流传感解决方案网站