你知道3D运动雕塑吗？利用AI检测人体2D图像并恢复成3D模型
你知道3d运动雕塑吗？mit、google和uc berkeley的研究人员创建了一个名为mosculp的ai系统，只需视频输入，利用ai检测人体2d图像并恢复成3d模型，就能创造出超现实主义的3d运动雕塑。
雕塑大家都认识，3d电影想必大家也都看过，但你知道3d运动雕塑吗？
简单地说，这是一种独特的展示人体如何运动的方式。3d运动雕塑（3d motion sculpture）可以将任何物体的移动路径形成3d视图，物体的形状、运动轨迹都会影响最后的效果。
将雕塑和3d这两种艺术混合起来的这些作品，是由mit计算机科学与人工智能实验室、google research以及加州大学伯克利分校的研究人员共同创造的。他们利用ai系统产生了这些超现实主义的运动与姿势的混合。
作为输入的运动影像
创作3d运动雕塑
这个系统被称为mosculp，在论文《mosculp：形状和时间的交互式可视化》中有详细描述。该论文将于下个月在德国柏林的用户界面软件与技术大会（uist）上发表。
论文的第一作者、mit博士生张修明（xiuming zhang）认为，这一技术可以用来为想要提高技能的运动员提供详细的运动研究。
3d运动雕塑可用作运动研究
张修明说：“想象一下，你有一段费德勒在网球比赛中发球的视频，还有一段你自己练习打网球的视频。你可以用mosculp创建两种场景的运动雕塑，然后进行对比，更全面地研究你需要改进的地方。”
具体来说，这个系统的工作有多个步骤：
首先，mosculp能够检测人体及其2d姿态，利用的是cmu感知计算实验室开发的多人关键点实时检测库openpose，估计每个帧中的关键点（踝关节，肘关节，髋关节等）。
自动检测关键点
接下来，mosculp将2d姿态恢复成一个3d人体模型，展现人体的整体形状和人体随时间运动的姿态。
ai通过3d空间扫描这个模型，以创建初始运动雕塑，但正如研究人员指出的那样，这个模型缺乏纹理和结构细节，比如精细的面部结构、头发和衣服。
有没有聪明的解决方案呢？
研究人员提出将雕塑插入到原始视频中，而不是将3d内容从视频映射到场景中。
为了防止出现伪影和遮挡，mosculp估计出每个帧中人物和雕塑的深度图（depth map），并将两者进行比较，以确定人是比雕塑更接近摄像机还是更原理摄像机。
然后，mosculp从所有帧中提取主体的前景蒙版，以细化初始深度图。
原始视频
估计模型
以下是该系统在实践中的工作原理：
将视频加载到系统后，mosculp将检测到的关键点覆盖在输入帧上，并通过几个随机选择的帧来验证。（内置的校正工具可以让用户在必要时进行调整。）在对“暂时不一致的检测”进行校正后，它会生成运动雕塑，并将其加载到自定义界面中。
在mosculp中，用户可以在雕塑周围导航，或使用3d打印机进行打印。系统提供工具允许用户自定义材料、身体部位、场景背景、光照条件和其他美学特征。
mosculp的界面
目前，mosculp只使用于单个主体的视频，不过研究团队希望将其扩展到多人。未来，他们认为这个系统可以用来研究社会障碍、团队动力和人际互动等。
“舞蹈和高技能运动通常看起来像'移动的雕塑'，但它们只能形成稍纵即逝的短暂形状，”adobe传播负责人courtney brigham说。
“这项工作展示了如何利用动作，并将动作转换为具有客观运动可视化的真实雕塑，为运动员提供了一种分析他们的训练动作的方式，而且成本只需一台运动相机和一些计算时间。”
28nm下求变革，Altera三大技术创新欲开启FPGA新时
智能电话电源管理系统的重要设计技术
表面电容式触摸技术推动人机接口的新革命
三维重建：从入门到入土
高德地图与中国气象局合作推出了积水地图AI版
你知道3D运动雕塑吗？利用AI检测人体2D图像并恢复成3D模型
让我们走近vivo Xplay6， 国产曲面屏的颜值王！
一台在国内卖6999元起的三星Galaxy S10+，它的成本是多少？
CES 2024观察：AI正在重塑汽车行业 推动汽车行业变革
ESD静电放电影响及分类
超小型CMOS运算放大器—XC221A系列
汽车熄火的时候是真的睡着了么？
电容并联你会搞混吗
如何根据管脚电位判断晶体管
工业机器人今年销量或破30万台，新能源为最大拉动力
英伟达又放炸弹,推Pegasus搞无人驾驶出租
一加和OPPO研发部门合并，软件上暂时保持原有特色
手表中框气密性防水检测的案例
织物摩擦带电电荷密度测定仪的测试原理是什么
2020第三季度中国可穿戴设备市场出货量3293万台
雕塑大家都认识，3d电影想必大家也都看过，但你知道3d运动雕塑吗？
简单地说，这是一种独特的展示人体如何运动的方式。3d运动雕塑（3d motion sculpture）可以将任何物体的移动路径形成3d视图，物体的形状、运动轨迹都会影响最后的效果。
将雕塑和3d这两种艺术混合起来的这些作品，是由mit计算机科学与人工智能实验室、google research以及加州大学伯克利分校的研究人员共同创造的。他们利用ai系统产生了这些超现实主义的运动与姿势的混合。
作为输入的运动影像
创作3d运动雕塑
这个系统被称为mosculp，在论文《mosculp：形状和时间的交互式可视化》中有详细描述。该论文将于下个月在德国柏林的用户界面软件与技术大会（uist）上发表。
论文的第一作者、mit博士生张修明（xiuming zhang）认为，这一技术可以用来为想要提高技能的运动员提供详细的运动研究。
3d运动雕塑可用作运动研究
张修明说：“想象一下，你有一段费德勒在网球比赛中发球的视频，还有一段你自己练习打网球的视频。你可以用mosculp创建两种场景的运动雕塑，然后进行对比，更全面地研究你需要改进的地方。”
具体来说，这个系统的工作有多个步骤：
首先，mosculp能够检测人体及其2d姿态，利用的是cmu感知计算实验室开发的多人关键点实时检测库openpose，估计每个帧中的关键点（踝关节，肘关节，髋关节等）。
自动检测关键点
接下来，mosculp将2d姿态恢复成一个3d人体模型，展现人体的整体形状和人体随时间运动的姿态。
ai通过3d空间扫描这个模型，以创建初始运动雕塑，但正如研究人员指出的那样，这个模型缺乏纹理和结构细节，比如精细的面部结构、头发和衣服。
有没有聪明的解决方案呢？
研究人员提出将雕塑插入到原始视频中，而不是将3d内容从视频映射到场景中。
为了防止出现伪影和遮挡，mosculp估计出每个帧中人物和雕塑的深度图（depth map），并将两者进行比较，以确定人是比雕塑更接近摄像机还是更原理摄像机。
然后，mosculp从所有帧中提取主体的前景蒙版，以细化初始深度图。
原始视频
估计模型
以下是该系统在实践中的工作原理：
将视频加载到系统后，mosculp将检测到的关键点覆盖在输入帧上，并通过几个随机选择的帧来验证。（内置的校正工具可以让用户在必要时进行调整。）在对“暂时不一致的检测”进行校正后，它会生成运动雕塑，并将其加载到自定义界面中。
在mosculp中，用户可以在雕塑周围导航，或使用3d打印机进行打印。系统提供工具允许用户自定义材料、身体部位、场景背景、光照条件和其他美学特征。
mosculp的界面
目前，mosculp只使用于单个主体的视频，不过研究团队希望将其扩展到多人。未来，他们认为这个系统可以用来研究社会障碍、团队动力和人际互动等。
“舞蹈和高技能运动通常看起来像'移动的雕塑'，但它们只能形成稍纵即逝的短暂形状，”adobe传播负责人courtney brigham说。
“这项工作展示了如何利用动作，并将动作转换为具有客观运动可视化的真实雕塑，为运动员提供了一种分析他们的训练动作的方式，而且成本只需一台运动相机和一些计算时间。”
28nm下求变革，Altera三大技术创新欲开启FPGA新时
智能电话电源管理系统的重要设计技术
表面电容式触摸技术推动人机接口的新革命
三维重建：从入门到入土
高德地图与中国气象局合作推出了积水地图AI版
你知道3D运动雕塑吗？利用AI检测人体2D图像并恢复成3D模型
让我们走近vivo Xplay6， 国产曲面屏的颜值王！
一台在国内卖6999元起的三星Galaxy S10+，它的成本是多少？
CES 2024观察：AI正在重塑汽车行业 推动汽车行业变革
ESD静电放电影响及分类
超小型CMOS运算放大器—XC221A系列
汽车熄火的时候是真的睡着了么？
电容并联你会搞混吗
如何根据管脚电位判断晶体管
工业机器人今年销量或破30万台，新能源为最大拉动力
英伟达又放炸弹,推Pegasus搞无人驾驶出租
一加和OPPO研发部门合并，软件上暂时保持原有特色
手表中框气密性防水检测的案例
织物摩擦带电电荷密度测定仪的测试原理是什么
2020第三季度中国可穿戴设备市场出货量3293万台