基于NeRF的三维场景重建和理解
如果从方法出发的话，两张图就能看懂：
图 1
图 2 上面是 nerf 的网络结构，下面是 semantic-nerf 的网络结构，就是在 nerf 的网络中加了一个分支，输出到语义。和 nerf 一样，semantic-nerf 能够连续的表达空间信息，因此你可以看到 semantic-nerf 主页里的各种酷炫的 demo. 这是 iccv 2021 的 oral 工作。 如果有留意上一讲的讲座，从 semantic-nerf 的demo中你应该能推测出，这应该是第四种拍摄方式：
图 3 这种拍摄方式在slam或者sfm中更多见，而传统三维重建或者rgbd重建是很难做出 nerf 或者 semantic-nerf 这种效果的。所以方法可能很简单，但是这个工作很有意义。 应用的话，大家可以参考视频。
semantic-nerf应用
稀疏监督下的新视角语义生成(semantic view synthesis with sparse labels
语义标签去噪(labeldenoising
语义标签超分辨(super-resolution)
稀疏语义标签传播(labelpropagation)
多视角语义融合(multi-view semantic fusion)
稠密的语义三维重建
在这篇工作之后智博又做了 ilabel 的工作，将 imap 和 semantic-nerf 结合，这里我们就不细讲了，感兴趣的同学欢迎去看原文。 需要提到的另一篇工作是 nesf 这篇文章。 智博在讲解 nesf 的时候提到，训练的sample是场景，而不是图片，这是对这篇文章的一个高度概况。nesf 首先会训练许多场景，比如100个场景，那我们就会得到100个 nerf 的模型，我们对这 100 个 nerf 的模型做 grid query，从而获取一个 density grid，其实就是一堆规则的点，可以使用 3d 卷积，从而转换为 feature grid. 对 feature grid 做 volume rendering 就能渲染出各个视角的语义图像了。下面是 nesf 的流程图。
图 4 nesf流程图 nesf 的泛化性从 demo 来看还是不错的，但是这样的工作显然不是我们可以玩的 (训练 100 个 nerf)， 你几乎不用猜都知道是哪里出的工作。 这也就引出了 nerf 的许多痛点，印象里第四讲嘉宾在讲 nerf in the wild 和 ha-nerf 的时候说，每次实验要 4 张v100 跑2天。因此不论是推理还是训练，加速工作都显得尤为重要，对语义 nerf 相关的工作更是如此，因为目前的加速工作大都倾向于摆脱神经网络。 动态场景的 nerf 也有一些工作，但是是否一样能像 semantic nerf 一样，很轻松地 work 呢？其实能引发的问题还是挺多的。 评估一项工作的 novelty 的其中一项指标就是看这篇工作挖了多少坑，能启发多少后续工作，semantic nerf 就是这样的一篇工作。如果你看懂这个系列的工作，推荐大家立刻去看 panoptic nerf 相关的工作。
微型收音机电路原理图
随钻声波测井仪应用中的传输技术简介
钢管相贯线切割机在钢结构行业中有哪些特点
德承发布全新高效紧凑型嵌入式工业电脑DX-1200，为工控领域增添生力军
基于ARM9处理器AT91RM9200和MCP25lO的CA
基于NeRF的三维场景重建和理解
俄军电子战能力令西方咋舌
二维半导体薄膜在任意表面的异质外延技术
沟通触摸器电机正回转电路原理
低功耗门铃模块特点与功能描述
汽车终将由软件来定义，BlackBerry QNX欲捷足先登
电路设计的思路和原则
松下在CES 2017中展出仅0.45mm可弯曲的锂电池
人工智能到底对传统制造业能影响到哪个程度？
一文看懂低压互感器型号及作用
技术干货 全面对11种AGV导航方式进行一次性阐述
基于LV8907无传感器三相无刷直流马达控制方案
如何实现更高分辨率，更少的位三元DAC
功率表测量用互感器接线有什么注意事项
ZigBee全面对比6LoWPAN_物联网最佳拍档花落谁家？
图 1
图 2 上面是 nerf 的网络结构，下面是 semantic-nerf 的网络结构，就是在 nerf 的网络中加了一个分支，输出到语义。和 nerf 一样，semantic-nerf 能够连续的表达空间信息，因此你可以看到 semantic-nerf 主页里的各种酷炫的 demo. 这是 iccv 2021 的 oral 工作。 如果有留意上一讲的讲座，从 semantic-nerf 的demo中你应该能推测出，这应该是第四种拍摄方式：
图 3 这种拍摄方式在slam或者sfm中更多见，而传统三维重建或者rgbd重建是很难做出 nerf 或者 semantic-nerf 这种效果的。所以方法可能很简单，但是这个工作很有意义。 应用的话，大家可以参考视频。
semantic-nerf应用
稀疏监督下的新视角语义生成(semantic view synthesis with sparse labels
语义标签去噪(labeldenoising
语义标签超分辨(super-resolution)
稀疏语义标签传播(labelpropagation)
多视角语义融合(multi-view semantic fusion)
稠密的语义三维重建
在这篇工作之后智博又做了 ilabel 的工作，将 imap 和 semantic-nerf 结合，这里我们就不细讲了，感兴趣的同学欢迎去看原文。 需要提到的另一篇工作是 nesf 这篇文章。 智博在讲解 nesf 的时候提到，训练的sample是场景，而不是图片，这是对这篇文章的一个高度概况。nesf 首先会训练许多场景，比如100个场景，那我们就会得到100个 nerf 的模型，我们对这 100 个 nerf 的模型做 grid query，从而获取一个 density grid，其实就是一堆规则的点，可以使用 3d 卷积，从而转换为 feature grid. 对 feature grid 做 volume rendering 就能渲染出各个视角的语义图像了。下面是 nesf 的流程图。
图 4 nesf流程图 nesf 的泛化性从 demo 来看还是不错的，但是这样的工作显然不是我们可以玩的 (训练 100 个 nerf)， 你几乎不用猜都知道是哪里出的工作。 这也就引出了 nerf 的许多痛点，印象里第四讲嘉宾在讲 nerf in the wild 和 ha-nerf 的时候说，每次实验要 4 张v100 跑2天。因此不论是推理还是训练，加速工作都显得尤为重要，对语义 nerf 相关的工作更是如此，因为目前的加速工作大都倾向于摆脱神经网络。 动态场景的 nerf 也有一些工作，但是是否一样能像 semantic nerf 一样，很轻松地 work 呢？其实能引发的问题还是挺多的。 评估一项工作的 novelty 的其中一项指标就是看这篇工作挖了多少坑，能启发多少后续工作，semantic nerf 就是这样的一篇工作。如果你看懂这个系列的工作，推荐大家立刻去看 panoptic nerf 相关的工作。
微型收音机电路原理图
随钻声波测井仪应用中的传输技术简介
钢管相贯线切割机在钢结构行业中有哪些特点
德承发布全新高效紧凑型嵌入式工业电脑DX-1200，为工控领域增添生力军
基于ARM9处理器AT91RM9200和MCP25lO的CA
基于NeRF的三维场景重建和理解
俄军电子战能力令西方咋舌
二维半导体薄膜在任意表面的异质外延技术
沟通触摸器电机正回转电路原理
低功耗门铃模块特点与功能描述
汽车终将由软件来定义，BlackBerry QNX欲捷足先登
电路设计的思路和原则
松下在CES 2017中展出仅0.45mm可弯曲的锂电池
人工智能到底对传统制造业能影响到哪个程度？
一文看懂低压互感器型号及作用
技术干货 全面对11种AGV导航方式进行一次性阐述
基于LV8907无传感器三相无刷直流马达控制方案
如何实现更高分辨率，更少的位三元DAC
功率表测量用互感器接线有什么注意事项
ZigBee全面对比6LoWPAN_物联网最佳拍档花落谁家？