基于3D数据卷积神经网络的物体识别
在增强现实（ar）与自动驾驶的时代来临之际，3d数据呈现爆炸式增长。在不久的将来，处理3d数据的算法将应用于像机器人自动巡航、基于ar的智能用户界面等应用程序上。受此启发，我们在matroid公司所著的论文提出了fusionnet，这一框架用于在一个名为princeton modelnet的标准数据集上做3d cad物体分类。
fusionnet的核心是全新的、应用于3d物体的三维卷积神经网络（convolutional neural networks， cnn）。我们必须在多个方面调整传统的cnn以使其有效。为了解释得清楚些，我们不妨先看一下用于图像分类的二维cnn。这个思路是，机器学习研究者会构建数个隐层形成的模型，每一层与前一层都以不同的形式连接。在第一层，你会拥有一个在二维图像上滑动的一块窗口区域作为输入。因为这个区域执行了卷积操作——在窗口滑动时它交叠其上，因此它被称为卷积层。其后还有几层不同形式的隐层，最后一层用于预测潜在的输出；每一种输出对应着图像标注中的某种分类。在modelnet40 challenge数据集中，存在40个分类，因此模型中最后一层有40个神经元。第一类可能是“猫”，第二类可能是“车辆”，以此类推遍历数据集包含的所有分类。如果第一个神经元在40个中激发的最厉害，那么输入样本就会被判别为第一类，一只猫。
整个模型假设输入是图片形式，即二维数据。你该如何将它拓展到三维呢？一种可能的方法是，就像显示器显示三维物体那样，先把物体通过投影处理成二维图像，然后在其上运行标准的二维cnn算法。实际上，现在在princeton modelnet challenge数据集上已提交的最优算法的思路是，把任何3d物体在多个角度上对物体进行一组2d投影进行“像素表达”，然后使用卷积神经网络。fusionnet确实也基于像素表达使用了cnn，但关键是，它同时还增加了一种新式的三维cnn。
与在二维图像上滑动一个区域不同的是，我们可以在物体上滑动一块三维空间了！在这种表达之下，没有必要做投影这一步。这种方法用“体积表达”来处理物体。
在我们的体积表达中，3d物体被离散化为30*30*30的体素（译者注：volumepixel，文中简称voxel）网格。如果物体的任何部分位于1*1*1的体素中，就给体素赋值为1，反之则赋值为0. 与之前的工作不同的是，我们在学习物体特征的过程中同时用到了像素表达和体素表达，这种方法对分类3d cad物体而言，比单独使用其中一种要好。其中一些例子如下：
图 1. 两种表达。 左图：浴缸、高脚凳、坐便器与衣橱的2d投影。右图：体素化之后的浴缸、高脚凳、坐便器与衣橱。 感谢reza zadeh提供图片
我们建立了两种处理体素数据的卷积神经网络（v-cnn i与v-cnn ii），以及一种处理像素数据的网络（mv-cnn）。 下图显示了这些网络是如何结合在一起工作，并给出对于物体分类的最终判断的。处理2d图像的标准cnn就不一样了，它们只能从图像中学到一些空间局部特征。
图2. fusionnet是三种神经网络的混合，它们分别是v-cnn i， v-cnn ii， and mv-cnn （最后一种神经网络是基于alexnet结构构建的，并经过imagenet数据集预训练过 ） 这三种网络在评分层进行了融合，通过计算打分的线性组合找到最终所预测的分类。前两个网络使用了体素化的cad模型，最后一种网络则使用2d投影作为输入。感谢reza zadeh提供图片
我们使用了标准预训练神经网络模型（alexnet）作为2d网络mv-cnn的基础，对3d物体2d投影的网络进行暖启动（warm-start）预训练基于大规模2d像素图片数据集imagenet。受预训练影响，许多用于2d图像分类的特征不需要从头开始训练了。下图所描绘的框架是我们使用的v-cnn之一种（v-cnn i）：
图 3. 感谢reza zadeh提供图片
v-cnn i所使用的框架受到googlenet（www.cs.unc.edu/~wliu/papers/googlenet.pdf）启发， 使用了inception模块。inception模块对不同大小的核处理结果进行了拼接，它有助于神经网络学习不同尺度的特征，并在紧接着inception模块的下一层卷积层中共享参数。
概括来说，fusionnet是三种神经网络的融合，其中一种基于像素表达，两种基于物体的体素化表达。它利用了每一种网络的强项，提高了分类器性能。fusionnet中的每一个网络组分都在对物体分类之前以多个角度、方向观察物体。尽管从直觉来说，对物体的多角度观察确实能比单角度观察带来更多信息，但是将信息整合到一起以提高预测精度并不显而易见。我们使用了20个像素表达特征与60个cad物体体素表达特征这么多信息用于进行物体分类。fusionnet的效果超越了在princeton modelnet 40类数据集榜单上排名第一的提交方案，展示了其独到的能力。
荣耀9、小米6、努比亚Z17都是一流的外观设计你买谁?荣耀9、小米6、努比亚Z17区别对比评测
2019年物联网发展的4项预测
石墨烯电池的应用，华为将颠覆手机电池技术
电动车福音，续航1600公里的铝空气化学电池曝光
欲求其上，必求上上，探索半导体探针台国产化之路
基于3D数据卷积神经网络的物体识别
计算机如何传输数据 网卡的工作原理
双十一迷你投影仪的黑马，千元投影机皇小明 Q2投影仪！
基于USB 快充(USB-PD) 浪涌保护
COP28 | 华为杨友桂：推动能源革命，共建绿色美好未来
Gita是一个能够搬运杂货的载货机器人 有助于节省人工成本
TD创新具有战略意义 TD-LTE决定TD能走多远
为什么说iOS系统仍然是Android系统需要追赶的目标？
雷达流量计如何合理掌握河流变化规律
理想汽车战略会：账上700亿元现金要“花掉”
松下暂停布法罗电池工厂业务 与特斯拉有关系都关掉？
双十一充电宝怎么选比较实惠?平价好用的充电宝推荐
永磁发电机和励磁发电机的区别
【CVM01系列】| MCU硬件设计指南：时钟电路
关于计划研究离散型智能工厂的建设
fusionnet的核心是全新的、应用于3d物体的三维卷积神经网络（convolutional neural networks， cnn）。我们必须在多个方面调整传统的cnn以使其有效。为了解释得清楚些，我们不妨先看一下用于图像分类的二维cnn。这个思路是，机器学习研究者会构建数个隐层形成的模型，每一层与前一层都以不同的形式连接。在第一层，你会拥有一个在二维图像上滑动的一块窗口区域作为输入。因为这个区域执行了卷积操作——在窗口滑动时它交叠其上，因此它被称为卷积层。其后还有几层不同形式的隐层，最后一层用于预测潜在的输出；每一种输出对应着图像标注中的某种分类。在modelnet40 challenge数据集中，存在40个分类，因此模型中最后一层有40个神经元。第一类可能是“猫”，第二类可能是“车辆”，以此类推遍历数据集包含的所有分类。如果第一个神经元在40个中激发的最厉害，那么输入样本就会被判别为第一类，一只猫。
整个模型假设输入是图片形式，即二维数据。你该如何将它拓展到三维呢？一种可能的方法是，就像显示器显示三维物体那样，先把物体通过投影处理成二维图像，然后在其上运行标准的二维cnn算法。实际上，现在在princeton modelnet challenge数据集上已提交的最优算法的思路是，把任何3d物体在多个角度上对物体进行一组2d投影进行“像素表达”，然后使用卷积神经网络。fusionnet确实也基于像素表达使用了cnn，但关键是，它同时还增加了一种新式的三维cnn。
与在二维图像上滑动一个区域不同的是，我们可以在物体上滑动一块三维空间了！在这种表达之下，没有必要做投影这一步。这种方法用“体积表达”来处理物体。
在我们的体积表达中，3d物体被离散化为30*30*30的体素（译者注：volumepixel，文中简称voxel）网格。如果物体的任何部分位于1*1*1的体素中，就给体素赋值为1，反之则赋值为0. 与之前的工作不同的是，我们在学习物体特征的过程中同时用到了像素表达和体素表达，这种方法对分类3d cad物体而言，比单独使用其中一种要好。其中一些例子如下：
图 1. 两种表达。 左图：浴缸、高脚凳、坐便器与衣橱的2d投影。右图：体素化之后的浴缸、高脚凳、坐便器与衣橱。 感谢reza zadeh提供图片
我们建立了两种处理体素数据的卷积神经网络（v-cnn i与v-cnn ii），以及一种处理像素数据的网络（mv-cnn）。 下图显示了这些网络是如何结合在一起工作，并给出对于物体分类的最终判断的。处理2d图像的标准cnn就不一样了，它们只能从图像中学到一些空间局部特征。
图2. fusionnet是三种神经网络的混合，它们分别是v-cnn i， v-cnn ii， and mv-cnn （最后一种神经网络是基于alexnet结构构建的，并经过imagenet数据集预训练过 ） 这三种网络在评分层进行了融合，通过计算打分的线性组合找到最终所预测的分类。前两个网络使用了体素化的cad模型，最后一种网络则使用2d投影作为输入。感谢reza zadeh提供图片
我们使用了标准预训练神经网络模型（alexnet）作为2d网络mv-cnn的基础，对3d物体2d投影的网络进行暖启动（warm-start）预训练基于大规模2d像素图片数据集imagenet。受预训练影响，许多用于2d图像分类的特征不需要从头开始训练了。下图所描绘的框架是我们使用的v-cnn之一种（v-cnn i）：
图 3. 感谢reza zadeh提供图片
v-cnn i所使用的框架受到googlenet（www.cs.unc.edu/~wliu/papers/googlenet.pdf）启发， 使用了inception模块。inception模块对不同大小的核处理结果进行了拼接，它有助于神经网络学习不同尺度的特征，并在紧接着inception模块的下一层卷积层中共享参数。
概括来说，fusionnet是三种神经网络的融合，其中一种基于像素表达，两种基于物体的体素化表达。它利用了每一种网络的强项，提高了分类器性能。fusionnet中的每一个网络组分都在对物体分类之前以多个角度、方向观察物体。尽管从直觉来说，对物体的多角度观察确实能比单角度观察带来更多信息，但是将信息整合到一起以提高预测精度并不显而易见。我们使用了20个像素表达特征与60个cad物体体素表达特征这么多信息用于进行物体分类。fusionnet的效果超越了在princeton modelnet 40类数据集榜单上排名第一的提交方案，展示了其独到的能力。
荣耀9、小米6、努比亚Z17都是一流的外观设计你买谁?荣耀9、小米6、努比亚Z17区别对比评测
2019年物联网发展的4项预测
石墨烯电池的应用，华为将颠覆手机电池技术
电动车福音，续航1600公里的铝空气化学电池曝光
欲求其上，必求上上，探索半导体探针台国产化之路
基于3D数据卷积神经网络的物体识别
计算机如何传输数据 网卡的工作原理
双十一迷你投影仪的黑马，千元投影机皇小明 Q2投影仪！
基于USB 快充(USB-PD) 浪涌保护
COP28 | 华为杨友桂：推动能源革命，共建绿色美好未来
Gita是一个能够搬运杂货的载货机器人 有助于节省人工成本
TD创新具有战略意义 TD-LTE决定TD能走多远
为什么说iOS系统仍然是Android系统需要追赶的目标？
雷达流量计如何合理掌握河流变化规律
理想汽车战略会：账上700亿元现金要“花掉”
松下暂停布法罗电池工厂业务 与特斯拉有关系都关掉？
双十一充电宝怎么选比较实惠?平价好用的充电宝推荐
永磁发电机和励磁发电机的区别
【CVM01系列】| MCU硬件设计指南：时钟电路
关于计划研究离散型智能工厂的建设