一种用于生成3D对象的替代方法
摘要
虽然最近关于根据文本提示生成 3d点云的工作已经显示出可喜的结果，但最先进的方法通常需要多个 gpu 小时来生成单个样本。这与最先进的生成图像模型形成鲜明对比，后者在几秒或几分钟内生成样本。在本文中，我们探索了一种用于生成 3d 对象的替代方法，该方法仅需 1-2 分钟即可在单个 gpu 上生成 3d 模型。
我们的方法首先使用文本到图像的扩散模型生成单个合成视图，然后使用以生成的图像为条件的第二个扩散模型生成 3d 点云。虽然我们的方法在样本质量方面仍未达到最先进的水平，但它的采样速度要快一到两个数量级，为某些用例提供了实际的权衡。
背景介绍
这种方法实施起来很简单，只需要在训练期间随机丢弃条件信息。我们在整个模型中采用这种技术，使用丢弃概率 为0.1。
简介
我们不是训练单个生成模型直接生成以文本为条件的点云，而是将生成过程分为三个步骤。首先，我们生成一个以文本标题为条件的综合视图。接下来，我们生成一个基于合成视图的粗略点云（1,024 个点）。最后，我们生成了一个以低分辨率点云和合成视图为条件的精细点云（4,096 个点）。在实践中，我们假设图像包含来自文本的相关信息，并且不明确地以文本为条件点云。
1、数据集
我们在数百万个 3d 模型上训练我们的模型。我们发现数据集的数据格式和质量差异很大，促使我们开发各种后处理步骤以确保更高的数据质量。 为了将我们所有的数据转换为一种通用格式，我们使用 blender（community，2018）从 20 个随机摄像机角度将每个 3d 模型渲染为 rgbad 图像，blender 支持多种 3d 格式并带有优化的渲染引擎。对于每个模型，我们的 blender 脚本将模型标准化为边界立方体，配置标准照明设置，最后使用 blender 的内置实时渲染引擎导出 rgbad 图像。
然后，我们使用渲染将每个对象转换为彩色点云。特别地，我们首先通过计算每个 rgbad 图像中每个像素的点来为每个对象构建一个稠密点云。这些点云通常包含数十万个不均匀分布的点，因此我们还使用最远点采样来创建均匀的 4k 点云。通过直接从渲染构建点云，我们能够避免尝试直接从 3d 网格采样点时可能出现的各种问题，例如模型中包含的采样点或处理以不寻常文件格式存储的 3d 模型 。
最后，我们采用各种启发式方法来减少数据集中低质量模型的出现频率。首先，我们通过计算每个点云的 svd 来消除平面对象，只保留那些最小奇异值高于某个阈值的对象。接下来，我们通过 clip 特征对数据集进行聚类（对于每个对象，我们对所有渲染的特征进行平均）。我们发现一些集群包含许多低质量的模型类别，而其他集群则显得更加多样化或可解释。
我们将这些集群分到几个不同质量的容器中，并使用所得容器的加权混合作为我们的最终数据集。
2、查看合成 glide 模型
本文的点云模型以文中数据集的渲染视图为条件，这些视图都是使用相同的渲染器和照明设置生成的。因此，为了确保这些模型正确处理生成的合成视图，我们的目标是显式生成与数据集分布相匹配的 3d 渲染。 为此，我们微调了 glide，混合了其原始的数据集和我们的 3d 渲染数据集。由于我们的 3d 数据集与原始 glide 训练集相比较小，因此我们仅在 5% 的时间内从 3d 数据集中采样图像，其余 95% 使用原始数据集。我们对 100k 次迭代进行了微调，这意味着该模型已经在 3d 数据集上进行了多次迭代（但从未两次看到完全相同的渲染视点）。
为了确保我们始终对分布渲染进行采样（而不是仅在 5% 的时间内对其进行采样），我们在每个 3d 渲染的文本提示中添加了一个特殊标记，表明它是 3d 渲染；然后我们在测试时使用此标记进行采样。
3、点云扩散
值得注意的是，我们没有为这个模型使用位置编码。因此，模型本身对于输入点云是排列不变的（尽管输出顺序与输入顺序相关）。
4、点云上采样
对于图像扩散模型，最好的质量通常是通过使用某种形式的层级结构来实现的，其中低分辨率基础模型产生输出，然后由另一个模型进行上采样。我们采用这种方法来生成点云，首先使用大型基础模型生成 1k 点，然后使用较小的上采样模型上采样到 4k 点。
值得注意的是，我们模型的计算需求随点数的增加而增加，因此对于固定模型大小，生成 4k 点的成本是生成 1k 点的四倍。 我们的上采样器使用与我们的基本模型相同的架构，为低分辨率点云提供额外的条件标记。为了达到 4k 点，上采样器以 1k 点为条件并生成额外的 3k 点，这些点被添加到低分辨率点云中。我们通过一个单独的线性嵌入层传递条件点，而不是用于 的线性嵌入层，从而允许模型将条件信息与新点区分开来，而无需使用位置嵌入。
5、点云网格
对于基于渲染的评估，我们不直接渲染生成的点云。相反，我们将点云转换为带纹理的网格并使用 blender 渲染这些网格。从点云生成网格是一个经过充分研究的问题，有时甚至是一个难题。我们的模型生成的点云通常有裂缝、异常值或其他类型的噪声，使问题特别具有挑战性。
为此，我们简要尝试使用预训练的 sap 模型（peng 等人，2021 年），但发现生成的网格有时会丢失点云中存在的大部分形状或重要的形状细节。我们没有训练新的 sap 模型，而是选择了一种更简单的方法。 为了将点云转换为网格，我们使用基于回归的模型来预测给定点云的对象的符号距离场，然后将行进立方体 (lorensen & cline, 1987) 应用于生成的 sdf 以提取网格。然后，我们使用距离原始点云最近的点的颜色为网格的每个顶点分配颜色。
实验结果
由于通过文本条件合成3d是一个相当新的研究领域，因此还没有针对此任务的标准基准集。然而，其他几项工作使用 clip r-precision 评估 3d 生成，我们在表 1 中与这些方法进行了比较。除了 clip r-precision 之外，我们还注意到报告的每种方法的采样计算要求。
虽然我们的方法比当前最先进的方法表现要差些，但我们注意到此评估的两个微妙之处，它们可以解释部分（但可能不是全部）这种差异：
与 dreamfusion 等基于多视图优化的方法不同，point e 不会明确优化每个视图以匹配文本提示。这可能会导致 clip r-precision 降低，因为某些物体不容易从所有角度识别。
我们的方法生成的点云必须在渲染前进行预处理。将点云转换为网格是一个难题，我们使用的方法有时会丢失点云本身中存在的信息。
总结与展望
本文介绍了 point e，一个用于从文本生成点云的方法，它首先生成合成视图，然后生成以这些视图为条件的彩色点云。我们发现 point e 能够根据文本提示有效地生成多样化和复杂的 3d 形状。希望我们的方法可以作为文本到 3d这一块研究领域进一步工作的起点。
比亚迪将隆重举办DiLink智享盛典
酷睿i7-11375H性能实测 单核性能也能让人羡慕
双控开关是什么?双控开关可以当单控用吗
美军为何积极推销新型炮弹无人机
搭载屏下指纹技术的手机数量在2019年将会迎来爆发式增长
一种用于生成3D对象的替代方法
医疗进入家庭的经济驱动因素
基于2.4G无线通信和CAN总线技术实现汽车故障诊断仪的设计
智慧农业：自动化的胡萝卜收割机，这也太厉害了吧
IBM 最新调研：当提升生产力跃升为首要任务，CEO 们纷纷拥抱生成式人工智能
恩智浦推出全新i.MX 8X处理器，为工业应用带来更高的安全性、可靠性和可扩展性
凝胶放电灵感来源于电鳗的柔性电池
反推原理图/原理图制作
韶音AEROPEX骨传导耳机体验 三个按键控制简单高效
微软对OpenAI投资遭欧盟调查
RIM颠覆往日设计风格 首款滑盖黑莓泄露
沈炜谈vivo未来发展的 “三要”大纲
气密性检测的IP等级是什么意思？
谈AI技术和全球半导体的发展态势
共迎鸿蒙生态新机遇｜中软国际教育荣获2023年华为开发者联盟鸿蒙生态人才发展奖
虽然最近关于根据文本提示生成 3d点云的工作已经显示出可喜的结果，但最先进的方法通常需要多个 gpu 小时来生成单个样本。这与最先进的生成图像模型形成鲜明对比，后者在几秒或几分钟内生成样本。在本文中，我们探索了一种用于生成 3d 对象的替代方法，该方法仅需 1-2 分钟即可在单个 gpu 上生成 3d 模型。
我们的方法首先使用文本到图像的扩散模型生成单个合成视图，然后使用以生成的图像为条件的第二个扩散模型生成 3d 点云。虽然我们的方法在样本质量方面仍未达到最先进的水平，但它的采样速度要快一到两个数量级，为某些用例提供了实际的权衡。
背景介绍
这种方法实施起来很简单，只需要在训练期间随机丢弃条件信息。我们在整个模型中采用这种技术，使用丢弃概率 为0.1。
简介
我们不是训练单个生成模型直接生成以文本为条件的点云，而是将生成过程分为三个步骤。首先，我们生成一个以文本标题为条件的综合视图。接下来，我们生成一个基于合成视图的粗略点云（1,024 个点）。最后，我们生成了一个以低分辨率点云和合成视图为条件的精细点云（4,096 个点）。在实践中，我们假设图像包含来自文本的相关信息，并且不明确地以文本为条件点云。
1、数据集
我们在数百万个 3d 模型上训练我们的模型。我们发现数据集的数据格式和质量差异很大，促使我们开发各种后处理步骤以确保更高的数据质量。 为了将我们所有的数据转换为一种通用格式，我们使用 blender（community，2018）从 20 个随机摄像机角度将每个 3d 模型渲染为 rgbad 图像，blender 支持多种 3d 格式并带有优化的渲染引擎。对于每个模型，我们的 blender 脚本将模型标准化为边界立方体，配置标准照明设置，最后使用 blender 的内置实时渲染引擎导出 rgbad 图像。
然后，我们使用渲染将每个对象转换为彩色点云。特别地，我们首先通过计算每个 rgbad 图像中每个像素的点来为每个对象构建一个稠密点云。这些点云通常包含数十万个不均匀分布的点，因此我们还使用最远点采样来创建均匀的 4k 点云。通过直接从渲染构建点云，我们能够避免尝试直接从 3d 网格采样点时可能出现的各种问题，例如模型中包含的采样点或处理以不寻常文件格式存储的 3d 模型 。
最后，我们采用各种启发式方法来减少数据集中低质量模型的出现频率。首先，我们通过计算每个点云的 svd 来消除平面对象，只保留那些最小奇异值高于某个阈值的对象。接下来，我们通过 clip 特征对数据集进行聚类（对于每个对象，我们对所有渲染的特征进行平均）。我们发现一些集群包含许多低质量的模型类别，而其他集群则显得更加多样化或可解释。
我们将这些集群分到几个不同质量的容器中，并使用所得容器的加权混合作为我们的最终数据集。
2、查看合成 glide 模型
本文的点云模型以文中数据集的渲染视图为条件，这些视图都是使用相同的渲染器和照明设置生成的。因此，为了确保这些模型正确处理生成的合成视图，我们的目标是显式生成与数据集分布相匹配的 3d 渲染。 为此，我们微调了 glide，混合了其原始的数据集和我们的 3d 渲染数据集。由于我们的 3d 数据集与原始 glide 训练集相比较小，因此我们仅在 5% 的时间内从 3d 数据集中采样图像，其余 95% 使用原始数据集。我们对 100k 次迭代进行了微调，这意味着该模型已经在 3d 数据集上进行了多次迭代（但从未两次看到完全相同的渲染视点）。
为了确保我们始终对分布渲染进行采样（而不是仅在 5% 的时间内对其进行采样），我们在每个 3d 渲染的文本提示中添加了一个特殊标记，表明它是 3d 渲染；然后我们在测试时使用此标记进行采样。
3、点云扩散
值得注意的是，我们没有为这个模型使用位置编码。因此，模型本身对于输入点云是排列不变的（尽管输出顺序与输入顺序相关）。
4、点云上采样
对于图像扩散模型，最好的质量通常是通过使用某种形式的层级结构来实现的，其中低分辨率基础模型产生输出，然后由另一个模型进行上采样。我们采用这种方法来生成点云，首先使用大型基础模型生成 1k 点，然后使用较小的上采样模型上采样到 4k 点。
值得注意的是，我们模型的计算需求随点数的增加而增加，因此对于固定模型大小，生成 4k 点的成本是生成 1k 点的四倍。 我们的上采样器使用与我们的基本模型相同的架构，为低分辨率点云提供额外的条件标记。为了达到 4k 点，上采样器以 1k 点为条件并生成额外的 3k 点，这些点被添加到低分辨率点云中。我们通过一个单独的线性嵌入层传递条件点，而不是用于 的线性嵌入层，从而允许模型将条件信息与新点区分开来，而无需使用位置嵌入。
5、点云网格
对于基于渲染的评估，我们不直接渲染生成的点云。相反，我们将点云转换为带纹理的网格并使用 blender 渲染这些网格。从点云生成网格是一个经过充分研究的问题，有时甚至是一个难题。我们的模型生成的点云通常有裂缝、异常值或其他类型的噪声，使问题特别具有挑战性。
为此，我们简要尝试使用预训练的 sap 模型（peng 等人，2021 年），但发现生成的网格有时会丢失点云中存在的大部分形状或重要的形状细节。我们没有训练新的 sap 模型，而是选择了一种更简单的方法。 为了将点云转换为网格，我们使用基于回归的模型来预测给定点云的对象的符号距离场，然后将行进立方体 (lorensen & cline, 1987) 应用于生成的 sdf 以提取网格。然后，我们使用距离原始点云最近的点的颜色为网格的每个顶点分配颜色。
实验结果
由于通过文本条件合成3d是一个相当新的研究领域，因此还没有针对此任务的标准基准集。然而，其他几项工作使用 clip r-precision 评估 3d 生成，我们在表 1 中与这些方法进行了比较。除了 clip r-precision 之外，我们还注意到报告的每种方法的采样计算要求。
虽然我们的方法比当前最先进的方法表现要差些，但我们注意到此评估的两个微妙之处，它们可以解释部分（但可能不是全部）这种差异：
与 dreamfusion 等基于多视图优化的方法不同，point e 不会明确优化每个视图以匹配文本提示。这可能会导致 clip r-precision 降低，因为某些物体不容易从所有角度识别。
我们的方法生成的点云必须在渲染前进行预处理。将点云转换为网格是一个难题，我们使用的方法有时会丢失点云本身中存在的信息。
总结与展望
本文介绍了 point e，一个用于从文本生成点云的方法，它首先生成合成视图，然后生成以这些视图为条件的彩色点云。我们发现 point e 能够根据文本提示有效地生成多样化和复杂的 3d 形状。希望我们的方法可以作为文本到 3d这一块研究领域进一步工作的起点。
比亚迪将隆重举办DiLink智享盛典
酷睿i7-11375H性能实测 单核性能也能让人羡慕
双控开关是什么?双控开关可以当单控用吗
美军为何积极推销新型炮弹无人机
搭载屏下指纹技术的手机数量在2019年将会迎来爆发式增长
一种用于生成3D对象的替代方法
医疗进入家庭的经济驱动因素
基于2.4G无线通信和CAN总线技术实现汽车故障诊断仪的设计
智慧农业：自动化的胡萝卜收割机，这也太厉害了吧
IBM 最新调研：当提升生产力跃升为首要任务，CEO 们纷纷拥抱生成式人工智能
恩智浦推出全新i.MX 8X处理器，为工业应用带来更高的安全性、可靠性和可扩展性
凝胶放电灵感来源于电鳗的柔性电池
反推原理图/原理图制作
韶音AEROPEX骨传导耳机体验 三个按键控制简单高效
微软对OpenAI投资遭欧盟调查
RIM颠覆往日设计风格 首款滑盖黑莓泄露
沈炜谈vivo未来发展的 “三要”大纲
气密性检测的IP等级是什么意思？
谈AI技术和全球半导体的发展态势
共迎鸿蒙生态新机遇｜中软国际教育荣获2023年华为开发者联盟鸿蒙生态人才发展奖