英特尔研究院发布全新AI扩散模型，可根据文本提示生成360度全景图
英特尔研究院宣布与blockade labs合作发布ldm3d（latent diffusion model for 3d）模型，这一全新的扩散模型使用生成式ai创建3d视觉内容。ldm3d是业界领先的利用扩散过程（diffusion process）生成深度图（depth map）的模型，进而生成逼真的、沉浸式的360度全景图。ldm3d有望革新内容创作、元宇宙应用和数字体验，改变包括娱乐、游戏、建筑和设计在内的许多行业。
“
生成式ai技术旨在提高和增强人类创造力，并节省时间。然而，目前的大部分生成式ai模型仅限于生成2d图像，仅有少数几种可根据文本提示生成3d图像。在使用几乎相同数量参数的情况下，不同于现存的潜在扩散模型，ldm3d可以根据用户给定的文本提示同时生成图像和深度图。与深度估计中的标准后处理方法相比，ldm3d能够为图像中的每个像素提供更精准的相对深度，并为开发者省去了大量用于场景开发的时间。
-- vasudev lal
英特尔研究院人工智能和机器学习研究专家
”
封闭的生态系统限制了规模。英特尔致力于推动ai的真正普及，通过开放的生态系统让更多人从这项技术中受益。计算机视觉领域近年来取得了重大进展，特别是在生成式ai方面。然而，当今许多先进的生成式ai模型只能生成2d图像。与通常只能根据文本提示生成2d rgb图像的现有扩散模型不同，ldm3d可以根据用户给定的文本提示同时生成图像和深度图。与深度估计（depth estimation）中的标准后处理（post-processing）方法相比，ldm3d在使用与潜在扩散模型stable diffusion几乎相同数量参数的情况下，能够为图像中的每个像素提供更精准的相对深度（relative depth）。
这项研究有望改变我们与数字内容的互动方式，基于文本提示为用户提供全新的体验。ldm3d生成的图像和深度图能够将诸如宁静的热带海滩、摩天大楼、科幻宇宙等文本描述转化为细致的360度全景图。ldm3d捕捉深度信息的能力，可以即时增强整体真实感和沉浸感，使各行各业的创新应用成为可能，包括娱乐、游戏、室内设计、房产销售，以及虚拟博物馆与沉浸式vr体验等。
6月20日，在ieee/cvf计算机视觉和模式识别会议（cvpr）的3dmv工作坊上，ldm3d模型获得了“best poster award”。
ldm3d是在laion-400m数据集包含一万个样本的子集上训练而成的。laion-400m是一个大型图文数据集，包含超过4亿个图文对。对训练语料库进行标注时，研究团队使用了之前由英特尔研究院开发的稠密深度估计模型dpt-large，为图像中的每个像素提供了高度准确的相对深度。laion-400m数据集是基于研究用途创建而成的，以便广大研究人员和其它兴趣社群能在更大规模上测试模型训练。
为了展示ldm3d的潜力，英特尔和blockade的研究人员开发了应用程序depthfusion，通过标准的2d rgb图像和深度图创建沉浸式、交互式的360度全景体验。depthfusion利用了touchdesigner，一种基于节点的可视化编程语言，用于实时互动多媒体内容，可将文本提示转化为交互式和沉浸式数字体验。ldm3d是能生成rgb图像及其深度图的单一模型，因此能够节省内存占用和降低延迟。
备注：
1 地址：https://huggingface.co/docs/diffusers/main/en/api/pipelines/stable_diffusion/ldm3d_diffusion
2 地址：
https://arxiv.org/abs/2305.10853
5G技术将加速嵌入式设备的市场发展
高压防身电棒电路
labview视觉开发模块认识及应用
STM8 CAN总线的IdMask模式的讲解
浅谈MITSUBUSHI CM400DU-12F配件
英特尔研究院发布全新AI扩散模型，可根据文本提示生成360度全景图
首创AI语音电梯在北京海淀医院试运行
aigo移动固态硬盘S7 Pro体验，装个Win to Go更便捷高效
Mobility Radeon 9600移动显示芯片
SRAM中晶圆级芯片级封装有哪些要求
国家电网首个智慧变电站投运，可增供电量1080万千瓦时
《 红外线遥控系统 》设计原理、架构图及代码
用6N9P和6N7P DIY靓声胆机,6N9P+6N7P AMPLIFIER
工联院鲁春丛：AI赋智打造工业互联网升级版
美国菲力尔G300助化工气体监控
华为荣耀8青春版图文评测：性价比超高！兼顾美与性能兼得的千元旗舰！
手机快充技术全面来袭，四大方案如何选？
SMT贴片加工中预防短路的方法
2018年AR创企总数增长50%，源源不断地涌入的资金让AR市场继续蓬勃生长
一款双通道、电流模式PWM降压型DC/DC转换器-LT3692
“
生成式ai技术旨在提高和增强人类创造力，并节省时间。然而，目前的大部分生成式ai模型仅限于生成2d图像，仅有少数几种可根据文本提示生成3d图像。在使用几乎相同数量参数的情况下，不同于现存的潜在扩散模型，ldm3d可以根据用户给定的文本提示同时生成图像和深度图。与深度估计中的标准后处理方法相比，ldm3d能够为图像中的每个像素提供更精准的相对深度，并为开发者省去了大量用于场景开发的时间。
-- vasudev lal
英特尔研究院人工智能和机器学习研究专家
”
封闭的生态系统限制了规模。英特尔致力于推动ai的真正普及，通过开放的生态系统让更多人从这项技术中受益。计算机视觉领域近年来取得了重大进展，特别是在生成式ai方面。然而，当今许多先进的生成式ai模型只能生成2d图像。与通常只能根据文本提示生成2d rgb图像的现有扩散模型不同，ldm3d可以根据用户给定的文本提示同时生成图像和深度图。与深度估计（depth estimation）中的标准后处理（post-processing）方法相比，ldm3d在使用与潜在扩散模型stable diffusion几乎相同数量参数的情况下，能够为图像中的每个像素提供更精准的相对深度（relative depth）。
这项研究有望改变我们与数字内容的互动方式，基于文本提示为用户提供全新的体验。ldm3d生成的图像和深度图能够将诸如宁静的热带海滩、摩天大楼、科幻宇宙等文本描述转化为细致的360度全景图。ldm3d捕捉深度信息的能力，可以即时增强整体真实感和沉浸感，使各行各业的创新应用成为可能，包括娱乐、游戏、室内设计、房产销售，以及虚拟博物馆与沉浸式vr体验等。
6月20日，在ieee/cvf计算机视觉和模式识别会议（cvpr）的3dmv工作坊上，ldm3d模型获得了“best poster award”。
ldm3d是在laion-400m数据集包含一万个样本的子集上训练而成的。laion-400m是一个大型图文数据集，包含超过4亿个图文对。对训练语料库进行标注时，研究团队使用了之前由英特尔研究院开发的稠密深度估计模型dpt-large，为图像中的每个像素提供了高度准确的相对深度。laion-400m数据集是基于研究用途创建而成的，以便广大研究人员和其它兴趣社群能在更大规模上测试模型训练。
为了展示ldm3d的潜力，英特尔和blockade的研究人员开发了应用程序depthfusion，通过标准的2d rgb图像和深度图创建沉浸式、交互式的360度全景体验。depthfusion利用了touchdesigner，一种基于节点的可视化编程语言，用于实时互动多媒体内容，可将文本提示转化为交互式和沉浸式数字体验。ldm3d是能生成rgb图像及其深度图的单一模型，因此能够节省内存占用和降低延迟。
备注：
1 地址：https://huggingface.co/docs/diffusers/main/en/api/pipelines/stable_diffusion/ldm3d_diffusion
2 地址：
https://arxiv.org/abs/2305.10853
5G技术将加速嵌入式设备的市场发展
高压防身电棒电路
labview视觉开发模块认识及应用
STM8 CAN总线的IdMask模式的讲解
浅谈MITSUBUSHI CM400DU-12F配件
英特尔研究院发布全新AI扩散模型，可根据文本提示生成360度全景图
首创AI语音电梯在北京海淀医院试运行
aigo移动固态硬盘S7 Pro体验，装个Win to Go更便捷高效
Mobility Radeon 9600移动显示芯片
SRAM中晶圆级芯片级封装有哪些要求
国家电网首个智慧变电站投运，可增供电量1080万千瓦时
《 红外线遥控系统 》设计原理、架构图及代码
用6N9P和6N7P DIY靓声胆机,6N9P+6N7P AMPLIFIER
工联院鲁春丛：AI赋智打造工业互联网升级版
美国菲力尔G300助化工气体监控
华为荣耀8青春版图文评测：性价比超高！兼顾美与性能兼得的千元旗舰！
手机快充技术全面来袭，四大方案如何选？
SMT贴片加工中预防短路的方法
2018年AR创企总数增长50%，源源不断地涌入的资金让AR市场继续蓬勃生长
一款双通道、电流模式PWM降压型DC/DC转换器-LT3692