基于人工智能视觉问答技术的人机协作数字孪生模型仿真方案
作为实现智能制造、工业4.0、工业互联网和智能城市的一种技术和手段，数字孪生（digital twin）正迅速引起学术界和工业界的关注并被逐渐应用。数字孪生是以数字化的方式建立多空间尺度、多时间尺度、多物理实体的多维动态虚拟模型来仿真真实环境中的属性、行为和性能等。目前，基础的数字孪生模型通常为最初定义的三维模型，即物理实体、虚拟实体以及它们之间的联系。随着物联网、大数据、人工智能等新信息技术的发展，数字孪生在向着基于物联网的集成、虚拟实体与实体的互联等方向发展。通过大数据分析方法和人工智能的深入结合，融合多源异构数据，支持虚拟数据与真实数据的连接，数字孪生模型可以提供智能决策。这一进展为实时仿真和优化创造了可能，从而提供了按需智能服务。
本研究旨在结合人工智能中的视觉问答技术，将数字孪生模型应用于人机协作任务上。如图1所示，用于人机协作的数字孪生模型由五部分组成：物理系统、虚拟系统、服务系统、数据库和各部分间的交互。物理系统中包括每个物理实体，人类和机器是重要的组成部分，此外，还考虑了加工的产品、加工设备、周围环境信息等。速度、能量、温度、湿度、压力等数据可直接由传感器从材料、设备和环境中采集，人类的行为、状态、意图则以摄像、语音或计算及外部输入设备等方式进行获取。上述数字信息共同构成了人机协作的数字孪生模型中的虚拟系统。然后，在服务系统中，应用人工智能技术，对系统中的视觉信息、自然语言信息和传感器信息进行综合分析、建模、表征和预测，其结果进一步补充至虚拟系统。最后，虚拟系统对现实世界中的人类、机器进行反馈，从而形成完整的数字孪生闭环系统。
图1 数字孪生五维模型示意图
结合视觉问答技术，现实的物理世界在虚拟系统中进行演化，其演化结果进一步反馈并影响现实世界，过程如图2所示。举例来说，如果采用新的策略对生产线进行改造，则可以首先在数字孪生系统中对生产过程进行仿真。用数字孪生模型模拟人类、机器及其相互作用。例如，如果将产品的尺寸改为较小的尺寸，则可能会调整相机的位置、传感器参数以获得清晰的图像和数据。同时，模型的结构和参数也可能需要调整。如果在数字孪生模型中新的策略得到成功的测试，那么就可以在实际的生产环境中进行部署。
图2 人机协作（hmc）流程示意图
2023网络与边缘产业高层峰会：英特尔携行业伙伴解锁网络与边缘无限潜能
调用机智云API，实现网页控制物联网别踩白块游戏在STM32上同步显示
基于数字PLL和DSP的调频FM发射器架构研究
pipeline高端玩法—haltIt介绍(九)
工业物联网解决方案：精梳机远程云组态监控平台
基于人工智能视觉问答技术的人机协作数字孪生模型仿真方案
嵌入式模块板卡BGA芯片胶底部填充胶应用
NVIDIA最新版GRD驱动，新增三款游戏的支持
AAPITech推出高可靠性腔体滤波器
华为IPv6制造云网解决方案助力实现AGV物流自动化和产品质量提升
电量计算公式多少度电 电量和度数怎么换算
基于电流测试的混合电路故障诊断
力邀Nvidia老将加盟，三星GPU的目标不止手机
BP3187EB 是一款高精度的两绕组、低PF原边反馈恒流驱动器
温度代码迁移
纪念版锐龙72700X日本上架 售价约合人民币2470元
阿里巴巴集团宣布，“双11”的销售额再创新高
dfrobotFT232USB转TTL串口线简介
科技巨头大力押注！300亿美元电动两轮车风靡欧美市场
全球范围内最为流行的测速工具Speedtest中国版体验：不止无广告
本研究旨在结合人工智能中的视觉问答技术，将数字孪生模型应用于人机协作任务上。如图1所示，用于人机协作的数字孪生模型由五部分组成：物理系统、虚拟系统、服务系统、数据库和各部分间的交互。物理系统中包括每个物理实体，人类和机器是重要的组成部分，此外，还考虑了加工的产品、加工设备、周围环境信息等。速度、能量、温度、湿度、压力等数据可直接由传感器从材料、设备和环境中采集，人类的行为、状态、意图则以摄像、语音或计算及外部输入设备等方式进行获取。上述数字信息共同构成了人机协作的数字孪生模型中的虚拟系统。然后，在服务系统中，应用人工智能技术，对系统中的视觉信息、自然语言信息和传感器信息进行综合分析、建模、表征和预测，其结果进一步补充至虚拟系统。最后，虚拟系统对现实世界中的人类、机器进行反馈，从而形成完整的数字孪生闭环系统。
图1 数字孪生五维模型示意图
结合视觉问答技术，现实的物理世界在虚拟系统中进行演化，其演化结果进一步反馈并影响现实世界，过程如图2所示。举例来说，如果采用新的策略对生产线进行改造，则可以首先在数字孪生系统中对生产过程进行仿真。用数字孪生模型模拟人类、机器及其相互作用。例如，如果将产品的尺寸改为较小的尺寸，则可能会调整相机的位置、传感器参数以获得清晰的图像和数据。同时，模型的结构和参数也可能需要调整。如果在数字孪生模型中新的策略得到成功的测试，那么就可以在实际的生产环境中进行部署。
图2 人机协作（hmc）流程示意图
2023网络与边缘产业高层峰会：英特尔携行业伙伴解锁网络与边缘无限潜能
调用机智云API，实现网页控制物联网别踩白块游戏在STM32上同步显示
基于数字PLL和DSP的调频FM发射器架构研究
pipeline高端玩法—haltIt介绍(九)
工业物联网解决方案：精梳机远程云组态监控平台
基于人工智能视觉问答技术的人机协作数字孪生模型仿真方案
嵌入式模块板卡BGA芯片胶底部填充胶应用
NVIDIA最新版GRD驱动，新增三款游戏的支持
AAPITech推出高可靠性腔体滤波器
华为IPv6制造云网解决方案助力实现AGV物流自动化和产品质量提升
电量计算公式多少度电 电量和度数怎么换算
基于电流测试的混合电路故障诊断
力邀Nvidia老将加盟，三星GPU的目标不止手机
BP3187EB 是一款高精度的两绕组、低PF原边反馈恒流驱动器
温度代码迁移
纪念版锐龙72700X日本上架 售价约合人民币2470元
阿里巴巴集团宣布，“双11”的销售额再创新高
dfrobotFT232USB转TTL串口线简介
科技巨头大力押注！300亿美元电动两轮车风靡欧美市场
全球范围内最为流行的测速工具Speedtest中国版体验：不止无广告