基于3D相机组装家具

虹科智能感知事业部专注于智能感知与机器视觉领域,已经和id‍‍‍‍‍‍‍‍‍s,blickfeld和gidel等有着重要地位的国际公司展开深度的技术合作。我们的解决方案包括3d激光雷达,工业相机,视觉处理平台,图像采集卡及视觉系统集成等。虹科的工程师积极参与国内外专业协会和联盟的活动,我们非常重视技术培训和积累,公司定期与国内外专家团队进行交流和培训。
相信大家都经历过一件事:组装新家具。把零件按顺序排列好,查看安装说明,发现要花费的时间比预期要长!
新加坡南洋理工大学(ntu singapore)的科学家们研制了一种机器人,可以独立组装椅子的各个零件。该机器人由一个hk ensenso n35 3d相机和两个能抓取物体的机器臂组成。‍‍‍‍‍‍‍‍‍    
应用  
为了帮助机器人组装宜家的椅子,来自“机械与航空工程学院”的团队用三个不同的开源库对算法进行编码。机器人的硬件设计是为了模拟人们如何安装物体:“眼睛”为3d摄像头,“手臂”为能够在六个轴上运动的工业机械臂。每只机械臂都有抓手来抓取物体。手腕上安装了力传感器,以确定“手指”的握力以及它们使物体相互接触的强度。  
机器人开始组装过程时,会拍摄地面上各部件的3d图像,生成各部件估计位置的地图,由hk ensenso 3d相机完成。相机的工作原理是模仿人类视觉的“投影纹理立体视觉”(stereo vision)。两台相机从两个不同的位置获取同一场景的图像。虽然摄像机看到的场景内容是相同的,但根据摄像机的投影射线得到的物体位置不同。特殊的匹配算法比较两幅图像,搜索相应的点,并在视差图中可视化所有点的位移。虹科提供软件可以确定每个单独的图像像素或物体点的三维坐标,以便于完成椅子的组装。
难点  
难点是在混乱的环境中尽可能精确、快速、可靠地定位组件。虹科3d相机依赖大功率投影仪足以满足这些需求。即使在艰难的光线条件下,投影仪也能通过图像掩模在物体表面产生高对比度的纹理。投射的纹理补充了宜家椅子组件上薄弱或不存在的物体表面结构。
这个应用利用了虹科n35系列相机中独有的flexview投影仪技术,投影在组件物体表面上的模式可以改变表面上的纹理,检测得到的深度信息非常精确完整,该项技术是通过获取同一目标场景的不同纹理的多幅图像融合成一帧图像得到。另一个优势是hk ensenso软件提供机器人手眼标定功能。使用一个标定板,它确保相机坐标系(在这种情况下是相机是静止的)的位置是相对于基础坐标系(组件的位置)确定的。这使得机器人的手能够准确地对图像信息做出反应,并准确地到达目的地。
“对于一个机器人来说,把椅子精确的拼凑比人为工作更复杂”南洋理工大学的pham quang cuong教授解释道。“必须分解成不同的步骤,比如识别不同的椅子部件在哪里,抓住这些部件所需要的力量,以及确保机械手臂在移动时不会相互碰撞。通过相当大的工程努力,我们开发了算法,使机器人能够自行组装椅子。”结果是南洋理工大学的机器人只用了8分55秒就安装好宜家的“斯第芬”椅子。                
前景  
据pham quang cuong教授介绍,人工智能将使这一应用在未来更加独立和有前途:“我们希望在这种方法中融入更多的人工智能,使机器人更加自主,这样它就可以通过人类演示或阅读安装手册,甚至从组装产品的图片中学习组装椅子的不同步骤。”
新加坡南洋理工大学的科学家开发的机器人被用于对机敏操作的研究,这是一个需要精确控制专用机器人手或手指的力量和运动的机器人领域。这需要所有硬件和软件组件的完美交互。使用虹科3d相机进行三维图像处理是解决问题的关键。它在准确性上、经济和速度方面都令人信服。
这标志着家具组装的真正进步,且不止于此。
虹科ensenso n35
快速和精确的3d视觉
●gige接口-灵活多样
● 紧凑,坚固的铝外壳
● ip65/67
●全局曝光cmos传感器和点图案激光器,可选蓝色或红外led
● 最大帧率(3d):10
●工作距离最远3000mm(n35)且可调节
● 输出单个3d点云 
● 提供手眼标定步骤指引,易于设置
●带有标定板的机器人手眼标定集成功能
● 可集成ueye工业摄像头的软件,例如,捕捉附加的颜色信息或条形码
● 灵活的数据和帧率的采样和叠加


VR市场规模比肩智能手机 要颠覆还有两个关键点
三相异步电动机上的故障解决
哪些物联网应用可以减少企业犯错
CAD布局怎么用?简单讲解CAD布局用法和基本操作
PoE电源模块有噪音,连接摄像头不工作?按这几个思路准没错
基于3D相机组装家具
高频电路pcb设计
可以调温的烙铁,自己手动做
无线充电技术会影响到电池质量吗
IC设计上云正成为未来发展的必然趋势
中国量产64层3D NAND闪存芯片会带来什么影响
美格智能连续中标中国移动5G模组招标项目
硅晶圆供不应求到进入涨价周期,行业进入量价齐升的高景气度确定
iphone8什么时候上市?iphone8最新消息:iphone8即将发布,传来这五个消息,不知道是好还是坏
基于ROADM的全光网结构,CDC-F ROADM的介绍
一加3全新升级!国产手机的另一个佼佼者
维智公司元宇宙应用场景推动城市数字孪生落地及应用拓展
解锁云计算数据管理的四个关键因素是什么
光敏电阻器的种类及主要参数
AI领域经历淘金热 AI芯片由巨头把持