基于OpenCV的机器人分拣系统设计
0 引言
随着各大电商的快速发展，我国快递行业的整体规模迅速壮大，包裹数量逐年增多，快递的错派、丢件等问题也日渐凸显，传统人工分拣已经无法适应当前的分拣需求，亟需一种用于自动检验、工件加工和装配自动化以及生产过程的控制和监视的图像识别机器，按任务需要从原始图像数据中提取有关信息、高度概括地描述图像内容，以便对图像的某些内容加以解释和判断。
目前，针对机器人分拣系统的方案研究成为众多学者关注的热点。韦志文[1]基于机器视觉设计了一种轻量化的分拣机器人，搭建了实验平台并完成了小型铸件的分拣。李殷[2]基于深度学习提出了工业机器人物品识别分拣系统设计，在建模解析分类之后工业机器人对物品进行实践分拣操作。马泽明等人[3]将视觉技术、搬运机器人和无线控制网相结合，设计了一种智能搬运机器人的实验平台。王连庆等人[4]构建了一套针对无序来料的定位系统，引导机械手对无序物料进行精确抓取和有序摆放。
本文设计的工业机器人分拣系统与工业相机的快速拍照功能相结合，可实现包裹读码后的快速分拣及信息记录交互等功能，大量减少了分拣过程中的人工需求，提高了分拣效率及自动化程度，并大幅度提高了分拣准确率。
1 opencv图像识别
图像处理技术是用计算机对图像信息进行处理的技术，通过图像处理可以提取图像中的有用信息并精简数据量，是决定分拣过程是否能够达到精准且高效的关键。本设计采用opencv[5]对原始图像进行预处理，提取图像特征，进行图像识别。本项目通过扫描物流包裹上的数字，对包裹进行识别，构建坐标系对机械臂完成协同控制，实现在复杂环境下的包裹分拣，提高了分拣过程中机械臂末端执行器的效能，物流快递包裹可进行有效分拣，达到快速分拣的目的，提高了工业生产效率，降低了工作成本。opencv图像处理流程图如图1所示。
1.1 基于opencv的ocr文字识别
传统的条形码虽然识别简单，但是需要学习多种编码方式。识别条形码下方数字单号可以直接把数据录入计算机进行数据处理，得到快递信息。
ocr文字识别是指对图像文件进行分析识别处理，获取文字及版面信息的过程。首先，对快递信息进行图像读取及图像预处理，再用opencv内置的图像检测算子进行检测，最后传入tesseract-ocr进行识别。这种方法不仅速度快，而且抗外部干扰能力也比较好，可以准确识别快递的相关数字信息。ocr的技术路线如图2所示。
1.2 图像预处理
图像预处理是在图片识别之前对图片进行前期处理，抑制图片中的无关信息，增强开发者想要的重要信息。
1.2.1 图像灰度化
图像灰度化是将一张彩色图像向灰色图像转化的过程。相比于彩色图像，灰色图像更容易处理，可以消除颜色干扰。原图像如图3所示，灰度图像如图4所示。cv2.cvtcolor()函数是颜色空间转换函数，可以实现图像的灰度化，代码如下：
gray = cv2.cvtcolor(image, cv2.color_bgr2gray)
1.2.2 图像掩膜
图像掩膜是用选定的图形对需要处理的图像（局部或全部）进行遮挡，来处理图像特定区域的处理过程。提取感兴趣区，用预先制作的感兴趣区掩膜与待处理图像相乘，得到感兴趣区图像，感兴趣区内图像值保持不变，而区外图像值都为0。掩膜图像如图5所示。
1.2.3 黑帽操作（突出更黑暗的区域）
黑帽运算就是取出图片中亮度低的地方，即突出更黑暗的区域。黑帽操作图像如图6所示。morphologyex()是形态学操作函数，可以方便地对图像进行黑帽操作，代码如下：
heiphat = cv2.morphologyex(gray, cv2.morph_blackhat, rectkernel)
1.3 文字检测
1.3.1 边缘检测
图像边缘检测可以大幅减少数据量，并剔除可以认为不相关的信息，保留图像重要的结构属性。基于查找的方法，通过寻找图像一阶导数中的最大和最小值来检测边界，通常是将边界定位在梯度最大的方向。canny算子边缘检测函数的目标是找到一个最优的边缘检测算法，从而检测出图像边缘，代码如下：
edged = cv2.canny(gray, 75, 200)
1.3.2 获取轮廓
cv2.findcontours()函数用于查找检测物体的轮廓，cv2.drawcontours()函数用于在图像上绘制轮廓。代码如下：
（1）检测轮廓：
cnts = cv2.findcontours(edged.copy(), cv2.retr_list, cv2.chain_approx_simple)
（2）绘制轮廓：
cv2.drawcontours(image, [screencnt], -1, (0, 255, 0), 2)
1.4 文本识别
文本识别采用tesseract-ocr识别技术，tesseract-ocr是由tesseract google开发并维护的ocr开源库，有着极高的精确度和灵活性，它可以通过训练识别出任何字体，也可以识别出数字和字符。识别出的轮廓图如图7所示，文本识别图如图8所示。
✦
2 分拣机器人系统
2.1 系统整体方案
本文对小型工业机械臂进行了运动学分析，并使用计算机建模软件（ug）对工业机器人及其运动空间进行了建模。该工业机器人分拣系统[6]采用树莓派和arduino开发板作为控制单元，两个控制芯片以串口连接进行通信，树莓派用于对图像进行处理与识别；arduino开发板用于控制步进电机、舵机和超声波红外测距模块。其中舵机用于控制机器人的转向，也用于控制机械夹爪的张合；超声波红外测距模块用于检测与物体的距离。整体流程图如图9所示。
2.2 机械结构
机械臂各部件通过ug建模，采用3d打印技术打印。在结构设计时使用平面轴承、滚动轴承、线性轴承等一系列标准件，具有增加精度、减少摩擦力等作用。机械臂底座采用铝板与机械臂连接，一定程度上减少了机械臂前倾现象。机械臂z轴的上下移动采用丝杆传动，传动轴向力大、可自锁、定位精度高。使用同步带传动，避免步进电机在低转速下产生振动及噪声。机械臂整体装配图如图10所示。
2.3 硬件系统设计
2.3.1 主控电路
本系统由arduino开发板和arduino cnc电机扩展板组成，arduino cnc电机扩展板直接连接在arduino开发板上即可。主控芯片图如图11所示。
2.3.2 超声波测距模块
超声波测距模块采用的是hc-sr04，可提供约2 cm的非接触式距离感测功能，机械臂可以及时感测与快递包裹的距离，抓取物体。如图12所示，超声波测距模块包括vcc供5 v电源、gnd地线、trig触发控制信号输入、echo回响信号输出等4个接口端。
2.4 软件系统设计
首先，通过opencv图像处理技术识别快递单上的数字串和快递的坐标，判断快递运往方向；再由树莓派通过串口发送信息给arduino uno开发板，arduino uno开发板逆运动求解出各电机旋转角度；然后，控制各电机旋转角度到达目标位置，打开夹爪，当机械臂的z轴下降到合适位置时，闭合夹爪，夹取快递；当夹取动作完成后，机械臂的z轴上升，移动到快递发往地，将物品放到相应位置。主控流程图如图13所示。
3 结语
本文设计了一种基于opencv的机器人分拣系统，运用opencv对快递信息进行图像读取及图像预处理，再用opencv内置的图像检测算子进行检测，最后传入tesseract-ocr进行识别，协同控制机械臂，实现在复杂环境下的包裹分拣。该设计大量减少了分拣过程中的人工需求，提高了分拣效率及自动化程度，并大幅提高了分拣准确率。同时，将视觉技术应用到工业分拣中，提高了企业运营效率，降低了企业生产成本，能够促进工厂和企业的升级，因而具有较好的应用前景。
中国App在印度市场盛行，但未来数据要存储在印度
UART通信总线的特性与协议帧
解禁再生变？美司法部长：华为中兴不可信
苹果投入电子病历市场 iOS新推Health Records功能
高通骁龙1000曝光，功耗达12W，比肩英特尔低耗处理器等级
基于OpenCV的机器人分拣系统设计
精选三套卧室篇的灯光照明锦囊 更省电更方便
基于G.729压缩语音流隐蔽通信系统设计方案
如何在VIM中对嵌入式软件进行调试
联创电子H1营收增长21% 南大光电拟收购飞源气体57.97%股权
自锁式音响电源改优插座电路
ctfmon.exe是什么进程
全面解析高级驾驶辅助系统ADAS
技术分析：Deterministic ICE 与基于软件测试的虚拟环境相结合
物联网和蓝牙在远程监控储箱液位方面发挥重大作用
科迎法推出全新系列传感器执行器接线盒
LED电源测试设备的参数项目
供电部门：220千伏随州变电站改造工程即将启动
高比能量动力电池安全设计4大关键技术
魅族16s Pro真机谍照和外包装盒疑似曝光，这会是Flyme几呢？
随着各大电商的快速发展，我国快递行业的整体规模迅速壮大，包裹数量逐年增多，快递的错派、丢件等问题也日渐凸显，传统人工分拣已经无法适应当前的分拣需求，亟需一种用于自动检验、工件加工和装配自动化以及生产过程的控制和监视的图像识别机器，按任务需要从原始图像数据中提取有关信息、高度概括地描述图像内容，以便对图像的某些内容加以解释和判断。
目前，针对机器人分拣系统的方案研究成为众多学者关注的热点。韦志文[1]基于机器视觉设计了一种轻量化的分拣机器人，搭建了实验平台并完成了小型铸件的分拣。李殷[2]基于深度学习提出了工业机器人物品识别分拣系统设计，在建模解析分类之后工业机器人对物品进行实践分拣操作。马泽明等人[3]将视觉技术、搬运机器人和无线控制网相结合，设计了一种智能搬运机器人的实验平台。王连庆等人[4]构建了一套针对无序来料的定位系统，引导机械手对无序物料进行精确抓取和有序摆放。
本文设计的工业机器人分拣系统与工业相机的快速拍照功能相结合，可实现包裹读码后的快速分拣及信息记录交互等功能，大量减少了分拣过程中的人工需求，提高了分拣效率及自动化程度，并大幅度提高了分拣准确率。
1 opencv图像识别
图像处理技术是用计算机对图像信息进行处理的技术，通过图像处理可以提取图像中的有用信息并精简数据量，是决定分拣过程是否能够达到精准且高效的关键。本设计采用opencv[5]对原始图像进行预处理，提取图像特征，进行图像识别。本项目通过扫描物流包裹上的数字，对包裹进行识别，构建坐标系对机械臂完成协同控制，实现在复杂环境下的包裹分拣，提高了分拣过程中机械臂末端执行器的效能，物流快递包裹可进行有效分拣，达到快速分拣的目的，提高了工业生产效率，降低了工作成本。opencv图像处理流程图如图1所示。
1.1 基于opencv的ocr文字识别
传统的条形码虽然识别简单，但是需要学习多种编码方式。识别条形码下方数字单号可以直接把数据录入计算机进行数据处理，得到快递信息。
ocr文字识别是指对图像文件进行分析识别处理，获取文字及版面信息的过程。首先，对快递信息进行图像读取及图像预处理，再用opencv内置的图像检测算子进行检测，最后传入tesseract-ocr进行识别。这种方法不仅速度快，而且抗外部干扰能力也比较好，可以准确识别快递的相关数字信息。ocr的技术路线如图2所示。
1.2 图像预处理
图像预处理是在图片识别之前对图片进行前期处理，抑制图片中的无关信息，增强开发者想要的重要信息。
1.2.1 图像灰度化
图像灰度化是将一张彩色图像向灰色图像转化的过程。相比于彩色图像，灰色图像更容易处理，可以消除颜色干扰。原图像如图3所示，灰度图像如图4所示。cv2.cvtcolor()函数是颜色空间转换函数，可以实现图像的灰度化，代码如下：
gray = cv2.cvtcolor(image, cv2.color_bgr2gray)
1.2.2 图像掩膜
图像掩膜是用选定的图形对需要处理的图像（局部或全部）进行遮挡，来处理图像特定区域的处理过程。提取感兴趣区，用预先制作的感兴趣区掩膜与待处理图像相乘，得到感兴趣区图像，感兴趣区内图像值保持不变，而区外图像值都为0。掩膜图像如图5所示。
1.2.3 黑帽操作（突出更黑暗的区域）
黑帽运算就是取出图片中亮度低的地方，即突出更黑暗的区域。黑帽操作图像如图6所示。morphologyex()是形态学操作函数，可以方便地对图像进行黑帽操作，代码如下：
heiphat = cv2.morphologyex(gray, cv2.morph_blackhat, rectkernel)
1.3 文字检测
1.3.1 边缘检测
图像边缘检测可以大幅减少数据量，并剔除可以认为不相关的信息，保留图像重要的结构属性。基于查找的方法，通过寻找图像一阶导数中的最大和最小值来检测边界，通常是将边界定位在梯度最大的方向。canny算子边缘检测函数的目标是找到一个最优的边缘检测算法，从而检测出图像边缘，代码如下：
edged = cv2.canny(gray, 75, 200)
1.3.2 获取轮廓
cv2.findcontours()函数用于查找检测物体的轮廓，cv2.drawcontours()函数用于在图像上绘制轮廓。代码如下：
（1）检测轮廓：
cnts = cv2.findcontours(edged.copy(), cv2.retr_list, cv2.chain_approx_simple)
（2）绘制轮廓：
cv2.drawcontours(image, [screencnt], -1, (0, 255, 0), 2)
1.4 文本识别
文本识别采用tesseract-ocr识别技术，tesseract-ocr是由tesseract google开发并维护的ocr开源库，有着极高的精确度和灵活性，它可以通过训练识别出任何字体，也可以识别出数字和字符。识别出的轮廓图如图7所示，文本识别图如图8所示。
✦
2 分拣机器人系统
2.1 系统整体方案
本文对小型工业机械臂进行了运动学分析，并使用计算机建模软件（ug）对工业机器人及其运动空间进行了建模。该工业机器人分拣系统[6]采用树莓派和arduino开发板作为控制单元，两个控制芯片以串口连接进行通信，树莓派用于对图像进行处理与识别；arduino开发板用于控制步进电机、舵机和超声波红外测距模块。其中舵机用于控制机器人的转向，也用于控制机械夹爪的张合；超声波红外测距模块用于检测与物体的距离。整体流程图如图9所示。
2.2 机械结构
机械臂各部件通过ug建模，采用3d打印技术打印。在结构设计时使用平面轴承、滚动轴承、线性轴承等一系列标准件，具有增加精度、减少摩擦力等作用。机械臂底座采用铝板与机械臂连接，一定程度上减少了机械臂前倾现象。机械臂z轴的上下移动采用丝杆传动，传动轴向力大、可自锁、定位精度高。使用同步带传动，避免步进电机在低转速下产生振动及噪声。机械臂整体装配图如图10所示。
2.3 硬件系统设计
2.3.1 主控电路
本系统由arduino开发板和arduino cnc电机扩展板组成，arduino cnc电机扩展板直接连接在arduino开发板上即可。主控芯片图如图11所示。
2.3.2 超声波测距模块
超声波测距模块采用的是hc-sr04，可提供约2 cm的非接触式距离感测功能，机械臂可以及时感测与快递包裹的距离，抓取物体。如图12所示，超声波测距模块包括vcc供5 v电源、gnd地线、trig触发控制信号输入、echo回响信号输出等4个接口端。
2.4 软件系统设计
首先，通过opencv图像处理技术识别快递单上的数字串和快递的坐标，判断快递运往方向；再由树莓派通过串口发送信息给arduino uno开发板，arduino uno开发板逆运动求解出各电机旋转角度；然后，控制各电机旋转角度到达目标位置，打开夹爪，当机械臂的z轴下降到合适位置时，闭合夹爪，夹取快递；当夹取动作完成后，机械臂的z轴上升，移动到快递发往地，将物品放到相应位置。主控流程图如图13所示。
3 结语
本文设计了一种基于opencv的机器人分拣系统，运用opencv对快递信息进行图像读取及图像预处理，再用opencv内置的图像检测算子进行检测，最后传入tesseract-ocr进行识别，协同控制机械臂，实现在复杂环境下的包裹分拣。该设计大量减少了分拣过程中的人工需求，提高了分拣效率及自动化程度，并大幅提高了分拣准确率。同时，将视觉技术应用到工业分拣中，提高了企业运营效率，降低了企业生产成本，能够促进工厂和企业的升级，因而具有较好的应用前景。
中国App在印度市场盛行，但未来数据要存储在印度
UART通信总线的特性与协议帧
解禁再生变？美司法部长：华为中兴不可信
苹果投入电子病历市场 iOS新推Health Records功能
高通骁龙1000曝光，功耗达12W，比肩英特尔低耗处理器等级
基于OpenCV的机器人分拣系统设计
精选三套卧室篇的灯光照明锦囊 更省电更方便
基于G.729压缩语音流隐蔽通信系统设计方案
如何在VIM中对嵌入式软件进行调试
联创电子H1营收增长21% 南大光电拟收购飞源气体57.97%股权
自锁式音响电源改优插座电路
ctfmon.exe是什么进程
全面解析高级驾驶辅助系统ADAS
技术分析：Deterministic ICE 与基于软件测试的虚拟环境相结合
物联网和蓝牙在远程监控储箱液位方面发挥重大作用
科迎法推出全新系列传感器执行器接线盒
LED电源测试设备的参数项目
供电部门：220千伏随州变电站改造工程即将启动
高比能量动力电池安全设计4大关键技术
魅族16s Pro真机谍照和外包装盒疑似曝光，这会是Flyme几呢？