AGV小车自主视觉避障专用SOC设计方案
新一年的集创赛已如火如荼的展开~
为了让大家更多的了解该赛事，小编整理了2021年的优秀作品供学习分享
在每周一为大家分享获奖作品，记得来看连载哟 ~
团队介绍
参赛单位：上海电力大学
队伍名称：骇行队
总决赛奖项：二等奖
1.摘要
随着信息技术的发展，agv(automated guided vehicle，agv)无人自动导航小车已被广泛应用于智能制造、智慧物流等场景。agv搬运车的导航系统主要利用视觉、激光雷达等传感器，其主控系统大多使用多个芯片及其复杂嵌入式系统实现，成本高、功耗大、实时性差。为了解决这一问题，本设计在xilinx fpga平台上构建了arm-m3软核，设计了加速双目视差图像计算的soc及相关控制外设，验证了单个芯片引导agv小车的基本功能。本设计主要工作体现在如下几个方面。
1) 在xilinx artix xc7a200t平台上构建了arm-m3微处理器及相关外设。通过ov5640双目相机进行图像采集，经协处理器加速，arm-m3微处理器分析周围的环境进行路径规划最终产生pwm信号驱动小车进行运动。
2)在硬件方面，本设计自制了ov5640双目相机及sic780碳化硅电机驱动板。通过对双目视觉的原理进行分析，自制的双目相机选用了平行式双目立体视觉模式作为设计方案。得益于小车使用的麦克纳姆轮全向移动平台及自制的大电流碳化硅驱动板，小车可以自由灵活地进行各种运动。
3)在算法方面，本设计对传统的立体匹配算法进行了并行优化，使得算法的运行速度得到了极大地提升，最终实现了资源消耗、功耗、运行速度三者较好的平衡。为了消除图像的径向畸变、倾斜畸变及切向畸变，本设计采用了张正友标定法对双目相机进行标定和校正。利用matlab的自动标定工具stereo camera calibrator app得到了相机的内外参数并代入校正算法最终实现了图像的校正。
4)在测试方面，本文分析了传统立体匹配算法中存在的特征匹配耗时过长、匹配错误较多的问题，并在树莓派3b以及pc机进行了相关的对比实验。
5)在应用场景方面，采集视频数据自行构建二维码数据集，使用tensorflow训练定点卷积神经网络，利用hls构建cnn ip核，使之具备二维码检测能力。
2.系统功能介绍
2.1 总体介绍
本作品的目标是在arm公司提供的arm cortexm3 designstart rtl eval处理器ip的基础上，设计agv小车自主视觉避障专用soc，开发出能够感知障碍物的双目深度视觉协处理器。
设计内容包括：
开发了基于bm(block maching)算法的双目立体匹配智能协处理器;
设计并制作了ov5640双目立体相机电路板 ，及双目相机视频采集verilog驱动ip;
设计了用于显示参数和图像的lcd 驱动;
设计制作了运动控制模块驱动板，及相关pwm驱动;
控制具备全位移动能力的麦克纳姆车进行避障演示。
构建cnn ip核，使之具备二维码检测能力。
2.2 系统流程
本系统在xilinx fpga artix xc7a200t上构建arm cortex-m3处理器，搭配自行设计的ov5640双目相机采集视频并利用vdma存入ddr中。深度加速模块根据相机标定参数进行畸变矫正和立体匹配，并将所得的视差图进行缓存。m3软核从ddr中读取视差图，计算与前方障碍的相对距离并进行路径规划。最后读取帧率数据，将相机图像，视差结果，运动方向和图像帧率在lcd上显示，并根据规划结果控制小车。
3.系统架构
3.1 架构简介
系统主要由视频采集、图像处理、实时显示和运动控制四个模块组成。
a、视频采集模块由相机采集、寄存器配置、视频流转换三个子模块构成，实现对自行设计的双目相机分辨率和成像参数配置，并将采集数据传输到图像处理模块。
b、图像处理模块由配置为高性能模式的axi连接器将vdma、帧率计数器、深度加速核以及osd结果呈现四个子模块互相连接，实现视差图计算和帧率计数功能，最后由结果呈现模块进行汇总传递给显示模块进行显示。
c、显示模块由视频流转换、视频时序控制器、动态时钟、和vga显示四个子模块构成。根据高性能视频系统参考设计搭建视频显示模块的结构和参数配置。视频时序控制器产生1080p对应的行场同步信号交由视频流转换子模块输出到vga显示模块，动态时钟可由用户自行配置来驱动vga显示模块以适配不同的屏幕分辨率。在上述几个模块的协作下实现分辨率为1080p刷新率为60hz的图像和运行参数显示。
d、运动控制模块主要由arm-m3核、uart、gpio、pwm子模块等模块构成。m3核读取ddr中深度加速模块的结果进行简单计算，实现对前方障碍物距离的估计，从而进行路径规划。最后读取视频采集模块和深度输出模块的帧率数据同小车运行方向一起输出到结果呈现模块和uart串口 ，实现实时运行参数的呈现。
3.2 软硬功能划分
相较于传统单片机串行采集相机数据，传输单个像素进行显示,根据定时器中断产生pwm，以及在pc机上都难以实现的稳定视差图计算输出在本系统中都由硬件实现，极大减轻了cpu负担。
软件部分主要在keil中由c语言实现，主要用于初始化各个外设，配置相机寄存器。初始化完成后读取帧率计数模块数据和深度加速模块的结果，根据公式进行简单的四则运算完成对距离的估计。根据估计结果配置pwm模块和显示模块的寄存器实现运动控制和实时显示。
3.3 外设挂载
本系统的中央处理单元是由arm公司提供的arm cortexm3 designstart rtl eval，整个系统及外设部署在xilinx xc7a200tfbg484 fpga平台上。本系统的主要由cortex-m3软核，ov5640双目摄像头模块，深度加速模块，ddr3内存控制器，vga显示器，ahb总线矩阵、axi总线及apb低速外设等相关模块组成，详细框图如下图所示。
4.模块及系统功能仿真与测试
4.1 相机测试仿真
ov5640摄像头的寄存器配置由m3软核控制gpio模拟sccb实现，使用dslogic逻辑分析仪捕获引脚电平，其配套软件dsview可以解析与sccb兼容的iic协议,显示不同电平组合对应的命令和数据。
4.2 加速模块仿真
4.3 cnn二维码检测
二维码的图案相较于自然场景具有更简单的结构和纹理，本设计针对二维码图像的这一特点，构建了一个简单的cnn网络，该cnn网络包括三个卷积层、三个池化层和两个全连接层。
输入的图像通过不同的卷积核产生不同的特征图像用于提取目标不同的特征值。经过卷积操作，可以完成对输入图像的降维和特征提取。为了进一步降低特征图的维度并减少fpga资源消耗，每一个卷积层后还需要加上一个池化层来减少数据的空间大小并控制过拟合。
全连接层是一个矩阵乘法，相当于一个特征空间变换，可以把有用的信息提取并整合。全连接的主要目标是维度变换，将高维的数据变成低维的数据。
经过上述运算之后，可以得到输入图像中含有二维码的概率。
4.4 模块和系统的整体测试结果
在室外放置两个纸箱作为路径障碍来进行系统的整体测试。下图节选自视频中小车对第二个障碍物进行避障操作参考图中两个障碍物的位置可知，在前进过程中前方物体距离太近时进行避障操作。当障碍物不再位于小车正前方时继续前进，达到避障的效果。
5.参赛体会
通过本次比赛我们对基于arm核的soc设计有了一个初步的认识。通过arm核+协处理器的方式使得整个系统在计算深度图像时的图像采集性能、功耗、成本优于常见的嵌入式系统及一般性能的pc机。相较于传统单片机串行采集相机数据，传输单个像素进行显示，根据定时器中断产生pwm，以及在pc机上都难以实现的稳定视差图计算输出在本系统中都由硬件实现，极大减轻了cpu负担。
本设计使用的fpga芯片是xilinx fpga artix xc7a200t。在参赛的过程中我们发现，当lut的消耗大于10w，用量大于70%时，布线所用时长将成倍的增加，时序也将很难收敛。
关于安芯教育
安芯教育是聚焦aiot(人工智能+物联网)的创新教育平台，提供从中小学到高等院校的贯通式aiot教育解决方案。
安芯教育依托arm技术，开发了asc(arm智能互联)课程及人才培养体系。已广泛应用于高等院校产学研合作及中小学stem教育，致力于为学校和企业培养适应时代需求的智能互联领域人才。
原文标题：【2021集创赛作品分享】第五期 | 基于arm-m3的双目立体视觉避障系统 soc设计
文章出处：【微信公众号：安芯教育科技】欢迎添加关注!文章转载请注明出处。
表贴栈接连接器插头脱落问题讨论
如何为电子产品选择合适的充电器IC?
派克Parker防爆伺服电机使用环境及防爆等级
半导体制造中的清洗工艺技术改进方法
适用于多媒体电脑的功放及音箱
AGV小车自主视觉避障专用SOC设计方案
红外测温枪额温枪方案参数与校准方式分析
油田注水系统中TD2000变频器的应用研究
如何知道电动牙的防水性或密封性是否达到要求
通过减法和非减法抖动减少量化失真
罗永浩败诉，需给半导体公司278万元
英特尔推出新型调制解调器 下载速度达1Gbps
亚迪半导体促进工业级IGBT领域发展
三相电源开水器常见故障及修理方法
三种基础拓扑（buck boost buck-boost）的电路基础
长飞创新POL“即插即用”布线方案，推动全光网络产业的生态发展
浅谈射频通信技术的崛起之路
人工智能与传统产业的加速融合
海兴电力通过Arm Pelion物联网平台拓展新兴市场
解析RISC-V正面临的挑战
为了让大家更多的了解该赛事，小编整理了2021年的优秀作品供学习分享
在每周一为大家分享获奖作品，记得来看连载哟 ~
团队介绍
参赛单位：上海电力大学
队伍名称：骇行队
总决赛奖项：二等奖
1.摘要
随着信息技术的发展，agv(automated guided vehicle，agv)无人自动导航小车已被广泛应用于智能制造、智慧物流等场景。agv搬运车的导航系统主要利用视觉、激光雷达等传感器，其主控系统大多使用多个芯片及其复杂嵌入式系统实现，成本高、功耗大、实时性差。为了解决这一问题，本设计在xilinx fpga平台上构建了arm-m3软核，设计了加速双目视差图像计算的soc及相关控制外设，验证了单个芯片引导agv小车的基本功能。本设计主要工作体现在如下几个方面。
1) 在xilinx artix xc7a200t平台上构建了arm-m3微处理器及相关外设。通过ov5640双目相机进行图像采集，经协处理器加速，arm-m3微处理器分析周围的环境进行路径规划最终产生pwm信号驱动小车进行运动。
2)在硬件方面，本设计自制了ov5640双目相机及sic780碳化硅电机驱动板。通过对双目视觉的原理进行分析，自制的双目相机选用了平行式双目立体视觉模式作为设计方案。得益于小车使用的麦克纳姆轮全向移动平台及自制的大电流碳化硅驱动板，小车可以自由灵活地进行各种运动。
3)在算法方面，本设计对传统的立体匹配算法进行了并行优化，使得算法的运行速度得到了极大地提升，最终实现了资源消耗、功耗、运行速度三者较好的平衡。为了消除图像的径向畸变、倾斜畸变及切向畸变，本设计采用了张正友标定法对双目相机进行标定和校正。利用matlab的自动标定工具stereo camera calibrator app得到了相机的内外参数并代入校正算法最终实现了图像的校正。
4)在测试方面，本文分析了传统立体匹配算法中存在的特征匹配耗时过长、匹配错误较多的问题，并在树莓派3b以及pc机进行了相关的对比实验。
5)在应用场景方面，采集视频数据自行构建二维码数据集，使用tensorflow训练定点卷积神经网络，利用hls构建cnn ip核，使之具备二维码检测能力。
2.系统功能介绍
2.1 总体介绍
本作品的目标是在arm公司提供的arm cortexm3 designstart rtl eval处理器ip的基础上，设计agv小车自主视觉避障专用soc，开发出能够感知障碍物的双目深度视觉协处理器。
设计内容包括：
开发了基于bm(block maching)算法的双目立体匹配智能协处理器;
设计并制作了ov5640双目立体相机电路板 ，及双目相机视频采集verilog驱动ip;
设计了用于显示参数和图像的lcd 驱动;
设计制作了运动控制模块驱动板，及相关pwm驱动;
控制具备全位移动能力的麦克纳姆车进行避障演示。
构建cnn ip核，使之具备二维码检测能力。
2.2 系统流程
本系统在xilinx fpga artix xc7a200t上构建arm cortex-m3处理器，搭配自行设计的ov5640双目相机采集视频并利用vdma存入ddr中。深度加速模块根据相机标定参数进行畸变矫正和立体匹配，并将所得的视差图进行缓存。m3软核从ddr中读取视差图，计算与前方障碍的相对距离并进行路径规划。最后读取帧率数据，将相机图像，视差结果，运动方向和图像帧率在lcd上显示，并根据规划结果控制小车。
3.系统架构
3.1 架构简介
系统主要由视频采集、图像处理、实时显示和运动控制四个模块组成。
a、视频采集模块由相机采集、寄存器配置、视频流转换三个子模块构成，实现对自行设计的双目相机分辨率和成像参数配置，并将采集数据传输到图像处理模块。
b、图像处理模块由配置为高性能模式的axi连接器将vdma、帧率计数器、深度加速核以及osd结果呈现四个子模块互相连接，实现视差图计算和帧率计数功能，最后由结果呈现模块进行汇总传递给显示模块进行显示。
c、显示模块由视频流转换、视频时序控制器、动态时钟、和vga显示四个子模块构成。根据高性能视频系统参考设计搭建视频显示模块的结构和参数配置。视频时序控制器产生1080p对应的行场同步信号交由视频流转换子模块输出到vga显示模块，动态时钟可由用户自行配置来驱动vga显示模块以适配不同的屏幕分辨率。在上述几个模块的协作下实现分辨率为1080p刷新率为60hz的图像和运行参数显示。
d、运动控制模块主要由arm-m3核、uart、gpio、pwm子模块等模块构成。m3核读取ddr中深度加速模块的结果进行简单计算，实现对前方障碍物距离的估计，从而进行路径规划。最后读取视频采集模块和深度输出模块的帧率数据同小车运行方向一起输出到结果呈现模块和uart串口 ，实现实时运行参数的呈现。
3.2 软硬功能划分
相较于传统单片机串行采集相机数据，传输单个像素进行显示,根据定时器中断产生pwm，以及在pc机上都难以实现的稳定视差图计算输出在本系统中都由硬件实现，极大减轻了cpu负担。
软件部分主要在keil中由c语言实现，主要用于初始化各个外设，配置相机寄存器。初始化完成后读取帧率计数模块数据和深度加速模块的结果，根据公式进行简单的四则运算完成对距离的估计。根据估计结果配置pwm模块和显示模块的寄存器实现运动控制和实时显示。
3.3 外设挂载
本系统的中央处理单元是由arm公司提供的arm cortexm3 designstart rtl eval，整个系统及外设部署在xilinx xc7a200tfbg484 fpga平台上。本系统的主要由cortex-m3软核，ov5640双目摄像头模块，深度加速模块，ddr3内存控制器，vga显示器，ahb总线矩阵、axi总线及apb低速外设等相关模块组成，详细框图如下图所示。
4.模块及系统功能仿真与测试
4.1 相机测试仿真
ov5640摄像头的寄存器配置由m3软核控制gpio模拟sccb实现，使用dslogic逻辑分析仪捕获引脚电平，其配套软件dsview可以解析与sccb兼容的iic协议,显示不同电平组合对应的命令和数据。
4.2 加速模块仿真
4.3 cnn二维码检测
二维码的图案相较于自然场景具有更简单的结构和纹理，本设计针对二维码图像的这一特点，构建了一个简单的cnn网络，该cnn网络包括三个卷积层、三个池化层和两个全连接层。
输入的图像通过不同的卷积核产生不同的特征图像用于提取目标不同的特征值。经过卷积操作，可以完成对输入图像的降维和特征提取。为了进一步降低特征图的维度并减少fpga资源消耗，每一个卷积层后还需要加上一个池化层来减少数据的空间大小并控制过拟合。
全连接层是一个矩阵乘法，相当于一个特征空间变换，可以把有用的信息提取并整合。全连接的主要目标是维度变换，将高维的数据变成低维的数据。
经过上述运算之后，可以得到输入图像中含有二维码的概率。
4.4 模块和系统的整体测试结果
在室外放置两个纸箱作为路径障碍来进行系统的整体测试。下图节选自视频中小车对第二个障碍物进行避障操作参考图中两个障碍物的位置可知，在前进过程中前方物体距离太近时进行避障操作。当障碍物不再位于小车正前方时继续前进，达到避障的效果。
5.参赛体会
通过本次比赛我们对基于arm核的soc设计有了一个初步的认识。通过arm核+协处理器的方式使得整个系统在计算深度图像时的图像采集性能、功耗、成本优于常见的嵌入式系统及一般性能的pc机。相较于传统单片机串行采集相机数据，传输单个像素进行显示，根据定时器中断产生pwm，以及在pc机上都难以实现的稳定视差图计算输出在本系统中都由硬件实现，极大减轻了cpu负担。
本设计使用的fpga芯片是xilinx fpga artix xc7a200t。在参赛的过程中我们发现，当lut的消耗大于10w，用量大于70%时，布线所用时长将成倍的增加，时序也将很难收敛。
关于安芯教育
安芯教育是聚焦aiot(人工智能+物联网)的创新教育平台，提供从中小学到高等院校的贯通式aiot教育解决方案。
安芯教育依托arm技术，开发了asc(arm智能互联)课程及人才培养体系。已广泛应用于高等院校产学研合作及中小学stem教育，致力于为学校和企业培养适应时代需求的智能互联领域人才。
原文标题：【2021集创赛作品分享】第五期 | 基于arm-m3的双目立体视觉避障系统 soc设计
文章出处：【微信公众号：安芯教育科技】欢迎添加关注!文章转载请注明出处。
表贴栈接连接器插头脱落问题讨论
如何为电子产品选择合适的充电器IC?
派克Parker防爆伺服电机使用环境及防爆等级
半导体制造中的清洗工艺技术改进方法
适用于多媒体电脑的功放及音箱
AGV小车自主视觉避障专用SOC设计方案
红外测温枪额温枪方案参数与校准方式分析
油田注水系统中TD2000变频器的应用研究
如何知道电动牙的防水性或密封性是否达到要求
通过减法和非减法抖动减少量化失真
罗永浩败诉，需给半导体公司278万元
英特尔推出新型调制解调器 下载速度达1Gbps
亚迪半导体促进工业级IGBT领域发展
三相电源开水器常见故障及修理方法
三种基础拓扑（buck boost buck-boost）的电路基础
长飞创新POL“即插即用”布线方案，推动全光网络产业的生态发展
浅谈射频通信技术的崛起之路
人工智能与传统产业的加速融合
海兴电力通过Arm Pelion物联网平台拓展新兴市场
解析RISC-V正面临的挑战