神经网络控制智能车应用解析
■ 简介
michal nand［1］ 在网站 hackaday.io 上通过博文 motoku uprising deep neural network 介绍了他利用卷积神经网络来帮助控制巡线智能车更加平稳快速运行的技术方案。特别是对神经网络的结构、训练、部署等方面进行了详细的介绍。
智能车的任务相对比较简单，就是在平面赛道上，沿着彩色导引线（大部分是黑色）从出发点运行到终点并折返到出发点。其中赛道上一段有一块砖头作为障碍物。
▲ 利用神经网络控制的巡线智能车
在作者的方案中，智能车运行大部分控制算法都采用了常规的pid、逻辑判断都算法。他使用了cnn根据车模运行过程中，通过传感器搜集到的二维路面数据来对赛道的种类进行分类判断，并通过调整车模速度来适应不同赛道的情况，达到又快又稳的目的。
□ 机械结构
1.硬件构成
这款智能车的硬件配置包括有：
嵌入式控制器：stm32f303，cortex m4f 72mhz
电机驱动其：使用了ti drv8834低电压双相步进电机驱动器
电机型号：pololu hp电机，减速齿轮箱1:30，带有磁编码器
轮胎：poloku 28mm的轮胎，高黏着力
惯性导航器件：lsm6ds0
巡线传感器：八个绿光（540nm）光电传感器，三个红外障碍日干起
电源：180mah， lipol 2s
编程结构：使用usb通过bootloader完成程序下载。
▲ 智能车的硬件构成
2. 组成器件
序号 种类 数量 型号 1 mcu 1 stm32f303 72mhz arm cortex m4f 2 电机驱动 1 ti driv8834 3 电机 2 1:30 polohu，具有磁编码器 4 轮胎 2 pololu直径28mm 5 巡线传感器 8 540nm光电光电传感器+白色补光led 6 红外传感器 3 表贴红外传感器+红外led 7 惯性传感器 1 imu lsm6ds0 陀螺仪+加速度计
□ 控制算法
1.控制调试界面
“磨刀不误砍柴工”。作者还是离opengl开发了用于调试的应用软件。可以通过界面：
显示八个巡线光电传感器的原始数值
显示电机的状态：速度、编码器值
显示惯性传感器的状态；
显示神经网络分类处理过程
显示通过串口获得的 原始数据
▲ 编程调试界面
2. 智能车控制软件要点
智能车软件的主要的功能和指标为：
通过二次插值算法，通过八个光电传感器获得更加精确的赛道到引线位置
主程序控制频率为：200hz
方向调节器：采用pd进行方向控制
电机速度控制：采用双串级pid控制完成电机速度控制
对赛道到引线预测：在直线赛道加速前行；在曲线拐弯时刹车慢行；通过深度神经网络进行赛道识别和控制
控制软件使用c++编程
神经网络训练：采用gpu加速网络训练
▲ 智能车的软件控制框架
3. 神经网络用于引导线的预测
利用深度卷积神经网络完成对导引线的预测和分类：
根据导引线的种类控制运行速度：直线时快速通过，曲线时减速慢行
使用densenet：稠密连接卷积神经网络完成对赛道引导线类型的分类
输入数据为8×8传感器数据矩阵。总共有八个配列成直线的光电传感器，使用运行前后相邻八条数据组成8×8的数据矩阵
输出物种曲线类型：两种右拐，两种左拐，一种直线
▲ 神经网络结构图
训练样本采用人工生成的仿真数据训练神经网络：
训练样本的个数：25000
测试样本的个数：5000
数据增强： luma噪声， white噪声
▲ 输入训练数据样本
下图给出了densenet的网络结构。由于是部署在单片机stm303中允许，作者在网络的鲁棒性以及运行速度方面进行了权衡。网络运行频率为200hz，所以网络执行时间必须小于5毫秒。为了达到这个目的，作者选择了densenet来提高计算效率，它比纯卷积神经网络使用更少的卷积核。
▲ 神经网络的结构
最终网络的识别准确率达到了95% 的精度。
4.网络最终结构
cnn神经网络的结果参数如下：
网络层 网络层类型 输入特征图张量尺寸 1 卷积3×3×4 8×8×1 2 max pooling 2×2 8×8×4 3 稠密卷积3×3×4 4×4×4 4 稠密卷积3×3×4 4×4×8 5 全连接层 输出5 4×4×12
▲ 神经网络的各层结构参数
5.将网络部署到单片机中
为了能够在32位单片机中执行神经网络，对网络进行了如下的改动：
将所有的浮点数修改成int8_t
将尺度权重转换到8bit范围
使用双缓存技巧节省内容，公用两个内存缓存来计算所有层的数据
交流稳压电源的电磁兼容要求与测试方法详细介绍
两级米勒补偿放大器手算详细过程
三星A80和iPhoneXR哪个拍照最好
OLED如日中天，有谁想要扑上这股风潮
关机亮点消除电路工作原理
神经网络控制智能车应用解析
区块链跨境支付系统_区块链如何重塑跨境支付领域
三重冲孔延长智能工厂室内BLE信标的使用寿命
SIEMENS1HU3056-0AF01-Z电机
流量开关作用
骁龙XR2助力奇遇MIX率先实现双目全彩透视MR！华为专利收入持续攀升！热点科技新闻点评
嵌入式设备上的文件系统优化设计
万物互联终将互联网系于智能手机一身
基于AI算法的温度传感热敏电阻检测流量技术的介绍
V2X“三跨”互联互通应用展示成功举办
日本研究人员用人工智能（AI）系统，现实高精度检测早期胃癌
适合家庭使用的地震声光报警器电路
Verizon已在31个以上的城市推出了毫米波5G业务
CCBN,什么是CCBN
深度学习解读神经信号，医学成像指导多动症诊断
michal nand［1］ 在网站 hackaday.io 上通过博文 motoku uprising deep neural network 介绍了他利用卷积神经网络来帮助控制巡线智能车更加平稳快速运行的技术方案。特别是对神经网络的结构、训练、部署等方面进行了详细的介绍。
智能车的任务相对比较简单，就是在平面赛道上，沿着彩色导引线（大部分是黑色）从出发点运行到终点并折返到出发点。其中赛道上一段有一块砖头作为障碍物。
▲ 利用神经网络控制的巡线智能车
在作者的方案中，智能车运行大部分控制算法都采用了常规的pid、逻辑判断都算法。他使用了cnn根据车模运行过程中，通过传感器搜集到的二维路面数据来对赛道的种类进行分类判断，并通过调整车模速度来适应不同赛道的情况，达到又快又稳的目的。
□ 机械结构
1.硬件构成
这款智能车的硬件配置包括有：
嵌入式控制器：stm32f303，cortex m4f 72mhz
电机驱动其：使用了ti drv8834低电压双相步进电机驱动器
电机型号：pololu hp电机，减速齿轮箱1:30，带有磁编码器
轮胎：poloku 28mm的轮胎，高黏着力
惯性导航器件：lsm6ds0
巡线传感器：八个绿光（540nm）光电传感器，三个红外障碍日干起
电源：180mah， lipol 2s
编程结构：使用usb通过bootloader完成程序下载。
▲ 智能车的硬件构成
2. 组成器件
序号 种类 数量 型号 1 mcu 1 stm32f303 72mhz arm cortex m4f 2 电机驱动 1 ti driv8834 3 电机 2 1:30 polohu，具有磁编码器 4 轮胎 2 pololu直径28mm 5 巡线传感器 8 540nm光电光电传感器+白色补光led 6 红外传感器 3 表贴红外传感器+红外led 7 惯性传感器 1 imu lsm6ds0 陀螺仪+加速度计
□ 控制算法
1.控制调试界面
“磨刀不误砍柴工”。作者还是离opengl开发了用于调试的应用软件。可以通过界面：
显示八个巡线光电传感器的原始数值
显示电机的状态：速度、编码器值
显示惯性传感器的状态；
显示神经网络分类处理过程
显示通过串口获得的 原始数据
▲ 编程调试界面
2. 智能车控制软件要点
智能车软件的主要的功能和指标为：
通过二次插值算法，通过八个光电传感器获得更加精确的赛道到引线位置
主程序控制频率为：200hz
方向调节器：采用pd进行方向控制
电机速度控制：采用双串级pid控制完成电机速度控制
对赛道到引线预测：在直线赛道加速前行；在曲线拐弯时刹车慢行；通过深度神经网络进行赛道识别和控制
控制软件使用c++编程
神经网络训练：采用gpu加速网络训练
▲ 智能车的软件控制框架
3. 神经网络用于引导线的预测
利用深度卷积神经网络完成对导引线的预测和分类：
根据导引线的种类控制运行速度：直线时快速通过，曲线时减速慢行
使用densenet：稠密连接卷积神经网络完成对赛道引导线类型的分类
输入数据为8×8传感器数据矩阵。总共有八个配列成直线的光电传感器，使用运行前后相邻八条数据组成8×8的数据矩阵
输出物种曲线类型：两种右拐，两种左拐，一种直线
▲ 神经网络结构图
训练样本采用人工生成的仿真数据训练神经网络：
训练样本的个数：25000
测试样本的个数：5000
数据增强： luma噪声， white噪声
▲ 输入训练数据样本
下图给出了densenet的网络结构。由于是部署在单片机stm303中允许，作者在网络的鲁棒性以及运行速度方面进行了权衡。网络运行频率为200hz，所以网络执行时间必须小于5毫秒。为了达到这个目的，作者选择了densenet来提高计算效率，它比纯卷积神经网络使用更少的卷积核。
▲ 神经网络的结构
最终网络的识别准确率达到了95% 的精度。
4.网络最终结构
cnn神经网络的结果参数如下：
网络层 网络层类型 输入特征图张量尺寸 1 卷积3×3×4 8×8×1 2 max pooling 2×2 8×8×4 3 稠密卷积3×3×4 4×4×4 4 稠密卷积3×3×4 4×4×8 5 全连接层 输出5 4×4×12
▲ 神经网络的各层结构参数
5.将网络部署到单片机中
为了能够在32位单片机中执行神经网络，对网络进行了如下的改动：
将所有的浮点数修改成int8_t
将尺度权重转换到8bit范围
使用双缓存技巧节省内容，公用两个内存缓存来计算所有层的数据
交流稳压电源的电磁兼容要求与测试方法详细介绍
两级米勒补偿放大器手算详细过程
三星A80和iPhoneXR哪个拍照最好
OLED如日中天，有谁想要扑上这股风潮
关机亮点消除电路工作原理
神经网络控制智能车应用解析
区块链跨境支付系统_区块链如何重塑跨境支付领域
三重冲孔延长智能工厂室内BLE信标的使用寿命
SIEMENS1HU3056-0AF01-Z电机
流量开关作用
骁龙XR2助力奇遇MIX率先实现双目全彩透视MR！华为专利收入持续攀升！热点科技新闻点评
嵌入式设备上的文件系统优化设计
万物互联终将互联网系于智能手机一身
基于AI算法的温度传感热敏电阻检测流量技术的介绍
V2X“三跨”互联互通应用展示成功举办
日本研究人员用人工智能（AI）系统，现实高精度检测早期胃癌
适合家庭使用的地震声光报警器电路
Verizon已在31个以上的城市推出了毫米波5G业务
CCBN,什么是CCBN
深度学习解读神经信号，医学成像指导多动症诊断