一文看懂地平线如何再造＂摩尔定律＂
3月 25 日，地平线 bpu 算法负责人罗恒以《地平线如何追求极致效能？》为题展开了一场别开生面的线上分享。作为「地平线核心技术系列公开课」的“奠基之课”，罗恒从当前 ai 芯片的最大挑战，到 mlperf 的理想性与局限性，再到地平线 bpu（brain processing unit，地平线自研人工智能专用处理器架构）的演进之路娓娓而谈，结合人工智能的发展趋势深度剖析了地平线通过软硬结合挑战极致效能，再造“摩尔定律”的技术历程。
以下为经整理后的分享——
01 ai 芯片最大的挑战 自 2015 年起，ai 芯片逐渐成为人们所关注的趋势。产业参与者们都希望能够做出极具竞争力的芯片，种种挑战中最大的莫过于算法发展快和芯片迭代慢之间的矛盾。以 2016 年 deepmind 提出的人工神经网络 wavenet 为例，它能够模仿出让真假难辨的人类声音，但其计算量之大甚至无法在当时最强大的 gpu 上实时处理，接近一分钟的延迟让这项革命性突破始终无法真正的得到应用。2017 年，算法优化后的 paralle wavenet 让计算效率提升了 1000 倍，谷歌将其成功应用到谷歌助手。假如某公司在此时（2017年）准备推出一款用于嵌入式系统的芯片，使得手机等移动场景也可以应用这项 ai 成果，是非常合理的选择。但到了 2018 年，算法又发生了优化，核心计算方式历经 rnn、dalitedcnn 已升级到了 spares rnn，让手机 cpu 也可以运行。而 2017 年研发的芯片，在 2019 年才能面世，这是一个悲伤的故事，反映了算法快速发展与芯片迭代较慢之间的矛盾。
呈现快速演进的 ai 算法趋势
回到地平线的主航道视觉感知上。2012 年的 alexnet 在 imagenet 上的突破， 拉开了这一波的 ai 浪潮的序幕，2012 年到 2016 年，各种网络出现，起初致力于提升 imagenet，vgg 模型扩充过快受限于 gpu，接下来的模型开始适度的考虑精度和算力的折中，resnet 开始给出扩充网络算力获得不同精度的方案。2016 年之后，imagenet 精度逐渐饱和，计算效率优化得到重视，算法实现开始追求用更少的计算得到更高的精度，spueezenet、mobilenet、shufflenet就是这一时期的“新”卷积神经网络代表。同时也开始了使用机器学习方法自动化搜索网络，以 nasnet 为代表，但主要还是在搜索网络子结构。到了 2019 年，卷积神经网络架构演进逐步收敛，子结构收敛于 mobilenet v2 的子结构，模型扩充方法则来自于 efficientnet 的 compound scaling method。以上 ai 算法的演进趋势对 ai 芯片厂商之间的竞争产生了极为重要的影响：固然芯片架构设计能力，芯片soc 的能力非常重要，但是由于算法在不断的变化，如何能够使得设计出来的芯片在面世的时候还能够符合算法的最新的进展，在现在乃至可预见的未来都将是 ai 芯片竞争的关键点。
2什么是更好的 ai 芯片？ 算法演进与芯片迭代的脱节是摆在面前的挑战，那么，如何为 ai 芯片赛道上的玩家设立清晰的目标？如何拉通研究与市场，拉通工程与开发，并通过最优代表性的任务在实际场景中的测试反映机器学习算法的演进呢？目前通用的基准测试是 mlperf。但事实上，2019 年 mlperf inference v0.5 使用的分类模型仍是 resnet50 和 mobilenet v1，检测模型则是 mobilenet v1和rernet34。从这一点来看，mlperf inference 尽管是刚刚出现的，但由于采用相对较老的模型其已经落后于算法进展两年了。此外，由于量化模型的普及型，mlperf 希望设计统一的标准，但却因为精度问题最终选择降低标准（mobilenet）。提交者和标准设计方之间的博弈，使得任务往往没有办法像预期那样更新模型。但地平线始终认为，评估 ai 芯片的真实效能需要与时俱进的标准。因此为了更严格的测试真实效能，选用了目前如前所述的视觉领域最高效的 mobilenet v2 结构（efficientnet 并不改变计算方式，其中的 se 结构也被 efficientnettpu 证明并不是关键因素）。实测表明，工艺领先两代的两款竞品，在 mobilenet v2 的帧率上显著落后于地平线征程二代芯片。
在当前视觉领域最高效的 mobilenet v2 结构上，地平线与征程二代与两款竞品的测试结果
除此之外，想要实现极致能效还需要考虑到其他因素。对于芯片来说，功耗最大的地方并不在于计算，还在于数据的搬运，如何能够减少 ddr （double data rate sdram，双倍速率同步动态随机存储器）的吞吐，其实是降低功耗的一个关键的地方。这方面地平线也做了针对性的优化，在帧率超过竞品芯片的情况下只有竞品 1/4 ddr 吞吐率。从而，一方面用户可以使用更低成本的ddr，另一方面则是我们不可能假设用户加速模型的时候是 ddr 独占，一定需要和 isp、codec 以及各种应用一起使用带宽，征程二代的低 ddr 吞吐率使得用户可以充分使用算力而不受限于 ddr 带宽。
3.bpu 软硬结合打造极致效能 回到设计征程二代 bpu 的2017年，我们观察到学术界的两个信号，xeception和mobilenet 分别使用了 depthwise convolution 在 imagenet 高精度和中低精度都取得了很好的效率。
2017年，学术界的特殊信号——depthwise convolution
我们迅速在地平线关心的视觉任务、自由数据上做了验证。证明了 depthwise convolution 带来的效率提升。进而我们做了初步的优化，8bit 量化了 depthwise convolution 模型，量化模型精度》浮点模型精度*0.99（半年后google量化论文发表，但精度并不理想）；尝试了使用1x1 扩大 depthwise convolution 的 kernel 数目同时减少1x1 convolution引入的计算量（与一年后发表的mobilenet v2相似）；尝试了不同kernel size，发现扩大 kernel size 到 7 可以提升精度在只付出很小的计算代价下（与两年后的 mixconv 论文一致）。在完成初步验证和优化之后，我们做了 bpu 的 fpga 版本，演化成为后来的 matrix（曾获 2019 年 ces 创新奖，这也是车辆智能和自动驾驶技术分类奖项下唯一获此殊荣的中国产品），实车测试了我们的所有方案。
软硬结合，挑战极致效能
以上的验证、优化、实际应用场景打磨，为我们的架构设计提供了参考，使得我们从一开始就面向未来的算法趋势进行优化，在今天也得到了证明。
地平线 bpu 研发路线图
可以说，地平线的最大特点，就是对关键算法的发展趋势进行预判、在最重要的场景中垂直打穿，前瞻性地将其计算特点融入到架构设计当中，使得 ai 处理器经过两年的研发，在推出的时候，仍然能够很好地适应最新的主流算法，同时保证满足最关键应用的需求。因此，和其他典型的 ai 处理器相比，地平线的 ai 处理器，随着算法的演进趋势，始终能够保持相当高的有效利用率，从而真正意义上受益于算法创新带来的优势。技术先发优势推动商业化进程，领先的商业落地探索又反哺技术进步。在 ai 芯片这条硬科技创新道路上，地平线将继续坚持深耕“算法+芯片+工具链”基础技术平台。预计今年内，地平线将会推出新一代车规级 ai 芯片，以人工智能赋能万物，让每个人的生活更安全、更美好！
近期，地平线推出了「地平线核心技术系列公开课」，希望通过在线分享的形式让更多的人了解 ai 芯片的前沿知识，传播技术的力量！下一期技术公开课，地平线将进一步解读“天工开物”ai开发平台如何开放赋能，欢迎扫码报名。
救护车配备通过机器学习增强的医疗机器人，以帮助创伤患者
帕金森病患者以智能鞋垫受控方式移动脚能力预测跌倒风险
涂鸦IoT开发神器迭代啦！TuyaOS 3.6.0 重磅发布热门新功能
远程监控网络摄像头收费云存储免费使用攻略
用于数字控制电流的固态两线调光开关
一文看懂地平线如何再造＂摩尔定律＂
多通道智能温湿度测试仪的研制
食品亚硝酸盐快速测定仪的功能介绍
室内P1.86和P1.875、P1.83全彩超清LED显示屏的区别
英特尔发布更小型的P900 Optane固态盘，速度延迟小于10s
过电流保护原理
恩智浦首次参展2019上海车展,智能概念车抢眼
高压电线工作原理与传输损耗
无源低通滤波器电路
10Gb每秒！SM4的单核“心”！海泰携手海量数据安全“闪”护
传统防火墙与下一代防火墙的区别在哪呢？
量子物理的基本定律也能绕开 首次规避海森堡测不准原理
深度强化学习你知道是什么吗
西门子EDA：构建数字化创新“底座”，驱动智能未来
Alphasense新改进不漏液O2传感器O2-A2和O2-A3
以下为经整理后的分享——
01 ai 芯片最大的挑战 自 2015 年起，ai 芯片逐渐成为人们所关注的趋势。产业参与者们都希望能够做出极具竞争力的芯片，种种挑战中最大的莫过于算法发展快和芯片迭代慢之间的矛盾。以 2016 年 deepmind 提出的人工神经网络 wavenet 为例，它能够模仿出让真假难辨的人类声音，但其计算量之大甚至无法在当时最强大的 gpu 上实时处理，接近一分钟的延迟让这项革命性突破始终无法真正的得到应用。2017 年，算法优化后的 paralle wavenet 让计算效率提升了 1000 倍，谷歌将其成功应用到谷歌助手。假如某公司在此时（2017年）准备推出一款用于嵌入式系统的芯片，使得手机等移动场景也可以应用这项 ai 成果，是非常合理的选择。但到了 2018 年，算法又发生了优化，核心计算方式历经 rnn、dalitedcnn 已升级到了 spares rnn，让手机 cpu 也可以运行。而 2017 年研发的芯片，在 2019 年才能面世，这是一个悲伤的故事，反映了算法快速发展与芯片迭代较慢之间的矛盾。
呈现快速演进的 ai 算法趋势
回到地平线的主航道视觉感知上。2012 年的 alexnet 在 imagenet 上的突破， 拉开了这一波的 ai 浪潮的序幕，2012 年到 2016 年，各种网络出现，起初致力于提升 imagenet，vgg 模型扩充过快受限于 gpu，接下来的模型开始适度的考虑精度和算力的折中，resnet 开始给出扩充网络算力获得不同精度的方案。2016 年之后，imagenet 精度逐渐饱和，计算效率优化得到重视，算法实现开始追求用更少的计算得到更高的精度，spueezenet、mobilenet、shufflenet就是这一时期的“新”卷积神经网络代表。同时也开始了使用机器学习方法自动化搜索网络，以 nasnet 为代表，但主要还是在搜索网络子结构。到了 2019 年，卷积神经网络架构演进逐步收敛，子结构收敛于 mobilenet v2 的子结构，模型扩充方法则来自于 efficientnet 的 compound scaling method。以上 ai 算法的演进趋势对 ai 芯片厂商之间的竞争产生了极为重要的影响：固然芯片架构设计能力，芯片soc 的能力非常重要，但是由于算法在不断的变化，如何能够使得设计出来的芯片在面世的时候还能够符合算法的最新的进展，在现在乃至可预见的未来都将是 ai 芯片竞争的关键点。
2什么是更好的 ai 芯片？ 算法演进与芯片迭代的脱节是摆在面前的挑战，那么，如何为 ai 芯片赛道上的玩家设立清晰的目标？如何拉通研究与市场，拉通工程与开发，并通过最优代表性的任务在实际场景中的测试反映机器学习算法的演进呢？目前通用的基准测试是 mlperf。但事实上，2019 年 mlperf inference v0.5 使用的分类模型仍是 resnet50 和 mobilenet v1，检测模型则是 mobilenet v1和rernet34。从这一点来看，mlperf inference 尽管是刚刚出现的，但由于采用相对较老的模型其已经落后于算法进展两年了。此外，由于量化模型的普及型，mlperf 希望设计统一的标准，但却因为精度问题最终选择降低标准（mobilenet）。提交者和标准设计方之间的博弈，使得任务往往没有办法像预期那样更新模型。但地平线始终认为，评估 ai 芯片的真实效能需要与时俱进的标准。因此为了更严格的测试真实效能，选用了目前如前所述的视觉领域最高效的 mobilenet v2 结构（efficientnet 并不改变计算方式，其中的 se 结构也被 efficientnettpu 证明并不是关键因素）。实测表明，工艺领先两代的两款竞品，在 mobilenet v2 的帧率上显著落后于地平线征程二代芯片。
在当前视觉领域最高效的 mobilenet v2 结构上，地平线与征程二代与两款竞品的测试结果
除此之外，想要实现极致能效还需要考虑到其他因素。对于芯片来说，功耗最大的地方并不在于计算，还在于数据的搬运，如何能够减少 ddr （double data rate sdram，双倍速率同步动态随机存储器）的吞吐，其实是降低功耗的一个关键的地方。这方面地平线也做了针对性的优化，在帧率超过竞品芯片的情况下只有竞品 1/4 ddr 吞吐率。从而，一方面用户可以使用更低成本的ddr，另一方面则是我们不可能假设用户加速模型的时候是 ddr 独占，一定需要和 isp、codec 以及各种应用一起使用带宽，征程二代的低 ddr 吞吐率使得用户可以充分使用算力而不受限于 ddr 带宽。
3.bpu 软硬结合打造极致效能 回到设计征程二代 bpu 的2017年，我们观察到学术界的两个信号，xeception和mobilenet 分别使用了 depthwise convolution 在 imagenet 高精度和中低精度都取得了很好的效率。
2017年，学术界的特殊信号——depthwise convolution
我们迅速在地平线关心的视觉任务、自由数据上做了验证。证明了 depthwise convolution 带来的效率提升。进而我们做了初步的优化，8bit 量化了 depthwise convolution 模型，量化模型精度》浮点模型精度*0.99（半年后google量化论文发表，但精度并不理想）；尝试了使用1x1 扩大 depthwise convolution 的 kernel 数目同时减少1x1 convolution引入的计算量（与一年后发表的mobilenet v2相似）；尝试了不同kernel size，发现扩大 kernel size 到 7 可以提升精度在只付出很小的计算代价下（与两年后的 mixconv 论文一致）。在完成初步验证和优化之后，我们做了 bpu 的 fpga 版本，演化成为后来的 matrix（曾获 2019 年 ces 创新奖，这也是车辆智能和自动驾驶技术分类奖项下唯一获此殊荣的中国产品），实车测试了我们的所有方案。
软硬结合，挑战极致效能
以上的验证、优化、实际应用场景打磨，为我们的架构设计提供了参考，使得我们从一开始就面向未来的算法趋势进行优化，在今天也得到了证明。
地平线 bpu 研发路线图
可以说，地平线的最大特点，就是对关键算法的发展趋势进行预判、在最重要的场景中垂直打穿，前瞻性地将其计算特点融入到架构设计当中，使得 ai 处理器经过两年的研发，在推出的时候，仍然能够很好地适应最新的主流算法，同时保证满足最关键应用的需求。因此，和其他典型的 ai 处理器相比，地平线的 ai 处理器，随着算法的演进趋势，始终能够保持相当高的有效利用率，从而真正意义上受益于算法创新带来的优势。技术先发优势推动商业化进程，领先的商业落地探索又反哺技术进步。在 ai 芯片这条硬科技创新道路上，地平线将继续坚持深耕“算法+芯片+工具链”基础技术平台。预计今年内，地平线将会推出新一代车规级 ai 芯片，以人工智能赋能万物，让每个人的生活更安全、更美好！
近期，地平线推出了「地平线核心技术系列公开课」，希望通过在线分享的形式让更多的人了解 ai 芯片的前沿知识，传播技术的力量！下一期技术公开课，地平线将进一步解读“天工开物”ai开发平台如何开放赋能，欢迎扫码报名。
救护车配备通过机器学习增强的医疗机器人，以帮助创伤患者
帕金森病患者以智能鞋垫受控方式移动脚能力预测跌倒风险
涂鸦IoT开发神器迭代啦！TuyaOS 3.6.0 重磅发布热门新功能
远程监控网络摄像头收费云存储免费使用攻略
用于数字控制电流的固态两线调光开关
一文看懂地平线如何再造＂摩尔定律＂
多通道智能温湿度测试仪的研制
食品亚硝酸盐快速测定仪的功能介绍
室内P1.86和P1.875、P1.83全彩超清LED显示屏的区别
英特尔发布更小型的P900 Optane固态盘，速度延迟小于10s
过电流保护原理
恩智浦首次参展2019上海车展,智能概念车抢眼
高压电线工作原理与传输损耗
无源低通滤波器电路
10Gb每秒！SM4的单核“心”！海泰携手海量数据安全“闪”护
传统防火墙与下一代防火墙的区别在哪呢？
量子物理的基本定律也能绕开 首次规避海森堡测不准原理
深度强化学习你知道是什么吗
西门子EDA：构建数字化创新“底座”，驱动智能未来
Alphasense新改进不漏液O2传感器O2-A2和O2-A3