深度分析高通基于DSP的的AI加速硬件设计
高通soc的ai加速硬件都是基于dsp的，指令方面则是simd扩展。高通自2013年导入dsp加速，一直沿用至今，硬件架构变化不大，可以说是非常优秀的设计。从高通8150开始，一般高通soc包含4个dsp，分别对应音频、传感器、modem和计算，通常高通只把计算dsp即cdsp单独提及，一般说hexagon dsp指的就是cdsp。
dsp是通用的加速器，可以对应标量（scalar）、向量（vector）和张量（tensor）。而我们所说的ai芯片一般只对应张量。标量运算一般对应的是cpu，通常是串行数据。向量和张量对应的并行数据计算，传统的cpu不太胜任。并行运算分指令并行、数据并行（simd）和线程并行（simt，即gpu）三大类。
图片来源：高通
高通在第六代hexagon dsp中引入hvx概念，hvx是hexagon vector extensions的简称，hvx是dsp中一个可选的协处理器，它为标量dsp单元添加了128字节的矢量处理功能（在hvx编程的时候很多处理都要128对齐）。标量硬件线程通过访问hvx寄存器文件（也称为hvx上下文）来使用hvx协处理器。之后高通又引入hta（hexagon tensor accelerator），基本上只对应定点即整数运算，主要针对cnn模型。之后高通继续改进hta，改进为htp （hexagon tensor processor），所谓htp就是加入了hmx即hexagon matrix extensions。仍然是基于标量dsp而加入的协处理器。
通常dsp都是哈佛架构，采用流水线操作，对数据的整齐度要求很高，不能有分支跳转或中断，dsp采用了哈佛结构，将存储器空间划分成两个，分别存储程序和数据。它们有两组总线连接到处理器核，允许同时对它们进行访问，每个存储器独立编址，独立访问。这种安排将处理器的数据吞吐率加倍，更重要的是同时为处理器核提供数据与指令。在这种布局下，dsp得以实现单周期的mac乘积累加指令，而mac就是ai运算的最底层。
dsp芯片广泛采用2-6级流水线以减少指令执行时间，从而增强了处理器的处理能力。这可使指令执行能完全重叠，每个指令周期内，不同的指令都处于激活状态。更像是脉动处理器，数据一次导入，流转周期很长，效率极高。
图片来源：高通
高通利用dsp加速早在2006年就开始了，不过早期都是针对modem或音频的，2013年以后增加了计算。
图片来源：高通
高端dsp都采用vliw（超长指令集），vliw dsp在硬件上没有调度和冲突判决的机制，其性能的发挥完全依靠编译器的优化效果。vliw架构中，指令级并行的发现与指令执行顺序的调度（硬件中最困难的部分）完全交由编译器完成。这样，硬件可以尽可能地保持简单。vliw硬件不负责发现并发执行多个操作的工作。vliw实现很长的指令，超长指令字已经对并发操作进行了编码，这通常是由编译器来完成的。与risc或cisc的高度超标量实现相比，这种显式编码极大降低了硬件的复杂性。硬件简单化的好处就是只需要简单地增加计算单元就可提高算力，难题都交给了软件，这也是高通dsp生命力如此顽强的原因。
高通dsp的vliw
图片来源：高通
第一代带hvx的高通dsp硬件架构
图片来源：高通
主处理器主要负责标量运算，有4个（目前新架构已调整至6个）硬件线程（每个拥有4路vliw，共享l1/l2）。向量化运算由2个hvx context组成（目前新架构已调整至4个），分别会被多个标量线程控制。主处理器和hvx都是可以有多个软件线程，由qurt实时操作系统进行硬件线程选择及调度，开发者不可控。
图片来源：高通
高通带hvx的dsp的内存体系，l1只能由标量单元访问（scalar是标量单元），l2是标量单元的第二级内存，也是hvx协处理器的第一级内存。向量单元支持各种加载/存储指令，包括对未对齐向量和每字节条件存储的支持。
hvx离不开simd扩展指令集，英特尔于1996年率先将多媒体simd扩展指令集引入通用处理器，在其奔腾处理器上集成了simd扩展部件mmx。
多媒体应用中通常存在大量同质、独立的访存和计算操作，且使用的数据类型一般都很窄（如图形系统使用8位表示三基色的每一种颜色，使用8位表示透明度；音频采样位宽通常为8位或16位）。simd扩展指令集具有独立的长位宽向量寄存器（64/128/256/512/1024......），允许将原来需要多次装载的连续内存地址数据一次性装载到向量寄存器中，并使用分裂模式将长的向量寄存器当作多个独立的窄位宽元素，通过一条simd扩展指令实现对simd向量寄存器中所有数据元素的并行处理。这种执行方式非常适合于处理计算密集、数据相关性少的音视频解码等多媒体程序。即把64位寄存器拆成８个８位寄存器就能同时完成８个操作，计算效率提升了８倍。simd指令的初衷就是这样的。
simd扩展部件仅需要在原来标量部件的基础上复制几份同样的处理单元，不需要增加太多的额外硬件，就能对多媒体等特定应用带来显著的性能提升，且不增加通信以及cache和内存的开销，因此即使在多核时代，simd扩展部件仍然是程序加速的重要手段之一。
图片来源：高通
高通dsp是一个4slot的vliw的1024比特宽度的处理器，每个周期可处理4096比特的数据，简单来说，如果数据格式是8比特的，那么可以一次执行512次计算，相当于一个512核心的gpu。缺点是无论要处理多少数据，dsp都是火力全开，这可能导致功耗较高，因此dsp的工作频率一般不高于1ghz，而cpu可以轻易超过2ghz。
图片来源：高通
拥有32个1024b寄存器r0-r31，4个判断寄存器p0-p3，支持8/16/32/64-bits的定点运算。vliw可以提供特殊指令比如cnn的滑窗滤波，直方图生成等。
最新的hmx，高通没有公开过其详细信息，不过也无需公开。所谓ai运算就是矩阵的乘积累加，simd指令集中很早就有对应乘积累加的指令，最早设计这个指令是对应fft（快速傅里叶变换）和dct（离散余弦变换）的，它们的计算过程与今天的ai运算高度重合，几乎完全一致，早在1999年英特尔就推出了sse，可以实现一条指令完成乘积累加，效率比传统计算单元提高一倍。sse后来演变为avx。avx，全称为：advanced vector extensions（又名，sandy bridge new extensions）,是intel和amd微服务器x86指令集的extension扩展。avx2扩充到了支持256bit的整数运算指令，引入了fused-multiply-add(fma)运算。所谓fma，即可通过单一指令实现a=a∗b+c a=a*b+c a=a∗b+c计算，也就是ai运算。英特尔是考虑到了ai训练，因此最高支持到256比特精度，手机上肯定只做推理，8比特就够，最早高通的hta就只支持8比特定点运算，后来htp支持混合精度，也支持定点或浮点的8位或16比特运算。高通只需要像hvx那样增加一个或几个simd协处理器就行，困难都交给编译器。此外dsp的哈佛架构让数据和指令有不同的总线，ai运算的效率进一步提升，再配合simd，效率不逊于asic。不过成本还是略高于asic。
因为simd和dsp的特殊性，高通特别做了snpe（snapdragon neural processing engine），是高通公司推出的面向移动端和物联网设备的深度学习推理框架。snpe提供了一套完整的深度学习推理框架，必须将caffe，caffe2，onnxtm和tensorflowtm模型转换为snpe深度学习容器（dlc）文件才能运行，有时可能无法转换为高通dlc，如onnx模型使用了snpe不支持的hardsigmoid激活功能。由于arm和英特尔的深度学习加速也是基于simd的，因此snpe也适用于arm和英特尔平台，也可以基于linux平台调整网络。早期的snpe dlc只支持8位定点精度，近期可能有提升，支持混合精度。因为snpe的存在，高通芯片的ai算力不单单是hta或htp的，还包括了cpu、gpu和dsp，以骁龙888为例，ai算力是包含这4部分的，合计为26tops@int8，这当中htp可能只贡献了一半，甚至更低。
图片来源：高通
snpe会对所有运算资源进行调度，根据数据类型选择不同的运算资源，比如arm cpu可以执行32比特浮点或8比特定点运算，gpu可以执行全16比特浮点运算，dsp支持8比特定点，hta或htp执行8比特或16比特定点运算。如果在某个运算资源上执行效率不高，snpe可以退出换其他运算资源执行运算。这里可能有一个缺点，有些运算资源为了对应退出机制，可能需要保持待机状态。而snpe的调度很难适应高通外的硬件，也就是说如果某个高通芯片的算力不足，必须要增加一个完全一致的高通芯片来弥补，比如高通座舱8155，之所以出现双8155的座舱，推测可能就是这个原因。典型的如亿咖通为路特斯高端车型打造的座舱，用了两片8155，第二片8155只用了gpu资源。
从骁龙8 gen 1开始，高通不再公布具体的tops数据，因为simd这种方式，占的die面积比asic还是要大，毕竟它是靠寄存器硬件来实现的。在没有制造工艺明显提升情况下，高通对dsp硬件改进会很小，高通精力似乎主要在isp上，改进isp，减少dsp的负荷。此外，高通还降低精度，最新的8 gen 2支持4比特精度，未来支持单比特也有可能，这样数字上比较好看。
高通第一代座舱与智能驾驶二合一的sa8795p，ai算力高达60tops，成本可能比较高，座舱主流sa8155p的更新换代产品sa8255p其ai算力可能与sa8155p差不多，提升主要在cpu领域。
微电网的推广应用将解决14亿人缺水问题，光伏微电网成重点
iphone8最新消息：Phone8引爆7大新特性，华为mate10，iphone8，三星s8“三国争霸”！
全面解析凯迪拉克CT6铝合金车身
误格式化NTFS文件系统分区的数据恢复案例
MIMO测试方案，全方位探索无线通信新维度
深度分析高通基于DSP的的AI加速硬件设计
吉时利7510 7位半台式万用表故障维修
自主车企争相发力,吉利的智能驾驶走向何方?
基于全志A33 1.5GHz四核处理器的Android工业屏
变频电机原理
车规级芯片的研发已经成为汽车发展的主战场
广东铁塔：从“六无起家”到“跨越发展”
谁牵住了科技创新的牛鼻子，谁就能占领先机、赢得优势
挥发性盐基氮测定仪的检测结果是否准确
苹果手机bug又一次出现，iOS 8--iOS 10.2.1都中招了
红外预警卫星系统虚警抑制技术综述
ArcGIS Desktop 10.2完全安装教程
三星Note 8虹膜识别 PK iPhoneX人脸识别：各有缺点
linux系统基本操作命令
基于LabVIEW平台和CompactRIO开发移动机器人腿部动态步态
dsp是通用的加速器，可以对应标量（scalar）、向量（vector）和张量（tensor）。而我们所说的ai芯片一般只对应张量。标量运算一般对应的是cpu，通常是串行数据。向量和张量对应的并行数据计算，传统的cpu不太胜任。并行运算分指令并行、数据并行（simd）和线程并行（simt，即gpu）三大类。
图片来源：高通
高通在第六代hexagon dsp中引入hvx概念，hvx是hexagon vector extensions的简称，hvx是dsp中一个可选的协处理器，它为标量dsp单元添加了128字节的矢量处理功能（在hvx编程的时候很多处理都要128对齐）。标量硬件线程通过访问hvx寄存器文件（也称为hvx上下文）来使用hvx协处理器。之后高通又引入hta（hexagon tensor accelerator），基本上只对应定点即整数运算，主要针对cnn模型。之后高通继续改进hta，改进为htp （hexagon tensor processor），所谓htp就是加入了hmx即hexagon matrix extensions。仍然是基于标量dsp而加入的协处理器。
通常dsp都是哈佛架构，采用流水线操作，对数据的整齐度要求很高，不能有分支跳转或中断，dsp采用了哈佛结构，将存储器空间划分成两个，分别存储程序和数据。它们有两组总线连接到处理器核，允许同时对它们进行访问，每个存储器独立编址，独立访问。这种安排将处理器的数据吞吐率加倍，更重要的是同时为处理器核提供数据与指令。在这种布局下，dsp得以实现单周期的mac乘积累加指令，而mac就是ai运算的最底层。
dsp芯片广泛采用2-6级流水线以减少指令执行时间，从而增强了处理器的处理能力。这可使指令执行能完全重叠，每个指令周期内，不同的指令都处于激活状态。更像是脉动处理器，数据一次导入，流转周期很长，效率极高。
图片来源：高通
高通利用dsp加速早在2006年就开始了，不过早期都是针对modem或音频的，2013年以后增加了计算。
图片来源：高通
高端dsp都采用vliw（超长指令集），vliw dsp在硬件上没有调度和冲突判决的机制，其性能的发挥完全依靠编译器的优化效果。vliw架构中，指令级并行的发现与指令执行顺序的调度（硬件中最困难的部分）完全交由编译器完成。这样，硬件可以尽可能地保持简单。vliw硬件不负责发现并发执行多个操作的工作。vliw实现很长的指令，超长指令字已经对并发操作进行了编码，这通常是由编译器来完成的。与risc或cisc的高度超标量实现相比，这种显式编码极大降低了硬件的复杂性。硬件简单化的好处就是只需要简单地增加计算单元就可提高算力，难题都交给了软件，这也是高通dsp生命力如此顽强的原因。
高通dsp的vliw
图片来源：高通
第一代带hvx的高通dsp硬件架构
图片来源：高通
主处理器主要负责标量运算，有4个（目前新架构已调整至6个）硬件线程（每个拥有4路vliw，共享l1/l2）。向量化运算由2个hvx context组成（目前新架构已调整至4个），分别会被多个标量线程控制。主处理器和hvx都是可以有多个软件线程，由qurt实时操作系统进行硬件线程选择及调度，开发者不可控。
图片来源：高通
高通带hvx的dsp的内存体系，l1只能由标量单元访问（scalar是标量单元），l2是标量单元的第二级内存，也是hvx协处理器的第一级内存。向量单元支持各种加载/存储指令，包括对未对齐向量和每字节条件存储的支持。
hvx离不开simd扩展指令集，英特尔于1996年率先将多媒体simd扩展指令集引入通用处理器，在其奔腾处理器上集成了simd扩展部件mmx。
多媒体应用中通常存在大量同质、独立的访存和计算操作，且使用的数据类型一般都很窄（如图形系统使用8位表示三基色的每一种颜色，使用8位表示透明度；音频采样位宽通常为8位或16位）。simd扩展指令集具有独立的长位宽向量寄存器（64/128/256/512/1024......），允许将原来需要多次装载的连续内存地址数据一次性装载到向量寄存器中，并使用分裂模式将长的向量寄存器当作多个独立的窄位宽元素，通过一条simd扩展指令实现对simd向量寄存器中所有数据元素的并行处理。这种执行方式非常适合于处理计算密集、数据相关性少的音视频解码等多媒体程序。即把64位寄存器拆成８个８位寄存器就能同时完成８个操作，计算效率提升了８倍。simd指令的初衷就是这样的。
simd扩展部件仅需要在原来标量部件的基础上复制几份同样的处理单元，不需要增加太多的额外硬件，就能对多媒体等特定应用带来显著的性能提升，且不增加通信以及cache和内存的开销，因此即使在多核时代，simd扩展部件仍然是程序加速的重要手段之一。
图片来源：高通
高通dsp是一个4slot的vliw的1024比特宽度的处理器，每个周期可处理4096比特的数据，简单来说，如果数据格式是8比特的，那么可以一次执行512次计算，相当于一个512核心的gpu。缺点是无论要处理多少数据，dsp都是火力全开，这可能导致功耗较高，因此dsp的工作频率一般不高于1ghz，而cpu可以轻易超过2ghz。
图片来源：高通
拥有32个1024b寄存器r0-r31，4个判断寄存器p0-p3，支持8/16/32/64-bits的定点运算。vliw可以提供特殊指令比如cnn的滑窗滤波，直方图生成等。
最新的hmx，高通没有公开过其详细信息，不过也无需公开。所谓ai运算就是矩阵的乘积累加，simd指令集中很早就有对应乘积累加的指令，最早设计这个指令是对应fft（快速傅里叶变换）和dct（离散余弦变换）的，它们的计算过程与今天的ai运算高度重合，几乎完全一致，早在1999年英特尔就推出了sse，可以实现一条指令完成乘积累加，效率比传统计算单元提高一倍。sse后来演变为avx。avx，全称为：advanced vector extensions（又名，sandy bridge new extensions）,是intel和amd微服务器x86指令集的extension扩展。avx2扩充到了支持256bit的整数运算指令，引入了fused-multiply-add(fma)运算。所谓fma，即可通过单一指令实现a=a∗b+c a=a*b+c a=a∗b+c计算，也就是ai运算。英特尔是考虑到了ai训练，因此最高支持到256比特精度，手机上肯定只做推理，8比特就够，最早高通的hta就只支持8比特定点运算，后来htp支持混合精度，也支持定点或浮点的8位或16比特运算。高通只需要像hvx那样增加一个或几个simd协处理器就行，困难都交给编译器。此外dsp的哈佛架构让数据和指令有不同的总线，ai运算的效率进一步提升，再配合simd，效率不逊于asic。不过成本还是略高于asic。
因为simd和dsp的特殊性，高通特别做了snpe（snapdragon neural processing engine），是高通公司推出的面向移动端和物联网设备的深度学习推理框架。snpe提供了一套完整的深度学习推理框架，必须将caffe，caffe2，onnxtm和tensorflowtm模型转换为snpe深度学习容器（dlc）文件才能运行，有时可能无法转换为高通dlc，如onnx模型使用了snpe不支持的hardsigmoid激活功能。由于arm和英特尔的深度学习加速也是基于simd的，因此snpe也适用于arm和英特尔平台，也可以基于linux平台调整网络。早期的snpe dlc只支持8位定点精度，近期可能有提升，支持混合精度。因为snpe的存在，高通芯片的ai算力不单单是hta或htp的，还包括了cpu、gpu和dsp，以骁龙888为例，ai算力是包含这4部分的，合计为26tops@int8，这当中htp可能只贡献了一半，甚至更低。
图片来源：高通
snpe会对所有运算资源进行调度，根据数据类型选择不同的运算资源，比如arm cpu可以执行32比特浮点或8比特定点运算，gpu可以执行全16比特浮点运算，dsp支持8比特定点，hta或htp执行8比特或16比特定点运算。如果在某个运算资源上执行效率不高，snpe可以退出换其他运算资源执行运算。这里可能有一个缺点，有些运算资源为了对应退出机制，可能需要保持待机状态。而snpe的调度很难适应高通外的硬件，也就是说如果某个高通芯片的算力不足，必须要增加一个完全一致的高通芯片来弥补，比如高通座舱8155，之所以出现双8155的座舱，推测可能就是这个原因。典型的如亿咖通为路特斯高端车型打造的座舱，用了两片8155，第二片8155只用了gpu资源。
从骁龙8 gen 1开始，高通不再公布具体的tops数据，因为simd这种方式，占的die面积比asic还是要大，毕竟它是靠寄存器硬件来实现的。在没有制造工艺明显提升情况下，高通对dsp硬件改进会很小，高通精力似乎主要在isp上，改进isp，减少dsp的负荷。此外，高通还降低精度，最新的8 gen 2支持4比特精度，未来支持单比特也有可能，这样数字上比较好看。
高通第一代座舱与智能驾驶二合一的sa8795p，ai算力高达60tops，成本可能比较高，座舱主流sa8155p的更新换代产品sa8255p其ai算力可能与sa8155p差不多，提升主要在cpu领域。
微电网的推广应用将解决14亿人缺水问题，光伏微电网成重点
iphone8最新消息：Phone8引爆7大新特性，华为mate10，iphone8，三星s8“三国争霸”！
全面解析凯迪拉克CT6铝合金车身
误格式化NTFS文件系统分区的数据恢复案例
MIMO测试方案，全方位探索无线通信新维度
深度分析高通基于DSP的的AI加速硬件设计
吉时利7510 7位半台式万用表故障维修
自主车企争相发力,吉利的智能驾驶走向何方?
基于全志A33 1.5GHz四核处理器的Android工业屏
变频电机原理
车规级芯片的研发已经成为汽车发展的主战场
广东铁塔：从“六无起家”到“跨越发展”
谁牵住了科技创新的牛鼻子，谁就能占领先机、赢得优势
挥发性盐基氮测定仪的检测结果是否准确
苹果手机bug又一次出现，iOS 8--iOS 10.2.1都中招了
红外预警卫星系统虚警抑制技术综述
ArcGIS Desktop 10.2完全安装教程
三星Note 8虹膜识别 PK iPhoneX人脸识别：各有缺点
linux系统基本操作命令
基于LabVIEW平台和CompactRIO开发移动机器人腿部动态步态