基于RISC-V加速器实现FPGA CNN异构的控制方案
作者：吴海龙, 李金东, 陈翔，电子与信息工程学院，中山大学，中国
摘要：现场可编程门阵列（fpga）具有低功耗、高性能和灵活性的特点。fpga神经网络加速的研究正在兴起，但大多数研究都基于国外的fpga器件。为了改善国内fpga的现状，提出了一种新型的卷积神经网络加速器，用于配备轻量级risc-v软核的国产fpga（紫光同创pg2l100h）。所提出的加速器的峰值性能达到153.6 gop/s，仅占用14k lut（查找表）、32个drm（专用ram模块）和208个apm（算术处理模块）。所提出的加速器对于大多数边缘ai应用和嵌入式系统具有足够的计算能力，为国内fpga提供了可能的ai推理加速方案。
背景
卷积神经网络在机器视觉任务中越来越流行，包括图像分类和目标检测。如何在有限的条件下充分发挥fpga的最大性能是各研究者的主要方向。如今，大多数ccn使用外国fpga器件。由于国内fpga起步较晚，其相关开发工具和设备落后于其他外国制造商。因此，在国内fpga上构建高性能cnn并替换现有成熟的异构方案是一项具有挑战性的任务。 zhang[1]于2015年首次对卷积网络推理中的数据共享和并行性进行了深入分析和探索。guo[2]提出的加速器在214mhz下达到了84.3 gop/s的峰值性能。2016年，qiu[3]更深入地探索了使用行缓冲器的加速器。
本文提出了一种更高效、更通用的卷积加速器。提出的加速器峰值性能达到153.6gop/s，仅占用14k lut、32个drm和208个apm。本文的章节安排如下，第2节介绍了我们提出的加速器的详细设计以及基于risc-v的加速器实现的控制调度方案。第3节给出了实验结果。
系统设计
整个risc-v片上系统设计如图1所示。该系统主要由risc-v软核cpu、指令/数据存储器、总线桥、外围设备、dma（直接存储器访问）和卷积加速器组成。
fig. 1. 片上risc-v系统设计图
我们的工作主要在三个方面。首先，我们使用软核cpu作为片上系统的主控，控制外设，dma，cnn加速器来实现数据调度和操作。其次，1d（一维）加速器被设计用于改变缓冲机制。第三，为紫光同创的fpga设备设计了一个dma ip，用于卷积加速的应用。
a、risc-v 软核cpu 架构
软核。使用risc-v软核vexriscv代替ibex[4]构建risc-v的片上系统和面向软件的方法可以使vexriscv具有高度的灵活性和可扩展性。
接口。i2c和spi等外围设备通过apb3总线连接到risc-v软核。dma和加速器通过pmb总线连接到risc-v软核。
指令与数据存储。程序被交叉编译以获得一个特定的文件，该文件由jtag烧录到片上指令/数据存储器中。
b、cnn 加速器结构
输入缓存。使用乒乓缓存来实现缓冲区，可以有效地提高吞吐量。
输出缓存。权重缓存模块由一系列分布式ram和串行到并行单元组成。
卷积。图2中的1d卷积模块分为四组，其中包含四个1d卷曲单元。每个单元负责1d卷积的一个信道。
合并。积分模块有四组加法器树。每组加法器树将每组卷积运算单元的结果相加，得到单向输出结果。
累加。累加模块中有四组fifo和四个加法器。加速器一次只能接收四个通道的输入特征图数据。
量化。该量化模块由乘法单元和移位单元组成。它通过比例变换将24位累加结果重新转换为8位[5]。
激活。激活功能通过查找由一系列分布式ram组成的表来实现。它存储relu、leaky relu和sigmoid函数的int8函数表。
池化。确定当前卷积层是否与池化层级联，然后决定是否使用池化模块来完成池化操作。
输出缓存。输出缓冲器由fifo而不是乒乓缓存实现。输出高速缓存fifo将结果存储回片外存储器，作为下一卷积层的输入。
fig. 2. cnn 加速器实现
c、dma 结构
神经网络不仅对计算能力有很高的要求，而且对内存也有很大的需求。中低端fpga通常需要ddr sram（双数据速率同步动态随机存取存储器）来承载整个神经网络和所有中间运算结果的权重。紫光同创的fpga的ddr3内存驱动器ip为用户提供了简化axi4总线的内存访问接口。 由于simpled axi和axi之间的标准差异，需要新的dma设计。dma设计如下。读和写地址通道由risc-v软核直接控制。读写数据通道的fifo用作卷积加速器和ddr3驱动器ip的缓冲器，以完成端口转换。
d、实现细节
1、一维卷积单元阵列设计 神经网络不仅对计算能力有很高的要求，而且对内存也有很大的需求。中低端fpga通常需要ddr sram（双数据速率同步动态随机存取存储器）来承载整个神经网络和所有中间运算结果的权重。紫光同创的fpga的ddr3内存驱动器ip为用户提供了简化axi4总线的内存访问接口。 由于simpled axi和axi之间的标准差异，需要新的dma设计。dma设计如下。读和写地址通道由risc-v软核直接控制。读写数据通道的fifo用作卷积加速器和ddr3驱动器ip的缓冲器，以完成端口转换。
2、卷积加速器控制
本文提出了一种基于指令队列的设计，以减少risc-v软核中dma和加速器的响应延迟。risc-v cpu可以连续发送多个存储器读写请求指令和多个操作调度控制指令，而不用等待dma和加速器的反馈。dma和加速器从队列中获取指令，任务完成后直接从队列中取出下一条指令，无需等待相应的cpu，从而实现低延迟调度。
fig. 3. 1x3 一维卷积原理图
fig. 4. 一维卷积单元硬件实现
实现结果和备注
通过在pg2l100h和x7z020上实现相同配置的cnn加速器，完成了cnn加速器的性能测试，验证了国产fpga cnn加速方案的可行性。加速器的资源消耗和性能如表i和表ii所示。
table i 资源利用 pg2l100h和x7z020的资源消耗相似。pg2l100h需要额外的逻辑资源来构建vexriscv cpu，而x7z020为axi dma ip使用更多的逻辑资源。就加速器性能而言，可从表ii中看出。由于fpga器件架构的差异，与x7z020相比，加速器的卷积运算在pg2l100h上只能在200mhz下实现更好的收敛。risc-v软核只能在100mhz下实现定时收敛。
table ii 性能对比 我们提出了一种基于risc-v的一维卷积运算的新设计。该加速器在国内fpga上的实现和部署已经完成，其性能与具有相同规模硬件资源的国外fpga相当。
本文论证了基于国产fpga的cnn异构方案的可行性，该研究是国产fpga应用生态中cnn加速领域的一次罕见尝试。
references：
[1]zhang. c, et al. optimizing fpga-based accelerator design for deep convolutional neural networks. the 2015 acm/sigda international symposium acm, 2015.
[2]k. guo et al., angel-eye: a complete design flow for mapping cnn onto embedded fpga, in ieee transactions on computer-aided design of integrated circuits and systems, vol. 37, no. 1, pp. 35-47, jan. 2018.
[3]qiu.j, et al. going deeper with embedded fpga platform for convolutional neural network. the 2016 acm/sigda international symposium acm, 2016.
[4]e. gholizadehazari, t. ayhan and b. ors, an fpga implementation of a risc-v based soc system for image processing applications, 2021 29th signal processing and communications applications conference (siu), 2021, pp. 1-4.
[5]b. jacob et al., quantization and training of neural networks for efficient integer-arithmetic-only inference, 2018 ieee/cvf conference on computer vision and pattern recognition, 2018, pp. 2704-2713.
[6]b. bosi, g. bois and y. savaria, reconfigurable pipelined 2-d convolvers for fast digital signal processing, in ieee transactions on very large scale integration (vlsi) systems, vol. 7, no. 3, pp. 299-308, sept. 1999.
螺旋板换热器的特点及技术参数
盘点AI的进化方向与下一个前沿
电动汽车和充电桩设计提出哪些新的光耦驱动需求？
苹果发布新款Watch和iPad
最高法：加强区块链和人工智能应用
基于RISC-V加速器实现FPGA CNN异构的控制方案
什么是电气规则的检查
iPhone 12 系列的一个新的卖点是具有全新的 MagSafe 技术？
测试探针市场被国外厂商占据
探析保护家园的5种物联网技术
螺母光学影像自动分选设备的检测用途有哪些
Peter Thiel认为比特币等同于数字版黄金
白光LED驱动分析与应用
Keysight E36100直流电源的主要特性及应用范围
探究IPC的数控火焰切割机CNC系统的研制
数据中心人工智能怎样可以做到以终为始
这就是“共享汽车”？车和家SEV量产版谍照：续航里程为80km,预计年底上市！
二代锐龙APU曝光，将于今年晚些时候发布
虹科将出席2022全球自动化和制造主题峰会
物联网时代的到来将会给我们的生活带来什么变化
摘要：现场可编程门阵列（fpga）具有低功耗、高性能和灵活性的特点。fpga神经网络加速的研究正在兴起，但大多数研究都基于国外的fpga器件。为了改善国内fpga的现状，提出了一种新型的卷积神经网络加速器，用于配备轻量级risc-v软核的国产fpga（紫光同创pg2l100h）。所提出的加速器的峰值性能达到153.6 gop/s，仅占用14k lut（查找表）、32个drm（专用ram模块）和208个apm（算术处理模块）。所提出的加速器对于大多数边缘ai应用和嵌入式系统具有足够的计算能力，为国内fpga提供了可能的ai推理加速方案。
背景
卷积神经网络在机器视觉任务中越来越流行，包括图像分类和目标检测。如何在有限的条件下充分发挥fpga的最大性能是各研究者的主要方向。如今，大多数ccn使用外国fpga器件。由于国内fpga起步较晚，其相关开发工具和设备落后于其他外国制造商。因此，在国内fpga上构建高性能cnn并替换现有成熟的异构方案是一项具有挑战性的任务。 zhang[1]于2015年首次对卷积网络推理中的数据共享和并行性进行了深入分析和探索。guo[2]提出的加速器在214mhz下达到了84.3 gop/s的峰值性能。2016年，qiu[3]更深入地探索了使用行缓冲器的加速器。
本文提出了一种更高效、更通用的卷积加速器。提出的加速器峰值性能达到153.6gop/s，仅占用14k lut、32个drm和208个apm。本文的章节安排如下，第2节介绍了我们提出的加速器的详细设计以及基于risc-v的加速器实现的控制调度方案。第3节给出了实验结果。
系统设计
整个risc-v片上系统设计如图1所示。该系统主要由risc-v软核cpu、指令/数据存储器、总线桥、外围设备、dma（直接存储器访问）和卷积加速器组成。
fig. 1. 片上risc-v系统设计图
我们的工作主要在三个方面。首先，我们使用软核cpu作为片上系统的主控，控制外设，dma，cnn加速器来实现数据调度和操作。其次，1d（一维）加速器被设计用于改变缓冲机制。第三，为紫光同创的fpga设备设计了一个dma ip，用于卷积加速的应用。
a、risc-v 软核cpu 架构
软核。使用risc-v软核vexriscv代替ibex[4]构建risc-v的片上系统和面向软件的方法可以使vexriscv具有高度的灵活性和可扩展性。
接口。i2c和spi等外围设备通过apb3总线连接到risc-v软核。dma和加速器通过pmb总线连接到risc-v软核。
指令与数据存储。程序被交叉编译以获得一个特定的文件，该文件由jtag烧录到片上指令/数据存储器中。
b、cnn 加速器结构
输入缓存。使用乒乓缓存来实现缓冲区，可以有效地提高吞吐量。
输出缓存。权重缓存模块由一系列分布式ram和串行到并行单元组成。
卷积。图2中的1d卷积模块分为四组，其中包含四个1d卷曲单元。每个单元负责1d卷积的一个信道。
合并。积分模块有四组加法器树。每组加法器树将每组卷积运算单元的结果相加，得到单向输出结果。
累加。累加模块中有四组fifo和四个加法器。加速器一次只能接收四个通道的输入特征图数据。
量化。该量化模块由乘法单元和移位单元组成。它通过比例变换将24位累加结果重新转换为8位[5]。
激活。激活功能通过查找由一系列分布式ram组成的表来实现。它存储relu、leaky relu和sigmoid函数的int8函数表。
池化。确定当前卷积层是否与池化层级联，然后决定是否使用池化模块来完成池化操作。
输出缓存。输出缓冲器由fifo而不是乒乓缓存实现。输出高速缓存fifo将结果存储回片外存储器，作为下一卷积层的输入。
fig. 2. cnn 加速器实现
c、dma 结构
神经网络不仅对计算能力有很高的要求，而且对内存也有很大的需求。中低端fpga通常需要ddr sram（双数据速率同步动态随机存取存储器）来承载整个神经网络和所有中间运算结果的权重。紫光同创的fpga的ddr3内存驱动器ip为用户提供了简化axi4总线的内存访问接口。 由于simpled axi和axi之间的标准差异，需要新的dma设计。dma设计如下。读和写地址通道由risc-v软核直接控制。读写数据通道的fifo用作卷积加速器和ddr3驱动器ip的缓冲器，以完成端口转换。
d、实现细节
1、一维卷积单元阵列设计 神经网络不仅对计算能力有很高的要求，而且对内存也有很大的需求。中低端fpga通常需要ddr sram（双数据速率同步动态随机存取存储器）来承载整个神经网络和所有中间运算结果的权重。紫光同创的fpga的ddr3内存驱动器ip为用户提供了简化axi4总线的内存访问接口。 由于simpled axi和axi之间的标准差异，需要新的dma设计。dma设计如下。读和写地址通道由risc-v软核直接控制。读写数据通道的fifo用作卷积加速器和ddr3驱动器ip的缓冲器，以完成端口转换。
2、卷积加速器控制
本文提出了一种基于指令队列的设计，以减少risc-v软核中dma和加速器的响应延迟。risc-v cpu可以连续发送多个存储器读写请求指令和多个操作调度控制指令，而不用等待dma和加速器的反馈。dma和加速器从队列中获取指令，任务完成后直接从队列中取出下一条指令，无需等待相应的cpu，从而实现低延迟调度。
fig. 3. 1x3 一维卷积原理图
fig. 4. 一维卷积单元硬件实现
实现结果和备注
通过在pg2l100h和x7z020上实现相同配置的cnn加速器，完成了cnn加速器的性能测试，验证了国产fpga cnn加速方案的可行性。加速器的资源消耗和性能如表i和表ii所示。
table i 资源利用 pg2l100h和x7z020的资源消耗相似。pg2l100h需要额外的逻辑资源来构建vexriscv cpu，而x7z020为axi dma ip使用更多的逻辑资源。就加速器性能而言，可从表ii中看出。由于fpga器件架构的差异，与x7z020相比，加速器的卷积运算在pg2l100h上只能在200mhz下实现更好的收敛。risc-v软核只能在100mhz下实现定时收敛。
table ii 性能对比 我们提出了一种基于risc-v的一维卷积运算的新设计。该加速器在国内fpga上的实现和部署已经完成，其性能与具有相同规模硬件资源的国外fpga相当。
本文论证了基于国产fpga的cnn异构方案的可行性，该研究是国产fpga应用生态中cnn加速领域的一次罕见尝试。
references：
[1]zhang. c, et al. optimizing fpga-based accelerator design for deep convolutional neural networks. the 2015 acm/sigda international symposium acm, 2015.
[2]k. guo et al., angel-eye: a complete design flow for mapping cnn onto embedded fpga, in ieee transactions on computer-aided design of integrated circuits and systems, vol. 37, no. 1, pp. 35-47, jan. 2018.
[3]qiu.j, et al. going deeper with embedded fpga platform for convolutional neural network. the 2016 acm/sigda international symposium acm, 2016.
[4]e. gholizadehazari, t. ayhan and b. ors, an fpga implementation of a risc-v based soc system for image processing applications, 2021 29th signal processing and communications applications conference (siu), 2021, pp. 1-4.
[5]b. jacob et al., quantization and training of neural networks for efficient integer-arithmetic-only inference, 2018 ieee/cvf conference on computer vision and pattern recognition, 2018, pp. 2704-2713.
[6]b. bosi, g. bois and y. savaria, reconfigurable pipelined 2-d convolvers for fast digital signal processing, in ieee transactions on very large scale integration (vlsi) systems, vol. 7, no. 3, pp. 299-308, sept. 1999.
螺旋板换热器的特点及技术参数
盘点AI的进化方向与下一个前沿
电动汽车和充电桩设计提出哪些新的光耦驱动需求？
苹果发布新款Watch和iPad
最高法：加强区块链和人工智能应用
基于RISC-V加速器实现FPGA CNN异构的控制方案
什么是电气规则的检查
iPhone 12 系列的一个新的卖点是具有全新的 MagSafe 技术？
测试探针市场被国外厂商占据
探析保护家园的5种物联网技术
螺母光学影像自动分选设备的检测用途有哪些
Peter Thiel认为比特币等同于数字版黄金
白光LED驱动分析与应用
Keysight E36100直流电源的主要特性及应用范围
探究IPC的数控火焰切割机CNC系统的研制
数据中心人工智能怎样可以做到以终为始
这就是“共享汽车”？车和家SEV量产版谍照：续航里程为80km,预计年底上市！
二代锐龙APU曝光，将于今年晚些时候发布
虹科将出席2022全球自动化和制造主题峰会
物联网时代的到来将会给我们的生活带来什么变化