3个DNN的项目介绍
介绍
深度神经网络 (dnn) 是一种人工神经网络(ann)，在输入层和输出层之间具有多层。有不同类型的神经网络，但它们基本由相同的组件组成：神经元、突触、权重、偏差和函数。这些组件的功能类似于人类大脑，可以像任何其他 ml 算法一样进行训练。
例如，经过训练以识别狗品种的 dnn 将遍历给定的图像并计算图像中的狗是某个品种的概率。用户可以查看结果并选择网络应该显示哪些概率（超过某个阈值等）并返回建议的标签。每个数学操作都被认为是一个层，复杂的 dnn 有很多层，因此被称为“深度”网络。
关于dnn、ann、cnn区别，请看下图：
https://blog.csdn.net/lff1208/article/details/77717149
ibm_accdnn
https://github.com/ibm/accdnn
accdnn（深度神经网络加速器核心编译器）又名；dnnbuilder
项目介绍
在这个项目中，我们提出了一种新颖的解决方案，可以自动将经过 caffe 训练的深度神经网络转换为 fpga rtl 级别的实现，无需任何编程工作，并为用户的识别任务提供统一的 api。
因此，没有任何 fpga 编程经验的开发人员可以将他们的 fpga 加速深度学习服务部署在数据中心或边缘设备中，仅提供他们经过训练的 caffe 模型。该作品发表在 iccad'18 上，并获得了前端最佳论文奖。了解更多设计细节。请参考我们的论文（https://docs.wixstatic.com/ugd/c50250_77e06b7f02b44eacb76c05e8fbe01e08.pdf）。
转换过程
转换包括三个阶段：
首先对 caffe 网络文件进行解析，得到网络结构。我们估计每一层的工作量以确定在 fpfa 资源约束下的并行度。
该网络中定义的每一层通过在库中实例化相应的神经层来生成一个定制的 verilog 模块。顶层模块也是根据net文件中定义的层顺序将这些自定义实例连接在一起生成的，并且在这个阶段也生成了权重所需的片上内存。
综合生成的源文件、布线和布局，生成可执行的 fpga 位文件。
accdnn 缺点
仅支持 caffe 框架训练的模型。
仅支持卷积层、最大池化层、全连接层和批量归一化层。
caffe .prototxt 中定义的网络中卷积层和全连接层的总数应少于 15 层
dnn-hardware-accelerator
https://github.com/ryaanluke/dnn-hardware-accelerator
https://github.com/gwatcha/dnn_accelerator
介绍
在本实验中，将以嵌入式 nios ii 系统为核心构建深度神经网络加速器。在本项目中还将学习如何与片外 sdram 连接，以及如何使用 pll 生成具有特定属性的时钟。
由于整个系统比我们之前构建的系统更复杂，因此在将设计的所有部分连接在一起之前，编写大量的测试单元并仔细调试将变得尤为重要。
深度神经网络
我们将使用一种称为多层感知器 (mlp) 的神经网络对 mnist 手写数字数据集进行分类。也就是说，我们的 mlp 将以 28×28 像素的灰度图像作为输入，并确定该图像对应的数字 (0..9)。
mlp 由几个线性层组成，它们首先将前一层的输出乘以权重矩阵，并为每个输出添加一个恒定的“偏差”值，然后应用非线性激活函数来获得当前层的输出（称为激活）。我们的 mlp 将有一个 784 像素的输入（28×28 像素的图像）、两个 1000 个神经元的隐藏层和一个 10 个神经元的输出层；具有最高值的输出神经元将告诉我们网络认为它看到了哪个数字。对于激活函数，我们将使用整流线性单元 (relu)，它将所有负数映射到 0，将所有正数映射到自身。
在推理过程中，每一层计算a' = relu( w · a + b )，其中w是权重矩阵，a是前一层的激活向量，b是偏置向量，a'是当前层的激活向量。
不要被神经网络等花哨的术语吓倒——你实际上是在构建一个加速器来进行矩阵向量乘法。这里的大部分挑战来自与片外 sdram 存储器的交互以及正确处理诸如waitrequest和readdatavalid 之类的信号。
不需要知道这些网络是如何训练的，因为我们已经为您训练了网络并预先格式化了图像（请参阅data文件夹的内容和测试输入列表）。但是，如果好奇，可以查看scripts/train.py我们是如何训练 mlp 的。
关于该项目的一些补充说明请查看下面的pdf：
https://github.com/ryaanluke/dnn-hardware-accelerator/blob/main/deep%20neural%20networks%20on%20fpga.pdf
dnn-accelerator-on-zynq
https://github.com/joycenerd/dnn-accelerator-on-zynq
https://github.com/karanam1997/dnnweaver-zed-board-/tree/master/dnnweaver_original
https://github.com/anonsum/dnnweaver_simulations
设计要求：
整个系统框图如下：
相关的设计文档：
https://github.com/joycenerd/dnn-accelerator-on-zynq/blob/master/2019dd_lab12finalv4.pdf
handwritting-number-distinguishing-with-dnn-by-nexys-4-ddr-in-verilog-hdl
https://github.com/maxmorning/handwritting-number-distinguishing-with-dnn-by-nexys-4-ddr-in-verilog-hdl
用 verilog hdl 实现 dnn 区分手写数字，在nexys 4 ddr 上运行。
总结
今天介绍了3个dnn的项目，主要是dnn复杂度较tpu或者cnn高了几个台阶，所以用它来直接对fpga进行移植难度很大，还是只建议对第一个ibm项目进行研究，其他在zynq上进行数字识别适合实现，其他都不怎么推荐。
关于dnn或者cnn也介绍了几十个项目了，这些只适合学习研究，并不适合拿来商用，所以后台喷我的小伙伴要求也不要太高，这些开源的项目能直接商用的少之又少，大部分项目只适合学习。还有一些项目是学生做的，所以你们也不必喷：说是拿一些学生做的项目能干什么，我这里只想说，这些项目至少能给您一些参考，什么事情总比从零开始好，或者让你们了解一些同龄人在学校里在干什么，最后，这些项目您又看不上您开源几个出来~
宏电Z2 5G工业物联网网关内增强了5G网络在垂直行业的应用
原材料涨价带动家电产品全线涨价
张忠谋：暂无与中芯国际合作打算
EMS能效管理平台降低铜电解单耗的应用
智能硬件供应链物联网时代的发展机遇
3个DNN的项目介绍
北京西北部将打造100平方公里的自动驾驶示范区
CEVA宣布向InterDigital, Inc. 收购Hillcrest Laboratories, Inc.
芯片的极限温度与额定电压和电流一样是绝对的吗
荣耀V9和小米5c谁才是形象大使
一文知道EMC/EMI及EMS的区别和联系
基于FPGA的弹球游戏
影响锂离子电池寿命的因素及提高电池寿命的方法
用于数据分析的各类主流ETL 工具比较，哪种最适合你
智米电暖器智能版1S高清图集
什么蓝牙耳机用来送人比较合适呢？送人最佳耳机品牌推荐！
上汽与奥地利合资合作生产智能驾驶中央决策控制器
巴西正式实施洗衣机产品新法规
什么是三极管的倒置状态及其作用
虚拟仪器基于NI My-RIO平台
深度神经网络 (dnn) 是一种人工神经网络(ann)，在输入层和输出层之间具有多层。有不同类型的神经网络，但它们基本由相同的组件组成：神经元、突触、权重、偏差和函数。这些组件的功能类似于人类大脑，可以像任何其他 ml 算法一样进行训练。
例如，经过训练以识别狗品种的 dnn 将遍历给定的图像并计算图像中的狗是某个品种的概率。用户可以查看结果并选择网络应该显示哪些概率（超过某个阈值等）并返回建议的标签。每个数学操作都被认为是一个层，复杂的 dnn 有很多层，因此被称为“深度”网络。
关于dnn、ann、cnn区别，请看下图：
https://blog.csdn.net/lff1208/article/details/77717149
ibm_accdnn
https://github.com/ibm/accdnn
accdnn（深度神经网络加速器核心编译器）又名；dnnbuilder
项目介绍
在这个项目中，我们提出了一种新颖的解决方案，可以自动将经过 caffe 训练的深度神经网络转换为 fpga rtl 级别的实现，无需任何编程工作，并为用户的识别任务提供统一的 api。
因此，没有任何 fpga 编程经验的开发人员可以将他们的 fpga 加速深度学习服务部署在数据中心或边缘设备中，仅提供他们经过训练的 caffe 模型。该作品发表在 iccad'18 上，并获得了前端最佳论文奖。了解更多设计细节。请参考我们的论文（https://docs.wixstatic.com/ugd/c50250_77e06b7f02b44eacb76c05e8fbe01e08.pdf）。
转换过程
转换包括三个阶段：
首先对 caffe 网络文件进行解析，得到网络结构。我们估计每一层的工作量以确定在 fpfa 资源约束下的并行度。
该网络中定义的每一层通过在库中实例化相应的神经层来生成一个定制的 verilog 模块。顶层模块也是根据net文件中定义的层顺序将这些自定义实例连接在一起生成的，并且在这个阶段也生成了权重所需的片上内存。
综合生成的源文件、布线和布局，生成可执行的 fpga 位文件。
accdnn 缺点
仅支持 caffe 框架训练的模型。
仅支持卷积层、最大池化层、全连接层和批量归一化层。
caffe .prototxt 中定义的网络中卷积层和全连接层的总数应少于 15 层
dnn-hardware-accelerator
https://github.com/ryaanluke/dnn-hardware-accelerator
https://github.com/gwatcha/dnn_accelerator
介绍
在本实验中，将以嵌入式 nios ii 系统为核心构建深度神经网络加速器。在本项目中还将学习如何与片外 sdram 连接，以及如何使用 pll 生成具有特定属性的时钟。
由于整个系统比我们之前构建的系统更复杂，因此在将设计的所有部分连接在一起之前，编写大量的测试单元并仔细调试将变得尤为重要。
深度神经网络
我们将使用一种称为多层感知器 (mlp) 的神经网络对 mnist 手写数字数据集进行分类。也就是说，我们的 mlp 将以 28×28 像素的灰度图像作为输入，并确定该图像对应的数字 (0..9)。
mlp 由几个线性层组成，它们首先将前一层的输出乘以权重矩阵，并为每个输出添加一个恒定的“偏差”值，然后应用非线性激活函数来获得当前层的输出（称为激活）。我们的 mlp 将有一个 784 像素的输入（28×28 像素的图像）、两个 1000 个神经元的隐藏层和一个 10 个神经元的输出层；具有最高值的输出神经元将告诉我们网络认为它看到了哪个数字。对于激活函数，我们将使用整流线性单元 (relu)，它将所有负数映射到 0，将所有正数映射到自身。
在推理过程中，每一层计算a' = relu( w · a + b )，其中w是权重矩阵，a是前一层的激活向量，b是偏置向量，a'是当前层的激活向量。
不要被神经网络等花哨的术语吓倒——你实际上是在构建一个加速器来进行矩阵向量乘法。这里的大部分挑战来自与片外 sdram 存储器的交互以及正确处理诸如waitrequest和readdatavalid 之类的信号。
不需要知道这些网络是如何训练的，因为我们已经为您训练了网络并预先格式化了图像（请参阅data文件夹的内容和测试输入列表）。但是，如果好奇，可以查看scripts/train.py我们是如何训练 mlp 的。
关于该项目的一些补充说明请查看下面的pdf：
https://github.com/ryaanluke/dnn-hardware-accelerator/blob/main/deep%20neural%20networks%20on%20fpga.pdf
dnn-accelerator-on-zynq
https://github.com/joycenerd/dnn-accelerator-on-zynq
https://github.com/karanam1997/dnnweaver-zed-board-/tree/master/dnnweaver_original
https://github.com/anonsum/dnnweaver_simulations
设计要求：
整个系统框图如下：
相关的设计文档：
https://github.com/joycenerd/dnn-accelerator-on-zynq/blob/master/2019dd_lab12finalv4.pdf
handwritting-number-distinguishing-with-dnn-by-nexys-4-ddr-in-verilog-hdl
https://github.com/maxmorning/handwritting-number-distinguishing-with-dnn-by-nexys-4-ddr-in-verilog-hdl
用 verilog hdl 实现 dnn 区分手写数字，在nexys 4 ddr 上运行。
总结
今天介绍了3个dnn的项目，主要是dnn复杂度较tpu或者cnn高了几个台阶，所以用它来直接对fpga进行移植难度很大，还是只建议对第一个ibm项目进行研究，其他在zynq上进行数字识别适合实现，其他都不怎么推荐。
关于dnn或者cnn也介绍了几十个项目了，这些只适合学习研究，并不适合拿来商用，所以后台喷我的小伙伴要求也不要太高，这些开源的项目能直接商用的少之又少，大部分项目只适合学习。还有一些项目是学生做的，所以你们也不必喷：说是拿一些学生做的项目能干什么，我这里只想说，这些项目至少能给您一些参考，什么事情总比从零开始好，或者让你们了解一些同龄人在学校里在干什么，最后，这些项目您又看不上您开源几个出来~
宏电Z2 5G工业物联网网关内增强了5G网络在垂直行业的应用
原材料涨价带动家电产品全线涨价
张忠谋：暂无与中芯国际合作打算
EMS能效管理平台降低铜电解单耗的应用
智能硬件供应链物联网时代的发展机遇
3个DNN的项目介绍
北京西北部将打造100平方公里的自动驾驶示范区
CEVA宣布向InterDigital, Inc. 收购Hillcrest Laboratories, Inc.
芯片的极限温度与额定电压和电流一样是绝对的吗
荣耀V9和小米5c谁才是形象大使
一文知道EMC/EMI及EMS的区别和联系
基于FPGA的弹球游戏
影响锂离子电池寿命的因素及提高电池寿命的方法
用于数据分析的各类主流ETL 工具比较，哪种最适合你
智米电暖器智能版1S高清图集
什么蓝牙耳机用来送人比较合适呢？送人最佳耳机品牌推荐！
上汽与奥地利合资合作生产智能驾驶中央决策控制器
巴西正式实施洗衣机产品新法规
什么是三极管的倒置状态及其作用
虚拟仪器基于NI My-RIO平台