Xilinx Kria K26系统模块器件制造业应用案例
生产线已步入了快节奏时代，但要提高交付速度和客户满意度，势必需要在装运前检测制造或包装缺陷。然而，自动化检测设备需要在不降低生产线速度的情况下进行处理和做出决策。所以，我们需要借助于xilinx kria k26系统模块（som）等器件的帮助。kria k26 som（见图1）允许开发人员利用可编程逻辑与高性能arm处理器内核相结合的并行特性。kria som的优势在于xilinx首次为soc（xck26）提供了异构soc和必要的支持基础设施，如4gb ddr4内存、16gb emmc、512mb qspi、tpm安全模块以及必要的电源基础设施。
为便于与应用接口，此器件提供了可拆分成245个io的两个240针连接器。
xilinx还提供了kria kv260视觉ai入门套件，让开发人员能够快速开始设计。该套件为开发人员提供了拥有以下接口的som载卡：
3个mipi接口
usb
hdmi
显示端口
1gb以太网
pmod
此入门套件还随附了一系列应用示例，帮助用户了解开发基于视觉的人工智能应用是一件非常轻松的工作。kria视觉ai入门套件非常适合需要快速图像处理的应用，例如检测标签是否已正确应用于生产线上的装运箱。
01
制造业应用案例
接下来让我们将详细地介绍kria kv260视觉入门套件如何用于制造行业。创建此类应用并不一定需要可编程逻辑设计。然而，却需要进行软件开发，并具有使用xilinx vitis ai培训和编译新机器学习模型的能力。首先，我们需要安装和配置vitis ai。
物料清单
kria kv260视觉ai入门套件
02
创建虚拟机
我们需要本地linux机器或运行受支持的linux发行版的虚拟机来运行vitis ai。在安装完成后，下载ubuntu linux磁盘映像，以便在虚拟机上安装linux系统。此项目所使用的ubuntu版本是ubuntu-18.04.4 desktop-amd64.iso，点击此处即可下载。现在可以开始构建虚拟机了。第一步，在virtualbox manager中单击new。这时将显示一个对话框，用于创建新的虚拟机（见图2）。输入虚拟机名称，并将类型和版本分别设置为linux和64位linux版本。此外，还可以设置与虚拟机共享的系统内存大小（见图3）。
单击create按钮，将显示虚拟硬盘的设置。选择512gb，以允许动态分配物理存储空间。随着磁盘使用量的增加，虚拟硬盘大小将扩展到512gb。该项目将外部固态usb c驱动器用作虚拟硬盘，以确保有足够的可用空间。
配置好虚拟机后，接下来就要安装操作系统了。选中新创建的虚拟机，然后单击start按钮启动vm 9（）。
在启动虚拟机时，会要求安装之前下载的ubuntu iso。
在虚拟硬盘上安装ubuntu操作系统。选择安装ubuntu。
在选择好ubuntu的位置和配置选项后，进行键盘配置。
选择最小安装，因为我们不需要使用办公软件、媒体播放器或玩游戏。
在安装期间擦除磁盘并安装ubuntu。
单击continue继续操作。
选择您所在的地理位置与时区。
最后，输入ubuntu计算机名、用户名及密码。
安装完成后，重启虚拟机。
重启后，登录并开始安装vitis ai。
03
安装vitis和vitis ai
对于运行linux的虚拟机，接下来需要安装vitis和vitis ai。安装vitis时，需要用到在下载时创建的xilinx帐户。vitis安装时间较长，所以我们会先安装它。打开xilinx下载页面，选择linux self extracting web installer。
下载web安装程序后，找到下载位置，选择应用程序，右键单击以更改权限，使其能够作为应用程序执行。
现在可以使用终端窗口来安装vitis，所需时间取决于虚拟机和internet连接性能。通过以下sudo命令来安装此工具。
sudo 。/xilinx_unified_2020.2_1118_1232_lin64.bin
图17：运行安装程序此时将启动vitis installer（见图18）。
登录您的帐户。
选择vitis作为目标应用程序，同时还会安装vivado。
为了节省安装空间，应取消选择除soc以外的所有设备。
接受安装条件和条款。
选择安装目录，建议使用默认位置。
在installation summary中，选择install并等待安装完毕。
安装完成后，需要运行以下脚本以安装所有相关项：
sudo 《install_dir》/vitis/《release》/scripts/installlibs.sh
接下来，安装vitis ai。在本例中，我们将安装vitis ai以从cpu而不是gpu运行，因而会影响训练性能。首先要安装docker，请按照此处的说明进行操作。注意，可能需要在安装完成后重启虚拟机。
接下来，请使用以下命令安装git：sudo apt update sudo apt install git选择/创建vitis-ai的安装目录。使用以下命令克隆vitis-ai：git clone https://github.com/xilinx/vitis-ai.git一旦克隆好vitis-ai存储库，请将其改为存储目录，并提取docker映像。cd vitis-ai docker pull xilinx/vitis-ai:latest从docker下载最新的vitis-ai映像将需要几分钟的时间。在提取docker映像之后，我们需要构建交叉编译系统。可以通过运行vitis-ai/setup/mpsoc/vart中的脚本来完成此操作（见图25）。cd vitis-ai/setup/mpsoc/vart 。/host_cross_compiler_setup_2020.2.sh
运行脚本后，请确保运行指定的命令以启用交叉编译环境。我们可以通过编译一个演示程序来测试是否正确安装了vitis ai。在本例中，我们采用的是demo/vart/resnet50目录下提供的resnet50应用程序。请使用以下命令编译应用程序：
bash -x build.sh
如果您在终端窗口中没有看到错误，并且可执行文件出现在目录中，则说明vitis ai安装成功（见图26）：
现在，我们需要开发数据集，以显示正确和错误黏贴的标签。
04
创建数据集
为了训练神经网络，我们首先需要一组正确和错误图像的数据集。我们以几个正确和错误地黏贴了贸泽标签的箱子为例。为了获得多样化的图像，我们从多个角度拍摄了正确和错误黏贴标签的箱子（见图27和28）。
这些图像被整理成两个目录——一个是正确的标签，另一个是错误的标签。对于捕获到的图像，我们需要训练一个神经网络。在本例中，我们将使用edge impulse。请注意，您需要为edge impulse创建一个免费的帐户。在edge impulse端，首先要创建一个新项目（见图29）。
新项目创建后，可以上传标记为正确和错误的图像文件夹。首先选择正确目录中的所有文件并进行上传，标记为label_correct。随后，上传错误的图像并将其标记为label_incorrect。
所有图像都上传完成后，接下来就要定义impulse。选择宽度和高度均为224像素的输入图像。选择图像，输入transfer learning，然后保存impulse。
然后，我们可以通过生成特征和训练impulse来训练模型。
选择模型mobilenetv2 160x160 1.0，等效模型位于xilinx model zoo下（见图33）。
可能需要几分钟的时间来训练模型。训练完成后，返回概览页面，选择下载迁移学习模型。这将包括保存的模型和.zip文件中的变量（检查点）。
05
量化并编译模型
接下来使用vitis ai对模型进行量化和编译。在虚拟机中，我们可以通过发出以下命令来运行vitis ai。
。/docker_runs.sh xilinx/vitis-ai-cpu:latest
加载vitis ai后，使用以下命令激活tensorflow。
conda activate vitis-ai-tensorflow图36：激活vitis ai tensorflow
接下来，冻结将检查点的信息合并到冻结模型文件的模型。
一旦模型作为冻结模型输出，我们就可以使用编译器编译输出模型，以部署到系统中。
我们可以从xilinx model zoo中包含的yaml文件中了解输出节点的信息。
要检查冻结的网表，则需要安装netron。此外，理解量化过程的输入和输出节点名称也很重要。
有了量化网表，我们可以将量化网表编译为部署在kria som上的模型（见图40）。
借助于scp/ftp，我们可以将编译后的模型上载到以下目录中的kria文件系统：
/usr/share/vitis_ai_library/models/
上传好模型后，可以生成一个软件应用程序，用于测试神经网络。这时，我们可以将几个正确和错误的图像上载到kria som，来测试应用程序（见图41和42）。
结语
该项目展示了对于工业ai/ml应用，在kria som中训练和部署神经网络是一件非常简单的事情，其应用潜力也是无限的。未来可能需要更新软件以利用gstreamer框架，并像在生产线上一样对实时图像进行分类。
AI手机或将成为市场的一个转折点但尚无行业标准
2018年7月国内手机市场运行分析报告：手机出货量同比呈现下降趋势 双4G手机为市场主流
PB85RS128C血糖仪应用优势
美国国防部资助无人机初创公司，将进一步改进人机协作
擎朗智能获2亿元投资 无人配送机器人进入新时代？
Xilinx Kria K26系统模块器件制造业应用案例
2019中国制造业数字化转型国际峰会即将在上海盛大举行
自制一套性能优越的家庭AV组合upc189+tda381+t
华为p10发布会进行时，不忘初心不用曲面依旧平面，p10plus采用2k屏
三分钟带你玩转电池放电测试
Uber没有窃取无人驾驶技术 间接承认技术不如谷歌
安集科技王雨春博士：CMP的艺术，以材料创新助力中国创“芯”
三种联轴器的类型及选用技巧
各种音箱特点简述
“双减”之后，如何辅导孩子？用科大讯飞AI学习机来帮忙
虚拟主机是什么 有哪些功能
今年预计新建5G基站60万个，怎么信号还是会卡？
三大运营商5G套餐降价，中国移动7折活动价拿下
克莱斯勒的智能电源模块终端测试系统方案
物联网安全性难度加大,芯片制程加紧防护
为便于与应用接口，此器件提供了可拆分成245个io的两个240针连接器。
xilinx还提供了kria kv260视觉ai入门套件，让开发人员能够快速开始设计。该套件为开发人员提供了拥有以下接口的som载卡：
3个mipi接口
usb
hdmi
显示端口
1gb以太网
pmod
此入门套件还随附了一系列应用示例，帮助用户了解开发基于视觉的人工智能应用是一件非常轻松的工作。kria视觉ai入门套件非常适合需要快速图像处理的应用，例如检测标签是否已正确应用于生产线上的装运箱。
01
制造业应用案例
接下来让我们将详细地介绍kria kv260视觉入门套件如何用于制造行业。创建此类应用并不一定需要可编程逻辑设计。然而，却需要进行软件开发，并具有使用xilinx vitis ai培训和编译新机器学习模型的能力。首先，我们需要安装和配置vitis ai。
物料清单
kria kv260视觉ai入门套件
02
创建虚拟机
我们需要本地linux机器或运行受支持的linux发行版的虚拟机来运行vitis ai。在安装完成后，下载ubuntu linux磁盘映像，以便在虚拟机上安装linux系统。此项目所使用的ubuntu版本是ubuntu-18.04.4 desktop-amd64.iso，点击此处即可下载。现在可以开始构建虚拟机了。第一步，在virtualbox manager中单击new。这时将显示一个对话框，用于创建新的虚拟机（见图2）。输入虚拟机名称，并将类型和版本分别设置为linux和64位linux版本。此外，还可以设置与虚拟机共享的系统内存大小（见图3）。
单击create按钮，将显示虚拟硬盘的设置。选择512gb，以允许动态分配物理存储空间。随着磁盘使用量的增加，虚拟硬盘大小将扩展到512gb。该项目将外部固态usb c驱动器用作虚拟硬盘，以确保有足够的可用空间。
配置好虚拟机后，接下来就要安装操作系统了。选中新创建的虚拟机，然后单击start按钮启动vm 9（）。
在启动虚拟机时，会要求安装之前下载的ubuntu iso。
在虚拟硬盘上安装ubuntu操作系统。选择安装ubuntu。
在选择好ubuntu的位置和配置选项后，进行键盘配置。
选择最小安装，因为我们不需要使用办公软件、媒体播放器或玩游戏。
在安装期间擦除磁盘并安装ubuntu。
单击continue继续操作。
选择您所在的地理位置与时区。
最后，输入ubuntu计算机名、用户名及密码。
安装完成后，重启虚拟机。
重启后，登录并开始安装vitis ai。
03
安装vitis和vitis ai
对于运行linux的虚拟机，接下来需要安装vitis和vitis ai。安装vitis时，需要用到在下载时创建的xilinx帐户。vitis安装时间较长，所以我们会先安装它。打开xilinx下载页面，选择linux self extracting web installer。
下载web安装程序后，找到下载位置，选择应用程序，右键单击以更改权限，使其能够作为应用程序执行。
现在可以使用终端窗口来安装vitis，所需时间取决于虚拟机和internet连接性能。通过以下sudo命令来安装此工具。
sudo 。/xilinx_unified_2020.2_1118_1232_lin64.bin
图17：运行安装程序此时将启动vitis installer（见图18）。
登录您的帐户。
选择vitis作为目标应用程序，同时还会安装vivado。
为了节省安装空间，应取消选择除soc以外的所有设备。
接受安装条件和条款。
选择安装目录，建议使用默认位置。
在installation summary中，选择install并等待安装完毕。
安装完成后，需要运行以下脚本以安装所有相关项：
sudo 《install_dir》/vitis/《release》/scripts/installlibs.sh
接下来，安装vitis ai。在本例中，我们将安装vitis ai以从cpu而不是gpu运行，因而会影响训练性能。首先要安装docker，请按照此处的说明进行操作。注意，可能需要在安装完成后重启虚拟机。
接下来，请使用以下命令安装git：sudo apt update sudo apt install git选择/创建vitis-ai的安装目录。使用以下命令克隆vitis-ai：git clone https://github.com/xilinx/vitis-ai.git一旦克隆好vitis-ai存储库，请将其改为存储目录，并提取docker映像。cd vitis-ai docker pull xilinx/vitis-ai:latest从docker下载最新的vitis-ai映像将需要几分钟的时间。在提取docker映像之后，我们需要构建交叉编译系统。可以通过运行vitis-ai/setup/mpsoc/vart中的脚本来完成此操作（见图25）。cd vitis-ai/setup/mpsoc/vart 。/host_cross_compiler_setup_2020.2.sh
运行脚本后，请确保运行指定的命令以启用交叉编译环境。我们可以通过编译一个演示程序来测试是否正确安装了vitis ai。在本例中，我们采用的是demo/vart/resnet50目录下提供的resnet50应用程序。请使用以下命令编译应用程序：
bash -x build.sh
如果您在终端窗口中没有看到错误，并且可执行文件出现在目录中，则说明vitis ai安装成功（见图26）：
现在，我们需要开发数据集，以显示正确和错误黏贴的标签。
04
创建数据集
为了训练神经网络，我们首先需要一组正确和错误图像的数据集。我们以几个正确和错误地黏贴了贸泽标签的箱子为例。为了获得多样化的图像，我们从多个角度拍摄了正确和错误黏贴标签的箱子（见图27和28）。
这些图像被整理成两个目录——一个是正确的标签，另一个是错误的标签。对于捕获到的图像，我们需要训练一个神经网络。在本例中，我们将使用edge impulse。请注意，您需要为edge impulse创建一个免费的帐户。在edge impulse端，首先要创建一个新项目（见图29）。
新项目创建后，可以上传标记为正确和错误的图像文件夹。首先选择正确目录中的所有文件并进行上传，标记为label_correct。随后，上传错误的图像并将其标记为label_incorrect。
所有图像都上传完成后，接下来就要定义impulse。选择宽度和高度均为224像素的输入图像。选择图像，输入transfer learning，然后保存impulse。
然后，我们可以通过生成特征和训练impulse来训练模型。
选择模型mobilenetv2 160x160 1.0，等效模型位于xilinx model zoo下（见图33）。
可能需要几分钟的时间来训练模型。训练完成后，返回概览页面，选择下载迁移学习模型。这将包括保存的模型和.zip文件中的变量（检查点）。
05
量化并编译模型
接下来使用vitis ai对模型进行量化和编译。在虚拟机中，我们可以通过发出以下命令来运行vitis ai。
。/docker_runs.sh xilinx/vitis-ai-cpu:latest
加载vitis ai后，使用以下命令激活tensorflow。
conda activate vitis-ai-tensorflow图36：激活vitis ai tensorflow
接下来，冻结将检查点的信息合并到冻结模型文件的模型。
一旦模型作为冻结模型输出，我们就可以使用编译器编译输出模型，以部署到系统中。
我们可以从xilinx model zoo中包含的yaml文件中了解输出节点的信息。
要检查冻结的网表，则需要安装netron。此外，理解量化过程的输入和输出节点名称也很重要。
有了量化网表，我们可以将量化网表编译为部署在kria som上的模型（见图40）。
借助于scp/ftp，我们可以将编译后的模型上载到以下目录中的kria文件系统：
/usr/share/vitis_ai_library/models/
上传好模型后，可以生成一个软件应用程序，用于测试神经网络。这时，我们可以将几个正确和错误的图像上载到kria som，来测试应用程序（见图41和42）。
结语
该项目展示了对于工业ai/ml应用，在kria som中训练和部署神经网络是一件非常简单的事情，其应用潜力也是无限的。未来可能需要更新软件以利用gstreamer框架，并像在生产线上一样对实时图像进行分类。
AI手机或将成为市场的一个转折点但尚无行业标准
2018年7月国内手机市场运行分析报告：手机出货量同比呈现下降趋势 双4G手机为市场主流
PB85RS128C血糖仪应用优势
美国国防部资助无人机初创公司，将进一步改进人机协作
擎朗智能获2亿元投资 无人配送机器人进入新时代？
Xilinx Kria K26系统模块器件制造业应用案例
2019中国制造业数字化转型国际峰会即将在上海盛大举行
自制一套性能优越的家庭AV组合upc189+tda381+t
华为p10发布会进行时，不忘初心不用曲面依旧平面，p10plus采用2k屏
三分钟带你玩转电池放电测试
Uber没有窃取无人驾驶技术 间接承认技术不如谷歌
安集科技王雨春博士：CMP的艺术，以材料创新助力中国创“芯”
三种联轴器的类型及选用技巧
各种音箱特点简述
“双减”之后，如何辅导孩子？用科大讯飞AI学习机来帮忙
虚拟主机是什么 有哪些功能
今年预计新建5G基站60万个，怎么信号还是会卡？
三大运营商5G套餐降价，中国移动7折活动价拿下
克莱斯勒的智能电源模块终端测试系统方案
物联网安全性难度加大,芯片制程加紧防护