ONNX格式模型部署兼容性框架介绍
onnxruntime介绍
onnx格式模型部署兼容性最强的框架 onnxruntime，基本上不会有算子不支持跟不兼容的情况出现，只要能导出onnx格式模型，它基本上都能成功加载，成功推理。虽然在cpu速度不及openvino、gpu上速度不及tensorrt，但是胜在兼容性强，支持不同硬件上推理部署包括：arm、cpu、gpu、amd等，
可以通过设置不同的推理后台支持，包括：
支持语言也非常丰富，不止于python跟c++语言，支持列表如下：
支持的操作系统包括windows、android、乌班图、ios等。
python版本安装与测试
python版本安装特别容易,一条命令行搞定 cpu版本
pip install onnxruntime
gpu版本
pip install onnxruntime-gpu通过下面的api函数可以查询当前支持推理provider，代码如下：
运行结果如下：
c++版本安装与测试
首先需要下载安装包，以 microsoft.ml.onnxruntime.gpu.1.13.1为例。首先需要配置包含目录
d:microsoft.ml.onnxruntime.gpu.1.13.1buildnativeinclude
然后配置库目录：
d:microsoft.ml.onnxruntime.gpu.1.13.1runtimeswin-x64native
最后配置链接器，我的是支持cuda版本，配置如下：
onnxruntime_providers_shared.libonnxruntime_providers_cuda.libonnxruntime.lib
最后把dll文件copy到编译生成的可执行文件同一个目录下，直接运行即可。c++推理，简单说分为四步，首先引入包含文件支持，再初始化推理会话对象session，预处理图像，然后执行推理，最后完成后处理即可。
以resnet18模型为例，导出onnx格式，基于onnxruntime推理效果如下：
亚马逊无人机居然还可以理解手势和语音呼叫
新唐开发平台：进阶使用者的七大诀窍(3)使用System Viewer检查寄存器状态
威图手机售后维修部-VERTU手机官方售后维修中心
云计算厂商在2020的竞争有多大
印制电路板的设计基础
ONNX格式模型部署兼容性框架介绍
如何在Colab中使用SQL
灵动微电子M0内核32位单片机MM32F0144C4Q
如何避免代价昂贵的数据恢复？
作为新时代的智慧医院，利用云计算实现数据进行精准分析
芝加哥大学提出了一种新方法，可以通过声波实现不同类型量子技术间的互相“交谈”
购买二手空调可能会出现的问题盘点 看过后你再决定买不买吧
HKHC45/14电流互感器
共射放大电路的交流分析
iPhone 15若限充电速度或违法
我国自主三代核电华龙一号热态性能试验完成
智能门禁系统是现代化小区智慧管理便捷、安全的新选择
麻省理工研发出新型LCD电视控制传感器
Vimeo对GIF的运用方法与GIF的优势劣势
怎么快速找到EMI问题源头 怎么完善系统化设计流程
onnx格式模型部署兼容性最强的框架 onnxruntime，基本上不会有算子不支持跟不兼容的情况出现，只要能导出onnx格式模型，它基本上都能成功加载，成功推理。虽然在cpu速度不及openvino、gpu上速度不及tensorrt，但是胜在兼容性强，支持不同硬件上推理部署包括：arm、cpu、gpu、amd等，
可以通过设置不同的推理后台支持，包括：
支持语言也非常丰富，不止于python跟c++语言，支持列表如下：
支持的操作系统包括windows、android、乌班图、ios等。
python版本安装与测试
python版本安装特别容易,一条命令行搞定 cpu版本
pip install onnxruntime
gpu版本
pip install onnxruntime-gpu通过下面的api函数可以查询当前支持推理provider，代码如下：
运行结果如下：
c++版本安装与测试
首先需要下载安装包，以 microsoft.ml.onnxruntime.gpu.1.13.1为例。首先需要配置包含目录
d:microsoft.ml.onnxruntime.gpu.1.13.1buildnativeinclude
然后配置库目录：
d:microsoft.ml.onnxruntime.gpu.1.13.1runtimeswin-x64native
最后配置链接器，我的是支持cuda版本，配置如下：
onnxruntime_providers_shared.libonnxruntime_providers_cuda.libonnxruntime.lib
最后把dll文件copy到编译生成的可执行文件同一个目录下，直接运行即可。c++推理，简单说分为四步，首先引入包含文件支持，再初始化推理会话对象session，预处理图像，然后执行推理，最后完成后处理即可。
以resnet18模型为例，导出onnx格式，基于onnxruntime推理效果如下：
亚马逊无人机居然还可以理解手势和语音呼叫
新唐开发平台：进阶使用者的七大诀窍(3)使用System Viewer检查寄存器状态
威图手机售后维修部-VERTU手机官方售后维修中心
云计算厂商在2020的竞争有多大
印制电路板的设计基础
ONNX格式模型部署兼容性框架介绍
如何在Colab中使用SQL
灵动微电子M0内核32位单片机MM32F0144C4Q
如何避免代价昂贵的数据恢复？
作为新时代的智慧医院，利用云计算实现数据进行精准分析
芝加哥大学提出了一种新方法，可以通过声波实现不同类型量子技术间的互相“交谈”
购买二手空调可能会出现的问题盘点 看过后你再决定买不买吧
HKHC45/14电流互感器
共射放大电路的交流分析
iPhone 15若限充电速度或违法
我国自主三代核电华龙一号热态性能试验完成
智能门禁系统是现代化小区智慧管理便捷、安全的新选择
麻省理工研发出新型LCD电视控制传感器
Vimeo对GIF的运用方法与GIF的优势劣势
怎么快速找到EMI问题源头 怎么完善系统化设计流程