使用OpenVINO运行PPTracking下FairMOT多目标跟踪模型

图2:使用 Mamba 安装 cudnn

这里快速介绍一下Mamba。它是Conda的C++实现，相比于Conda, 它提供多线程下载, 这也就意味着它可以比Conda更好的利用 络资源, 下载的更快。同时它也能更快的解析依赖项。估计用Conda多的朋友应该会遇到过, Conda有时候查找依赖项非常慢 很耽误时间。Mamba是您的好朋友。以下教程种再看到conda的命令,大家都可以自动替换成Mamba来提高速度, 让您的效率飞起来~!

2）安装飞桨框架

安装飞桨的时候, 可以在飞桨的官 获取最新的指南，我以Ubuntu 20.04的系统为例(如果您用其他的系统,那么请选择相应的选项)。

图4: AI模型的转换过程

这里要指明的是, 其实OpenVINO(OV)不仅可以支持直接运行Blob格式的模型以及IR格式的模型, 更令人兴奋的是OV还可以直接支持使用ONNX模型~! 其中的好处不言而喻。譬如: 可以节省下来不少在模型转换步骤中所费的时间; 很多其他框架的模型都可以拿来快速的转换成ONNX模型然后直接进行代码试验, 省去了太多不必要的步骤。这绝对是一个Killer feature~!

本篇文章将展示在OV中直接使用ONNX格式的模型进行推理。

导出已经训练好的模型

图6: FairMOT的概述图[1]

由上图可以看出在INPUTS里面有3个部分，分别是之前提到过的：scale_factor,image以及im_shape。这样我们就知道该如何构建input_shape_dict的参数值。

{‘image’: [1, 3, 320, 576],’scale_factor’: [1, 2], ‘im_shape’: [1, 2]}

接下来记住将 model_dir，model_filename，以及params_filename和save_file替换成自己的文件路径，之后类似的路径也请替换成自己电脑上的相应路径，不再赘述。

–model_dir是转换后的模型要保存的目录

–enable_onnx_checker 启动它可以让转换程序帮我们检查模型

您可能遇到的问题：

Opset_version的默认值是9, 如果您的框架比较新,需要把这个opset_version调高到12。

在ONNX模型转换好后，我们可以快速看一下FairMOT模型有哪些输出。

 图8:  FairMOT检测结果

可以看出识别率还是非常之高，如果想更加谨慎一些，可以通过增加postprocess()中的threshold来确保降低误判率。

模型性能和吞吐量

测试好模型之后，我们还可以检查一下模型的性能和吞吐量。幸运的是，Intel DevCloud已经提供了现有的工具来帮助我们快速完成这项工作。这里是它的Jupyter Notebooks平台，在使用前需要先注册账户。

Jupyter Notebooks平台：

https://devcloud.intel.com/zh/edge/advanced/connect_and_create/

随机挑选几套硬件搭配，来看一下刚转换好的ONNX模型性能：

表格1：Benchmark ofPP-Tracking FairMOT 576*320 模型

获取更多技术内容~

文章知识点与官方知识档案匹配，可进一步学习相关知识Python入门技能树首页概览210534 人正在系统学习中