【飞浆AI创造营】六 部署全流程

本节课介绍了如何部署模型，分为部署在Edgeboard、安卓端以及Jetson Nano和地平线开发板，以及如何基于hub sevrving微信小程序模型部署。

Edgeboard

Edgeboard是基于FPGA打造的嵌入式AI解决方案，是百度面向嵌入式与边缘部署场景打造的一系列AI硬件/模块/软硬一体产品，兼容百度大脑开放能力与工具平台，可极大降低AI应用开发难度与成本。开发者可以基于EdgeBoard打造智能硬件，也可以使用EdgeBoard部署应用。 址：百度大脑EdgeBoard硬件自营店

基于paddleLite推理框架。支持paddle模型的推理部署，支持C++和python接口。

• C++部署：需要Cmake编译，速度快,输出为tensor
• python部署：无需编译，速度较C++慢，输出为numpy

安卓端

安卓端相关知识我不太了解，但是讲解人步骤给的还是很详细的，演示时电脑很卡，小哥哥有点紧张了哈哈哈。

主要的流程：

• 对自定义数据集使用labelling进行标注
• 使用Paddlex将数据集划分为训练集、测试集；
• 使用PaddleDetection目标检测套件训练模型；
• 最后导出模型，通过PaddleLite生成.nb文件，部署到手机上；
• 安卓部署详细操作；
  • 配置系统环境
  • 下载PaddleLite-demo
  • 下载Android Studio开发环境并配置软件环境
  • dome调试
  • 根据dome，加入自己的模型，修改配置，实现自己的demo，并调试
  • 将APP打包成可安装程序.apk文件
  • 实现飞桨框架深度学习模型从0到1的全流程。

具体步骤参照：安卓端部署流程

在Jetson Nano上基于python部署Paddle Inference

• Jetson系列——Ubuntu18.04版本基础配置（换源、远程桌面、开机自连WIFi）

详细步骤开源在了csdn:

• Jetson Nano——基于python API部署Paddle Inference GPU预测库（2.1.1）

地平线部署教程

流程

基于hub sevrving微信小程序模型部署

PaddleHub是飞桨生态下的预训练模型管理工具，通过PaddleHub便捷地获取飞桨生态下的预训练模型，结合Fine-tune API 快速完成迁移学习到应用部署的全流程工作。

特点：

• 快速推理：基于“模型即软件”的设计理念，通过Python API或命令行实现快速预测
• 迁移学习：结合Fine-tune，在短时间内完成模型训练
• 一键部署：简单命令搭建自己的模型的API服务

简略步骤：

1. 导库
2. 定义类
3. 装饰器
4. 挑选模型
5. 创建 conda 环境，安装 PaddleHub

6.  开启模型服务