华为还提供界面的通用配置功能,帮助开发者方便地自动生成简单的 web 页面。开发者只需简单地对接通用配置的查询接口,就可以生成自己的应用。
华为软件定义摄像机定义了二进制消息头,可以把它理解为是 HTTP 协议 2.0 版本,软件定义摄像机对外提供的接口规则和 RESTFUL 里面定义的很多约定俗成的规则也是类似的。这里还可定义扩展头,希望通过扩展头的机制实现接口的持续演进,保持前向和后向的兼容。为了提升效率,客户端可以把请求批量一次性发到服务端。每一个使用者可以给自己的每一个请求设置 Transaction-ID,服务端会保证这个请求或响应跟 Transaction-ID 是一致的,从而实现灵活的编程或业务处理。
软件定义摄像机有很好的算法移植能力,以 Caffe 模型为例,将 Caffe 模型通过模型转换工具转化为可在软件定义摄像机上加载的 NNIE 模型,该文件模型以 wk 为后缀,开发者可以在软件定义摄像机上调用 NNIE 接口做模型推理。
马俊凯还解答了开发者关心的精度损失问题。
RuyiStudio 模型转换工具同时也提供了精度损失分析的功能。该工具读入模型文件(prototxt、caffemodel 文件),选定一个测试集,利用测试集做前向推理,得到 GPU 模型每一层 Feature Map 的输出,再用同样一张测试图片和 WK 模型做前向推理,得到转化完成之后 WK 每一层的 Feature Map 输出,用两层 Feature Map 的输出,就可以计算出每一层 Feature Map 的相似度水平。如果量化误差很小,那么相似度就会很高。
马俊凯还分析了掉点问题,对于模型的优化问题,也提出了一些建议。
基于 SDC OS 架构实现板端推理,首选应初始化 SDC 服务,处理好 YUV 数据帧队列,对数据流 YUV 数据进行通道设置,比如设置分辨率和通道 。其次进行模型加载和初始化,需要初始化 NNIE 参数,如 anchor、类别、阈值,还要分配输入和输出的 blob。然后可订阅 YUV 数据,继而做前向处理。前向处理后可做算法的后处理。最后要发送到 web 或后端服务器,把算法结果发送出去。如果要实现算法 App,需要关注加载模型、卸载模型,然后做前向处理和订阅 YUV 数据,用这四个服务就可以实现 App 的主体流程。
-
加载模型关注两个字段,第一个是 url,第二个是 method。url 是 SDC_URL_NNIE MODEL,而 method 就是 SDC_METHOD_CREATE。
-
卸载模型类似,url 类型就是 SDC_URL_NNIE MODEL,method 就是 SDC_METHOD_DELETE。
-
前向处理的 url 是 SDC_URL_NNIE_FORWARD,而它的 method 是 SDC_METHOD_GET 过程,要从内存中 GET 到 Feature Map。
-
订阅 YUV 数据,url 是 SDC_URL_YUV_DATA,method 也是 SDC_METHOD_GET,因为我们要从之前分配好的内存队列中 GET 到 YUV 数据。加载模型可以使用输入字符串或者输入文件字符串的加载方式,也可以通过内存加载。文件只需要输入模型字符串就可以实现加载;而内存加载时要先 open 模型,传入模型地址后才可加载。订阅 YUV 数据的扩展头就可以获取当前队列里面的 MAX,就是我们已有的 YUV 个数。
杨磊还就 YUV 处理问题给予了解答。因为输入输出的 blob 是三维的,而不同的模型输出的 blob 个数不一样。NNIE 输出的内存排布格式也不一样,它首先排布坐标框,接着排前景概率、类概率,然后按照不同 Anchor 来排布,直到最后回归。可以按照这样的编译地址取到相应的值,回归出坐标框。
机器视觉开发者 区介绍
华为机器视觉开发者 区运营经理谭义鑫从 区论坛、生态开放实验室、赋能培训、职业认证、开发者活动五个方面对华为机器视觉开发者 区进行了详细的介绍。开发者 区既是知识分享和技术交流平台,也是开发者求助的通道,开发者遇到机器视觉技术问题,都可以在 区论坛或通过工单进行求助。
机器视觉生态开放实验室在杭州、北京、成都、深圳均有布局,有低门槛、使用便捷、在线申请、设备多样化等特点,实验室提供包括 HoloSens IVS3800、 HoloSens IVS1800、HoloSens SDC 等多种机器视觉相关产品,开发者可在线申请。
小 结
本次 DevRun 开发者沙龙 华为机器视觉技术开放日 – 杭州专场内容丰富,精彩纷呈,解构了“软件定义摄像机”,也为关注机器视觉的开发者们带来了一场技术盛宴。今年华为机器视觉还将在各地开办各类技术沙龙活动,持续展开技术布道,感兴趣的开发者可以持续关注。

点个在看少个 bug p>相关资源:婚礼结婚相册制作软件-桌面系统工具类资源-CSDN文库
声明:本站部分文章及图片源自用户投稿,如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢!