工业互联 平台智能人机交互系统软件

具备三维开发引擎、感知交互、渲染处理等软件工具，提供开发、部署和运行虚拟（增强）现实应用环境及全流程支撑能力，具备与工业互联 平台的集成能力，面向制造业中研发设计、装配、监测、运维、管理、培训等场景提供智能交互解决方案，继而形成稳定的商业模式和市场化机制，可在机械制造、航空航天、汽车等多个行业中进行推广应用。

软件架构图

系统布局

一、三维模型载入及场景构建、渲染工具

• 基于用户行为的大规模场景实施渲染工具

（1）用户行为分析——收集虚拟现实场景中的用户运动行为数据，构建虚拟场景中用户行为数据训练库，对用户当前模型比对训练库进行分析。（2）视点计算——基于用户行为分析预测下一时刻可能的位置及视力范围。（3）预加载——通过场景的智能动态预加载和撤销，提前加载用户下一时刻可能的视力范围所及的模型，并且加载远处模型的粗糙版本，撤销内存中很久未被关注的模型，实现大规模场景的实时渲染，节省渲染资源，避免渲染延迟，进而营造出真实的沉浸感体验。

• 立体/非立体全景视频渲染工具

（1）非立体全景图——以单张全景图作为输入，营造一种身临其境的感觉。（2）立体全景图——两张或者是多张全景图集合为输入，产生立体视觉。

• 云渲染工具

采用B/S架构，通过PC浏览器进行访问服务器端运行三维渲染应用，每个应用向外部实时传输视频流，同时，部署流媒体服务器，负责接收浏览器访问请求，并向浏览器推送视频流；浏览器端提供三维场景操控面板，支持视点的移动和旋转；在5G 络条件下，三维渲染应用的平均渲染帧速率不低于20FPS。

• 具备GPU加速的干涉计算的物理引擎工具

集成高效的物理引擎Nvidia PhysX，并单独开发面向工业产品应用的干涉检查，特别是基于GPU的连续碰撞检测等核心功能。

• 工业三维场景的浏览工具

（1）驾驶模式——通过模拟车辆在真实场景中的行驶行为，让用户在漫游三维场景的同时产生深度的真实感与沉浸感。驾驶模式的主要功能为操作车辆。以第一人称视角，控制车辆在场景中的行进方向，提供加速、减速等浏览选项。（2）产品检查模式——用于对工厂某个产品的局部细节进行浏览。对于单一产品，在切换为检查目标之后，能够对该目标实现6-DOF的观察。对于检测目标为组合产品，能够对该目标进行组合检查与拆分检查。这种交互模式主要分为目标获取与目标交互两个步骤。（3）巡检模式——当视点到了某个区域，该区域内的设备实时生产状态能够显示在设备上，方便巡检信息查看。（4）装配模式——虚拟装配在新产品开发、产品的维护以及操作培训方面具有独特的作用。在三维虚拟环境中，利用各类的交互设备（如数据手套/位置跟踪器、键盘、鼠标以及力反馈设备）像在真实环境一样对产品的零部件进行各类的装配操作，在操作过程中提供实时的碰撞检测、装配约束处理、装配路径与序列处理等功能。从而使用户能够对产品的可装配性进行分析，对装配人员进行在线培训等。

• 工业三维场景的自动语义标注工具

（1）输出不同角度的三维模型图像——对于待标注的三维模型，从不同角度输出二维图像，为了使得所拍摄图像能充分代表三维模型同时减少拍摄图像的数量，这里按照视点的熵进行重要性排序，选择视点熵从大到小的前10名图像。（2）用户自定义待标注模型的语义——提供用户输入待标注模型的语义，系统自动到互联 上下载该语义的相关图像，用于后续基于深度神经 络的图像识别的参考图。（3）基于深度神经 络的图像识别——在卷积神经 络的基础上建立推广的残差 络，提高图像识别的准确率。输入是不同角度的三维模型图像，输出模型的语义类别。

• 工厂和车间、流水线等快速建模工具

（1）装配现场的快速建模系统——开发软件模块，根据装配车间的二维图纸，通过勾勒墙体和工位区域来快速构建装配工厂的车间和工位等的三维模型。（2）装配现场的可视化系统——建立装配现场相关的三维模型数据库，用户可以从库中便捷地拖拽出所需的三维模型，快速形成装配现场的布局情况，并对设备和装配部件设置属性，利用PERT图组织和管理仿真的时序，形成动态的现场仿真。

• 工业软件CAD模型的载入接口工具

将输入的具有精确边界表示的CAD模型（step格式），转换为 格表示的模型。在此过程中，可通过参数调整 格化模型的精度控制——对 格模型进行多分辨率轻量化处理。最后，保存为VR/AR支持的模型格式，默认为.osg格式。

• 工业三维模型库的管理

按照各种模型的组成结构进行分类，再对这些不同结构的单元进行详细编码，从而形成模型的唯一标识。根椐工业场景的不同，模型分为：建筑模型、家居模型、工业工程设备模型等。
 

二、多通道感知交互工具

• 智能语音交互工具

预制一个交互命令数据表，该模块能接收语音输入，并将其识别成交互命令，从而产生交互动作。

• 力反馈交互工具

力反馈交互配合在VR/AR平台中的碰撞（干涉）检查使用，即一旦发生碰撞，则系统进行力反馈交互计算，并将计算后的高度自然的碰撞效果（力）反馈给用户，增强交互过程中用户触觉反馈的真实性。

• 手势交互工具

（1）VR场景漫游——以HTC Vive虚拟现实设备为例，提供三种不同方式的漫游，包括用户真实空间移动与虚拟现实空间移动的对应、基于手柄交互的360度精确移动、基于手柄的快速漫游。（2）基于手柄和数据手套的自然设备交互——手柄指向某设备，在该设备的前面正对着用户的方向弹出浮动窗口，在窗口中显示设备信息。基于数据手套实现“点”，“旋”，“拨”，“移”等典型的设备操作。

• 情感交互工具

（1）基于用户行为的情感分析——针对用户的生产操作行为，使用注意力模型根据当前的状态从海量行为数据中根据需求提取重要信息，原始数据通过映射得到其数值表达，输入到后续深度学习模型中。然后，构建基于深度LSTM的长时记忆模型，输出用户某一时刻的情感状态。（2）多模态的情感化交互范式——在交互流程中，用户输入可以是语音、手柄、手势等多模态数据，输出可以是语音提示、图像、视频、力反馈等。提供针对工业场景的多模态情感化交互范式，规定了这些多模态数据的搭配模式，以提升用户体验。

• VR/AR交互设备管理工具

基于开源工程vrpn进行开发，不是为一套设备提供驱动程序，而是为一套功能提供接口

• VR/AR显示设备管理工具

针对头盔的显示，建立一个统一的标准接口管理头部6个自由度的位置和姿态、手柄的位置和姿态，每个眼镜的竖直和水平张角等。

• 图像识别和跟踪工具

（1）图像训练与识别模块——解决图像识别中的问题。训练中的输入是用户指定的一张图片，输出为特征描述子与ID。在识别的时候，能够根据摄像头获取到的实时视频流作为输入，输出训练图是否被包含在视频流里。如果是，则返回识别成功并进行下一步的姿态估计；如果否，则继续识别。（2）姿态估计模块——根据图片识别模块的识别结果为是的情况，对此时相机的姿态（位置和朝向）进行估计，从而根据姿态数据在真实的场景里叠加虚拟的三维模型。本模块采用基于模型的方法估计AR姿态。（3）实时跟踪模块——用于了解决基于模型的方法带来的复杂计算问题。跟踪少许特征来完成相机位姿的更新可以极大地降低计算量，使得虚拟物体能够实时地随着相机位置的变化而相对地改变姿态。
 

规格 价