传统座舱引入各种辅助驾驶功能之后，要求驾驶员能够熟练掌握驾驶舱的交互方式，能够了解系统的能力与使用限制，能够理解系统的输入／输出关系，在此基础上决定如何操控辅助驾驶系统。在后续下一代架构中，智能座舱将实现语音控制和手势控制技术突破，基于多种模式感知手段的融合，使感知更精准和更主动。
座舱AI智能交互系统是一个独立系统，独立迭代，每月OTA。整个智能座舱系统架构可以参考如下设计模型进行相应的信息交互。与智能驾驶域不同，智能座舱域更偏向于交互层级，也即更加重视智能互联。因此对于 络通信、数据流等信息更加重视。
智能座舱算法算力解析
智能座舱的高速发展催生算法数量攀升，算力需求增加。到2021年，摄像头能够覆盖轿车乘客，IMS检测最多达5人，多模语音分离最多也达到5人，2022年，大概有150个算法驱动300个以上的场景应用；到2023年，开发者生态建立后，第三方感知将大幅增加，全车的离线多模语音交互将需要更多的算力。车载智能化AI系统包括车载AI场景、算法、开发工具、计算架构、车载AI芯片。整个智能座舱AI系统视觉、语音、多模融合。23年，座舱AI算法将达到白万级。
在数据方面整体提高50%的处理效率，在算法方面平衡计算和带宽上的高效神经 络结构。在算力上将从个位数量级向百位数量级增长，一般情况智能AI座舱是一个独立系统，独立迭代，每月OTA。
如下表示了智能座舱在其AI算法发展上的能力分配表。总结起来智能座舱算法模块主要分为几个大类：
驾驶员面部识别类：包含人头识别、人眼识别、眼睛识别等；
驾驶员动作识别类：手势动作识别、身体动作识别、嘴唇识别等；
座舱声音识别类：前排双音区检测、声纹识别、语音性别识别/年龄识别等；
座舱光线识别类：座舱氛围灯、座舱主体背景、座舱内饰等；
如下图表示了比较全面的智能座舱算法库。
细化下来，将其中的开发过程进行放大可以看到：从数据平台到开发平台搭建及软硬件开发过程涉及如下：
1）数据缺陷
这一过程中，首先需要从已量产的产品中提取数据缺陷DATA-Failure；数据缺陷包含数据漏检，虚假数据，数据校验不通过部分等；
2）数据采集
针对数据缺陷需要重新进行数据采集DATA-Collection，该采集过程包含在开发阶段通过搭建的数据采集平台进行数据采集（比如可以是实车在驾驶过程中用到的驾驶舱内外行车记录仪、全景影像、前视或周视摄像头等），也包含在已经量产的车型中设置的数据埋点或影子模式方式进行；
3）数据标注
采集数据进行数据标注DATA-Label，这里需要注意的是智能座舱和智能驾驶的标注方式上有所不同；如座舱主要涉及图片、语音等标注，ADAS主要涉及道路环境语义（如车道线、护栏、锥桶等标注类型）等标注；
4）数据模型
对于智能座舱算法而言，最重要的是进行人工智能的机器视觉算法训练，该过程涉及形成较为精准的数据模板，将标注后的数据用于进行数据模型训练DATA-Model。
2、应用开发框架
AI算法仓库主要是对数据平台中的数据模型进行有效训练，模型训练主要高中低三种渐进开发模式。
高级模式：该AI算法仓库中训练模型复杂，需要耗费较多的AI算力用于权值检测、关键点检测、图像语义分割，图形骨架提取等；
低级模式：算法仓库都是一些标准化模型，如安全带、座椅识别等标准件的识别等；这种类型的识别过程都是一些标准化的识别过程，甚至不包含浮点运算，都是整型运算，算法耗费算力小，效率高；
中级模式：算法仓库中复杂度一般，分类较多，嵌入多模型组合进行分类，可实现诸如抽烟、打电话等驾驶员基本的操作过程识别。需要说明的是该模型对于开发团队的能力建设要求较高。
3、应用集成框架
应用集成框架平台包含利用AI应用开发中间件集成模型框架，搭建通信及底层组件。在开发集成过程中包含模型转换（即浮点转定点）与编译，生成标准化模型，随后通过加载模型跟配置（配置可以放到固定的地方）；定义输入输出：编写过程代码（包含处理逻辑），接收函数框架，定义消息类型（自动反序列化与序列化），释放软件等过程。后续可编译生成.so文件，并加载到感知管道Pipeline中。
总结
经过对座舱域系统的系统架构和软硬件进行安全升级后，座舱的发展将补齐“驾驶控制”这最后一个短板，迈向“全方位智能座舱”。随着技术逐步的成熟，可能会导致硬件架构的进一步集中，加速促成驾驶域与座舱域的融合，并最终形成车载中央计算机。
文章知识点与官方知识档案匹配，可进一步学习相关知识算法技能树首页概览33958 人正在系统学习中
声明：本站部分文章及图片源自用户投稿，如本站任何资料有侵权请您尽早请联系jinwei@zod.com.cn进行处理,非常感谢！