解析特斯拉自动驾驶软件系统

汽修案例关注，汽修大师解读

点击阅读 ??变态发动机，见过一个也算你牛

一、综述

特斯拉的Autopilot系统搭载了8个摄像头，这8个摄像头可以进行超过1 000种不同任务的感知预测。在Tesla自研的FSD计算平台上，这些感知功能可以检测移动物体（例如行人、车辆、自行车、动物等），静态物体（车道线、路标、道路边缘、交通信 灯等），行驶环境区域（例如学校区域、住宅区、收费站等）。其中每个主功能下边还有若干附属功能，例如车辆检测还包括车辆的静止，朝向，开门等子任务的检测，停止标志检测包括如右转无需停车等细分类检测等。

二、特斯拉的摄像头搭载情况

特斯拉的Autopilot系统搭载了8个摄像头，其中前方摄像头模组共由3个摄像头组成，这3个摄像头都是基于2015年安森美半导体公司发布的120万像素图像传感器开发的，其配备了3个AR0136A上的CMOS图像传感器，像素大小为3.75pm，分辨率为1 280×960（1.2MP）。

主视野摄像头：视野能覆盖大部分交通场景。

鱼眼镜头：视野达120°的鱼眼镜头能够拍摄到交通信 灯、行驶路线上的障碍物和距离较近的物体，非常适用于城市街道、低速缓行的交通场景。

长焦距镜头：视野相对较窄，适用于高速行驶的交通场景，并可以清晰拍摄远达250m的物体。其前方摄像头模组如图1所示。

前方侧视摄像头：视场角为90°，前方侧视摄像头分别位于特斯拉两侧的B柱上，最大探测距离为80m。其能够探测到高速公路上突然并入当前车道的车辆，以及在进入视野受限的交叉路口时进行探测。前方侧视摄像头如图2所示。

侧方后视摄像头：最大探测距离为100m，能监测车辆两侧的后方盲区，在变道和汇入高速公路时起着重要作用。侧方后视摄像头如图3所示。

后视摄像头：探测距离为50m，主要进行泊车辅助（图4）。

三、模型架构

特斯拉的各个相机是一种松tER41*3合的状态，即各个相机单独进行感知，然后把不同相机的感知结果通过滤波器或者其他技术进行拼接。特斯拉在其Autopilot2.0系统中针对8个相机的特征层（Feature layer）输入了融合层来对特征层进行融合，随后得到鸟瞰图，最终在鸟瞰图的基础上再进行目标检测、道路分割、边缘检测等功能输出。如图5和图6所示。

特斯拉的Autopilot系统使用了规模巨大的多神经 络结构，不同相机根据不同的 络负责不同功能，并且不同 络引入RNN神经 络实现了跨时间的感知任务。前摄像头模组可以感知车道线并且进行目标跟踪，日柱摄像头和侧翼子板摄像头可以结合上一时刻的图像输入以及本时刻的图像输入一起负责对于加塞工况的判断，并且与前摄像头模组是跨时间的任务组合配合。特斯拉的无人驾驶除了图像检测之外，还有很多训练功能 络，包括图像深度估计 络、坐标投影 络、道路元素及布局推理 络、道路元素关联 络。利用上述 络特斯拉可以更方便的进行模型感知及推理。特斯拉自动驾驶的感知 络结构如图7所示。

四、模型训练

特斯拉的自动驾驶技术高度依赖于神经 络，对于车载系统，如果实时运算一个拥有48个 络，1 000多个感知输出的庞大神经 络模型是无法完成的事情。对于模型训练，特斯拉研发了专门用于模型训练的Dojo超级计算机群，如图8所示。

对于神经 络的模型训练，我们最关注模型的损失函数、跨任务训练、数据优化三个部分。

1．损失函数

损失函数（Loss Function）也可称为代价函数（CostFunction）或误差函数（Error Function），用于衡量预测值与实际值的偏离程度。一般来说，我们在进行机器学习任务时，使用的每一个算法都有一个目标函数，算法便是对这个目标函数进行优化，特别是在分类或者回归任务中，便是使用损失函数（LossFunction）作为其目标函数。机器学习的目标就是希望预测值与实际值偏离较小，希望损失函数较小，也就是所谓的最小化损失函数。特斯拉把所有的子任务最终都加权平均到一个损失函数中，对这个损失函数进行优化。特斯拉在训练过程中，主要存在如下几点问题的思考：

（1）不同任务的损失函数的范围不同，并且分类和回归权重也不同。例如感知人和道路边缘是两个任务，其范围不同并且权重也不同，损失函数的归一化是一个重要的问题。

（2）不同任务有着不同的重要性，例如行人检测就有着比限速标志牌更高的优先级。

（3）有些任务比较简单，有些比较困难，例如道路标示牌在不同场景下的变化不大，模型可以快速训练到很好的效果，但是车道是一个很复杂的任务，道路模型具有多样性的特点。

（4）模型的长尾数据较少（RA口特殊车辆，事故检测等数据量较少，对于十分依赖数据输入的神经 络来说是一个很大的挑A）。

2．跨任务训练

3．数据优化

为了解决长尾任务的训练，采用数据过采样来保证任务内的数据优化以及任务间的数据平衡。例如，在现实交通灯数据中，黄灯的时间及出现频率非常有限，通过过采样达到在一项任务内基本的一个数据分布的平衡。另外在特斯拉任务间也通过不同任务的优先级，重要程度等设定过采样率来调节不同任务的性能。对于数据量不同的训练任务，应该对长尾任务（例如特殊车辆，事故检测等数据量较少的任务）以及噪声影响较多的任务进行大量数据优化。

五、特斯拉FSD软件信 传输的流程

特斯拉FSD软件信 传输的流程如图9所示。

六、总结与展望

特斯拉后续会持续升级其软件系统，包括感知神经 络的训练及部署，并有可能使用新一代毫米波雷达或者使用4D毫米波雷达融合感知。特斯拉的自动驾驶软件系统为自动驾驶提供了新的实现方法，现在各大主机厂、各大供应商均开始大力研究自动驾驶的软件系统及架构，相信这会让未来自动驾驶功能更加完善，可靠性更高。