特斯拉FSD自动驾驶方案深度解析

lichengwan

在自动驾驶技术的迅猛发展中，特斯拉的全自动驾驶（FSD）系统无疑是其中的佼佼者。通过结合先进的感知系统、创新的数据处理方法以及高效的仿真技术，特斯拉FSD正在重新定义自动驾驶的未来。这篇深度解析报告将带您一探FSD系统的核心技术与策略，探讨特斯拉在这一领域的竞争优势，以及它对未来汽车行业发展趋势的深远影响。
技术架构

FSD的核心在于其独特的技术架构，它融合了多项先进技术。特斯拉的自动驾驶技术主要依赖于摄像头而不是传统的激光雷达（Lidar），这是一个重大的行业区别。这种方法依靠先进的神经网络进行图像处理和解释，实现对环境的精确识别。



FSD为一套包含感知/规控/执行的全链路自动驾驶软硬件架构数据标注和训练

数据标注和训练是FSD技术发展的关键。特斯拉采用了自动标注系统，极大提升了数据处理效率。通过大规模的数据收集和处理，特斯拉能够不断优化其自动驾驶算法。此外，报告中还提到了特斯拉在4D数据标注方面的进展，这意味着在时间和空间维度上都实现了更精确的数据处理。
仿真模拟

在仿真模拟方面，特斯拉采用了高级的仿真技术来测试和优化其FSD系统。这种仿真不仅包括了传感器仿真，还涵盖了逼真的视觉渲染，以及多元化的交通参与者和地理位置。通过这些综合仿真，特斯拉能够在虚拟环境中重现真实世界的各种驾驶情景，从而有效地提高其自动驾驶技术的安全性和可靠性。
FSD V12展望

最新版本的FSD技术展示了更加先进的自动驾驶能力。马斯克在一次直播中展示了FSD V12的路测，其中FSD系统仅在一个繁忙的十字路口需要人工干预，显示了其高度的自动化和可靠性。
技术细节

HydraNets：多任务训练的神经网络，提升了网络运行的效率。

端到端感知模型：BEV感知模型结合端到端的感知解决方案，直接在BEV空间中感知环境。

数据引擎：通过影子模式部署和车队数据采集，优化神经网络。

训练基础设施：Dojo训练基础设施提供分布式计算架构，加速迭代能力



特斯拉FSD技术的不断进步不仅代表了该公司在自动驾驶领域的领先地位，也预示着未来汽车行业的发展方向。随着技术的不断迭代和优化，我们可以期待在不久的将来，更加智能和安全的自动驾驶汽车将成为现实。



自动驾驶规划（Planning）——我该怎么走？

采用混合规划系统，提供最优规控解决方案，自动驾驶规控的目标：

基于感知网络输出的结果，通过规划汽车行为和行车路径使得汽车达到指定目的地，同时尽可能确保行车安全性、效率性和舒适性。

特斯拉FSD解决方案 : 将传统规划控制与神经网络算法相结合，构建一套[混合规划系统]依靠“互动搜索(Interaction Search)”的框架以任务分解的方式对一堆可能的运动轨迹进行并行研究。



十字路口三种不同方案的选择


FSD最终路线规划选择


特斯拉视觉规控解决方案
基于Vector Space的FSD路径规划，能够快速产生最优解：

具体解决路径：从一组视觉测量开始，包括车道、占用率、移动物体等( 这些都表现为稀疏的抽象和潜在特征)，感知得到的Vector Space ，通过Vector Space规划出后续潜在目标状态，进一步考虑细分互动，得到决策规划的路径；

决策树生成：最初用经典的优化方法来创建规划路径随着约束条件增加，每个动作都需要1-5ms的时间；

最终建立了轻量级可查询网络：【Tesla车队中人类驾驶员驾驶数据】VS【宽松时间约束的离线条件下系统规划的全局最优路径】，两者不断进行对比训练。能够在100us内生成一个候选规划路径；

决策树剪枝/评分：采用混合规划系统，将传统方法与数据驱动相结合，通过四个方法进行候选路径评估完成剪枝。



FSD互动搜索框架
对于未知及不确定性( corner case ) 的决策通过Occupancy Network对可视区域进行建模用来处理未知不可见场景：需要根据这些假想的参与者做相应的保护性驾驶，将控制反应与存在可能性函数相协调，得到非常类似人的行为。

至此，特斯拉FSD最终架构浮出水面 ：首先，通过视觉感知网络生成三维向量空间，对于仅有唯一解的问题，可直接生成明确的规控方案，而对于有多个可选方案的复杂问题，使用向量空间和感知网络提取的中间层特征，训练神经网络规划器，得到轨迹分布；其次，融入成本函数、人工干预数据或其他仿真模拟数据，获得最优的规控方案最终生成转向、加速等控制指令，由执行模块接受控制指令实现自动驾驶。



通过Occupancy Network对可视区域进行建模用来处理未知不可见场景


特斯拉FSD感知-规划-控制整体架构



占用网络( Occupancy Network )我周围有什么 ? 如何分布？

升级至Occupancy能够有效优化障碍物识别问题



智能感知不再局限于固定形状的识别，而是能够精准识别并理解物体的实际体积HydraNets (九头蛇网络 )为视觉感知网络的基础结构

网络基础结构-九头蛇网络( HydraNets )由主干( Backbone )、颈部(Neck) ) 与多个分支头部(Head)共同组成。主千层将原始视频数据通过残差神经网络(RegNet)及多尺度特征融合结构(BiFPN)完成端到端训练，提取出颈部层的多尺度视觉特征空间 (multiscale features )，最后在头部层根据不同任务类型完成子网络训练并输出感知结果。

优势一: 特征共享(Feature Sharing)。使用同一主千网络提取特征并共享给头部使用，可以在测试阶段分摊在车上运行的前向判断，避免不同任务之间重复计算现象，提升网络运行效率；

优势二: 任务解耦( De-Couples Tasks)。不同类型子任务之间可以进行解耦，这样可以单独处理每一项任务，对单项任务的升级不必验证其他任务是否正常，升级成本更低；

优势三: 特征缓存( Representation Bottleneck)因为这里存在颈部，可以将特征缓存到硬盘，具有较强的扩展性。


通过端到端的感知训练模型，从数据输入到空间向量输出

Step 1 图像输入( Image Input):校准每个相机的图片，将原始12位RGB图像(而非典型的8位)输送给网络。多了4位信息能够使得动态范围提升16倍，同时减少延迟(无需在循环中运行图像信号处理ISP )

Step 2 图像校准(Retify): 通过不同的汽车采集到的数据共同构建一个通用感知网络架构，不同汽车由于摄像头安装外参的差异，可能导致采集的数据存在微小偏差，为此特斯拉在感知框架中加入了一层“拟标准相机(vitual camera，引入摄像头标定外参将每辆车采集到的图像数据通过去畸变、旋转等方式处理后，统一映射到同一套虚拟标准摄像头坐标中，从而实现各摄像头原始数据校准，消除外参误差，确保数据一致性，将校准后的数据传输给主干神经网络进行训练

Step 3 特征提取 (Image Featurizers) : 用一组RegNet (特定残差网络, specific dass of resnets )和BiFPN (加权双向特征金字塔网络)作为提取图像空间特征的主干



加入virtual camera校准图像数据偏差通过端到端的感知训练模型，从数据输入到空间向量输出

Step 4 构造空间位置 ( Spacial Attention) :将摄像头采到的数据通过(BEV空转换层] 构造一组3D位置，同时将图像信息作为键(key)值(value)，输入给一个注意力模型( 模决是[Transformer神经网络) )。注力模型的输出是高维空间特征，这些高维间特征与车辆上的里程数据进行暂时协调，来推导出运动。该方案厉害之处在于可以将地面坡度、曲率等几何形状的变化情况内化进神经网络的训练参数中

Step 5时间对齐( Temporal Alignment): 上述高维空间暂时特征经过-组反卷积，产生最终的占用率和占用率流输出。它们生成的是固定尺寸块的网格，为了提高精度，模型还生成了per volex feature MAP输入到MLP中，借助3D空间点查询( query) 来获取任意点的位置和语义信息



BEV+Transformer实现二维图像空间向三维向量空间的转变


通过输入视频片段为自动驾驶增添短时记忆能力问题一：如何预测车道？



特斯拉车道预测方案问题二：如何预测道路上其他对象的未来行为？

预测所有物体的属性，在实时系统上造成了一些具体实施问题。需要让对象堆栈部分实现帧率最大化，自动驾驶才能对变化的环境做出快速反应。为了尽量减少延迟，神经网络被分为两个阶段:

第一阶段，确定对象在3D空间中的位置；

第二阶段，在这些3D位置取得张量，附加车辆上的额外数据和一些其他处理。

这个规范步骤使得神经网络专注于计算最关键的区域，能够付出很小的延迟成本获得优异性能。



障碍物感知是一个两阶段的感知训练数据（Training Data）——为什么这么走是正确的？

自动数据标注（Auto Labeling）

由2D手工标注逐步升级为4D自动标注，数据闭环趋于完善


为什么要采用4D自动标注？——大幅提升标注效率



特斯拉数据标注发展历程
可以取代500万小时的人工操作标记，只需在集群中运行12小时就可以完成10000次行驶轨迹的标记。

如何进行4D自动标注 ?一采集Clips通过机器算法生成Labels

自动标注步骤：

通过汽车在一段时间内采集到的视频IMU、GPS、里程表等数据构成最小标注单元 ( Clip，约45-60秒 )

将最小标注单元上传至服务器，由离线神经网络系统训练得到中间层结果如分割、深度等

通过大量机器算法生成最终用以训练的标签集 ( Labels )



4D自动标注过程4D自动标注的几个关键步骤



4D自动标注的3个关键步骤仿真模拟（Simulation）

为什么要做仿真模拟 ?——泛化Corner Case，赋能模型迭代

仿真模拟可以提供现实世界中难以获得或是难以标记的数据，从而加速FSD能力的训练，赋能模型迭代



仿真模拟示意图如何进行仿真模拟 ?——五大步骤

Step 1 准确的传感器仿真( Accurate Sensor Simulation ):由于FSD的感知系统是基于纯摄像头，因此需要对摄像头的各种属性进行软硬件建模，如传感器噪声、曝光时间、光圈大小、运动模糊、光学畸变等

Step 2 逼真的视觉渲染(Photorealistic Rendering ):为了更真实的模拟现实世界场景，需要仿真渲染尽可能做到逼真。特斯拉利用神经网络视觉技术提升视觉渲染效果，同时用光线追踪的方法模拟逼真的光照效果

Step 3 多元化的交通参与者与地理位置 ( Diverse Actors & Locations) :为了避免仿真环境过于单一，导致感知系统过拟合的问题，特斯拉对仿真环境参与物进行了充分建模，包括多元化的交通参与者和静态物体

Step 4大规模场景生成(Scalable Sensor Generation): 由计算机通过调整参数生成不同的场景形态。同时由于大量的仿真场景可能是的无用的，为了避免浪费计算资源，引入MLB等神经网络寻找故障点，重点围绕故障点进行仿真数据创建，反哺实际规划网络，形成闭环

Step 5 场景重现 ( Sensor Recontruction ):在完成真实世界片段的自动标注重建后,叠加视觉图像信息，生成与真实世界"李生”的虚拟世界，复现真实世界中FSD失败的场景，实现在仿真环境下的优化迭代后再反哺汽车算法模型，实现“数据闭环”







实现模拟仿真的五大步骤
AutoInnovateHub