自动驾驶系统中的感知轻地图设计开发方案（一）

xiaocheng

在过去的几十年里，视觉映射和定位的研究变得越来越流行。传统的基于视觉的方法侧重于同时定位和小规模室内环境中的地图绘制 (SLAM)。在自动驾驶任务中，方法更注重大范围的室外环境。2030 年为车云链路产业规模基本成型期望年限，车云链路的成熟为轻地图方案和图商自身业务发展的发展带来巨大效益。
行业内对于高精地图和轻地图的方案也是争论不休，目前很多厂家或者 Tier1 已经倾向于采用轻地图方案来代替高精地图来实现基础的融合定位功能。如下表表示了行业内典型的地图应用案例分析以及轻地图和高精地图的设计原理上的差异。





常规地图分类概述
为了弄清整体的轻地图方案，这里需要将常规的几类地图功能进行对别分析。通常，我们的地图分类主要包括导航地图 SD、专业版导航地图 SDPro、ADAS 地图、高精地图 HDLite 版、高精地图 HD、众包地图。以上几种地图拥有其各自不同的特性，在实际融合定位和地理信息识别中起到了不同的作用。

序号	地图分类	特征信息
1	导航地图 SD	1 路由寻径：起始点搜索、导航路径树 2 交通信息：道路级限速 3 信息点：兴趣点、地址信息 4 基础路网：道网数据、拓扑信息
2	专业版导航地图 SDPro	1 路由寻径：起始点搜索、导航路径树 2 交通信息：道路级限速 3 车道信息：车道中心、车道边界、道路边界 4 信息点：兴趣点、地址信息 5 参考线：道路参考线、道路信息与拓扑
3	ADAS地图	1 路由寻径：起始点搜索、导航路径树 2 交通信息：道路级限速 3 几何信息：曲率、航向、横坡、纵坡 4 车道信息：车道中心、车道边界、道路边界 5 信息点：兴趣点、地址信息 6 参考线：道路参考线、道路信息与拓扑
4	高精地图 HDLite 版	1 路由寻径：起始点搜索、导航路径树 2 交通信息：车道级限速、车道限制信息 3 几何信息：曲率、航向、横坡、纵坡 4 车道信息：车道中心、车道边界、道路边界及对应详细信息 5 参考线：道路参考线、道路信息与拓扑
5	高精地图 HD	1 路由寻径：起始点搜索、车道级导航路径 2 对象信息：箭头、信号灯、标牌、导流区、护栏、收费 3 交通信息：车道级限速、车道限制信息 4 几何信息：曲率、航向、横坡、纵坡 5 车道信息：车道中心、车道边界、道路边界及对应详细信息 6 参考线：道路参考线、道路信息与拓扑
6	众包地图	道路拓扑、路径规划、对象信息、车云链路

如上表所示，与 SD 相比，SDPro 地图增加了基础车道信息，可支持抬头显示功能开发；而 ADAS 地图又增加了曲率、坡度、航向道路几何信息；HDLite 相对于 ADAS 信息来说，要素种类相当，但是其精度略高于 ADAS 地图。HD 地图在 ADAS 地图基础上又增加了详细的对象信息，丰富了交通限制信息，信息精确至车道级。同时，在 HDLite 基础上增加了对象信息。考虑到地图新鲜度和更新速度，众包地图又通过单车智能感知、逻辑运算等，利用强大的车云、云云、车车链路，实时生成、更新、共享在线地图。



感知轻地图的获取设计方案
如下图，表示了整个感知语义地图过程需要应用到的关键技术和方法：



第一部分是车载映射。使用配备前视摄像头、RTK-GPS 和基本导航传感器（IMU 和车轮 编码器）的车辆。这些车辆一般搭载在各个运营车上，每天收集大量实时数据，通过分割网 络从前视图图像中提取语义特征。然后基于优化的车辆姿态将语义特征投射到世界框架，在 车辆上构建本地语义地图。该本地地图后续会被上传到云地图服务器。
第二部分是云端映射。云服务器从多辆车收集本地地图，当地地图合并成一张全局地图。然后通过轮廓提取对全局地图进行压缩。最后，将压缩后的语义图发布给最终用户。
最后一部分是最终用户本地化。最终用户是量产车，它们配备低成本传感器，例如摄像 头、低精度 GPS、IMU 和车轮编码器。终端用户从云服务器下载语义地图后对其进行解码。与车载测绘部分相同，通过分割从前视图图像中提取语义特征。车辆通过语义特征匹配在地 图上定位。
整个通过感知建图的过程系统由如下几个步骤完成，其中包括图像分割、姿势图优化、 本地映射、地图合并更新、地图压缩几个模块。
相应的设计原理如下：
1、图像分割
本文将前视图像分割成多个类，如地面、车道线、停止线、路标、路缘、车辆、自行车 和人。在这些类别中，地面、车道线、停止线和道路标记用于语义映射。其他类可以用于其 他自动驾驶任务。
如下图所示为一个图像分割的例子。图(a)显示了前视摄像头拍摄的原始图像。图(b) 显示相应的分割结果。图（c）（d）（e）（f） 则表示了相应的语义建图到车辆坐标系下的适配过程。



从图像分割来看，每个点都包含一个类标签（地面、车道线、路标和人行横道）。每个 点代表世界框架中的一个小区域。车辆在行驶过程中，可以对一个区域进行多次观察。然而， 由于分割噪声，这个区域可能分别进入不同的分类。为了克服这个问题，可以使用统计数据 来过滤噪音。地图分为小格子，分辨率为 0:1×0:1×0:1 米。每个网格的信息包含位置、语义标签和每个语义标签的计数。语义标签包括地面、车道线、停止线、地面标志和人行横道。
一开始，每个标签的分数都是零。当一个语义点被插入到一个网格中时，相应标签的分数增加 1。因此，得分最高的语义标签代表网格的类别。通过这种方法，语义图变得准确并且对分割噪声具有鲁棒性。分割后，语义像素从图像平面反向投影到车辆坐标下的地平面。此过程也称为逆透视映射 (IPM)。过程中的投影矩阵包含相机内外参数标定，而摄像机的内在参数和从摄像机到车辆中心的外在变换是离线标定的。由于存在透视噪声，场景越远，误差越大。可以只选择感兴趣区域（ROI）中靠近相机中心的像素。比如，此 ROI 表示车辆前方的 12m × 8m 矩形区域。
假设地面是平面，每个像素[u; v] 投影到车辆坐标下的地平面（z 等于 0），如下公式所示，



其中 πc(·) 是相机的畸变和投影模型。πc(·)?1 是逆投影，它将像素提升到空间中。[Rc tc]是每个相机的外部矩阵关于车辆的中心;[u v]是像素位置图像坐标;[xv yv] 是特征在车辆的中心坐标;λ是标量。[]coli:的意思取该矩阵的第 i 列。图像中ROI 中的每个标记像素都投影在车辆前方的地面上。
2、姿势图优化
姿态图优化每时每刻都提供可靠的车辆姿态。基于这个优化的姿势，第 i 帧中捕获的语义特征从车辆坐标转换为全局坐标，如下公式表示：



要构建地图，车辆的准确姿态是必要且准确的。虽然使用了 RTK-GNSS，但它不能始终保证可靠的位姿。因为，即便是在开阔地带 RTK-GNSS 也只能提供厘米级定位。而在城市场景中，它的信号很容易被高楼遮挡。通常，我们采用导航传感器（IMU 和轮速）来实现在 GNSS 封锁区域提供里程计。然而，这样的里程计长期也存在累积漂移问题。
这个问题可以用如下图所示的示意图表示。




蓝线是GNSS良好区域的轨迹，由于使用的高精度RTK GNSS，可以认为它是准确的。在 GNSS 阻断区，里程计轨迹用绿色绘制，漂移很大。为了缓解漂移，就需要对位姿图执行优化。优化后的轨迹用红色画出，平滑无漂移。
右图是姿势图示意图。蓝色节点是状态特定时间的车辆，其中包含位置 pt 和方向 Rt。有两种边缘。这里有两种边缘，蓝色边缘表示 GNSS 约束，仅存在于 GNSS 信号状态好的时刻，它只影响一个节点，绿色边是里程计约束，它随时存在，它 约束两个相邻节点。蓝色节点是车辆在某一时刻的状态s，包含位置 p 和方向 q。我们使用四元数 q 来表示方向。操作 R(q) 可以将四元数转换为旋转矩阵。
由此，位姿图优化的过程可以表示为以下等式：



其中s是姿势状态（位置和方向）。ro 是里程计因子的残差。m^oi?1  ;i 是里程计测量值，它包含两个相邻状态之间的增量位置 δp^i?1;i 和方向 δq^i?1;i。rg 是 GNSS 因子的残差。G 是 GNSS 在信号好区域的状态集。m^ig  是 GNSS 测量值，即全局坐标系中 的位置 p^i。
3、本地映射
该语义图进一步用于本地化。与映射过程类似，语义点是从前视图像分割中生成的，并 投影到车架中。然后通过当前特征点与地图的匹配来估计车辆的当前位姿，估计采用通用的 ICP 方法，可以写成以下等式：



其中 q 和 p 是四元数和当前帧的位置。S 是当前特征点的集合，[xvk ykv 0]为车辆坐标下的当前特征，[xwk ykw zkw]是全局坐标下目标在地图中的最近点。
最后采用扩展卡尔曼滤波器EKF 框架，将里程计与视觉定位结果融合在一起。该滤波器不仅增加了定位的鲁棒性，而且平滑了估计的轨迹。
4、地图合并/更新
云地图服务器用于聚合多辆车捕获的海量数据。它及时合并本地地图，以便全局语义地 图是最新的。为了节省带宽，只将本地地图占用的网格上传到云端。与车载建图过程相同， 云服务器上的语义地图也被划分为分辨率为 0:1×0:1×0:1m 的网格。局部地图的网格根据 其位置添加到全局地图。具体来说，将局部地图网格中的分数添加到全局地图上的相应网格 中，这个过程是并行的。最后，得分最高的标签是网格的标签。
5、地图压缩
云服务器生成的语义地图将用于大量量产车的定位。然而，传输带宽和车载存储在量产 车上是有限的。为此，语义地图在云端进一步压缩。由于语义图可以通过轮廓有效地呈现， 可以使用轮廓提取来压缩地图。生成语义地图的顶视图图像，每个像素呈现一个网格。其次， 提取每个语义组的轮廓。最后，轮廓点被保存并分发给量产车。
6、地图解压
当最终用户收到压缩地图时，语义地图从轮廓点解压缩。在俯视图像平面中，我们用相 同的语义标签填充轮廓内的点。然后将每个标记的像素从图像平面恢复到世界坐标系中。



感知地图的关键能力总结
通过以下关键技术和方法的发展和完善，轻地图在自动驾驶系统中的应用将更加广泛和 有效，为实现安全、高效的自动驾驶做出贡献。
1）地图数据压缩和存储：
为了提高地图数据传输和查询的效率，轻地图需要进行有效的压 缩和存储。采用矢量数据存储和层级结构设计，可以将地图数据按照不同粒度进行存储，有 助于减小数据量并提高查询速度。
2）传感器融合：
自动驾驶系统通常需要融合多种传感器数据，如 GPS、IMU、激光雷达、摄 像头等，以获取更准确的车辆定位和环境感知信息。传感器融合算法需要考虑各种传感器的 误差特性，实现高精度的定位和感知。
3）SLAM（Simultaneous Localization and Mapping）技术：
SLAM 是一种在未知环境中 实时构建地图并定位的技术，通常用于机器人和自动驾驶领域。通过 SLAM 技术，自动驾驶 系统可以实现实时地图更新和高精度定位。
4）机器学习与深度学习：
利用机器学习和深度学习算法，可以从大量驾驶数据中学习和提 取有用的特征，用于路面识别、车道线检测、交通标志识别等任务。这些算法可以提高自动 驾驶系统的感知能力和决策质量。
5）通信技术：
为了实现实时地图更新和共享，自动驾驶系统需要与云端服务器进行高速、 稳定的通信。5G、V2X（车对车、车对基站通信）等先进通信技术可以支持高带宽、低延迟 的数据传输，为自动驾驶系统提供实时的地图和交通信息。
6）安全性和隐私保护：
自动驾驶系统需要确保地图数据的安全性和用户隐私。采用加密、 认证等技术，保护地图数据和用户信息免受恶意攻击和滥用。同时，设计合理的数据处理和 存储策略，遵守相关法规和标准。本文针对轻地图方案提供了一种用于自动驾驶任务中轻量级定位的新框架，其中包含车 载映射、云端地图维护和用户端定位。使用传感器丰富的车辆（例如机器人出租车）来造福 低成本量产车，传感器丰富的车辆收集数据和有地方更新环境信息的地方每天自动更新。


技术交流群
扫描左侧二维码，备注个人姓名+公司+工作岗位等基本信息，拉您进智能驾驶技术交流2群

推荐阅读：
◆竞品分析 |  特斯拉HW4.0与HW3.0 硬件对比信息梳理
◆系统设计 | 一种纯记忆模式下的智能驾驶行车设计方法
◆自动驾驶下半场竞争的关键：数据驱动+车云一体
◆高精地图 | 一文详细解读2022年下半年出台的高精地图相关的政策
◆AI芯片 |  芯片厂商作为底层“推进器”，助力智驾方案规模化量产落地