自动驾驶系统中的感知轻地图设计开发方案（一）

xiaocheng

在过去的几十年里，视觉映射和定位的研究变得越来越流行。传统的基于视觉的方法侧重于同时定位和小规模室内环境中的地图绘制 (SLAM)。在自动驾驶任务中，方法更注重大范围的室外环境。2030 年为车云链路产业规模基本成型期望年限，车云链路的成熟为轻地图方案和图商自身业务发展的发展带来巨大效益。
行业内对于高精地图和轻地图的方案也是争论不休，目前很多厂家或者 Tier1 已经倾向于采用轻地图方案来代替高精地图来实现基础的融合定位功能。如下表表示了行业内典型的地图应用案例分析以及轻地图和高精地图的设计原理上的差异。





常规地图分类概述
为了弄清整体的轻地图方案，这里需要将常规的几类地图功能进行对别分析。通常，我们的地图分类主要包括导航地图 SD、专业版导航地图 SDPro、ADAS 地图、高精地图 HDLite 版、高精地图 HD、众包地图。以上几种地图拥有其各自不同的特性，在实际融合定位和地理信息识别中起到了不同的作用。

序号	地图分类	特征信息
1	导航地图 SD	1 路由寻径：起始点搜索、导航路径树 2 交通信息：道路级限速 3 信息点：兴趣点、地址信息 4 基础路网：道网数据、拓扑信息
2	专业版导航地图 SDPro	1 路由寻径：起始点搜索、导航路径树 2 交通信息：道路级限速 3 车道信息：车道中心、车道边界、道路边界 4 信息点：兴趣点、地址信息 5 参考线：道路参考线、道路信息与拓扑
3	ADAS地图	1 路由寻径：起始点搜索、导航路径树 2 交通信息：道路级限速 3 几何信息：曲率、航向、横坡、纵坡 4 车道信息：车道中心、车道边界、道路边界 5 信息点：兴趣点、地址信息 6 参考线：道路参考线、道路信息与拓扑
4	高精地图 HDLite 版	1 路由寻径：起始点搜索、导航路径树 2 交通信息：车道级限速、车道限制信息 3 几何信息：曲率、航向、横坡、纵坡 4 车道信息：车道中心、车道边界、道路边界及对应详细信息 5 参考线：道路参考线、道路信息与拓扑
5	高精地图 HD	1 路由寻径：起始点搜索、车道级导航路径 2 对象信息：箭头、信号灯、标牌、导流区、护栏、收费 3 交通信息：车道级限速、车道限制信息 4 几何信息：曲率、航向、横坡、纵坡 5 车道信息：车道中心、车道边界、道路边界及对应详细信息 6 参考线：道路参考线、道路信息与拓扑
6	众包地图	道路拓扑、路径规划、对象信息、车云链路

如上表所示，与 SD 相比，SDPro 地图增加了基础车道信息，可支持抬头显示功能开发；而 ADAS 地图又增加了曲率、坡度、航向道路几何信息；HDLite 相对于 ADAS 信息来说，要素种类相当，但是其精度略高于 ADAS 地图。HD 地图在 ADAS 地图基础上又增加了详细的对象信息，丰富了交通限制信息，信息精确至车道级。同时，在 HDLite 基础上增加了对象信息。考虑到地图新鲜度和更新速度，众包地图又通过单车智能感知、逻辑运算等，利用强大的车云、云云、车车链路，实时生成、更新、共享在线地图。



感知轻地图的获取设计方案
如下图，表示了整个感知语义地图过程需要应用到的关键技术和方法：



第一部分是车载映射。使用配备前视摄像头、RTK-GPS 和基本导航传感器（IMU 和车轮 编码器）的车辆。这些车辆一般搭载在各个运营车上，每天收集大量实时数据，通过分割网 络从前视图图像中提取语义特征。然后基于优化的车辆姿态将语义特征投射到世界框架，在 车辆上构建本地语义地图。该本地地图后续会被上传到云地图服务器。
第二部分是云端映射。云服务器从多辆车收集本地地图，当地地图合并成一张全局地图。然后通过轮廓提取对全局地图进行压缩。最后，将压缩后的语义图发布给最终用户。
最后一部分是最终用户本地化。最终用户是量产车，它们配备低成本传感器，例如摄像 头、低精度 GPS、IMU 和车轮编码器。终端用户从云服务器下载语义地图后对其进行解码。与车载测绘部分相同，通过分割从前视图图像中提取语义特征。车辆通过语义特征匹配在地 图上定位。
整个通过感知建图的过程系统由如下几个步骤完成，其中包括图像分割、姿势图优化、 本地映射、地图合并更新、地图压缩几个模块。
相应的设计原理如下：
1、图像分割
本文将前视图像分割成多个类，如地面、车道线、停止线、路标、路缘、车辆、自行车 和人。在这些类别中，地面、车道线、停止线和道路标记用于语义映射。其他类可以用于其 他自动驾驶任务。
如下图所示为一个图像分割的例子。图(a)显示了前视摄像头拍摄的原始图像。图(b) 显示相应的分割结果。图（c）（d）（e）（f） 则表示了相应的语义建图到车辆坐标系下的适配过程。



从图像分割来看，每个点都包含一个类标签（地面、车道线、路标和人行横道）。每个 点代表世界框架中的一个小区域。车辆在行驶过程中，可以对一个区域进行多次观察。然而， 由于分割噪声，这个区域可能分别进入不同的分类。为了克服这个问题，可以使用统计数据 来过滤噪音。地图分为小格子，分辨率为 0:1×0:1×0:1 米。每个网格的信息包含位置、语义标签和每个语义标签的计数。语义标签包括地面、车道线、停止线、地面标志和人行横道。
一开始，每个标签的分数都是零。当一个语义点被插入到一个网格中时，相应标签的分数增加 1。因此，得分最高的语义标签代表网格的类别。通过这种方法，语义图变得准确并且对分割噪声具有鲁棒性。分割后，语义像素从图像平面反向投影到车辆坐标下的地平面。此过程也称为逆透视映射 (IPM)。过程中的投影矩阵包含相机内外参数标定，而摄像机的内在参数和从摄像机到车辆中心的外在变换是离线标定的。由于存在透视噪声，场景越远，误差越大。可以只选择感兴趣区域（ROI）中靠近相机中心的像素。比如，此 ROI 表示车辆前方的 12m × 8m 矩形区域。
假设地面是平面，每个像素[u; v] 投影到车辆坐标下的地平面（z 等于 0），如下公式所示，



其中 πc(·) 是相机的畸变和投影模型。πc(·)?1 是逆投影，它将像素提升到空间中。[Rc tc]是每个相机的外部矩阵关于车辆的中心;[u v]是像素位置图像坐标;[xv yv] 是特征在车辆的中心坐标;λ是标量。[]coli:的意思取该矩阵的第 i 列。图像中ROI 中的每个标记像素都投影在车辆前方的地面上。
2、姿势图优化
姿态图优化每时每刻都提供可靠的车辆姿态。基于这个优化的姿势，第 i 帧中捕获的语义特征从车辆坐标转换为全局坐标，如下公式表示：



要构建地图，车辆的准确姿态是必要且准确的。虽然使用了 RTK-GNSS，但它不能始终保证可靠的位姿。因为，即便是在开阔地带 RTK-GNSS 也只能提供厘米级定位。而在城市场景中，它的信号很容易被高楼遮挡。通常，我们采用导航传感器（IMU 和轮速）来实现在 GNSS 封锁区域提供里程计。然而，这样的里程计长期也存在累积漂移问题。
这个问题可以用如下图所示的示意图表示。




蓝线是GNSS良好区域的轨迹，由于使用的高精度RTK GNSS，可以认为它是准确的。在 GNSS 阻断区，里程计轨迹用绿色绘制，漂移很大。为了缓解漂移，就需要对位姿图执行优化。优化后的轨迹用红色画出，平滑无漂移。
右图是姿势图示意图。蓝色节点是状态特定时间的车辆，其中包含位置 pt 和方向 Rt。有两种边缘。这里有两种边缘，蓝色边缘表示 GNSS 约束，仅存在于 GNSS 信号状态好的时刻，它只影响一个节点，绿色边是里程计约束，它随时存在，它 约束两个相邻节点。蓝色节点是车辆在某一时刻的状态s，包含位置 p 和方向 q。我们使用四元数 q 来表示方向。操作 R(q) 可以将四元数转换为旋转矩阵。
由此，位姿图优化的过程可以表示为以下等式：



其中s是姿势状态（位置和方向）。ro 是里程计因子的残差。m^oi?1  ;i 是里程计测量值，它包含两个相邻状态之间的增量位置 δp^i?1;i 和方向 δq^i?1;i。rg 是 GNSS 因子的残差。G 是 GNSS 在信号好区域的状态集。m^ig  是 GNSS 测量值，即全局坐标系中 的位置 p^i。
3、本地映射
该语义图进一步用于本地化。与映射过程类似，语义点是从前视图像分割中生成的，并 投影到车架中。然后通过当前特征点与地图的匹配来估计车辆的当前位姿，估计采用通用的 ICP 方法，可以写成以下等式：



其中 q 和 p 是四元数和当前帧的位置。S 是当前特征点的集合，[xvk ykv 0]为车辆坐标下的当前特征，[xwk ykw zkw]是全局坐标下目标在地图中的最近点。
最后采用扩展卡尔曼滤波器EKF 框架，将里程计与视觉定位结果融合在一起。该滤波器不仅增加了定位的鲁棒性，而且平滑了估计的轨迹。
4、地图合并/更新
云地图服务器用于聚合多辆车捕获的海量数据。它及时合并本地地图，以便全局语义地 图是最新的。为了节省带宽，只将本地地图占用的网格上传到云端。与车载建图过程相同， 云服务器上的语义地图也被划分为分辨率为 0:1×0:1×0:1m 的网格。局部地图的网格根据 其位置添加到全局地图。具体来说，将局部地图网格中的分数添加到全局地图上的相应网格 中，这个过程是并行的。最后，得分最高的标签是网格的标签。
5、地图压缩
云服务器生成的语义地图将用于大量量产车的定位。然而，传输带宽和车载存储在量产 车上是有限的。为此，语义地图在云端进一步压缩。由于语义图可以通过轮廓有效地呈现， 可以使用轮廓提取来压缩地图。生成语义地图的顶视图图像，每个像素呈现一个网格。其次， 提取每个语义组的轮廓。最后，轮廓点被保存并分发给量产车。
6、地图解压
当最终用户收到压缩地图时，语义地图从轮廓点解压缩。在俯视图像平面中，我们用相 同的语义标签填充轮廓内的点。然后将每个标记的像素从图像平面恢复到世界坐标系中。



感知地图的关键能力总结
通过以下关键技术和方法的发展和完善，轻地图在自动驾驶系统中的应用将更加广泛和 有效，为实现安全、高效的自动驾驶做出贡献。
1）地图数据压缩和存储：
为了提高地图数据传输和查询的效率，轻地图需要进行有效的压 缩和存储。采用矢量数据存储和层级结构设计，可以将地图数据按照不同粒度进行存储，有 助于减小数据量并提高查询速度。
2）传感器融合：
自动驾驶系统通常需要融合多种传感器数据，如 GPS、IMU、激光雷达、摄 像头等，以获取更准确的车辆定位和环境感知信息。传感器融合算法需要考虑各种传感器的 误差特性，实现高精度的定位和感知。
3）SLAM（Simultaneous Localization and Mapping）技术：
SLAM 是一种在未知环境中 实时构建地图并定位的技术，通常用于机器人和自动驾驶领域。通过 SLAM 技术，自动驾驶 系统可以实现实时地图更新和高精度定位。
4）机器学习与深度学习：
利用机器学习和深度学习算法，可以从大量驾驶数据中学习和提 取有用的特征，用于路面识别、车道线检测、交通标志识别等任务。这些算法可以提高自动 驾驶系统的感知能力和决策质量。
5）通信技术：
为了实现实时地图更新和共享，自动驾驶系统需要与云端服务器进行高速、 稳定的通信。5G、V2X（车对车、车对基站通信）等先进通信技术可以支持高带宽、低延迟 的数据传输，为自动驾驶系统提供实时的地图和交通信息。
6）安全性和隐私保护：
自动驾驶系统需要确保地图数据的安全性和用户隐私。采用加密、 认证等技术，保护地图数据和用户信息免受恶意攻击和滥用。同时，设计合理的数据处理和 存储策略，遵守相关法规和标准。本文针对轻地图方案提供了一种用于自动驾驶任务中轻量级定位的新框架，其中包含车 载映射、云端地图维护和用户端定位。使用传感器丰富的车辆（例如机器人出租车）来造福 低成本量产车，传感器丰富的车辆收集数据和有地方更新环境信息的地方每天自动更新。


技术交流群
扫描左侧二维码，备注个人姓名+公司+工作岗位等基本信息，拉您进智能驾驶技术交流2群

推荐阅读：
◆竞品分析 |  特斯拉HW4.0与HW3.0 硬件对比信息梳理
◆系统设计 | 一种纯记忆模式下的智能驾驶行车设计方法
◆自动驾驶下半场竞争的关键：数据驱动+车云一体
◆高精地图 | 一文详细解读2022年下半年出台的高精地图相关的政策
◆AI芯片 |  芯片厂商作为底层“推进器”，助力智驾方案规模化量产落地

随风1

针对自动驾驶系统中的感知轻地图设计开发方案，视觉映射和定位技术的研究至关重要。当前，随着车云链路的成熟，轻地图方案逐渐受到关注。与传统高精地图相比，轻地图更适用于室外大范围的自动驾驶任务。在设计轻地图时，应充分利用传感器数据进行感知，并优化数据处理流程。结合自动驾驶车辆的实际应用场景，确保轻地图的高效性和准确性。此外，图商和合作伙伴需紧密合作，共同推进轻地图技术的研发与应用。在未来的自动驾驶系统中，轻地图方案将发挥巨大潜力，促进自动驾驶技术的普及与发展。

hudaren43

针对自动驾驶系统中的感知轻地图设计开发方案，我们应以视觉映射和定位研究为基础，关注大规模室外环境的应用。考虑到车云链路的成熟将为轻地图方案带来巨大效益，我们建议采用轻地图方案来实现基础的融合定位功能。此方案具备更好的灵活性和实时性，能适应不同环境，减少对传统高精确度地图的依赖。针对轻地图的设计原理，我们将基于图像识别和感知技术，利用车辆自身的传感器数据构建轻量级地图，实现高效、准确的定位和导航。同时，我们也将关注行业内的争论，持续优化和完善轻地图方案，以适应自动驾驶技术的发展趋势。

zy_wawj

自动驾驶系统中感知轻地图设计开发方案如下：针对自动驾驶的大范围室外环境，利用视觉映射和定位技术，结合车云链路技术，实现轻地图方案。与传统高精地图相比，轻地图设计更注重实时性和灵活性，以支持自动驾驶系统的快速定位和导航需求。通过优化感知算法和数据处理流程，轻地图方案可实现高精度地图数据的快速采集与更新，降低运营成本。随着车云链路技术的成熟，轻地图方案将为自动驾驶系统的推广和应用带来巨大效益。在设计过程中，需要关注地图数据的精度、实时性和安全性等方面的问题，确保自动驾驶系统的稳定性和可靠性。与行业内的其他技术相比，轻地图方案具有一定的优势和局限性，应根据实际应用场景选择合适的解决方案。

shuizhonghua

自动驾驶系统中感知轻地图的设计开发，需融合视觉映射与定位技术。传统的视觉方法适用于小规模环境，但对于自动驾驶任务，需拓展至大范围的室外环境。随着车云链路的成熟，轻地图方案效益显著，其在定位精度和数据处理效率方面具有优势。目前行业对高精地图和轻地图方案存在争议，但轻地图方案在基础融合定位功能方面展现出潜力。设计轻地图时，应关注数据采集、处理及实时更新，以应对复杂路况。此外，需考虑成本效益及与现有系统的兼容性。随着技术进步，轻地图方案将在自动驾驶系统中发挥重要作用。

lichengwan

针对自动驾驶系统中的感知轻地图设计开发方案，视觉映射和定位技术的研究至关重要。当前，随着车云链路的成熟，轻地图方案成为行业内的热门选择。与传统的高精地图相比，轻地图方案更灵活、成本低，并能快速适应环境变化。我们的设计思路侧重于运用先进的传感器技术和算法，实现大范围的室外定位和地图绘制。同时，结合图商自身业务特点和发展趋势，我们将致力于优化轻地图方案的可靠性和实时性。通过分析行业内的典型地图应用案例，我们将进一步完善轻地图的设计原理，并基于大数据和人工智能技术实现精准定位和数据融合。以此推动自动驾驶系统的智能化发展，为车云链路产业带来更大的经济效益。

mqh0386

自动驾驶系统中感知轻地图的设计开发，需融合视觉映射与定位技术。传统的视觉方法适用于小规模环境，但对于自动驾驶任务，需拓展至大范围的室外环境。随着车云链路的成熟，轻地图方案效益显著，与图商业务发展的融合将带来巨大机遇。当前行业内关于高精地图与轻地图的争论持续，但轻地图方案在基础融合定位功能方面已受到广泛关注。轻地图注重基础地理信息提取，设计原理与高精度地图存在差异。未来，我们将专注于轻地图设计优化，以适应自动驾驶系统的快速发展。

随风1

针对自动驾驶系统中的感知轻地图设计开发方案，我们应以视觉映射和定位研究为基础，并结合车云链路的成熟趋势来推进。考虑到室外大范围的自动驾驶任务需求，轻地图方案具有广阔的应用前景。与传统高精地图相比，轻地图方案数据处理量更小、灵活性更高，能满足快速定位和导航需求。我们应根据行业内的典型地图应用案例，深入分析轻地图和高精地图设计原理差异，以推动轻地图方案在自动驾驶系统中的广泛应用。随着技术的不断进步和车云链路的完善，轻地图方案将为自动驾驶系统的定位与导航带来革命性变革。

mizhongquan

针对自动驾驶系统中的感知轻地图设计开发方案，视觉映射和定位技术的研究至关重要。在当前环境下，传统基于视觉的方法已经无法满足自动驾驶在大范围室外环境的需求。随着车云链路的成熟，轻地图方案成为了新的发展趋势。与传统的依赖高精地图的方案相比，轻地图更注重实时的环境感知和信息融合，能够在不同的场景和需求下实现更高效的定位和导航。随着技术的发展和行业的进步，轻地图方案将逐渐取代高精地图，为自动驾驶系统带来更大的便利和经济效益。针对具体设计开发，需要考虑感知数据的采集与处理、环境信息的实时更新以及系统的集成与验证等因素，以确保轻地图方案的可靠性和高效性。总之，针对轻地图的研发将持续成为行业焦点和关键技术突破的方向。

cqzyf

针对自动驾驶系统中的感知轻地图设计开发方案，视觉映射和定位的研究已渐显关键。当下主流的重心在大范围的室外环境自动驾驶任务上，而随着车云链路的逐步成熟，轻地图方案显现巨大潜力。行业内的争论围绕高精地图与轻地图展开，但轻地图方案在基础融合定位功能上的优势已逐渐得到认可。轻地图设计注重实时感知与环境理解，强调灵活性和适应性；高精地图则强调详细性与精确性。建议研究更先进的感知算法和数据处理技术，以提升轻地图的实时性能，确保自动驾驶系统安全性。并融合图像信息辅助其他传感器采集信号等技术的优势来提升车辆的智能化程度和环境适应性。结合车云链路成熟的技术背景，预计在未来几年内，轻地图方案将在自动驾驶领域取得更广泛的应用与发展前景。

shinch

针对自动驾驶系统中的感知轻地图设计开发方案，视觉映射和定位技术至关重要。传统的视觉方法主要适用于室内环境，而在自动驾驶领域，大范围的室外环境定位需求更为迫切。随着车云链路的成熟，轻地图方案将带来显著效益。当前行业内关于高精地图和轻地图的讨论激烈，很多厂家和Tier1供应商已倾向于采用轻地图方案实现基础融合定位功能。

轻地图方案以低成本、灵活性和快速更新为主要优势，其设计重点在于优化数据储存和算法效率。相对地，高精地图精度高但成本高且更新缓慢。为满足自动驾驶需求，我们需要研发更为高效、精确和可靠的轻地图设计方案，以支持自动驾驶系统的快速定位和导航。后续将针对此方案进行深入研究，以实现自动驾驶的广泛应用。