数据闭环 | 落地道路上的三大难点

baoshijie

作者| 四号线坐不到底
在汽车新四化（电动化、网联化、智能化、共享化）浪潮的洗礼下，汽车正在朝着移动算力终端和存储终端的道路上进化，这些安装了了大量传感器和大算力单元的汽车，随时随地都将产生大量的数据。
这些数据在汽车的研发、测试、量产、运营、售后等全生命周期内都具有极大的价值。
而伴随着高阶辅助驾驶/自动驾驶的发展，如何对数据进行高效收集和利用，如何提高数据链路循环的速度，成为高阶辅助驾驶/自动驾驶技术迭代的关键，也让数据闭环的重要性与紧迫性越发体现。

01数据闭环典型步骤介绍

所谓数据闭环，是指以车辆产生的数据为对象，针对其进行采集、存储、处理到应用的全过程，是高阶辅助驾驶/自动驾驶技术实现的基础，典型步骤如图1所示。


图1 数据闭环典型步骤数据采集，指的是当车辆触发异常工况时，车辆对异常控制模块数据以及毫米波雷达、摄像头、激光雷达和惯性测量单元等传感器的数据进行采集。数据存储，指的是数据采集完成后，车辆的本地存储、上传至云端后的云端存储，包括了结构化数据存储和异构化数据存储。数据分析，通过对采集数据的清洗、特征提取、建模与预测等，提取有用的信息，提供数据展示和分析，数据回放，辅助异常分析、商业和管理决策等。数据标注，通过专业的标注工具，人工标注员根据标准的标注流程对采集数据中的道路标志、车道线、交通灯、障碍物等等数据进行标注，提高数据的质量和可用性，让车辆更好地理解周围的环境。数据训练，通过对数据的运用，建立算法库，进行算法管理、训练数据集管理、模型训练和模型评估等。
数据部署，建立自动驾驶仿真平台，运用数据提升云仿真能力，包含仿真引擎、场景数据库、测试任务管理和测试评价体系。

02数据闭环典型方案

目前，Tesla以Autopilot数据引擎框架为核心，基于车端传感器获取数据后，在数据管理平台上，首先经过单元测试确认模型误差，然后经过数据清洗与标注，最后完成模型训练与部署，整体架构如图2所示。



图2 Tesla 数据闭环方案Waymo采用的基本框架与Tesla基本一致，如图3所示，但增加了数据挖掘、主动学习、自动标注等模块，获取车端数据后，通过数据筛选、挖掘和主动学习等数据标注手段获得真值，并对模型完成优化和测试后，再进行部署。


图3 Waymos数据闭环方案NVIDIA基于闭环的模型迭代，开发建立了针对自动驾驶领域的机器学习平台MAGLEV，如图4所示，其中也包括了数据选择、数据标注、模型搜索、训练、评估、调试和部署。
[img=556.5333333333333,342.0666666666666]https://mmbiz.qpic.cn/mmbiz_png/AAPqbJEf3f64nvJLhDoCJ6sK5IVya6DqEKwo6oJb9FxCB3bxkfBRic22bKIGDomlgxOzpic3UYTIicekCiaGaZZiaSA/640?wx_fmt=png[/img]
图4 NVIDIA数据闭环方案
03数据闭环应用难点

数据闭环在高阶辅助驾驶/自动驾驶的应用主要有3个难点：量产、合规和数据管理平台。
一、量产针对数据传输以及数据特点，数据采集车和量产车有以下不同点。


量产车是在车端触发埋点数据的采集和上传，由合规化数据平台完成数据的接收、转发、存储及处理，具有数据格式复杂、数据包上传传输不稳定、数据上传大小不一致、数据流量并发与闲时差异大等特征。方案需要设计合理的“流量估算模型”，确定合理的流量估算方法和公式，确保每个数据转发节点在高并发期具备充足的带宽。

二、合规由于现在的高阶辅助驾驶/自动驾驶车辆上装有激光雷达等高精度感知传感器，在车辆开启高阶辅助驾驶功能/自动驾驶后，这些传感器会对环境信息进行探测并记录，但是这些车辆不具备测绘资质，这会导致数据风险。为了避免这个风险，数据合规就成为守护车辆数据的关键。数据合规是数据闭环与数据平台的核心与基础，首先需要建设主机厂的本地合规室以满足量产车和采集车的数据合规，其次需要明确相关数据供应商例如图商对数据处理的时效性和有效性。（1）时效性。量产车数据上传后，需要于规定的时间内在本地合规室内完成数据的脱敏脱密处理，防止影响后续数据应用的时效性以及对加密机房存储资源的过度占用。涉密数据主要包含两类，一类是来自工信部的涉及人脸和车牌的数据；另一类是来自自然资源部的涉及测绘类别的数据。（2）有效性。在本地合规室进行的数据处理，首先要保证完成法规要求的脱敏脱密服务，确保数据合规性达到法规要求（例如车牌、人脸不可逆遮盖率达到95%以上）。其次需要以通用数据应用格式进行输出，保证数据能有效地被标注、仿真、训练等。具体的监管要求如下表所示。


三、数据管理平台数据管理平台是高阶辅助驾驶/自动驾驶研发的重要基础之一，承担着高阶辅助驾驶/自动驾驶域的数据注入、数据传输、数据存储、数据处理和数据管理服务。可以为高阶辅助驾驶/自动驾驶研发过程中的corner case问题分析、感知模型训练、数据标注、仿真场景、评测验证等提供数据支撑，是衡量高阶辅助驾驶/自动驾驶研发能力和水平的关键。同时基于数据驱动的感知和规划决策数据闭环，满足多场景数据存储和使用需求，进一步挖掘数据价值，为进一步提升高阶辅助驾驶/自动驾驶水平提供数据支撑。在大规模数据集建立的过程中需要完成采集、标注工作。综上，数据存储服务是ADS领域不可缺少、关键核心服务之一。因此需要建立一套高效的，高度自动化以及高自由度的数据管理平台。数据管理平台有如下几个作用。（1）数据收集与存储。高阶辅助驾驶/自动驾驶车辆需要大量的传感器（包括激光雷达、毫米波雷达、摄像头、惯性测量单元等等）感知与采集周围环境的数据。车辆会实时采集这些数据并进行存储，通过网络上传至云端后，数据管理平台可以收集和存储这些数据并提供高效的数据存储和管理机制。（2）数据处理与分析。在车端，高阶辅助驾驶/自动驾驶车辆通过对采集的数据进行实时处理与分析，识别周边环境中的障碍物、行人和车辆等，并决策适当的驾驶策略控制车辆。数据管理平台可以提供强大的数据处理和分析能力，包含数据清洗、特征提取、建模和预测等，为高阶辅助驾驶/自动驾驶车辆的性能优化和安全性提供帮助。（3）数据标注与质量控制。为了让高阶辅助驾驶/自动驾驶车辆更好的理解周围的环境，需要对采集的数据（例如道路标志、车道线、交通灯等等）进行标注和质量控制，数据管理平台可以提供标注工具和标注流程帮助（4）数据验证与共享协作。在车辆实际的驾驶场景中，需要对其高阶辅助驾驶/自动驾驶性能和安全性进行验证。数据管理平台可以提供精细的数据分析和评估为高阶辅助驾驶/自动驾驶车辆进行数据验证。还可以支持多个团队与个人之间的数据共享与协作，促进经验的交流和共享。
数据管理平台的直接使用方为主机厂，需要考虑到业务部门使用平台软件时的操作便利度和产品逻辑合理度，以可视化回放复现车辆当时处于的情况，帮助分析车辆行驶中发生的问题。同时需要提供视频、点云等数据的可视化回放功能，在数据管理平台上即可对数据集进行快速的关联预览。

04小结

数据闭环在高阶辅助驾驶/自动驾驶领域中可以用于统计驾驶员行为以及高阶辅助驾驶/自动驾驶功能使用情况，给市场策划与产品规划赋能；针对功能本身可以帮助应对长尾效应，优化迭代自驾算法；当发生事故时，可以将事故发生场景及自驾系统数据回传，为责任认定提供证据。
虽然数据闭环对于高阶辅助驾驶/自动驾驶的发展有这么多的优势，但量产、合规、数据管理平台这三个重点问题如果不解决，数据闭环终究只是镜花水月，只是PPT上的产物。
声明 | 本文部分文字及图片资料取自网络，如有侵权，请联系平台进行修改或删除；文章属于作者本人，仅代表个人观点，不代表平台立场，如有不妥，也请联系平台修改或删除；本文不作任何商业用途。


技术交流群
扫描左侧二维码，备注个人姓名+公司+工作岗位等基本信息，拉您进智能驾驶技术交流2群

推荐阅读：
◆竞品分析 |  特斯拉HW4.0与HW3.0 硬件对比信息梳理
◆芯片专题 | 一文读懂汽车芯片--计算芯片
◆芯片基础 | 汽车控制类芯片 - MCU
◆高精地图 | 一文详细解读2022年下半年出台的高精地图相关的政策
◆AI芯片 |  芯片厂商作为底层“推进器”，助力智驾方案规模化量产落地