简易的数据回灌系统搭建方法

mizhongquan

本文主要介绍用于ADAS仿真测试的数据回灌系统是的搭建方法及使用目的。

一、什么是数据回灌

数据回灌其实是一种仿真测试方法：将道路场景采集回来的数据，经过某种方式回灌到ADAS控制器当中（控制器以为就是真实场景），用以验证分析当前ADAS功能的触发情况；使用这种方法可以节约资源，缩短开发周期。

当前的数据回灌多用于研发阶段测试误触发的场景，主要是发现和解决不同车辆配置及不同驾驶场景下因感知系统错误识别或功能决策算法错误判断造成的误触发（触发时驾驶员完全不理解是什么导致了功能触发）。

二、回灌什么数据

回灌什么数据，则需要从传感器的原理说起。一般来说，ADAS系统架构分为传感器、处理器、执行机构三个部分。

传感器一般包括摄像头和雷达，摄像头和雷达感知到的数据经过自身处理后传递给处理器进行目标融合和功能决策，最后将需要执行的指令发送给相应的执行机构（刹车踏板或者转向机构）。



那么摄像头发送了什么数据给处理器呢？

车载摄像头主要的硬件结构包括光学镜头（其中包含光学镜片、滤光片、保护膜等）、图像传感器、图像信号处理器 ISP、串行器、连接器等器件。



摄像头的数据传输过程见上图，图像传感器将光信号转换成了RAW DATA格式的电信号，之后经过ISP的图像处理后通过串行器发送给ADAS控制器。

但是由于成本原因，部分车载摄像头模组中是不包含ISP的，ISP被放置在ADAS控制器中，数据进入ADAS控制器后再进行处理。

所以我们采集的图像数据，可以是RAW DATA格式的数据。后续通过软件开发，直接将RAW DATA的来源切换为采集的数据即可。

但是RAW数据有一个弊端，就是需要具备一定的开发能力才可以采集，毕竟这种数据需要在摄像头运行过程中记录下来，所以需要对摄像头进行适配开发。

那么有没有一种简单的办法呢？

有，那就是通过HDMI将摄像头连接到PC机，把摄像头看到的图像数据通过HDMI直接录制，保存成为视频。

这种方法需要将图像信息的来源更改为HDMI IN，而不是原有的摄像头镜头输入，然后将录制的视频播放灌入控制器即可。据我所知，部分芯片是不支持HDMI IN功能的，但是基本都支持MIPI传输，所以我们可以再通过外接电路加入HDMI IN，最后通过MIPI输入给芯片即可。

成功之后可以通过指令切换图像信号输入源为HDMI，然后将HDMI线连接到PC机，在PC机上运行想要回灌的视频，进而实现视频回灌。最好在HDMI OUT上再挂一个显示器，这样可以实现出来芯片正在回灌的图像场景，便于进行问题分析。

这种方法相当于将RAW data数据做了进一步处理后，再传送给ADAS控制器，比上一种方法更近了一步，但也意味着少验证了一个步骤。

雷达发送了什么数据给处理器呢？

雷达是用无线电的方法发现目标并测定它们的空间位置。雷达发射电磁波对目标进行照射并接收其回波，由此获得目标至电磁波发射点的距离、距离变化率（径向速度）、方位、高度等信息。

目前对于大多数的ADAS系统，雷达都是一个独立的个体，其在内部会将电磁波回波进行解析计算，最后通过CAN等方式直接将所需要的目标信息传输给控制器。

针对与雷达，我们只需要采集其发送的CAN数据即可，方便又快捷。不需要过多的关注于雷达自身探测的数据分析及处理。

如此，我们需要的传感器数据就明确了，至于如何采集这些数据，就是另一个问题了。

三、回灌数据的方法

摄像头的RAW DATA数据需要通过另外开发上位机来实现，如果是录制的视频数据，切换通道后可以使用PC机直接进行回灌。

雷达的CAN报文数据，可以通过CANoe在线的replay模块进行回灌，需要注意CANoe和ADAS控制器进行正确的连接，以及配置相应的终端电阻。

四、回灌的时间同步

由于采集数据时，摄像头和雷达的数据类型不同，或者发送周期不同等等原因；在回灌数据时更有可能出现回放延时，摄像头与雷达数据不同步的问题；如何能够精确的做到时间同步是现在较为困难的。

目前笔者有如下思考，只能做到尽量减少误差，而不能完全消除

通过测试，大概明确摄像头与雷达数据的延时，人为进行调整；

尽量同步摄像头与雷达的信号发送周期；

以上，就是对于数据回灌系统的一点理解。



——————————————————

我坚信最好的学习就是输出。