ADAS|汽车540°环视全景影像原理与实现

zy_wawj

引言

之前的文章《ADAS-开源环视360全景拼接代码原理分析与实现（一）》和《ADAS-360环视拼接原理分析与C++实现(二)》中，我们介绍了汽车360环视拼接原理以及基本实现。随着技术的发展以及处理器图像处理能力的提升，540°全景影像技术应运而生，540°全景影像技术是一项智能辅助驾驶的技术，相对于传统360影像，它多了一项透明底盘的功能。



蔚来-透明底盘
它的基本原理和360环视拼接的原理相同，通过多摄像头系统捕捉车辆周围环境，实现全景影像的实时拼接与显示。这项技术的背后蕴含着复杂而精密的工程原理，其实现不仅提升了驾驶者对车辆周围环境的感知能力，也为驾驶安全、停车辅助等方面带来了更好的用户体验。

今天我们将基于继续深入探讨汽车540全景影像技术中透明底盘部分的原理与实现，剖析其在提升驾驶安全性、改善驾驶体验方面的重要作用。通过对这一技术的深入了解，相信读者将更好地理解全景影像技术在汽车行业的革新意义。

1. 原理

1.1 案例说明

本质上“透明底盘”并非透明，它是基于车体的移动，然后融合历史环视拼接360图像数据合成。下面我们将以一个最简单的demo来演示它是如何工作的。

首先我们来看一张示意图：



车体运动
其中红色虚线处为当前车体360环视所能看到的范围，黑色部分是车体。

假设车体只单向沿着红色箭头向前运动，在第1秒时在上图（左）处开始运动，在第2秒时停止如上图（右）。那么在第2秒时相对于第一秒时刻的360图像垂直偏移量（假设N pixels）如下图蓝色所演示：



两帧差异
那么，如果我将第1秒时的360拼接图像整体向下平移N个像素，那么第一帧移动后的图像中世界坐标系中物体的位置将与第2秒钟的物体重合。

我们将第1秒时的图像向下移动N个pixels，原始全景鸟瞰图以及移动后的鸟瞰图如下：



移动后图像
此时我们将第1秒平移后的图像（左）和第2秒时的图像（右）进行对比如下：



移动后对比
此时，读者应该发现了移动后图像中高度为N pixels、宽度为黑色车宽pixels绿色框处位置正好为第2秒时汽车底部移动的位置。此时如果这部分图像移动到第2秒合成的全景图像后，效果如下：



合成图像
到这里，基本原理相信您已经清楚了，当车继续往前移动时重复此过程，历史图像不断更新就可以获取到最新底盘的图像了！当然实际情况还要复杂，请继续往下观看。

1.2 图像偏移获取

在汽车移动过程中，360图像只有两个维度的移动：

平移：水平、垂直移动

旋转：转弯时图像旋转

因此最终移动的可以使用一个仿射变换矩阵进行描述：



注意，这里变换没有缩放过程，那在实际的汽车上怎么获取这个矩阵呢？

答案就是图像传感器、轮速传感器以及汽车的角度测量传感器如IMU等。通过IMU测量角度，轮速传感器测量x、y轴移动的偏移量，最后二者的数据再加以图像传感器测量的数据进行融合得到仿射变换矩阵M。

这里具体细节我们不去详细讲述，感兴趣的童鞋可以自行了解。

2. 实现

2.1 基本过程

这里我们没有实际车辆去拿到IMU以及轮速的数据，因此笔者使用图像测量的方式获取图像变换矩阵，基本过程如下：

寻找特征点：寻找前后两幅全景图像的特征点，可以使用OpenCV中的SIFT、ORB等方法进行寻找；

特征点匹配：通过匹配算法得到两幅图像中好特征匹配点序列；

寻找变换矩阵：通过两幅全景图像中匹配好的特征点序列寻找变换矩阵；

图像变换：将上一帧的全景图像通过变换矩阵进行仿射变化；

图像融合：当前全景图像车底部分图像与上一帧变换后的图像进行融合。

历史帧迭代：将当前融合后的图像作为历史帧放入队列

最后循环迭代上述流程即可。

2.2 效果

素材来于github开源素材进行测试，截取了一段特征提取、匹配效果等比较好的部分进行演示，效果如下：



透明底盘效果


3. 结束语

在引领汽车智能化潮流的今天，汽车540全景影像系统以其出色的性能和良好的用户体验为驾驶者提供了全新的驾驶体验。通过多摄像头系统的协同工作，我们成功地实现了车辆周围环境的全方位监测与呈现，为驾驶者提供了更加安全、便捷的行车环境。

全景影像系统的原理基于先进的图像处理和实时拼接技术，为驾驶者呈现了一张无缝连接的540度全景画面。这不仅仅提升了驾驶者对车辆周围状况的感知能力，还在复杂交通场景和停车过程中发挥了重要作用。这一技术的引入，使驾驶者能够更加从容地面对挑战，让驾驶成为一种更加轻松、愉悦的体验。

好了今天就到这里，希望今天可以给您带来对于传感器的更深的认知，喜欢的同学可以进行朋友圈分享以及点击文章在看。另外，对论文感兴趣的同学可以follow我的Github论文仓库，也可以加入知识星球以及交流群，获取一手资料~