ADAS|汽车540°环视全景影像原理与实现

zy_wawj

引言

之前的文章《ADAS-开源环视360全景拼接代码原理分析与实现（一）》和《ADAS-360环视拼接原理分析与C++实现(二)》中，我们介绍了汽车360环视拼接原理以及基本实现。随着技术的发展以及处理器图像处理能力的提升，540°全景影像技术应运而生，540°全景影像技术是一项智能辅助驾驶的技术，相对于传统360影像，它多了一项透明底盘的功能。



蔚来-透明底盘
它的基本原理和360环视拼接的原理相同，通过多摄像头系统捕捉车辆周围环境，实现全景影像的实时拼接与显示。这项技术的背后蕴含着复杂而精密的工程原理，其实现不仅提升了驾驶者对车辆周围环境的感知能力，也为驾驶安全、停车辅助等方面带来了更好的用户体验。

今天我们将基于继续深入探讨汽车540全景影像技术中透明底盘部分的原理与实现，剖析其在提升驾驶安全性、改善驾驶体验方面的重要作用。通过对这一技术的深入了解，相信读者将更好地理解全景影像技术在汽车行业的革新意义。

1. 原理

1.1 案例说明

本质上“透明底盘”并非透明，它是基于车体的移动，然后融合历史环视拼接360图像数据合成。下面我们将以一个最简单的demo来演示它是如何工作的。

首先我们来看一张示意图：



车体运动
其中红色虚线处为当前车体360环视所能看到的范围，黑色部分是车体。

假设车体只单向沿着红色箭头向前运动，在第1秒时在上图（左）处开始运动，在第2秒时停止如上图（右）。那么在第2秒时相对于第一秒时刻的360图像垂直偏移量（假设N pixels）如下图蓝色所演示：



两帧差异
那么，如果我将第1秒时的360拼接图像整体向下平移N个像素，那么第一帧移动后的图像中世界坐标系中物体的位置将与第2秒钟的物体重合。

我们将第1秒时的图像向下移动N个pixels，原始全景鸟瞰图以及移动后的鸟瞰图如下：



移动后图像
此时我们将第1秒平移后的图像（左）和第2秒时的图像（右）进行对比如下：



移动后对比
此时，读者应该发现了移动后图像中高度为N pixels、宽度为黑色车宽pixels绿色框处位置正好为第2秒时汽车底部移动的位置。此时如果这部分图像移动到第2秒合成的全景图像后，效果如下：



合成图像
到这里，基本原理相信您已经清楚了，当车继续往前移动时重复此过程，历史图像不断更新就可以获取到最新底盘的图像了！当然实际情况还要复杂，请继续往下观看。

1.2 图像偏移获取

在汽车移动过程中，360图像只有两个维度的移动：

平移：水平、垂直移动

旋转：转弯时图像旋转

因此最终移动的可以使用一个仿射变换矩阵进行描述：



注意，这里变换没有缩放过程，那在实际的汽车上怎么获取这个矩阵呢？

答案就是图像传感器、轮速传感器以及汽车的角度测量传感器如IMU等。通过IMU测量角度，轮速传感器测量x、y轴移动的偏移量，最后二者的数据再加以图像传感器测量的数据进行融合得到仿射变换矩阵M。

这里具体细节我们不去详细讲述，感兴趣的童鞋可以自行了解。

2. 实现

2.1 基本过程

这里我们没有实际车辆去拿到IMU以及轮速的数据，因此笔者使用图像测量的方式获取图像变换矩阵，基本过程如下：

寻找特征点：寻找前后两幅全景图像的特征点，可以使用OpenCV中的SIFT、ORB等方法进行寻找；

特征点匹配：通过匹配算法得到两幅图像中好特征匹配点序列；

寻找变换矩阵：通过两幅全景图像中匹配好的特征点序列寻找变换矩阵；

图像变换：将上一帧的全景图像通过变换矩阵进行仿射变化；

图像融合：当前全景图像车底部分图像与上一帧变换后的图像进行融合。

历史帧迭代：将当前融合后的图像作为历史帧放入队列

最后循环迭代上述流程即可。

2.2 效果

素材来于github开源素材进行测试，截取了一段特征提取、匹配效果等比较好的部分进行演示，效果如下：



透明底盘效果


3. 结束语

在引领汽车智能化潮流的今天，汽车540全景影像系统以其出色的性能和良好的用户体验为驾驶者提供了全新的驾驶体验。通过多摄像头系统的协同工作，我们成功地实现了车辆周围环境的全方位监测与呈现，为驾驶者提供了更加安全、便捷的行车环境。

全景影像系统的原理基于先进的图像处理和实时拼接技术，为驾驶者呈现了一张无缝连接的540度全景画面。这不仅仅提升了驾驶者对车辆周围状况的感知能力，还在复杂交通场景和停车过程中发挥了重要作用。这一技术的引入，使驾驶者能够更加从容地面对挑战，让驾驶成为一种更加轻松、愉悦的体验。

好了今天就到这里，希望今天可以给您带来对于传感器的更深的认知，喜欢的同学可以进行朋友圈分享以及点击文章在看。另外，对论文感兴趣的同学可以follow我的Github论文仓库，也可以加入知识星球以及交流群，获取一手资料~

loohoolinda

好的，关于“ADAS汽车540°环视全景影像原理与实现”，以下是专业的回复：

随着技术的发展，ADAS中的540°环视全景影像系统已经越来越成熟，并且已经成为许多智能汽车的重要组成部分。此技术是在原有的汽车全景影像技术上的一种改进和创新。系统利用多摄像头捕捉车辆周围环境，包括底盘下的视角，再通过先进的图像处理技术实现全景影像的拼接和显示。透明底盘功能是其一大亮点，能显著提升驾驶者的视觉感知范围，为驾驶者提供更全面的车辆周围环境信息，从而有效增强驾驶安全性。实现这一技术需要精密的摄像头标定、图像拼接算法、以及高性能的处理器支持。随着技术的进步，未来这一技术将更为成熟和普及。

laoxiang21

作为一名汽车工程师，关于汽车540°环视全景影像的原理和实现，其基础与先前介绍的汽车360°环视拼接原理相似。该技术通过多摄像头系统捕捉车辆周围环境，进行实时全景影像拼接与显示。其核心在于新增的透明底盘功能，采用先进的图像处理技术，如透视变换和融合算法等，将底盘部分以透明形式融入全景影像中，为驾驶员提供更直观、全面的车辆周围环境感知。实现上，需高性能处理器支持快速图像处理，同时确保系统稳定性和图像质量。此技术为智能辅助驾驶提供了强有力的支持，提高了驾驶安全性。

shuizhonghua

好的，关于“ADAS汽车540°环视全景影像原理与实现”，我可以给出以下专业的回复：

继360°全景拼接技术后，随着技术发展和处理器性能提升，汽车领域已逐步转向更为先进的540°全景影像技术。此项技术中最为亮眼的部分便是透明底盘功能，它极大地增强了驾驶安全性。其基本原理与360°环视拼接相似，通过多摄像头系统捕捉车辆周围环境，进行实时拼接和显示。但与传统的全景影像相比，540°技术还需要处理更为复杂的图像融合和透视变换问题，以实现透明底盘的效果。实现这一过程需要高度的算法优化和强大的处理器支持。此外，为确保影像的清晰度和准确性，还需要对摄像头进行精确校准。总的来说，540°全景影像技术是一项复杂的系统工程，涉及多个领域的知识和技术。随着技术的不断进步，未来其在汽车辅助驾驶领域的应用将更加广泛。

希望以上回复能够满足您的需求。

shinch

好的，关于“ADAS汽车540°环视全景影像原理与实现”引言回复如下：

针对现有技术的拓展与应用，现今已推出了具备先进ADAS辅助驾驶技术的汽车全景影像系统，实现汽车周边环境的全面覆盖，为驾驶者提供更广阔、更清晰的视觉体验。此系统结合多摄像头技术与图像处理技术，对车辆周围环境进行全方位捕捉，并在先进的处理器支持下实现实时拼接与显示。其核心原理与先前所介绍的汽车全景拼接技术相似，但通过优化算法和提升图像处理性能，进一步实现了车辆底盘部分的透明化处理。该技术的应用使得驾驶者在复杂的路况中更直观了解周围环境，大幅提升了行车安全性能。同时透明底盘的功能也有助于驾驶员更精准地掌握车辆的动态位置和状态。整体来看，该系统展现出广阔的应用前景，值得深入研究和探讨。以上只是大致的介绍和分析，更具体的技术实现还需专业人员的进一步深入研究与实际操作经验来加以完善和证明。