ADAS-一文看懂索尼车载CIS传感器之SubPixel-HDR技术

andyo7

“ 由于自动驾驶场景需要，一般ADAS系统对于车载CIS(CMOS Image Sensor)传感器的HDR性能以及LFM功能有一定的要求。随着技术的发展，目前市面上的大部分车载相机的动态范围在可以达到≥120dB的同时还支持LFM功能。今天，我们将以Sony大小Pixel的IEEE论文作为切入点，为大家介绍大小像素技术是如何实现的高动态以及LFM功能。感兴趣的同学可以自行进入IEEE进行下载(论文DOI号见文末)or后台私信我进行论文pdf版本获取。”



01—Introduction
实时传感器的发展创造了新的商业和社会变革，特别是互联网物联网和汽车领域。在汽车ADAS应用的众多传感器中，图像传感器是这些领域实现关键功能最重要的传感器，对移动物体、路况检测以及所有光照条件下的物体检测、识别等有着重要的作用。图像传感器中HDR是一项重要的性能指标，它代表了同一张图像中可以看到场景中最亮以及最暗场景亮度的比值。例如，即使在黑暗里，必须要通过高灵敏度和低噪声采样识别图像。而在亮处，必须要通过低灵敏度和低噪声进行采样。在之前公众号文章中我们介绍了HDR实现的方式：

HDR目前实现方式主要有多曝光合成、DCG以及SubPixel技术等。
JOKER-EYES，公众号：ADAS之眼ADAS-CIS相机关键参数-HDR专题

其中，使用多重曝光方法传统的高动态范围技术，由于不同帧是在不同的采样时间进行采集，因此很容易造成运动伪影，这会导致后端算法识别错误。

另外，在ADAS应用中，交通指示灯识别也是一项重要的任务。发光LED二极管的信号灯由于是PWM驱动，因此实际上它们在工作状态中是不停的眨眼睛。

然而，它们必须看起来像是图像中始终亮起。当使用扩展的方法时仅仅为了捕捉这种闪烁的曝光时间信号，信号在短时间内饱和从而丢失它们的亮度和颜色信息。作为LED闪烁抑制（LFM）方法，采样倍数在曝光期间时间方向上的次数已提出，但此方法有一个非补充期并且不能完全减轻光闪烁效应。今天我们将介绍Sony开发的一种新的图像传感器来解决上述这些问题，此传感器的特点是采用亚像素架构设计光电二极管、单个小型光电二极管和像素内浮动电容器，即SubPixel+DCG技术。
02—
SubPixel架构介绍
图像传感器主要由像素的像素阵列、读出电路(负载MOS晶体管、列ADC、DAC)、驱动器电路(行驱动器、行解码器)、图像信号处理器和其他电路(PLL、稳压器、MIPI I/F、CPU等)组成，其整体框图如下图所示：

其中，相对于其他Sensor，最大的不同即为像素架构，其微观显微镜的像素俯视图如下图(a)所示。一个像素具有大片上微透镜（OCL）和小的OCL，分别给SP1和SP2使用。SP2的OCL位于SP1的OCL的间隙部分中，这使得SP1与SP2的灵敏度比等于10:1。

(a) 像素俯视图             （b）Pixel电路架构图  
上图(b)显示了子像素的电路架构示意图，该电路架构由单个大的光电二极管(SP1)，单个小光电二极管(SP2)，像素内浮动电容器(FC)和七个晶体管组成。其中:
1. SP1具有高灵敏度(绿色)36000e-/lx?s，而SP2的灵敏度为SP1的1/10。由于FC的存在，SP1的线性全井容量(FWC)为10000e-，SP2的FWC为78500e-。

2. 电路的中七个晶体管为：SP1的传输栅极(TGL)，SP2的传输栅极(TGS)，浮动扩散栅极(FDG)、浮动电容器栅极(FCG)、复位晶体管(RST)、选择晶体管(SEL)和源极跟随器放大器(AMP)。

3. 浮动扩散（FD），FD在此架构中被分离为FD1、FD2和FD3，其中FD3是由FDG和FCG组成。FDG以及DCG被用作切换，以分别用于连接FD1与FD2、FD2与FD3。FC的两个电极连接到FD3以及其供电电压FCVDD。

下图显示了相应的像素截面上图(a)中的虚线，深沟在硅底处采用隔离的方式来防止从SP1到SP2的电荷泄漏。



03—
SubPixel HDR合成&LFM实现
相对于多帧曝光HDR传感器，SubPixel架构的传感器中SP1和SP2的信号被同一时刻采样并且被串行输出。同时，SP1以及SP2中累积的电荷都会被转换为两种模式下的电压，即高转换增益（HCG）以及通过切换FDG来实现的低转换增益（LCG）。因此，SubPixel传感器可以输出同一时刻采集的4张不同灵敏度的图像，完美地解决运动模糊的问题，如下图所示：

通过四帧图像合成，可以轻松地输出24bit的HDR图像，如下图所示：

同时，由于在HDR合成后，在曝光在10ms的情况下，单帧动态范围便可以实现大于120dB的效果。因此，在国内交通LED灯为100Hz频率的情况下，我们将曝光控制在10ms便可以采集到整个LED的能量周期，如下图所示：

论文中给出了Sensor在曝光为11ms的情况下，SP1H+SP1L+SPL三帧合成的仿真效果如下：

可以看出，在隧道场景下，隧道口明亮处、隧道内暗部以及LED灯信息都得以保留，相对于传统多帧合成Sensor有了很大的提升。最后，论文也给出了Sensor内部的工作时序图，如下所示：

可以看出，相对于普通Sensor，SubPixel架构的整体工作流程也分为主要的三步：复位、曝光、读出，只是在细节处有差异，同时多了一个SP2小像素的处理。
04—
结束语
传感器技术的发展日新月异，为自动驾驶提供了良好的数据采集源，也带来了一系列的产业变革。然而，在每个新技术应用的背后都有着无数工程师的奇思妙想以及夜以继日的努力与实验。我们在欣赏与运用技术的同时，更要尊重知识产权，饮水思源，尊重前人做的努力与付出。最后，我们也更希望诸位可以站在巨人的肩膀上，看的更高、走的更远。
今天我们为大家介绍了Sony在IEEE中发表的大小像素的技术论文，为大家介绍了大小像素的实现原理与技术架构，希望可以给您带来对于传感器的更深的认知，喜欢的同学可以进行朋友圈分享以及文章在看。如果您对自动驾驶感兴趣，可以关注本公众号，当然有想了解的话题，也可以私信我，我们将对各位看官感兴趣的话题进行技术分享。好了今天就到这里，想看原论文的同学可以使用下述论文DOI号进行下载or私信我进行PDF版本获取。(论文DOI号：10.1109/IEDM.2018.8614565)