电子后视镜(CMS)延时分析及探讨

电子后视镜（Camera Monitor Systems, CMS）是由摄像机与监视器组成的系统，在规定视野内需要看清车辆后方、侧方视野，是一种新型间接视野装置，新版GB15084标准称之为“摄像机-监视器系统（camera-monitor system）”，简称CMS。电子后视镜的优点是消除了传统光学后视镜受限于镜面曲率、形状、大小角度等因素造成的视野限制，视野盲区相对小很多，整个视野更加宽阔，这样一来，驾驶员可以看到更多的细节，提升行驶过程中的安全性。

随着电子技术的高速发展，以计算机技术为基础的视频图像处理系统在图像处理速度、集成度和稳定性方面都得到了较大提升，为汽车电子后镜的智能化发展创造了条件。国内外汽车厂商纷纷启动了CMS研发计划，特别是造车新势力中的新能源汽车更是热衷于率先应用CMS，以便提升汽车的视觉性能。

CMS与行程记录仪具有相似之处，都能实时显示汽车行驶过程中的周围环境，即图像显示。不同的是，电子后视镜需要具备实时特性，才能确保安全监测周围行人、同/逆方向行驶汽车、静止/运动物体等。《道路车辆-摄像机监控系统的人体工程学和性能方面-要求和测试程序》（ISO 16505－2019）中规定CMS的延时应足够短，以便几乎同时渲染场景，在（22±5）℃的室温下，延时应小于200ms。联合国R046关于轮式车辆安装及/或用在轮式车辆上的装备及零部件采用统一的技术法规，以及满足这些法规认证相互认可的条件。

由于具备实时性的特点，汽车物理后视镜没有延时的技术问题，驾驶员坐在驾驶室座位上直接获取汽车后方、侧方和下方等外部信息。但是CMS 需要经过图像信息处理，产生了图像视频信息的延时。在高速公路上行驶车辆的延时距离如图所示。阴影部分为ISO 16505 中的III 类车后视镜。

高速公路上行驶车辆的延时距离

驾驶员应能在水平路面上清晰的视野，能够触及到4米宽、后方20米处延伸至地平线的区域。当汽车在高速公路上行驶时，特别是在特殊情况下慢车道行驶的汽车通过视镜观察左侧车辆时，由于CMS的延时效应，显示屏上观察到的左侧高速行驶车辆位置与实际位置之间可能存在距离差。

具体来说，当一辆以极低速度行驶的汽车与另一辆以120 km/h（即0.0333 m/s）的速度行驶、对应延时200 ms的汽车相对而行时，根据下表中的数据，它们之间的距离差为6.66米。因此，当汽车驶入高速公路主道时，必须充分考虑并预留足够的安全距离，以确保行车安全。        

当汽车由低速道路行驶至高速公路时，由于各个车道的速度不同，CMS延时所产生的距离差也各不相同。如下图所示，因此，在驾驶车辆时需要判断并应对不同车道高速行驶车辆的车速和CMS延时对应的距离差异。

车辆驶入高速公路的预留安全距离

当汽车行驶在三车道高速公路上时，各个车道的行驶速度有所差异，即120～100 km/h、100～80 km/h和80～60 km/h。驾驶员通过CMS观察后方行驶车辆时，需预留适当的缓冲时间，以应对相应的汽车瞬间行驶距离，具体数据如下表所示。  

根据视觉时间特性，人眼对外来光线的亮度感觉属于能量积累型，即从光线接收到产生亮度感觉并非瞬时，两者间的延时差称为视觉延时。研究结果证实，视觉时间特性的存在会导致位置误差，并指出这个误差与目标物运动的速度以及视觉系统延时有关。实验验证了视觉时间特性与定位空间误差距离之间的关系。

通过实验测试视觉系统对亮影像动态响应特性的影响研究，得到了具体的视觉延时数据。即用最小二乘法拟合数据得到的常数近似于一阶系统响应特性曲线的指数函数，从而建立了视觉系统的动态响应数学模型。将适用于特定环境下的特性模型进行推广。首次通过行为实验测试得到视觉感知亮度与激励时间的对应关系，并分析发现视觉系统对亮度的响应过程就是亮影像的建立过程（暗影的消退过程）。这一结果有力地证实了视觉系统的延时、影像残留等一些说法的真实性，同时能够详细地给出响应时间与响应亮度的关系。

视觉系统的时域动态特性如同动态信号有时域和频域描述一样，系统的动态特性也有时域与频域之分。通过从时域和频域两个不同的角度考察和描述系统的动态特性，分别得到时域动态特性和频域动态特性，如下表所示。

根据研究和实验证据，我们可以得知人类视觉系统对亮度影像的动态响应特性。视觉感知的延时时间通常在5到7毫秒之间，也就是说，人们在识别图像信息时具有一定的延迟效应。当驾驶员观察电子后视镜的显示屏幕时，也需要考虑到这个视觉延时。

当我们在高速公路、城市道路和乡村道路上以每小时120公里、60公里和30公里的速度行驶时，CMS系统的自身延时会产生距离差。因此，考虑到视觉延时，驾驶员观察CMS屏幕时的延时时间应增加约5毫秒。这种延时距离差的具体数值如上表所示。

互补型金属氧化物半导体（Complementary Metal Oxide Semiconductor, CMOS）图像传感器的种类相当丰富，其中索尼的IMX490图像传感器适用于高级驾驶辅助系统（Advanced Driving Assistance System, ADAS）多媒体摄像头。背照式和叠加式CMOS设备选用该图像传感器，能够同时拍摄高动态范围图像（High Dynamic Range, HDR）和发光二极管（Light Emitting Diode, LED）闪烁，具备2896（高）×1876（水平）像素，实现ADAS/自动驾驶的广角镜头拍摄。其动态范围HDR达到120 dB的功能是常规设备的三倍，再加上运动伪影缓解和高灵敏度，性能卓越。

索尼的IMX290图像传感器则在黑暗条件下也能捕捉到高分辨率的彩色图像，采用背照式结构并扩大了光电二极管面积，相比现有相同像素的产品，灵敏度提高了100%以上。它内置可编程的增益放大器，能够将电信号放大到72 dB。当与兼容的图像信号处理器（Image Signal Processor, ISP）结合时，通过设置2或3个多次曝光时间，支持HDR系统，包括一个对近红外光有更高灵敏度的像素结构及推荐的记录像素数量，因此与传统型号相比大大扩展了动态范围。

这款传感器具有1920（高）×1080（水平）像素，全高清1080 P模式下的最大帧率为120 f/s。芯片上的10位/12位A/D转换器具备相关双取样电路（Correlated Double Sampling, CDS）/可编程增益放大器（Programmable Gain Amplifier, PGA）功能、支持输入/输出切换、逻辑并行输出、低电压差分信号（Low Voltage Differential Signaling, LVDS），以及多种数据速率（Double Data Rate, DDR）输出、CSI-2串行数据输出、2 Lane/4 Lane, RAW10/RAW12输出等特性。此外，它还通过了AEC-Q100等级为2的测试认证。

CMS电子基于ARM嵌入式系统、系统级芯片（System on Chip, SoC）、现场可编程逻辑门阵列（Field Programmable Gate Array, FPGA）等多种结构，由光学透镜组、CMOS图像传感器、ISP、Soc中央处理器、DDR3存储器、TF卡存储器、17.78 cm（7寸）薄膜晶体管（Thin Film Transistor, TFT）显示屏和控制器局域网（Controller Area Network, CAN）总线接口组成，如下图所示。

电子后视镜系统CMS 结构

通过分析电子后视镜的电路结构可以得出系统的延时特性，以下具体分析硬件电路及软件控制所产生的系统延时：

3）SoC中央处理器构成的延时：电子后视镜CMS与行车记录仪在功能上有相同之处。行车记录仪配置一个摄像的镜头，在汽车行驶的过程中，通过镜头拍摄视频信息传送到主机内部，保存到视频存储器或者TF存储卡，通过行车记录仪可以查看记录的视频，或者通过手机、平板设备或电脑读取保存的视频信息已经得到广泛应用，行车记录仪产品型号众多，技术相对比较成熟。

CMS相应有国际标准ISO 16505、联合国R046标准和中国标准的详细的技术要求，对应有亮度调节和对比度复现、灰度等级复现、色彩还原、弥散、光晕和眩光、点光源、几何畸变、闪烁、帧率、系统延时、平均放大倍数、分辨率、放大倍数纵横比、景深等等技术参数。

摄像头作为电子后视镜的主要硬件组成部分，由光学透镜和CMOS图像传感器组合而成。其输出接口通常采用Mipi或LVDS形式，而帧率的最高参数为60 f/s，即延迟为16.66毫秒。另外，电子后视镜的SoC处理器负责图像补偿、图像畸变矫正和系统功能控制，所产生的总体延时约为40毫秒。此外，电子后视镜还配备了一块17.78厘米（7寸）TFT显示屏，其接收接口同样采用Mipi或LVDS形式，帧率为60 f/s，显示所产生的延迟为16.66毫秒。综合考虑系统总延时，计算得出结果为73.33毫秒。

为了优化技术方案，电子后视镜CMS采用了图像信号处理器ISP专用芯片。该类芯片利用硬件电路进行图像补偿和图像畸变矫正，因此可以忽略其产生的延迟。相比之下，SoC处理器仅负责系统功能控制，这在很大程度上节省了图像数据处理时间。因此，电子后视镜CMS的总延时等于CMOS图像传感器（60 f/s）加上TFT显示屏的延迟，其中60 f/s相当于1/60+1/60=33.33毫秒。

根据对电子后视镜CMS的硬件电路结构分析，我们从电路硬件的角度得出了最小延时为33.33毫秒的结论。在考虑了硬件电子电路延时、图像信息处理和系统控制等因素后，我们得出了CMS的总延时为43.33毫秒。因此，我们可以得出结论，CMS最理想的总延时范围应在33.33～43.33毫秒之间。    

CMS的动态技术和性能对其产品的推广应用具有重要影响。根据ISO 16505的规定，CMS的延时应为200毫秒。结合上述分析，我们可以推断，在高速公路上，当汽车静止或以低速进入高速公路时，大约有6.83毫秒的距离差。这也可以理解为，当低速行驶的汽车与行驶速度为120公里/小时的车辆交会时，车辆行驶了6.83米的距离，而低速车辆才看到高速行驶的汽车。 

从另一个角度来看，这意味着当低速行驶的汽车驾驶员看到相邻的高速行驶汽车时，高速行驶的汽车已经超越了低速行驶的汽车。也就是说，200毫秒的延时存在安全问题。因此，制定合理且安全的电子后视镜CMS延时参数显得尤为重要。 

来都来了，点个在看再走吧~~~

原文始发于微信公众号（智车Robot）：电子后视镜(CMS)延时分析及探讨