来源:内容转载自佐思汽车研究,作者复旦大学微电子系博士王鹏程,谢谢。
自动驾驶需要构建全频谱感知能力
在汽车智能化发展道路中,感知系统是至关重要的一环,理想的自动驾驶系统需要全天候、全覆盖、全目标、全工况的感知。当前的自动驾驶技术水平离理想目标还有较大差距,为了实现高阶自驾,需要在全频段上构建感知系统,有效融合各频段传感器的优势,为规划控制提供准确有效的信息。
现阶段自动驾驶技术中,主要用到的传感器有摄像头、激光雷达和毫米波雷达。摄像头的光谱从可见光到红外光谱,是最接近人眼的传感器,有丰富的语义信息,在传感器中具有不可替代的作用,比如红绿灯识别、交通标识识别,都离不开摄像头的信息。激光雷达器件较为成熟,905nm波段广泛应用,能获得丰富的场景立体空间信息。从频谱可以看到,激光在频谱上和可见光较为接近,因此和可见光有着相似的粒子特性,容易受到恶劣天气的影响。而毫米波雷达波长为3.9mm附近,是这几种传感器中波长最长的传感器,全天候性能最好,且具备速度探测优势。
摄像头和激光雷达由于有较为丰富的信息,前期的自动驾驶感知研究主要集中这两类传感器,毫米波由于分辨率不足导致其在使用上存在局限性。近年来,各大毫米波厂商在4D毫米波雷达上加大投入,在超宽带和大天线阵列两个方向上取得了一些进展,这使得4D毫米波的研究成为了自动驾驶研究的热点之一。
4D毫米波雷达突破了传统雷达的局限性
随着毫米波芯片技术的发展,应用于车载的毫米波雷达系统得到了大规模应用,然而传统雷达系统面临着以下缺陷:
- 当有静止车辆,目标信息容易和地杂波等掺杂在一起,识别难度较大,而移动车辆可以靠多普勒识别。
- 当有横穿车辆和行人, 多普勒为零或很低,难以检测。
- 没有高度信息,高处物体如桥粱路牌和地面的车辆一样区分不开,容易造成误刹,影响安全性。
- 角度分辨率低,当两个距离很近的物体,其回波会被混在一起,很难知道有几个目标。
- 用雷达散射截面积区分物体难:可以通过不同物体的雷达散射截面积的不同和不同帧之间的反射点的不同来区分路牌、立交桥和车辆,然而准确率并不高。
- 最远探测距离不超过200 m,探测距离范围有限。
而4D毫米波雷达技术突破了传统车载雷达的局限性,可以以很高的分辨率同时探测目标的距离、速度、水平方位和俯仰方位,使得:
- 最远探测距离大幅可达300多米,比激光雷达和视觉传感器都要远
- 4D毫米波雷达系统水平角度分辨率较高,通常可以达到1 的角度分辨率,可以区分 300m 处的两辆近车
- 4D毫米波雷达系统可以测量俯仰角度,可达到优于2°的角度分辨率,可在 150m 处区分地物和立交桥。
- 当有横穿车辆和行人, 多普勒为零或很低时通过高精度的水平角和高精度的俯仰角可以有效识别目标。
- 目标点云更密集,信息更丰富,更适合与深度学习框架结合。
4D毫米波雷达的先驱者
为对4D成像雷达系统有更系统的认识,这里我们列举了近年来市面上几种常见的成像雷达系统方案,其中包括TI公司、Arbe公司、Uhnder公司。
TI级联方案---毫米波成像雷达系统的开辟者
在TI公司早期推出的毫米波雷达芯片AWR1243中通过发射FMCW信号来探测目标的距离和速度,而使用时分波形的方式将三个发射和四个接收构成的12个虚拟通道来探测角度,然而受限于角度分辨率,其获取的目标信息有效。而TI公司于19年推出了自己的毫米波雷达系统级联方案,其级联效果如图1中所示,通过将四个三发四收的单个MIMO芯片级联方案可以构成12发16收的MIMO雷达阵列,此时雷达系统的虚拟通道数可从12提升到了192,该方法可以极大的提升了雷达系统的角度分辨率。在图1所使用的级联雷达系统中水平角度分辨率可达到1.4°,俯仰角度分辨率可达到18°的效果。
目前国内有不少厂商依托于TI成像雷达系统的级联方案进行系统改进,以达到更好的角度分辨率,级联方案来搭建成像雷达系统已成为当下的主流技术。
图1 TI级联系统实物图
Arbe毫米波成像雷达系统---超大阵列和专用处理器方案
除了TI公司开发的级联雷达系统方案,以色列Arbe公司开发出了目前最大的48发48收级联雷达系统方案,其虚拟通道数可以达到惊人的2304,大大的提升了毫米波雷达系统的角度分辨率,与此同时随着虚拟通道数的增加,传统的处理器无法解决毫米波雷达系统信号处理和数据处理,Arbe公司也推出了自己的专用毫米波雷达处理器芯片,使得毫米波雷达系统的集成度更高,数据处理更加高效。图2中为Arbe公司成像雷达系统实物图,从图中可以看出该成像雷达系统采用口字型阵列来设计MIMO雷达,可同时在水平维度和俯仰维度探测目标。图3中为Arbe公司雷达专用处理器框图,从其展现的框图中可以看出,在该专用处理器中增加了其独有的雷达信号处理硬件加速模块,以更好的解决成像雷达系统中数据高吞吐量的问题。
从Arbe的技术方案中可以看出,超大规模的MIMO阵列将可能是一种技术趋势,而在使用超大规模MIMO阵列后需要考虑产生的海量数据如何有效处理的问题,因此专用的成像雷达系统硬件加速模块是需要的,关于这点国内还比较空白。
图2 Arbe成像雷达系统实物图
图3 Arbe成像雷达系统专用处理器框图
Uhnder公司---PMCW雷达的领跑者
不同于传统FMCW信号波形,Uhnder公司采用的PMCW波形通过多天线同时发射正交相位编码信号的方式来探测目标的距离和速度,该方案不仅可以探测更远距离,同时在有效探测目标的同时可以有效的抗除雷达与雷达之间的相互干扰。在19年的ISSCC论文[1]中Uhnder公司已经发表了其相关研究成果,在单科芯片中集成12发16收的雷达阵列。
图4 Uhnder公司高集成成像雷达系统[1]
4D毫米波成像雷达系统中的难点
总结以上公司的技术演进路线,我们可以发现在4D毫米波成像雷达系统存在以下亟需解决的技术难题:
1)、成像雷达系统的阵列设计问题
在4D毫米波雷达系统中,通过MIMO使得系统虚拟通道数得到了极大提升,因此如何设计阵列以达到高精度的角度分辨率成为其中的一个难题。在已有的学术研究[2]中将12个3发4收的MIMO芯片进行级联,构成36发48收MIMO雷达系统,可达到1728个虚拟通道。而文中通过遗传算法来设计稀疏阵列,使得雷达孔径更大,水平角分辨率可达到0.78°,俯仰角分辨率可达到3.6°。可以发现随着天线数的增多,在未来的成像雷达系统中,其阵列排布和角度分辨率将会得到更一步的优化和提升。
(a)
(b)
(c)
图5 文献[2]中的4D成像雷达系统;(a)芯片级联硬件实物;(b)优化后的36发48收稀疏阵列示意图;(c) 优化后的36发48收稀疏阵列实物图
2)、成像雷达波形设计问题
与传统相控阵雷达相比,MIMO雷达的最大特点在于采用波形分集技术。波形相关系数是表示波形分集的重要参数,MIMO雷达的各天线发射正交信号,波形间的相关系数为0,在空间形成低增益宽波束,接收端通过DBF合成多个接收波束,实现覆盖大空域的探测。对于MIMO正交波形设计,使用者希望设计的波形尽可能地具备高分辨率、低旁瓣、良好的正交性,目前常用的四种方法为时分复用(TDMA)、频分复用(FDMA)、多普勒分集复用(DDMA)、码分复用(CDMA)等。表1中对各类正交波形做了总结,现有的雷达芯片中已经可以支持交替发射TDMA、CDMA和DDMA波形,因此如何复用波形以提升阵列使用效率成为设计者应该思考的问题。
表1正交波形总结
3)、成像雷达抗干扰问题
随着车辆使用毫米波雷达系统的增多,雷达与雷达之间的干扰日益严重,如图6中所示雷达B1和雷达B2在相同的中心频率内使用线性调频信号,很容易产生相互之间的干扰,为此如何消除系统干扰成为待解决的难题。
图6 雷达与雷达之间相互干扰示意图
为此,不同的公司开发出不同的方案来解决该问题。如图7中所示,为Arbe公司的波形设计专利中使用多个频率跳动的窄带信号合成宽带信号来规避雷达之间的相互干扰。当然,该方法的正确与否还有待研究与挖掘。
图7 Arbe专利中的跳频波形设计以消除雷达之间的干扰
4)、毫米波雷达专用处理器问题
随着毫米波雷达系统通道数的增多,传统的处理器无法满足毫米波雷达系统大吞吐量数据的需求,因此迫切需要设计符合大阵列大吞吐量的雷达专用处理器芯片,近年来除了arbe公司提出了自己的专用处理器方案外,也有像NXP这样的老牌玩家在设计相关的雷达专用处理器模块。
4D毫米波雷达的深度学习初探
4D毫米波雷达相较于传统的3D毫米波雷达有更丰富的信息,如何有效的将深度学习框架应用到4D毫米波雷达中是自动驾驶性能提升的关键技术之一。从传统3D毫米波雷达的信号处理流程中我们可以看到,频信号经过ADC后接入毫米波预处理流程,经过距离和速度2个维度的FFT之后,进行CFAR检测在空间维度上剔除大量噪声,然后利用第3个维度的FFT来获取波达角,生成稀疏点云,继而进行聚类和跟踪,最后进行目标分类后输出。
图8 TI IWR6843雷达信号处理框图
4D毫米波雷达增大了天线阵列,除了能增加高度信息外,还能提供更为丰富的点云信息,当点云信息足够丰富时,我们可以借鉴激光雷达的信号处理方式,采用类似于Voxelnet、CenterPoint、PointPillar等3D或2D网络来进行特征提取和识别。
在最新的研究中,也有人提出在进行距离和速度2个维度的FFT之后,不进行CFAR步骤,而直接进行第3个维度的FFT来获取4D张量信息,然后基于这个4D张量进行特征提取和识别。这种方式可以最大程度地保留有效信息,但是由于没有进行CFAR步骤,需要处理的数据量非常大,对于系统的带宽和算力都提出了较高的要求。
图9 文献[3]中基于张量的4D雷达识别方法
毫米波雷达与激光雷达----路在何方?
总体而言目前毫米波雷达系统仍处于百家争鸣的战国时代,尽管每家公司的雷达系统方案并不相同,然而都面临着算法和硬件系统的困境,亟需从算法、芯片和系统层面解决以上问题。
笔者认为随着毫米波雷达系统的发展,其角度分辨率会逐渐逼近0.1°,而达到一些低端激光雷达的效果。不同于激光雷达系统直接对点云数据处理的固定方式,4D毫米波雷达系统自由的阵列和波形设计提高了系统的使用门槛,但也给了用户更多的发挥空间。而毫米波雷达系统相比于激光雷达,其波长更长,具有较为适宜的大气窗口,在全天候方面更具优势。FMCW在毫米波雷达上的成功经验已经被借鉴到激光雷达领域,1550nm FMCW激光雷达技术增加了速度维信息,抗干扰能力强,但离成熟商用还有一段时间的路要走。
参考文献:
[1] V. Giannini et al., "9.2 A 192-Virtual-Receiver 77/79GHz GMSK Code-Domain MIMO Radar System-on-Chip," 2019 IEEE International Solid- State Circuits Conference - (ISSCC), 2019, pp. 164-166, doi: 10.1109/ISSCC.2019.8662386.
[2] D. Schwarz, N. Riese, I. Dorsch and C. Waldschmidt, "System Performance of a 79 GHz High-Resolution 4D Imaging MIMO Radar With 1728 Virtual Channels," in IEEE Journal of Microwaves, 2022, doi: 10.1109/JMW.2022.3196454.
[3] K-Radar: 4D Radar Object Detection Dataset and Benchmark for Autonomous Driving in Various Weather Conditions.
作者简介:王鹏程,复旦大学微电子系博士,复睿微算法专家,研究方向:毫米波雷达智能感知、成像雷达系统信号处理、深度学习在成像雷达系统中的应用。
*免责声明:本文由作者原创。文章内容系作者个人观点,半导体行业观察转载仅为了传达一种不同的观点,不代表半导体行业观察对该观点赞同或支持,如果有任何异议,欢迎联系半导体行业观察。
原文始发于微信公众号(半导体行业观察):4D毫米波雷达处于革命前夜
In order to promote the exchange and development of the industry, Aibang has established an automotive millimeter wave radar industry exchange group, including Audi, Mercedes-Benz, BMW, Toyota, Hella, Bosch, Veoneer, Continental, Aptiv, Valeo, Denso, Huawei , Desay SV, Joyson Electronics, Huayu, Polytechnic, Toyoda Gosei,Zanini, Siwell, Magna, Minshi, Webasto,SABIC, Covestro, BASF and other upstream and downstream friends from the industry chain joined the group to discuss and seek common progress. Long press the QR code below to apply to join.