激光雷达也可以“变焦”？RoboSense M1智能“凝视”功能上线！

前言：2020年被称为激光雷达量产“元年”。去年7月份以来，RS-LiDAR-M1获得大量车企定点车型订单，包括L3重卡方案科技企业、北美新能源车企、中国造车“新实力与新势力”车企、传统主机厂、顶级超跑品牌等，覆盖车型，从超跑到家用车，从Passenger car到商用车。

M1被称为车规级智能固态激光雷达，今年第一季度以来，已经逐步公布了M1车规级部分领先的技术与进展：

今天，我们揭晓M1智能部分的“秘密武器”：硬件智能+软件智能。即硬件上的智能“凝视GAZE”功能，与软件上的智能目标级感知功能。

自动变焦技术，是计算机视觉和各类成像系统实现智能化的飞跃性技术之一。通过改变摄像头焦距值的大小，能迅速兼起若干个定焦距镜头的作用，为环境感知提供方便条件。

这种革命性的智能变焦技术，减少长枪短炮的器件堆叠，非常适合迅速抓取远距离和近距离的影像与运动物体，因而成为纪实性拍摄常用“武器”。

在日常驾驶过程中，司机需要小心地处理不同的场景下的特殊路况，时刻关注不同的道路区域：在高速公路行驶时，要关注远处动态车辆与静态小障碍物；驶过街道路口时，警惕周边行人和两轮车；经过拥堵路段时，则提防周边车辆强行加塞行为。

智能驾驶同样需要面对各种不同的驾驶场景，这就要求激光雷达硬件性能需要基于不同的路况下环境感知重点作出优化。

在兼顾硬件性能、效率与成本等维度，我们将激光雷达硬件进行智能化升级，实现类似摄像头的变焦技术，取得高效的应用成果。这种智能化功能我们称之为“凝视GAZE”功能，意为随时聚焦驾驶者关心的重点感知区域。

硬件智能化属于RoboSense在Smart LiDAR Sensor System(智能激光雷达传感器系统)布局的一部分，“凝视”功能版M1也因此获得CES 2019创新奖。

目前，RoboSense已经与定点客户共同完成“凝视”功能的批量样机验证，6月份以来，“凝视”功能将在新版RS-LiDAR-M1中正式上线。

传统的激光雷达，包括自动驾驶测试车上的一维机械旋转式激光雷达和一维转镜式激光雷达，采用的扫描方式都是一维电机扫描架构。前者是通过电机承载所有激光收发元件一起旋转扫描，后者则改为电机承载激光反射镜旋转扫描。

△一维机械式扫描方案结构

△一维转镜扫描方案结构

这类延用了十余年的一维电机扫描架构，激光收发单元在出厂前被完全固定，导致扫描线束分布和最高帧率会在出厂的时候就被固定。

△一维电机扫描方案线数分布固定、扫描帧率固定

新一代车规级智能固态激光雷达RS-LiDAR-M1采用RoboSense自研的二维MEMS智能扫描芯片，可以任意改变横向和纵向的扫描速度从而改变扫描形态，且在收到指令后的下一帧即可完成切换，这将给激光雷达性能与应用带来两大改变。

△二维MEMS芯片智能扫描方案

1. 从粗放的线数概念，到精准的ROI区域分辨率

智能驾驶关注的远距离障碍物都分布在激光雷达视场中间ROI(Region of Interest)区域内，所以真正需要提高的是激光雷达对远距离障碍物感知能力，核心重点是提升中间ROI区域的分辨率。

行业最开始的时候，一维机械式扫描激光雷达线数平均分布，所以线数可以直观反映感知能力。

△一维机械式扫描，线数平均分布

随着车载激光雷达应用，ROI区域需要更密集的扫描线数达成共识，一维机械式扫描方案通过将固定激光元器件在中间区域加密堆叠，在视场中获得固定角度、固定分辨率的ROI区域。

△一维机械式扫描，固定角度、固定分辨率的ROI区域

当二维MEMS智能扫描出现，线数分布可以任意变换，激光雷达可基于不同驾驶场景自由调节ROI区域的角度范围、分辨率大小。

△二维MEMS智能芯片扫描，可自由调节ROI区域角度范围、分辨率大小

M1“凝视”功能可以动态调整ROI区域；同时可以动态调整分辨率，将ROI区域内分辨率翻倍再翻倍达到等效于一维扫描数百上千线的感知能力；双重动态调整功能自由配置，可以避免算力资源浪费。

△二维MEMS芯片智能扫描方案，分辨率可调节

2. 从锁死的固定帧率，到灵活的实时可调帧率

在不同驾驶场景下，智能驾驶系统对环境感知帧率有不同的需求，在城区街道驾驶场景中周围障碍物距离近，驾驶响应距离短，需要提高帧率获得更长的响应时间；在高速场景中障碍物距离远，则需要提高分辨率而非提高帧率提升检测距离，获得更长的响应时间。

一维扫描方案无法在工作状态下改变帧率，帧率锁定在开机时选择的档位，无法跟随感知系统帧率(包括摄像头帧率)调整而变化，不但不能提供更场景化的环境数据，同时导致多传感器融合过程中帧数难以对齐的同步困难。

△二维MEMS芯片智能扫描方案，帧率可调节

二维MEMS智能扫描方案可以在激光雷达工作状态下动态提升或降低帧率，且帧率数值可取连续值，不限档位。这让激光雷达的帧率可以随驾驶场景及感知系统帧率需求而改变，亦可与摄像头帧率等比关联匹配，保持同步触发。

1. 高速场景下垂直分辨率的每一次提升，都能给用户体验带来跃升

在高速公路上，车辆行驶速度快，车距较远，智能驾驶感知系统更关注正前方远处的行驶车辆以及三角警示标、雪糕筒、掉落的轮胎、掉落的树枝等静态障碍物。相对而言，分布在地面和天空等非重要区域过高分辨率的点云数据成为了算力的负担。

△高速公路场景，驾驶者关注正前方ROI区域

智能驾驶系统在高速上实现HWP(Highway Pilot)功能，需要获得对上述障碍物的更远有效检测距离，这要求激光雷达拥有高测距能力，以及高有效分辨率(即障碍物所在的ROI区域内的高分辨率)。

△M1开启“凝视”提高ROI区域分辨率与关闭“凝视”实测点云对比

在HWP(Highway Pilot)模式下，开启M1“凝视”功能，智能提升ROI区域垂直分辨率，让智能驾驶实现从安全到舒适的跨越。开启“凝视”的M1视场中间ROI区域垂直分辨率可以由0.2°动态提升至0.1°(甚至更高分辨率)，障碍物点云成像密度翻倍，对前方小物体高度准确测量，帮助规划层可结合车轮与底盘高度判断通过性。

直行道路上，垂直分辨率由0.2°到0.1°的提升，意味着感知软件对车辆的识别距离由120-150米提升到180-200米，对静态小型障碍物的检测距离由85米提升到160米，对于驾驶时速120km/h行驶的智能驾驶车辆而言，这是从安全制动距离到舒适制动/变道距离的质变，将为用户乘坐舒适度体验带来巨大飞跃。‍

△高速上，智能驾驶车辆以120km/h行驶，0.2°垂直分辨率对障碍物的感知距离仅刚好满足安全制动要求，垂直分辨率提高至0.1°，对障碍物的感知距离能达到舒适制动需求

△开启M1“凝视”功能，提高分辨率提升感知能力，提前发现障碍物平顺完成变道

M1“凝视”功能的ROI区域是灵活可调的，感知系统可以通过指令动态调节ROI区域在视场中的垂直分布，以适应不同驾驶场景中车辆的俯仰角及不同的激光雷达部署高度，使激光雷达感知效果达到最优。

2. 低速场景下，帧率的每一次提升，都能为用户体验带来跃升

当智能驾驶车辆离开高速，来到城区道路，虽然车辆行驶速度变为中低速，但是障碍物与本车距离变近，路况变得复杂且变化快，周围分布着准备加塞的并行车辆、穿行的两轮车、行为各异的行人、横向穿梭的车辆等障碍物。

△城区场景，障碍物与本车距离变近，行为复杂且变化快

在城区拥堵时，开启TJP(Traffic Jam Pilot)功能，需要激光雷达拥有更小的盲区(M1最小盲区可达0.3米)，及高帧率数据，以帮助快速响应环境的变化。M1的“凝视”功能，可以让帧率从10Hz瞬间提升到20Hz(甚至更高)，“快人一步”完成TJP跟车功能，防止加塞和避免刮蹭。

△城区场景，M1开启“凝视”高帧率模式与低帧率模式实测对比，高帧率模式下障碍相邻帧间隔更短

假如在拥堵路况下，两辆搭载激光雷达并行的智能驾驶车辆都开启了TJP功能，仅有普通10Hz帧率激光雷达的车辆由于响应慢，跟车空档大，很轻易被激光雷达帧率提升到20Hz的车辆Cut In，这会导致极其糟糕的用户体验。

△一辆差速30km/h、15°角加塞的车辆在普通模式10Hz和“凝视”模式20Hz下，完成加塞过程的帧数，20Hz模式下可以获得35帧数据，而10Hz模式下仅有17帧数据，前者显然可以更快更准地跟踪加塞车辆行为，控制加塞和避免刮蹭情况的出现

在左转场景中，对向行驶速度30km/h(差速60 km/h)，10Hz帧率下相邻帧两车辆位移约2m，而20Hz帧率下约为1m，这意味着智能驾驶车辆可以更准确地判断安全左转的空档，减少不必要的原地等待，安全地完成保护左转，提高智能驾驶体验。

△开启“凝视”功能，智能驾驶车辆左转操作更流畅

早在2019年的上海车展的发布会上，RoboSense首次发布M1的软件智能--内部集成感知软件，同步输出三维点云数据和目标级环境感知结果。这也是行业对RoboSense固态激光雷达“智能“的最初认知。

△M1软件智能实测，同步输出三维点云数据与目标级环境感知结果

在达成硬件智能“凝视”功能完成验证和导产的同时，软件智能的核心--RoboSense在激光雷达行业内一直保持领先的点云处理软件RS-LiDAR-Algorithms，也已经完成面向前装量产“上车”升级蜕变：

OEM与Tier1客户可以将RS-LiDAR-Algorithms快速部署到自己的感知系统中，跳过漫长算法研发和验证周期，减免开发成本支出，快速开展基于激光雷达感知能力智能驾驶功能开发与升级。

△“硬件智能+软件智能”，车规级智能固态激光雷达RS-LiDAR-M1

在驾乘应用端，RoboSense根据不同驾驶场景和功能需求，以硬件智能化升级感知能力和效率，推动智能驾驶系统在驾乘体验上实现飞越的提升；在量产部署端，RoboSense软件智能提供“即插即用”感知算法，缩短系统开发周期，帮助OEM率先推出获得激光雷达赋能提升的高级智能驾驶功能。

从一维扫描的机械式硬件“信息收集器"，进化为“硬件智能+软件智能”的二维智能扫描“信息理解者”，RoboSense将继续努力，为下游客户提供持续升级的智能激光雷达系统产品方案，共同推动智能驾驶驾乘体验不断进化，加速智能汽车生态的变革与创新，驱动社会交通安全与效率稳步提升。

欢迎加入激光雷达产业链微信群