深度 | 如何打造高性能的前装量产驾驶员监控系统？

2019年，汽车行业对于自动驾驶关键技术和产品落地的探索仍在持续，而且一些Global Tier1和OEM仍在重金投入，但面对L3+级别自动驾驶系统的超高难度和复杂度，尤其在量产中众多的已见以及尚未可知的困难时，人们对自动驾驶产业成熟的预期在逐渐归于理性，整个行业某种程度上开始了新一轮的反思和探讨。

首先，高级驾驶辅助系统ADAS在整个无人驾驶演进的过程中所持续的时间将更长，无人驾驶时代是否还远未到来；其次，与自动驾驶试验车辆相关的交通事故引发的行业对自动驾驶系统安全性以及相关数据安全性的担忧程度在显著增强；最后，单车智能与车路协同的结合在加强，外部环境感知与内部驾驶员状态感知的联动在快速加强，而且OEM、供应商与政策制定者都强烈意识到：除了对道路环境中各类目标的感知以外，对驾驶员的感知同样重要，随着自动驾驶的不断推进，驾驶员监控/感知类的产品将愈发重要，市场也将逐渐爆发！

2018年11月，Waymo在其无人驾驶汽车上重新配备安全驾驶员（安全员），并安装智能摄像头来分析安全员的精神状态（疲劳、分心、睡眠及异常行为等），用以加强对安全员接管能力的实时监控。此外，从L1~L3量产来看，除了已经配备该系统的2018款凯迪拉克CT6、新一代奥迪A8、斯巴鲁森林人和2019款宝马X5以外，大众、戴姆勒、菲亚特-克莱斯勒、福特、吉利、沃尔沃等一线OEM也都把驾驶员监控系统(Driver Monitoring System,简称DMS)加入到未来3年的配置清单中。不难看出，驾驶员监控系统除了在L3+高等级自动驾驶中肩负着责任主体划分的重要职责以外，在L1~L3低等级自动驾驶中也有着独特的作用。

同时，公共出行安全问题受到各国政府的关注与日俱增。2018年12月，国务院安委会办公室召开道路交通安全专题视频会议时再次指出，要求“两客一危”车辆全部安装智能视频监控系统，并对驾驶员不安全驾驶行为进行监控，显然是对同年8月交通部下发的支持“两客一危”车辆安装智能视频监控报警装置的进一步增强。同在2018年，欧盟出台新的汽车安全法规：要求到2021年，所有汽车厂商生产的新车必须配备驾驶员监控系统；而欧洲汽车行业最具权威的安全测试机构E-NCAP更是将驾驶员监视系统列为2020年发展蓝图的首要安全标准。不难预见，政策的助推将大大加速DMS的量产落地。

此外，网联与智能座舱对于DMS需求也在增强。DMS作为舱内感知的有效媒介，可为智能座舱个性化HMI系统提供驾驶员身份和状态感知等众多关键信息，利用身份信息和面部信息（包括头部姿态和视线方向等），进而实现诸如通过人脸识别开启车门/发动机、配置与UI记忆、共享出行身份验证等功能，甚至可为智能座舱提供更高阶的智能化应用（驾驶员位置与配置调节、视线追踪与HUD联动，事故救援时的车内感知）。

如果以豪华乘用车品牌是否开始配置驾驶员监控系统为标志的话，刚刚过去的2018年则为驾驶员监控系统快速发展的元年。除了辅助驾驶以及自动驾驶时代对驾驶员实时接管能力的感知需求和日趋严格的公共行车安全法规需求等因素以外，背后更重要的原因是驾驶员监测系统技术的不断成熟，尤其是驾驶员疲劳状态监测及身份识别技术的成熟。

驾驶员疲劳状态监测技术路径主要分为两类，一类是基于非驾驶员生理指标监测，如持续驾驶时长、行车轨迹异常（侧向加速度等）、方向盘异常（转向力矩等）等，该技术多基于特定传感器，也存在成本和性能可信度的问题；另一类则是直接通过驾驶员生理指标监测，包括接触式和非接触式两个子类。

接触式主要通过实时采集与分析驾驶员的呼吸频率、心率、血压、血氧、脉搏等生理参数来判断驾驶员的状态。丰田曾经推出一款外形类似手表的驾驶员疲劳检测系统，通过检测脉搏、心率等生理参数来判断驾驶员的状态，但接触式存在实时性（心率属于时间统计性指标）、接触可靠性以及驾驶员舒适性等问题，具有一定的局限性。

非接触式则是通过安装摄像头实时监测驾驶员眼睑闭合程度、眨眼频率、面部表情、头部姿态、头部位置、视线方向和行为等体征来判断驾驶员的状态，业界普遍采用或参考美国国家高速公路管理局NHTSA的评估方法PERCLOS P80。这类方法检测准确性高、成本低、舒适感较高，最重要的是具备量产能力，逐渐成为行业参照的主流方法。

随着ADAS及无人驾驶产业的持续发展，DMS作为新型需求，除了需要满足车规的基本需求以外，高性能的前装驾驶员监控系统仍然需要持续的技术突破和工程突破：首先是算法与算力的突破，不仅能够基于现有可量产芯片优化出足够的计算能力，还要达到足够的监测性能从而能够可靠地适应多变复杂的环境和场景；其次是安规的突破，能够被分解成不同安全等级的子系统且是可分析、故障可缓解甚至可解决的子系统；最后是测试与验证方法的突破，能够进行DMS产品标准化设计，并为产品性能优化提供量化数据。

深圳市自行科技有限公司（简称：自行科技）驾驶员监控系统基于深度学习和FPGA优化技术，自主开发出一套完整的DMS检测算法和系统。系统支持多神经网络同时运行以支持多任务：人脸检测、面部特征点检测、眼部状态检测、头部姿态三轴估计、视线矢量估计、人脸特征矢量提取与特定行为检测等，具备高帧率（30fps）、高精度（综合工况准确率＞99%）、宽适用范围（头部姿态±90°）以及高鲁棒性（适应复杂的光线环境）的特点，并支持面部特征点坐标、眼部状态二值、头部三轴角度与空间位置数值、视线角度、置信度等原始数据输出以便于上层应用开发。此外，通过针对实际工况的算法迭代与优化，自行科技DMS克服了驾驶员佩戴眼镜、面部遮挡、逆光、侧光、阴阳交错等复杂环境和场景的影响，可实现驾驶员身份识别（人脸识别、活体检测）、疲劳检测（闭眼、打哈欠）、注意力分散检测（左顾右盼、低头抬头）、特定行为检测（抽烟、打电话）、视线追踪、表情识别等功能，并可完成Yaw±90°，Pitch±45°和Roll±45°方向内大角度姿态的可靠检测。

自行科技DMS产品功能

同时，基于FPGA（Xilinx）的深度神经网络优化是自行科技DMS系统的核心技术，在15美金的芯片上实现了1.5Tops的算力，算力的突破确保了DMS系统处理能力不断提升（处理帧率可达30fps）。此外，通过深度优化二值神经网络（Binary Neural Network，简称BNN）达到极低的系统时延（60ms），可重构的CNN加速架构设计实现了并行加速和远程升级的统一，使得算法模型的优化升级非常高效，适配智能汽车行业的快速发展。

自行科技DMS安规设计架构

其次，作为与L2+级别自动驾驶时驾驶员接管紧密相关的系统，DMS的安规设计及系统可靠性问题在规模量产前变成了不可规避的问题。由于预警类的DMS功能不与车身控制联动，所以功能安全等级按照QM设计和实现是可以接受的。如果与驾驶员接管相关，DMS的功能安全等级至少需要达到ISO26262的ASIL-B级别，此时，DMS系统被拆分成多个子系统，至少拆解为摄像头模组子系统与控制子系统，不同子系统需要进行相应的失效分析，满足不同的安全设计要求（例如，ASIL-B级别）。例如，对于摄像头模组子系统，如何定义和监测摄像头模组的各种异常（例如镜头污渍）及失效（数据冻结）。为此，自行科技DMS的硬件平台、软件架构及系统全部参照ISO26262 ASIL-B级安规要求设计，确保系统达到相应的功能安全要求。

最后，测试与验证方法是另外一个非常重要却极易被忽视的环节，优先满足市场需求的急迫心态，使得某些DMS产品只具备了基本功能和性能，而经不起实际工况的鲁棒性考验，也满足不了前装量产对性能指标的要求，导致只能服务后装的预警类市场。此外，DMS国内外尚且没有系统性，权威性的标准可以参考，也增大了DMS供应商和OEM对DMS系统的性能测试与功能验证的难度。在这方面，自行科技经过持续的探索，归纳总结并积累了一整套相对严谨的测试与验证方法，把不同的环境因素和人体场景交叉组合，去除不合理的测试场景后，得到了覆盖150个不同测试场景的测试集，并独自开发出自动化测试系统，可全天候的挂载DMS并输出测试数据。

自行科技Eye Gaze Estimation 模型

对于精度要求极高的性能指标还开发了针对性的专项测试与验证设备，确保性能指标的可靠和可信，并为算法的持续优化改进提供量化依据。以Eye Gaze Estimation为例，如图所示，自行科技开发的视线追踪能够基于人脸到仪表平面标定的二维坐标系（角度矢量）输出驾驶员视线角度估计值，角度矢量θ由水平分量θx和垂直分量θy组成。为了得到高精度的Eye Gaze指标，需要特定精度的原始样本，且覆盖不同的眼部形状和光照环境。自行科技自主开发了一套完整的视线测量与验证系统，最高精度可达2°，并获得了百万级的优质样本，这为实现不同Head Pose下的高性能的视线追踪检测性能提供了保证。

基于长期的技术和产业经验积累，自行科技DMS系统不仅在全球最大的客车企业宇通客车实现前装量产，还逐渐进入多家乘用车OEM重要车型前装项目。除了国内客户，作为博世（Bosch）中国驾驶员监控系统软件合作供应商以及赛灵思（Xilinx）在中国汽车行业唯一的Certified Member，自行科技也获得了海外客户的认可，并与北美、日本及欧洲的汽车行业客户逐渐达成深度合作，共同开拓即将到来的DMS前装市场。

自行科技CEO关艳峰博士在日本国际汽车技术展上接受彭博社专访

在2019年日本国际汽车技术展（日本最大的汽车技术B2B展）上，凭借检测精度、功耗、成本、稳定性和鲁棒性等方面的优势，公司DMS系统不仅获得了丰田（Toyota）、日产（Nissan）、三菱（Mitsubishi）、博世（Bosch）、奥托立夫（Autoliv）、电装（Denso）、爱信精机（Aisin Seiki）等世界级企业产品与技术专家的肯定，还吸引了彭博社（Bloomberg）等多家权威媒体采访。此外，在全国标准化技术委员会委托中汽协CATARC制定的“DMS驾驶员注意力监测系统”国家标准项目中，自行科技作为专业的DMS系统供应商，以标准工作项目组成员的身份直接参与到标准起草与制定中，为国家汽车驾驶安全贡献自己的力量。

随着越来越多的OEM厂商开始规划将DMS系统列入新车型的配置清单中，DMS前装市场将逐渐爆发，甚至在不远的未来，DMS系统会成为众多OEM品牌车型上的“标配”，甚至衍生出更多以驾驶员状态感知为基础的智能应用！“ 天行健，君子以自强不息”，自行科技将在自动驾驶道路上砥砺前行、矢志不渝！