舱内感知技术（In-Cabin Sensing，以下简称ICS），通过检测追踪包括头部朝向、面部表情、视线方向、手势及肢体关键点等人体视觉特征，分析驾驶员及乘客的身份信息、意图和行为，同时关注驾舱内的人员活动以及与之相关的物品检测，致力于提供更安全、智能的车内体验。 在这篇文章内，我们将介绍舱内感知技术。 具体来说，ICS技术需要精确检测出驾乘人员的身份、性别年龄、五官、视线方向、头部朝向、手势、肢体关节点等信息以及他们的随身物品。通过对这些关键信息的检测，ICS技术可以应用在不同的功能上，比如：驾驶员监控、乘客监控、舱内物品检测和驾舱人机交互。 ICS技术的一个核心应用就是驾驶员行为监测（Driver Monitor System, 以下简称DMS），监测并分析驾驶员的状态和行为，并提供对应的预警信息。其包含的主要功能有：疲劳分析、分神分析、动作分析（打电话、抽烟）等。 DMS最基础也是最核心的，是要得到面部的特征信息，例如：眼睛的位置以及张闭程度、嘴巴的位置以及张闭程度、耳朵的位置、面部的朝向等等。这些信息直接决定了整个算法的准确性。 在检测这些关键信息之前，首先需要完成驾驶员检测，实现画面中驾驶员的定位。我们采用的人脸检测算法经过实测，精度指标AP（Average Precision）高达97.4%。第二步分析五官特征，我们基于神经网络自主研发的脸部特征点回归网络，可以精确定位出脸部特征，比如眼睛、鼻子、嘴、眉毛等。最重要的是，我们的算法不仅仅只分析画面中的人脸，他还会根据自己分析到的人脸信息进行迭代、演进和修正，保证了算法对不同特性人脸的适应性。 脸部特征信息是作为行为/状态分析的“原材料”。如果要判断驾驶员是否处于疲劳驾驶状态，我们需要分析出一系列的外部特征表现，比如眼睛开合度的变化、眨眼频率的变化、打哈欠频率的变化、头部运动规律与节奏等。举个例子，我们会统计司机开车时间内正常的眼睛开合度。当他疲劳时，眼睛的开合度会在一个时间段内缓慢地逐步变小，这就是疲劳的典型特征。 我们ICS技术的亮点之一是视线追踪，利用摄像头分析眼球的成像信息，从而得到视线的朝向，从而精准地判断司机的注意力。 下面是我们的视线追踪Demo，从瞳孔中“发射”出的两条线就代表着视线方向。这是通过构建眼球的3D模型，得到视线的原点；再通过分析眼睛的成像以及光斑信息得到目标点。原点到目标点的连线就是我们的视线方向。 视线精度的误差我们能够控制在3-5度，这是因为综合利用了精确视线与鲁棒视线两种算法。当眼睛成像清晰、光斑稳定可见的时候，会采用精确视线算法以提升算法的精度；当成像模糊时我们采用稳定视线，通过牺牲精度的方式来保证算法的稳定性以及不同场景的适应性。 视线矢量原点= 瞳孔中心 (由3D眼球模型推算得出) 红外补光灯照射人眼时，此时角膜相当于一个凸面镜，红外灯的反射像会形成一个可见亮斑 同时，我们的算法可以支持不同光源条件下的识别检测，光源的变化会令司机的眼球形成亮瞳或暗瞳。当光源靠近成像装置的视轴时，会产生亮瞳现象，就和拍照时出现的红眼现象相同；反之会产生暗瞳现象，瞳孔的亮度比虹膜暗。 活体身份识别是ICS的另一重要应用，系统需确认当前司机是否为车主，许多车队利用这一功能来加强对司机的管理。然而一些人会利用漏洞，通过照片等手段蒙蔽摄像头。 如Demo所展现，我们的算法能够识别照片、铜版纸、3D假人模型等，识别率达到99%以上，避免司机对系统进行干扰。 并且，我们的活体检测技术是非配合式的，也就是说不需要用户进行点头、摇头、眨眼、张嘴等动作就能完成活体的判断，在用户体验上来说节省了司机很多时间。 目前，这种驾驶员监控技术已经广泛运用在了许多商用车队上，已为超过3万台巴士、物流车、网约车提供安全保障。在未来，ICS技术不仅可以完成对车内的人和物的监控，还将引领座舱的智能化变革。 ICS对车内驾乘人员和物品的检测、分析，可以看作是一种单向的行为；但在此基础上，驾驶员和汽车可以利用ICS技术进行交互，实现双向的沟通，这也是目前行业正在着力打造的产品。它可以通过驾驶员的视线、手势、头部动作等进行交互，比如通过视线方向开启空调，通过手势来切歌、静音等等。 Tao是MINIEYE舱内技术研发工程师，MINIEYE致力于用人工智能技术为自动驾驶汽车提供可靠的感知与决策解决方案，在提升驾驶自动化程度的同时降低交通事故率，提供安全、智能的驾乘体验。核心技术包括道路环境感知、舱内感知、多传感器融合、嵌入式神经网络IP等。
The original text was originally published on WeChat public account (Automotive Electronics and Software):舱内感知技术解析
Aibang now has a car cockpit DMS/OMS industry chain exchange group, and sincerely invites OEMs, tier 1, lens modules, chip algorithms, materials, equipment and other upstream and downstream enterprises in the industry chain to participate. Welcome everyone to join the Aibang Automotive Cockpit DMS/OMS Industry Chain Exchange Group for communication. Please forward this article before joining the group.
Post navigation
English 
Chinese