4D毫米波雷达和摄像头融合，实现乘员监控系统

据外媒报道，产品研发和工程专家PathPartner近日宣布使用4D成像雷达技术和摄像头融合技术开发出OMS(occupant monitoring sensor，乘员监控传感器)，旨在对基于摄像头的驾驶员监控系统进行补充。但PathPartner的DMS(driver monitoring system，驾驶员监控系统)能够将两者的优势结合在一起，为汽车制造商提供单一且成本低的组件。

PathPartner研发副总裁Vinay MK表示：“将摄像头和雷达结合使用可在弱光、嘈杂环境下显著提高精度。PathPartner的摄像头传感器带有近红外照明功能，可在不同照明条件下提供可靠性能。”当PathPartner的4D成像雷达技术作为驾驶员或乘员监控系统的一部分时，可以检测到车内的微小动作，甚至是呼吸，例如毯子下睡觉的孩子，或者是宠物。
　

(图片来源：PathPartner)

Vinay MK还表示：“基于摄像头的乘员监控系统可以检测安全带是否正确使用，以及乘坐者的体型，这些都是打开安全气囊的重要信息。该系统可监视驾驶员的活动，如吸烟、打电话、吃东西、饮水、发短信、分心、睡觉和突发疾病等。此外，它还可以检测到某些物体，例如空的婴儿座椅、悬挂的外套等。”

Vinay还说：“4D雷达系统可在无光照条件下检测到座椅上是否有人，从而完美地补充基于摄像头的监视系统。60GHz雷达系统分辨率很高，能够检测到婴儿和成人的呼吸频率差异。将摄像头和雷达数据结合起来，可以在弱光条件下显着提高精度。”

Vinay表示：“儿童座椅上的婴儿即使盖着毛毯，仅通过4D雷达模块也能够检测得到。而在DMS中使用4D雷达的重要原因之一是识别车辆在驻车状态下是否有乘员。”

美国国家安全委员会报告称每年平均有39名15岁以下儿童被留在车内后死于中暑。因此，国会于2019年制定了《热车法案》(Hot Cars Act)，要求美国运输部(DOT)强制所有新车均需配备儿童检测系统，PathPartner正在开发的乘坐者监控系统就是该系统类型之一。

为满足汽车制造商的需求，PathPartner DMS已移植到韩国半导体制造公司NextChip的Apache4，这是一种用于高级驾驶员辅助系统(ADAS)中视觉系统的预处理器。据Nextchip表示，Apache4含有一个专用的图像处理加速器子系统和优化的软件，可将计算需求降低70％。

Vinay说：“Apache4处理器高度集成，可提供先进的图像处理。与传统的基于矢量的分类器相比，其先进算法可提供更高的检测率，是欧洲NCAP(新车碰撞测试)主流市场采用的性价比较高的DMS解决方案。”

据PathPartner介绍，其DMS设计围绕多个小型卷积神经网络(CNN)模型，并与自适应机器学习模块相结合。通过这种混合架构，其成像雷达技术采用高通的DSP(数字信号处理系统)，能以较小内存处理摄像头每秒提供的60帧图像。将PathPartner的SOM(system-on-module，高性能模块化系统)和智能摄像头参考设计套件与其设备工程服务相结合，可帮助设备制造商满足除汽车行业外的成像雷达需求，包括基于AI摄像头和IoT(物联网)的设备。

驾驶员和乘员监控系统不仅适用于自动驾驶汽车，商用车车队运营商也可以通过监控驾驶员提高其车队安全性。该技术还可用于监控后座乘员，从而确保不会有人或宠物意外滞留于车中。

PathPartner还与一家专注研发出行领域高级视觉系统的一级供应商建立了战略合作伙伴关系。但目前Pathparter拒绝透露该公司的名称。不过Vinay表示两家公司目前正在联合开发基于摄像头和雷达的乘坐者监控和驾驶员监控ECU，以支持系统的处理需求。

PathPartner的战略合作伙伴将在汽车级ECU上集成其乘坐者监控系统(OMS)和DMS算法。为了减少延迟，PathPartner并没有将数据传输至云端处理，而是将边缘计算应用于乘坐者传感器。对于汽车行业来说，这种方法安全性更高，并可减少对蜂窝网络数据传输的依赖，对于重视安全性的汽车系统而言，采用蜂窝传输数据并不总是足够可靠。

来源：盖世汽车

更多关于车载摄像头的行业的资讯，请加入艾邦车载摄像头交流群，上汽、长城、吉利、比亚迪、德赛西威、华阳、维宁尔、大陆、博世、航盛、舜宇、欧菲、联创、信利、同致电子、光宝科技、凤凰光学、水晶光电、艾迈斯、豪威科技、汉高、3M、日东、罗姆化学等产业链上下游企业均有加入，欢迎扫描下方二维码进行探讨。

Recommended reading

Recommended activities:

邀请函：2021车载摄像头产业链高峰论坛（4.22-23 江苏昆山）

演讲议题：

NO.	Topic	邀请嘉宾
1	驾驶预警在智能汽车时代的应用场景解读	清华大学何吉波教授
2	摄像头传感器在智能汽车中的应用	合众新能源高级经理邓有根
3	自动驾驶时代视觉传感器的应用案例介绍	博世驾驶员辅助系统业务单元经理杨柳
4	可支持夜间以及低能见度下行驶的摄像头感知系统	武汉高德红外产品经理刘涛
5	智能汽车车内摄像头技术及应用场景介绍	科世达亚太创新经理唐先红
6	东风智能驾驶发展	东风领航项目负责人博士边宁
7	国产车载ISP应用	上海富瀚微电子应用产品经理饶文俊
8	CMS相机与GB-15084法规测试	上海豫兴电子副总付兵凯
9	车载摄像头的核心部件光学镜片的工艺技术介绍	丘钛科技车载事业部总经理黄永进
10	CCD摄像头激光焊接工艺	上海三束市场经理万国强
11	ADAS镜头之AA与标定实例说明	珠海华亚技术副总李欣治
12	虹软视觉AI技术赋能安全智能的驾乘体验	虹软科技博士陈锋
13	单摄像头多功能车载以太网的摄像头的应用方案	四泽电子技术高级工程师曹宏为
14	车载摄像头气密性测试解决方案探讨	希立仪器产品经理朱博
15	IR LED在车载摄像头的应用方案	拟邀请：LED供应商欧司朗
16	车载摄像头相关应用标准解读及测试方案	拟邀请：检测设备供应商
17	车载摄像头本土LVDS SeRdes/ISP芯片解决方案介绍	瑞发科半导体技术有限公司副总裁王立新
18	摄像头可透红外盖板的工艺和材料方案介绍	拟邀请：摄像头盖板供应商
19	车载流媒体后视镜&360°摄像头在智能汽车时代的应用	拟邀请：环视解决方案供应商
20	车载摄像头（红外）滤光片的应用案例介绍	拟邀请：旭硝子，水晶光电，日本电波，
21	车载摄像头镜头组-保护膜的应用案例介绍	拟邀请：3M，LG,蔡司，美能达
22	车载摄像头胶合材料-UV胶的材料应用介绍	拟邀请：乐泰，爱普生，东洋，汉高，道康宁
23	车载摄像头胶合材料-涂胶设备介绍	拟邀请：涂胶设备供应商
24	车载摄像头的光学镜片加工工艺技术介绍	拟邀请：光学镜片加工供应商
25	材料在摄像头产业应用案例与技术解析	拟邀请：塑料材料供应商
26	Roundtable: Guests and topics are being planned	拟邀请：主机厂，TIER1、方案供应商主持人：NVIDIA英伟达汽车业务总监朱力

Registration method one:

Please add on WeChat for more information and registration details.

李小姐：13265790064

ab010@aibang360.com

4D毫米波雷达和摄像头融合，实现乘员监控系统

王先生：15800874409

auto@aibang360.com

Registration method two:

4D毫米波雷达和摄像头融合，实现乘员监控系统

Scan the QR code above to register online

Read the original article and sign up!

The original article was posted on the WeChat official account "Smart Car Club."4D毫米波雷达和摄像头融合，实现乘员监控系统

For more industry information about car cameras, please join the AiBang Car Camera Exchange Group. Upstream and downstream companies in the industry chain such as SAIC, Great Wall, Geely, BYD, Desay SV, Huayang, Visteon, Continental, Bosch, Hangsheng, Shunyu, O-film, Lens Technology, Phoenix Optical, Crystal Optoelectronics, Sunex, Ames, Howay, Han's, 3M, Nichia, and Rohm Chemical have all joined. Scan the QR code below to join the discussion.

Welcome to join us.AiBang Camera CommunicationRecording, currently with 3700 participants, including major car camera manufacturers and OEM leaders. You can click on the keywords below to view in English.