AR-HUD的软件部分：AR引擎

前两周都在强调全息技术的AR-HUD，传统光学的AR-HUD因为FoV和VID等都受限，因此在显示内容上也比较单调，通常就是一些将简单的导航信息和预警信息。如果今后过度到全息技术，FoV和VID都达到理想的条件，那么在显示内容这块就有很大的创造空间了。但是将那么多丰富的信息转变为AR画面还是有很大难度的，因此就产生了一个新的技术细分领域，AR引擎。当然，不同公司也有不同叫法，有叫AR Generator的，也有叫AR Creator的，都是一个意思。

一般来说，AR影像的生成大体可分为四个步骤：

Binary：将所有像素显示为黑白，只凸显出要增强的部分。
Labeling：在凸显出来的部分打上标签将其区分出来。
Marker：从区分出来的部分提取实际要显示的区域。
将提取出来的部分输出到现实画面。

AR引擎的概念

在AR引擎中，主要考虑三个大问题：数据收集（收集哪些数据？）、数据融合/处理（如何处理数据？）、数据可视化（如何最终显示画面？）。

数据收集

为了显示ADAS信息，数据源就会涉及到摄像头、雷达，甚至今后可能还会有激光雷达等传感器。另外还要从IMU等获得车辆信息，当然还要从座舱域控制器内提取基本的导航信息。

数据融合/处理

各种数据源的数据融合后，还需要高精度定位，再加上车辆的运动姿态信息，才能基本确保AR影像的准确匹配。我们看到现在很多所谓的AR-HUD的画面投出来经常歪歪扭扭的，就是这部分没做好。另外还有一个延迟的问题，这就要看整个数据融合和处理过程的pipeline可以优化到什么程度了。

数据可视化

这部分主要是3D渲染的部分，要进行坐标变换，还要进行一些画面补偿。松下在今年CES上发布的AR-HUD概念说到要用防抖相机，在硬件层面对画面稳定性也是很好的增强。

另外，SLAM技术将成为关键，像Phiar给松下做的AR引擎就用到了SLAM。在未来，SLAM的最终目标是在真实环境中渲染虚拟对象，目前AR和VR行业在这方面都相当重视。

AR-HUD的软件部分：AR引擎

AR引擎的未来发展

未来车厂大量采用AR-HUD时，在时间点上来看可能基本上都会用到域控制器了。所以AR引擎最大可能会以SDK的形式整合进座舱域控制器。在AR-HUD系统本身里只会保留图像矫正的部分，GUI和AR引擎部分都会集成在域控制器内。

目前阶段，AR引擎可能还是会由外部供应商来做，但因为AR-HUD涉及到ADAS信息、座舱域控制器这些对车厂来说比较涉密敏感的部分，因此会不会有实力的车厂在未来AR引擎这部分也要采取自研的方式呢？当然也不排除干脆收购一个专业团队。

AR引擎行业现状

目前国内声称可以做AR引擎的公司大多都是之前做AR导航的公司。像百度、四维、东软，甚至腾讯、华为都有自己的AR引擎方案。但大多应该只能做到简单的显示内容，如果涉及ADAS信息这一类，有ADAS/自动驾驶开发经验的公司就会有优势了。

另外AR-HUD的系统开发商除了光学系统外也有很多自己开发AR引擎的，不过他们因为缺少ADAS方面的经验，更多的优势可能在后端的可视化部分。

AR-HUD的软件部分：AR引擎

锐思华创的AR-HUD系统架构图

也有一些Tier1也在布局AR引擎的。大陆因为一直很重视AR-HUD产品，子公司Elektrobit也在开发AR引擎，去年奔驰S级的AR-HUD好像就采用了Elektrobit的AR引擎。LG在大众ID系列上也采用了自家的AR引擎解决方案Conniro。当然这部分并不是Tier1传统擅长的领域，很多也是与专业公司合作的。

AR-HUD的软件部分：AR引擎

大陆的AR引擎，但是透露的信息不多

AR-HUD的软件部分：AR引擎

LG的Conniro

再有就是专业的AR引擎公司。其中奥迪Q4 e-tron采用的是德国Apostera的AR引擎。美国的Phiar是手机AR导航起家，今年CES时和松下进行合作做了演示。

AR-HUD的软件部分：AR引擎

Apostera的AR解决方案，较详细，

总的来说，我们可以看到，前端的数据融合部分是之前有过ADAS开发经验的公司较擅长，而后端的3D渲染、可视化部分则是另外一个领域，一般游戏公司较擅长这块。这部分我们下一次谈HMI部分的时候展开说一下。Stay tuned。

from A to B

AR-HUD的软件部分：AR引擎

原文始发于微信公众号（Astroys）：AR-HUD的软件部分：AR引擎

Aibang currently has a car head-up display HUD WeChat group, Continental Electronics, Future Black Technology, Zejing, Marelli, Huayang Multimedia, Valeo, Yili Electronics, Qianhai Zhiyun Valley, 613 Research Institute, Yazaki Instruments, Jiangcheng , Lejia Technology, Prism Hologram, Jinglong Ruixin, Joyson Electronics, Chiyun Technology, Ruisi Huachuang, Sunny Optical, Guangjing, Borgward Motors, BAIC, Nissan, BYD, FAW, SAIC, NIO, Geely, 3M, Sekisui, Fuyao Glass, Fulan Optics, Liangyu Optics, Kyocera, Ruifei Optoelectronics, etc. Welcome to scan the QR code to join. Please forward this article before joining.