AR-HUD的软件部分：AR引擎

前两周都在强调全息技术的AR-HUD，传统光学的AR-HUD因为FoV和VID等都受限，因此在显示内容上也比较单调，通常就是一些将简单的导航信息和预警信息。如果今后过度到全息技术，FoV和VID都达到理想的条件，那么在显示内容这块就有很大的创造空间了。但是将那么多丰富的信息转变为AR画面还是有很大难度的，因此就产生了一个新的技术细分领域，AR引擎。当然，不同公司也有不同叫法，有叫AR Generator的，也有叫AR Creator的，都是一个意思。

一般来说，AR影像的生成大体可分为四个步骤：

Binary：将所有像素显示为黑白，只凸显出要增强的部分。
Labeling：在凸显出来的部分打上标签将其区分出来。
Marker：从区分出来的部分提取实际要显示的区域。
将提取出来的部分输出到现实画面。

AR引擎的概念

在AR引擎中，主要考虑三个大问题：数据收集（收集哪些数据？）、数据融合/处理（如何处理数据？）、数据可视化（如何最终显示画面？）。

数据收集

为了显示ADAS信息，数据源就会涉及到摄像头、雷达，甚至今后可能还会有激光雷达等传感器。另外还要从IMU等获得车辆信息，当然还要从座舱域控制器内提取基本的导航信息。

数据融合/处理

各种数据源的数据融合后，还需要高精度定位，再加上车辆的运动姿态信息，才能基本确保AR影像的准确匹配。我们看到现在很多所谓的AR-HUD的画面投出来经常歪歪扭扭的，就是这部分没做好。另外还有一个延迟的问题，这就要看整个数据融合和处理过程的pipeline可以优化到什么程度了。

数据可视化

这部分主要是3D渲染的部分，要进行坐标变换，还要进行一些画面补偿。松下在今年CES上发布的AR-HUD概念说到要用防抖相机，在硬件层面对画面稳定性也是很好的增强。

另外，SLAM技术将成为关键，像Phiar给松下做的AR引擎就用到了SLAM。在未来，SLAM的最终目标是在真实环境中渲染虚拟对象，目前AR和VR行业在这方面都相当重视。

AR-HUD的软件部分：AR引擎

AR引擎的未来发展

未来车厂大量采用AR-HUD时，在时间点上来看可能基本上都会用到域控制器了。所以AR引擎最大可能会以SDK的形式整合进座舱域控制器。在AR-HUD系统本身里只会保留图像矫正的部分，GUI和AR引擎部分都会集成在域控制器内。

目前阶段，AR引擎可能还是会由外部供应商来做，但因为AR-HUD涉及到ADAS信息、座舱域控制器这些对车厂来说比较涉密敏感的部分，因此会不会有实力的车厂在未来AR引擎这部分也要采取自研的方式呢？当然也不排除干脆收购一个专业团队。

AR引擎行业现状

目前国内声称可以做AR引擎的公司大多都是之前做AR导航的公司。像百度、四维、东软，甚至腾讯、华为都有自己的AR引擎方案。但大多应该只能做到简单的显示内容，如果涉及ADAS信息这一类，有ADAS/自动驾驶开发经验的公司就会有优势了。

另外AR-HUD的系统开发商除了光学系统外也有很多自己开发AR引擎的，不过他们因为缺少ADAS方面的经验，更多的优势可能在后端的可视化部分。

AR-HUD的软件部分：AR引擎

锐思华创的AR-HUD系统架构图

也有一些Tier1也在布局AR引擎的。大陆因为一直很重视AR-HUD产品，子公司Elektrobit也在开发AR引擎，去年奔驰S级的AR-HUD好像就采用了Elektrobit的AR引擎。LG在大众ID系列上也采用了自家的AR引擎解决方案Conniro。当然这部分并不是Tier1传统擅长的领域，很多也是与专业公司合作的。

AR-HUD的软件部分：AR引擎

大陆的AR引擎，但是透露的信息不多

AR-HUD的软件部分：AR引擎

LG的Conniro

再有就是专业的AR引擎公司。其中奥迪Q4 e-tron采用的是德国Apostera的AR引擎。美国的Phiar是手机AR导航起家，今年CES时和松下进行合作做了演示。

AR-HUD的软件部分：AR引擎

Apostera的AR解决方案，较详细，

总的来说，我们可以看到，前端的数据融合部分是之前有过ADAS开发经验的公司较擅长，而后端的3D渲染、可视化部分则是另外一个领域，一般游戏公司较擅长这块。这部分我们下一次谈HMI部分的时候展开说一下。Stay tuned。

from A to B

AR-HUD的软件部分：AR引擎

原文始发于微信公众号（Astroys）：AR-HUD的软件部分：AR引擎

艾邦现建有汽车抬头显示HUD微信群，大陆电子、未来黑科技、泽景、马瑞利、华阳多媒体、法雷奥、怡利电子、前海智云谷、613所、矢崎仪表、疆程、乐驾科技、棱镜全息、京龙睿信、均胜电子、炽云科技、锐思华创、舜宇光学、广景、宝沃汽车、北汽、日产、比亚迪、一汽、上汽、蔚来、吉利、3M、积水、福耀玻璃、富兰光学、亮宇光学、京瓷、瑞霏光电等，欢迎扫码加入。加入前请转发本文。