近日, Cocos 产品总监郭萌在 2022 年第四届车载抬头显示 HUD 高峰论坛上,进行了以《实时3D渲染引擎助力座舱智能化交互升级》为主题的演讲,分享了他对于 AR-HUD 的理解,以及 Cocos 引擎如何帮助主机厂为用户带来全新的座舱 HMI 交互体验。
Cocos 产品总监郭萌
以下内容整理自演讲实录:
Cocos 引擎:不断拓宽应用场景, 提升数字内容行业生产效率
Cocos 成立于 2010 年,我们是一家数字内容的生产平台,旗下的核心产品叫 Cocos 引擎,目前服务了包括汽车、游戏、在线教育、XR 等行业的公司。Cocos 的注册开发者已经超过了 150 万,分布在 203 个国家和地区。同时,Cocos 也是一家完全中国自主知识产权的 3D 图形渲染引擎。
在我们接触的主机厂中,很多主机厂都在强调要对座舱 HMI 进行升级。希望座舱的视觉表现更加酷炫,基于 PBR 实现更加次时代的效果。
我们认为 AR 在座舱内成为了继屏幕显示、语音交互和视觉交互之后的又一大交互方式。通过这种交互方式,Cocos 希望能够帮助主机厂去创造更多的内容生态,提升 AR-HUD 的使用范畴,将座舱的体验再升级。
除了车机、我们现在看到的 AR 产品几乎都是使用很多优秀的游戏引擎开发的,所以我认为后续的主机厂在做 AR 显示内容的时候,也会基于这些优秀的游戏引擎作为工具进行开发。
Cocos HMI 智能座舱解决方案
Cocos HMI 智能座舱解决方案目前已经涵盖了车载人机交互界面,自动辅助驾驶可视化,车载虚拟形象,车载游戏,音乐播放器等能力。已经覆盖到座舱内包括 HUD、仪表、IVI、娱乐副屏在内的多种显示设备。
在系统支持上,已经做到适配 Android,Linux,QNX,HarmonyOS 等主流车机系统。Metal、Vulkan、WebGl 1.0、WebGl 2.0、GLES2、GLES3 等比较常见的渲染后端也已完整支撑。
3ds Max、Maya、Blender 等 3D DCC Tools 导出的传统的 3D 格式文件、传统的多媒体资源,都可直接导入到 Cocos 的开发工具里进行二次开发,再加上 Cocos Creator 自带的 UI 编辑器、动画编辑器以及编码环境,常用的 PBR 材质系统、粒子系统、实时光影等效果,都可以直接使用,便于使用者搭建座舱内的 3D 场景。 此外 Cocos 还支持 Web 系统,也就是说开发阶段只需维护一套代码,就可以支持发布到各个平台,极大的节省了主机厂的维护成本。
更好玩的 VPA
越来越多的主机厂开始使用 VPA 形象来替换老一代的语音助手形象。基于实时渲染的 3D 形象,在情感交互表现力上会更加的灵活,更强。Cocos 目前可以提供包括形象设计、形象建模、针对语音场景的动作制作,包括联动其他 App 的功能在内的一整套框架。 主机厂在做新一代 VPA 的过程中,都希望引入游戏化的元素,做成一个可运营的功能。比如引入一些节日彩蛋,生日彩蛋。国庆中秋的时候,是不是能有一些新的东西能够实时地下发到用户的车机端,让用户对 3D 形象时刻保持新鲜感。 Cocos 引擎作为游戏开发引擎,本身拥有热更新框架,可以支持整个 VPA 形象从模型、到代码、到场景、到脚本逻辑的实时更新。 后续由 Cocos 为主机厂搭建后台服务:资源管理平台,可独立于 OTA 提供实时热更新能力。有了实时热更新,可以做到每周、每天给 VPA 下发新的服装、新的动作,让主机厂不受限于 OTA 的节奏来运营 VPA。 比如短视频平台上某一个舞蹈火了,由工程师把舞蹈动作的脚本文件打包上传到更新后台。第二天当用户打开车机的时候,车主的虚拟个人助理形象就可以跳这段舞,这对用户来说是更有趣的体验。 让 ADAS 不再那么“疲惫”
目前越来越多的车型都提供了自动辅助驾驶功能。但之前看到一个调研,许多车主在使用自动辅助驾驶的时候,反而会更累。主要原因是有时候自动辅助驾驶的可视化做得不够好,车主不知道自己的车下一步是要干什么,这时候他会产生很大的恐慌以及紧张,长时间处在这样情感下,就会感觉到疲惫。
多模态交互车载游戏
游戏是 Cocos 重要的应用场景之一。在车载游戏领域,Cocos 做的更多的是帮助主机厂去建设座舱内的多模态交互游戏。包括基于车内摄像头的一些体感游戏,结合麦克风的语音类游戏,结合方向盘类的运动类的游戏。以及联动前后屏、主副驾屏的多屏联动类游戏。
更具氛围感的音乐播放器
音乐是座舱内最传统,也是使用率排在前三的核心功能。目前许多主机厂都有升级音乐播放器来打造差异化的需求,而不是千篇一律地使用某某音乐播放器车机版。基于 3D 渲染引擎能力,Cocos 能够帮助主机厂重新包装音乐播放器,通过歌词、音乐可视化的效果,来提升座舱内音乐的氛围感。
Cocos Runtime:低延迟、“即点即用”
Cocos Runtime 是 Cocos 开发的一个支持互动内容免安装即可运行的商业化 SDK,可运行在多种操作系统平台上,可以理解为一套小程序和小游戏的底层运行框架,支持主流 JavaScript 游戏引擎开发的内容,可以高效地将数字内容的运行效率做到最大化的提升。各种硬件设备、App 集成 Runtime 之后,用户即可感受数字互动内容“点开即玩”的畅爽体验,而不是通过传统的下载的模式。 在座舱内,目前有些 HMI 产品的启动和加载时间长达数十秒,无疑这会严重影响驾乘人员的体验,再比如 AR-HUD,理想情况应该做到毫秒级的延迟控制,才能将数字虚拟世界与真实世界精确融合,这直接决定了用户的使用体验效果。通过引入 Cocos Runtime ,可以提高启动和加载速度,减少操作延迟。
完善 Cocos 生态链, 探索技术的更多边界
Cocos 最近还与任天堂进行了合作共同构建开发者生态,Cocos Creator 即将实现对 Nintendo Switch 的支持,届时开发者申请成为任天堂认证开发者后,再联系 Cocos 获得引擎,即可将游戏一键发布到 NS。
在全球最大的开源社区 Github,Cocos 在游戏引擎项目中的 Pull Requests 也位居前列。
Cocos 也在做一系列基于开发者生态的沙龙巡演和线上直播。更多地了解开发者的真实诉求,从而打造更好的内容研发工具。
总的来说,Cocos 将不断提供更完整的工具链和解决方案,基于 3D 应用场景,帮助车企在新一代智能座舱的竞争中占得先机。
Cocos HMI 智能座舱解决方案基于 Cocos 3D 实时渲染引擎,可为汽车提供由车载人机交互界面,自动辅助驾驶可视化,车载虚拟形象,车载游戏,音乐播放器等应用构成的智能座舱解决方案,该方案可运行于多种芯片,并适配于 Android,Linux,QNX 等主流车机系统,助力汽车智能化升级。想要了解更多 Cocos HMI 智能座舱解决方案或询问合作,欢迎访问主页或点击文末“阅读原文”。
往期精彩
原文始发于微信公众号(COCOS):Cocos 受邀出席车载抬头显示 HUD 高峰论坛,助力座舱智能化升级
长按识别二维码,加入群聊
Welcome to join us.艾邦HUD通讯录,目前有2500人,包含各大HUD厂商以及主机厂负责人均已经加入,可以通过点击下方关键词查看 OEM Autonomous Driving (V2X) HUD厂商 HUD初创 TFT影像源 DLP光机 MEMSLSP chip 电子元器件 light source LCD auto parts circuit board 玻璃透镜 光学镜面 光学镀膜 光学镀膜设备 optical design 光波导 匀光片 Light diffusion film 高性能塑料 film 功能涂料 吸光材料 散热方案 贴合胶带 glue adhesive 挡风玻璃 楔形膜 传动机构 AR生成器 AR导航 测试软件 Cutting machine Laser equipment Testing Equipment equipment otherDownload: