自动驾驶3.0时代，大模型重塑汽车智能化技术路线

图｜顾维灏出席中国电动汽车百人会论坛（2024）

本届中国电动汽车百人会论坛（2024）以“巩固和扩大新能源汽车发展优势”为主题，3月15日-3月17日在京召开。中国工程院院士邬贺铨，中国电动汽车百人会副理事长、中国科学院院士欧阳明高等来自政府主管部门、研究机构、企业的重磅嘉宾共聚一堂，聚焦产业变革趋势，探索产业发展新路径，共同为新能源汽车产业的繁荣与发展献计献策。

近年来，全球科技竞争日趋激烈，ChatGPT、Sora 的相继问世，引发国内大模型的涌现，智能驾驶也正在成为汽车革命下半场的主角。毫末率先布局大模型、大算力、大数据为代表的自动驾驶3.0时代，构建智能汽车新质生产力，希望用技术推进产业的进步。

顾维灏认为，端到端自动驾驶是未来很重要的技术方向，但还需要几年的时间才能到来。因此这几年是从离散到聚集，感知模型、认知模型、控制模型聚集到一块，从分散到聚集的一个过程。

毫末发布了行业首个自动驾驶生成式大模型 DriveGPT 雪湖·海若之后，始终在坚定投入大模型技术的研发创新，在数据的筛选挖掘、自动标注、生成仿真以及认知可解释性等方面实现了显著的突破和创新。

顾维灏解释，相比2.0时代主要采用传统模块化框架，3.0时代的技术框架会发生颠覆性变化。

• 首先，自动驾驶会在云端实现感知大模型和认知大模型的能力突破，并将车端各类小模型逐步统一为感知模型和认知模型，同时将控制模块也 AI 模型化。

• 其次，车端智驾系统的演进路线也是一方面会逐步全链路模型化，另一方面会逐步大模型化，即小模型逐渐统一到大模型内。

• 第三，云端大模型也可以通过剪枝、蒸馏等方式逐步提升车端的感知能力，在通讯环境比较好的地方，大模型甚至可以通过车云协同的方式实现远程控车。

• 最后，在未来，车端、云端都会是端到端的自动驾驶大模型。

在感知阶段，DriveGPT 首先通过构建视觉感知大模型来实现对真实物理世界的学习，将真实世界建模到三维空间，再加上时序形成 4D 向量空间；然后，在构建对真实物理世界的 4D 感知的基础上，毫末进一步引入开源的图文多模态大模型，构建更为通用的语义感知大模型，实现文、图、视频多模态信息的整合，从而完成 4D 向量空间到语义空间的对齐，实现跟人类一样的“识别万物”的能力。

在认知阶段，基于通用语义感知大模型提供的“万物识别”能力，DriveGPT  通过构建驾驶语言（Drive Language）来描述驾驶环境和驾驶意图，再结合导航引导信息以及自车历史动作，借助外部大语言模型 LLM 的海量知识来辅助给出驾驶决策。

由于大语言模型已经学习到并压缩了人类社会的全部知识，因而也就包含了驾驶相关知识。毫末经过对大语言模型的专门训练和微调，从而让大语言模型更好地适配自动驾驶任务，使得大语言模型能真正看懂驾驶环境、解释驾驶行为，做出驾驶决策。

认知大模型通过与大语言模型结合，使得自动驾驶认知决策获得了人类社会的常识和推理能力，也就是获得了世界知识，从而提升自动驾驶策略的可解释性和泛化性。

演讲中，顾维灏分享了毫末的产品量产成果。目前，毫末已推出七款 HPilot 乘用车智能驾驶极致性价比产品，可满足高、中、低价位不同车型的量产需求。其中，HP170、HP370、HP570 三款千元级辅助驾驶产品，已陆续进入交付状态。截至2024年3月，毫末 HPilot 搭载车辆超过20款，用户辅助驾驶行驶里程突破1.3亿公里。

近日，在全球权威的自动驾驶 nuScenes 竞赛的最新评测中，毫末智行斩获纯视觉 3D 目标检测任务（nuScenes Detection task）无外部数据榜单第一名，并将关键性指标 nuScenes Detection Score（NDS）提高到68.8%。