大模型在自动驾驶中的应用情况如何

大模型在自动驾驶中的应用情况相当不错。

首先Transformer 大模型凭借优秀的长序列处理能力和更高的并行计算效率在 2021 年被特斯拉引入自动驾驶领域。它与 CNN 相比泛化性更强能找到更泛化的相似规律提高自动驾驶的泛化能力而且不同于 RNN 存在存储和顺序依赖问题Transformer 模型能学习到长时间距离的依赖关系。目前主要应用在自动驾驶感知模块中从 2D 特征图向 BEV 鸟瞰图的视角转换。

其次城市领航辅助驾驶落地在即AI 大模型助力实现“脱高精度地图”。目前已落地的城市 NGP 主要基于高精度地图方案但它存在无法实时更新、法规风险高、成本高等难以解决的问题。而 BEV 感知算法能将不同视角摄像头采集的图片统一转换为上帝视角生成活地图补足后续决策所需道路拓扑信息实现去高精度地图化。像小鹏、华为等头部自动驾驶厂商均提出“脱图时间表”“重感知轻地图”趋势明确。

另外大数据和大算力是大模型应用的重要前置条件。Transformer 大模型量变引起质变需要 1 亿公里的里程数据传感器采集的数据需标注后用于算法模型训练自动标注工具可大幅提升标注效率像特斯拉、小鹏等都在这方面不断发展。除真实数据外仿真场景是弥补训练大模型数据不足的重要方式生成式 AI 能推动仿真场景提升泛化能力提高自动驾驶模型迭代速度。同时大算力是 Transformer 模型训练的关键超算中心成为自动驾驶厂商的重要基础设施比如特斯拉的 Dojo 和小鹏与阿里联合打造的“扶摇”。

总之大模型在自动驾驶中的应用展现出巨大潜力为自动驾驶的发展带来了新的机遇和可能。