NVIDIA --- 端到端自动驾驶

提示：文章写完后，目录可以自动生成，如何生成可参考右边的帮助文档

---

前言

端到端自动驾驶指的是系统接收来自摄像头雷达和激光雷达的原始传感器数据，并直接输出车辆控制指令的整体方案。端到端自动驾驶已成为自动驾驶汽车领域的一个重要方向，NVIDIA提出了一种基于BEV特征的神经网络规划器。

---

一、传统驾驶模型

传统驾驶模型由以下几个模块组成：汽车传感器、BEV网络、BEV功能、检测、跟踪、预测、规划，最后输出一条汽车可执行的轨迹。

二、NVIDIA的端到端驾驶模型

与基于模块化设计，包含检测、跟踪、预测、规划和控制等独立组件的传统系统不同，端到端自动驾驶旨在简化这一过程，避免感知到规划的过程过于繁琐。

1.基本模型

NVIDIA的端到端驾驶模型，使用简约的设计将检测、跟踪、预测和规划结合到单一网络中，规划模块的输入直接来自摄像头和激光雷达等传感器生成的BEV特征图，这种简化的方式反映了基于深度学习的数据驱动方法。

2.自查讯向量

在这些系统中，任务被集成到一个连贯的端到端学习过程中，具体而言，该方案的端到端驾驶模型使用自查讯向量一个可学习的嵌入表达，来交叉关注BEV特征，由此改进后的自查讯向量。

随后通过一个多层感知器（MLP）输出规划轨迹，这种简单的设计挑战了传统假设，即有效的自动驾驶规划需要一个复杂的级联系统，该方案提出的设计简单高效，不仅具有跨平台部署的灵活性而且还能扩展以处理更大的数据集，它通过直接利用BEV特征进行规划得到了出色的性能。

3.通用框架

NVIDIA的端到端驾驶还提供了一个通用框架，以增强基于机器学习的规划与基于规则的规划的结合，使用多目标Hydra-distillation(多头蒸馏)作为核心策略。该方法采用多个专家教师来学习符合各种模拟指标的轨迹，此集成确保了模仿不仅模仿人类驾驶行为还遵守交通规则和安全标准解决了传统模仿学习的局限性。

---

总结

自动驾驶汽车的人工智能进展令人惊叹，无论是在人工智能专业知识方面，还是在支持最新生成式AI以及端到端模型所需的基础设施方面，这将实现更安全，更人性化的城市驾驶体验。