当前位置：首页 > news >正文

自动驾驶---决策规划之导航增强端到端

news 来源：原创 2025/4/20 9:54:53

1 背景

自动驾驶算法通常包括几个子任务，包括3D物体检测、地图分割、运动预测、3D占用预测和规划。近年来，端到端方法将多个独立任务整合到多任务学习中，优化整个系统，包括中间表示，以实现最终的规划任务。随着端到端技术的量产，越来越多的研究开始投入到这方面，本篇博客和读者朋友们分享的是中科大研究团队发表的一篇论文。

现有的很多一段式端到端大模型，特别是VLM模型中，接收的更多的是导航的指令，比如直行，左转或者右转，而不是整条导航的路径信息。而多段式的planner大模型中，导航会作为模型的输入。这两种方式都不是特别完整，最终的方案肯定是一段式端到端大模型，且地图，导航，摄像头，激光雷达等传感器的输入都应作为大模型的输入，然后另一端输出轨迹。

2 文章内容

本篇博客主要介绍一篇论文，论文中主要介绍了利用导航路径生成目标点用于增强端到端自动驾驶规划。近年来，端到端自动驾驶框架已被证明不仅可以提高感知性能，还可以提升规划能力。然而，先前的大多数端到端自动驾驶框架主要着重于增强环境感知，而忽略了自动驾驶汽车规划意图的学习。

在端到端框架内，论文中提出了一种称为NTT（Navigation-To-Target）的方法，该方法通过导航路径获得明确的规划意图。NTT首先基于导航路径为自动驾驶汽车生成未来目标点，从而提高端到端框架内的规划性能。一方面，目标点的生成允许自动驾驶汽车从导航路径中学习明确意图，从而增强规划的实用性；另一方面，基于目标点生成的规划轨迹可以更灵活地适应环境变化，从而有效提高规划安全性。论文中在广泛使用的nuScenes数据集上实现了出色的规划性能，并且通过消融实验验证了所提出方法的有效性。

2.1 方法介绍

NTT方法的核心思想是基于导航路径生成自动驾驶车辆的未来目标点。具体来说，该方法首先根据导航路径的信息，预测出自动驾驶车辆在未来某一时刻应该到达的位置，即目标点。通过生成目标点，自动驾驶车辆能够学习到明确的规划意图，从而提高了规划的实用性。同时，基于目标点生成的规划轨迹可以更加灵活地适应环境变化，有效提高了规划的安全性。

在实现过程中，NTT方法采用了多种技术手段。首先，通过对导航路径进行解析和处理，提取出关键的路段信息和转向点。然后，结合自动驾驶车辆的当前位置和速度，以及周围环境信息，预测出未来目标点的位置。最后，根据目标点的位置，生成相应的规划轨迹，并实时调整和优化轨迹参数，以适应环境变化。

NTT（Navigation-based Targeting for Target point generation）的架构图展示了整个系统的工作流程。通过下面架构图的组成部分的描述，可以了解它们是如何相互关联的。

架构图从输入数据开始，通过一系列的处理步骤，最终得到规划轨迹的输出。在图中，每个关键组件都用一个框表示，并用箭头显示数据流向。场景编码器可能包含多个子组件，如图像特征提取网络和BEV（鸟瞰视图）编码器。导航路径获取和模型可能与场景编码器并行工作，然后将它们的输出合并到目标点生成模块。规划模块接收目标点和场景描述作为输入，并产生规划轨迹作为输出。

具体描述：给定环视图像作为输入，一个由图像特征网络和鸟瞰视图（BEV）编码器组成的主干网络将环视图像特征映射到BEV特征空间。场景编码器（Scene Encoder）的目标是从BEV特征空间中学习场景标记（包括智能体Tokens和地图Tokens）。这些Tokens可以分别使用智能体头和地图头解码成智能体表示和地图表示。在规划模块中，使用导航路径作为规划意图的约束，与场景Tokens进行查询交互以获得自车的目标点。随后，利用生成的目标点，与场景Tokens进行另一轮交互，最终输出完整的未来轨迹。

输入数据

通常包括车辆周围的多视图图像，这些图像由车辆搭载的摄像头捕获。

场景编码器（Scene Encoder）

用于从输入图像中提取特征，并将这些特征转换为自我中心场景描述，包括地图元素和交通参与者。

导航路径获取

利用如Google Maps API等工具获取当前场景的导航路径，并将这些路径转换为固定间隔的点集合，表示车辆应遵循的路线。

导航路径模型（Navigation Path Model）

将导航路径点转换为系统可以处理的格式，并提取方向信息。

目标点生成（Target Point Generation）

使用导航路径信息和场景编码器的输出来生成目标点。这些目标点代表车辆在未来某个时间点应该到达的位置。

目标生成模块的描述。在导航感知目标编码器中，我们利用编码后的导航特征以及自车的特征作为约束，从场景信息中学习密集目标候选点的概率分布。概率值最高的候选点被选为最终的目标点。

规划模块（Planning Module）

根据生成的目标点和场景描述，规划模块计算出完整的规划轨迹。这通常涉及到与环境信息的交互，以确保轨迹的安全性和合理性。

损失函数和优化

定义损失函数来量化规划轨迹的质量，并通过优化算法来最小化损失，提高规划性能。

输出

最终输出是车辆的规划轨迹，它将被用于指导车辆的行驶。

通过上面架构的介绍，可以将NTT方法总结为以下两个方面：

（1）NTT方法介绍

NTT（Navigation-To-Target）方法基于导航路径生成自动驾驶车辆的未来目标点。
通过解析导航路径信息，预测车辆未来应到达的位置，并据此生成规划轨迹。

（2）技术实现

解析导航路径，提取关键路段信息和转向点。
结合车辆当前位置、速度及环境信息，预测未来目标点位置。
基于目标点位置，生成规划轨迹，并实时调整轨迹参数以适应环境变化。

2.3 实验结果

为了验证NTT方法的有效性，本文在广泛使用的nuScenes数据集上进行了实验。实验结果表明，相比传统的自动驾驶规划方法，NTT方法在实现规划性能上取得了显著的优势。具体而言，NTT方法能够更准确地预测出未来目标点的位置，并生成更加符合实际行驶需求的规划轨迹。此外，NTT方法还表现出了更强的鲁棒性和适应性，能够在不同环境条件下保持稳定的规划性能。

数据集：在广泛使用的nuScenes数据集上进行实验。
性能对比：
- 相比传统自动驾驶规划方法，NTT方法能够更准确地预测未来目标点位置。
- 生成的规划轨迹更符合实际行驶需求，且表现出更强的鲁棒性和适应性。
具体优势：
- NTT方法提高了规划的实用性和安全性。
- 在不同环境条件下，NTT方法能够保持稳定的规划性能。

2.3 优势与劣势

NTT（Navigation-To-Target）方法在自动驾驶规划中具有以下几个优势，如下所示：

明确的规划意图：NTT方法通过导航路径来生成未来的目标点，这使得自动驾驶车辆能够明确知道自己在未来的某个时间点应该到达哪个位置。这种明确的规划意图使得自动驾驶车辆的决策过程更加清晰和可靠。
提高规划实用性：由于NTT方法基于导航路径生成目标点，因此生成的规划轨迹更加符合实际道路情况和驾驶需求。这种方法能够避免一些传统规划中可能出现的冗余或不必要的行驶动作，从而提高规划的实用性和效率。
增强的环境适应性：NTT方法生成的规划轨迹是基于实时环境信息和车辆状态进行调整的。这意味着当环境发生变化时（如交通拥堵、道路施工等），自动驾驶车辆能够及时调整规划轨迹，以适应新的环境条件。这种增强的环境适应性使得自动驾驶车辆更加灵活和可靠。
提高行驶安全性：由于NTT方法能够生成更加符合实际道路情况和驾驶需求的规划轨迹，因此自动驾驶车辆在行驶过程中能够更加安全地避开障碍物、保持车距等。此外，由于NTT方法具有明确的规划意图，因此自动驾驶车辆在紧急情况下能够更加迅速地做出正确的决策，从而保障行驶安全。
优化驾驶体验：NTT方法生成的规划轨迹不仅更加实用和安全，还能够提供更好的驾驶体验。这是因为规划轨迹更加符合人类驾驶员的驾驶习惯和预期，使得自动驾驶车辆的行驶过程更加自然和流畅。

NTT（Navigation-To-Target）方法也存在一些潜在的缺点，如下所示：

依赖导航路径的准确性：
- NTT方法的核心是基于导航路径来生成目标点，因此导航路径的准确性对规划结果具有重要影响。如果导航路径存在误差或偏差，那么生成的目标点也可能不准确，从而影响整个规划过程。
- 这个问题在实际应用中可能表现为：由于导航路径的误差，自动驾驶车辆可能会选择错误的行驶路线或无法到达预定的目标点。
对复杂环境的适应性有限：
- 尽管NTT方法在一定程度上能够应对环境变化，但对于某些复杂或极端的环境条件，其适应性可能有限。例如，在复杂的城市交通、恶劣的天气条件或突发事件中，NTT方法可能无法及时生成合适的规划轨迹。
- 这种情况下，自动驾驶车辆可能需要依赖其他传感器或算法来提供额外的环境感知和决策支持。
规划轨迹的多样性受限：
- 由于NTT方法主要依赖于导航路径来生成规划轨迹，因此其生成的轨迹可能相对单一，缺乏多样性。这可能导致在某些情况下，自动驾驶车辆无法选择最优的行驶路径或无法有效应对突发情况。
- 相比之下，一些基于深度学习的端到端自动驾驶方法可能能够生成更加多样化和灵活的规划轨迹。
对车辆动态性能的考虑不足：
- NTT方法在规划过程中主要关注于导航路径和目标点的生成，而对车辆本身的动态性能（如加速度、转向半径等）考虑可能不足。这可能导致在某些情况下，生成的规划轨迹无法满足车辆的实际行驶需求或超出车辆的动态性能范围。
- 为了解决这个问题，可能需要将车辆的动态性能参数纳入规划过程的考虑范围，以确保生成的规划轨迹既符合导航路径的要求又满足车辆的实际行驶能力。
对未知环境的处理能力有限：
- NTT方法主要依赖于已知的导航路径来生成规划轨迹，因此对于未知环境的处理能力可能有限。当自动驾驶车辆进入未知区域或遇到未知障碍物时，NTT方法可能无法及时生成合适的规划轨迹或采取适当的避障措施。
- 为了提高自动驾驶车辆对未知环境的处理能力，可以结合其他传感器或算法来提供额外的环境感知和决策支持。