当前位置：首页 > news >正文

RSS‘25｜CMU提出统一空中操作框架：以末端执行器为中心，无人机实现高精度遥操作

news 来源：原创 2025/4/29 8:42:51

导读在科技飞速发展的当下，机器人技术不断拓展其应用边界，空中操作领域成为了研究的热点之一。无人空中操纵器（UAMs）凭借其在高空复杂任务中的巨大潜力，正逐渐改变着诸如高空设备维护、桥梁检测等传统行业的作业模式，有望大幅降低人力成本并提升作业安全性。过往的空中操作研究虽在特定任务上取得了一定成果，但许多现有的平台和控制算法都是为特定任务量身定制，这极大地限制了技术的通用性、跨任务适应能力以及不同平台间算法的复用。例如，更换高塔灯泡这类看似简单的任务，实际上涉及抓取、旋转、插入等多个复杂的操作，对系统的通用性提出了很高要求。

©️【深蓝AI】编译

论文题目：Flying Hand: End-Effector-Centric Framework for Versatile Aerial Manipulation Teleoperation and Policy Learning

论文作者：Guanqi He、Xiaofeng Guo、Luyi Tang、Yuanhang Zhang、Mohammadreza Mousaei、Jiahe Xu、Junyi Geng、Sebastian Scherer、Guanya Shi

论文地址：https://arxiv.org/abs/2504.10334

代码地址：https://lecar-lab.github.io/flying_hand/

为突破这一瓶颈，一种创新的统一空中操作框架——Flying Hand被提出。Flying Hand框架的核心创新在于引入了以末端执行器为中心的接口，巧妙地将高层、与具体平台无关的决策（如任务规划、策略生成）与底层、与具体任务无关的全身协同控制进行了解耦。该框架主要由三部分构成：

1.一个通用的硬件平台：由具备六维力/力矩独立输出能力的全驱动六旋翼无人机和一具4自由度轻型机械臂构成，提供了执行多样化任务所需的工作空间和负载能力。

2.一个末端执行器中心的全身控制器：采用模型预测控制（MPC）方法，并结合L1自适应律，以精确追踪末端执行器的期望轨迹，同时有效补偿模型不确定性和外部扰动。

3.一个高层策略模块：基于末端执行器中心（ee-centric）接口，研究者开发了直观高效的遥操作系统，并首次为空中操作引入了基于模仿学习（Imitation Learning）的自主策略生成方法。

通过这种设计，不仅显著提升了末端执行器的控制精度，使得复杂任务（如空中书写、精密插孔、抓取放置、更换灯泡等）的操作更为精准高效，见视频1。它将先进的机器人学习方法（如模仿学习）和成熟的交互接口（如遥操作）从通用操作领域无缝迁移到空中操作领域铺平了道路，极大地促进了该领域向着标准化、通用化和智能化方向发展。

主要方法

Flying Hand框架通过整合如下图所示三个关键组成部分，实现通用的空中操作能力

图1 Flying Hand框架

通用的硬件平台

为了提供足够的灵活性和精确控制能力，如下图所示，Flying Hand框架的硬件平台选用了一个全驱动六旋翼无人机作为基座，以Tarot680为基础架构，搭配6个KDE 4215XF电机与12 英寸2叶螺旋桨。该基座的关键优势在于能独立控制六自由度的力和力矩，为精确的空中定位和姿态保持提供保障。板载计算机为Intel Nuc负责复杂运算，自动驾驶仪为PX4负责高效处理飞行信息，确保无人机在各种工况下稳定飞行，为机械臂作业创造稳定基础。无人机下方集成了一具4自由度（DoF）轻型机械臂，配备三个俯仰关节和一个滚动关节，由Dynamixel XM540和XM430伺服驱动，具备出色的运动灵活性和高精度操作能力，负责具体的物理交互任务。模块化的末端执行器设计允许根据任务需求更换工具。感知系统结合了运动捕捉/IMU、关节编码器以及用于视觉反馈和策略输入的RGBD相机。

图2 Flying Hand硬件平台

末端执行器中心的全身控制器 (MPC + L1 Adaptation)

Flying Hand框架的控制核心是末端执行器中心（ee-centric）的全身模型预测控制器。它采用模型预测控制（MPC）结合 L1 自适应控制的策略，可以有效应对系统中的复杂动态和不确定性。定义状态变量 $x := \begin{bmatrix} p_E & R_E^W & v & \theta \end{bmatrix}$ ，和控制变量 $u := \begin{bmatrix} \tau & \theta_{cmd} \end{bmatrix}$ ，构建位置、姿态、速度和关节角度等误差函数，如 $e_p = p_E - p_E^r,$ $e_{\{R\}} = \frac{1}{2}\left(R_{\{W\}}^{\{E\}\{r\}\top} R_{\{W\}}^{\{E\}}-R_{\{W\}}^{\{E^r\}\top\}} R_{\{W\}}^{\{E\}}\right)^{\vee}$ 等。MPC 在有限时间范围 H 内最小化包含跟踪误差和控制输入代价的成本函数：
$L_e(x_H, x_H^r) + \sum_{i=1}^H L_r(x_n, x_n^r, u_n)$ , 同时满足系统动力学约束，状态约束和控制输入约束。通过不断滚动优化，MPC 能够实时调整控制指令，使末端执行器跟踪期望轨迹。

由于机械臂与无人机之间的复杂交互以及外部环境干扰，系统存在模型不确定性。为此，引入 L1 自适应控制进行补偿。在无人机运动控制中，根据公式：

来估计和补偿未知干扰力矩 $\hat{\tau}_{ext}$ 。最终得到总控制命令 $\tau^* = \tau_{mpc} + \hat{\tau}_{ext}$ 。在机械臂关节角度控制方面，类似地设计自适应控制：

来得到最终关节控制命令 $\theta^* = \theta_{cmd} + \hat{d}$ 。L1自适应控制能够实时估计并补偿干扰，显著提高了系统的鲁棒性和跟踪精度，确保末端执行器在复杂环境下稳定、精准地跟踪目标轨迹。

高层策略模块

高层策略模块为Flying Hand”框架注入了智能化的决策能力，基于ee-centric接口，开发了直观高效的遥操作系统和基于模仿学习的自主策略生成方法。

遥操作系统让操作人员能够便捷地控制末端执行器。通过精心设计的游戏手柄程序，操作人员可轻松控制末端执行器的位置 $p_{E^{r}}$ 和方向 $R_E^{W^rr}$ 。为解决操作人员视觉受限问题，系统实时传输末端执行器和无人机基座摄像头拍摄的RGB图像，并在3D世界坐标系中实时渲染目标末端执行器姿态轨迹，提供丰富的视觉反馈，极大地降低了操作难度，提高了操作效率和精准度。

基于模仿学习的自主策略生成方法采用Action Chunk with Transformer（ACT）网络结构，利用条件变分自编码器（CVAE）将动作序列和联合观察压缩为潜在风格变量。编码器对从摄像头获取的 RGB 图像（分辨率 640×480）和其他状态信息进行编码，Transformer-based解码器根据潜在变量、当前联合观察和编码图像特征生成动作序列。在训练过程中，通过大量人类演示数据学习最优策略；测试时，根据当前观察生成动作。这种方法首次将模仿学习引入空中操作领域，使系统能够从人类经验中学习，快速掌握复杂操作技能，实现自主空中操作任务执行，为空中操作的智能化发展开辟了新道路。

实验结果

为验证所提出的Flying Hand框架的有效性，研究团队进行了一系列详尽的实验，主要涵盖三个方面：末端执行器轨迹跟踪性能评估、空中遥操作任务的多样性展示、以及基于模仿学习的自主策略学习能力验证。

轨迹跟踪性能

为精准评估ee-centric全身控制器的跟踪性能，选取了三种具有代表性的参考轨迹：悬停、半径 15cm 的水平圆轨迹以及半轴长分别为 15cm 和 10cm 的椭圆轨迹。实验过程中，将Flying Hand框架与两种基线方法进行对比：一是仅使用MPC，即"w.o. L1"，二是基于逆运动学(IK)的PID控制，即"w.o. MPC"。实验结果以均方根误差（RMSE）作为衡量指标，详细数据如下图所示：

图3 RMSE尺度下三种方法的跟踪性能

图4 XYZ轴的跟踪曲线

从图中数据清晰可见，在各类轨迹跟踪任务中，Flying Hand”框架展现出了卓越的性能，RMSE误差均显著低于其他两种基线方法。特别是在悬停任务中，本文方法的RMSE仅为1.00±0.11cm。这一结果充分证明了 L1 自适应控制在补偿模型不确定性和外部扰动方面的显著效果，极大地提升了末端执行器对期望轨迹的跟踪精度。同时，在水平圆轨迹和椭圆轨迹等动态任务中，Flying Hand框架同样表现出色，能够稳定、精准地跟踪复杂轨迹，为后续实际空中操作任务的高效执行奠定了坚实基础。

空中遥操作实验

为全面展示Flying Hand框架在空中操作任务中的通用性和有效性，研究人员精心设计了多种典型的空中操作实验，如下图所示，包括空中书写（在白板上写出"2025"字样），旋转阀门（抓握并旋转一个模拟工业阀门），抓取与放置（拾取并移动多种不同形状的物体），更换灯泡（包含“卸下旧灯泡”和“安装新灯泡并按开关点亮”两个长序列任务）。

图5通过Flying Hanf框架完成各类任务

模仿学习实验

为深入探究Flying Hand框架基于模仿学习的自主策略在复杂空中操作任务中的应用效果，研究人员开展了专门的模仿学习实验。在MuJoCo仿真环境中，如图6所示，研究者们针对插孔、旋转阀门、抓取放置及开抽屉取物等任务进行了测试

图6 Flying Hand在MuJoCo仿真环境完成任务

他们对比了采用ee-centric接口（观测与动作均为末端执行器位姿）和传统关节空间接口（观测与动作为无人机位姿加关节角）进行策略学习的效果。结果如下图所示，在拾取放置任务实验中，两种策略都在相同的训练数据集上进行学习。实验结果如下图所示，

图7 ee-centric接口和传统关节空间接口的策略学习对比

ee-centric 策略在实际测试中表现出了明显优势，成功率高达 48/50 ，而关节空间策略的成功率仅为 38/50 。这一结果表明，ee-centric 策略能够更有效地从人类演示数据中学习到最优操作策略，在任务执行过程中能够更快速、准确地规划末端执行器的运动轨迹，避免因关节空间转换导致的误差积累和运动效率降低。

总结

Flying Hand的提出，旨在克服现有系统任务专用性强、通用性差的局限性。其核心采用末端执行器中心（ee-centric）的设计理念，通过解耦高层策略（如遥操作或学习策略）与底层全身控制（无人机与机械臂协同运动），提升了系统的灵活性和适应性。该框架集成了一个全驱动无人机与4自由度机械臂平台、一个结合了模型预测控制（MPC）和L1自适应控制的高精度控制器，以及支持直观遥操作和模仿学习（Imitation Learning, IL）的高层策略接口。实验证明，该框架不仅显著提高了末端执行器的跟踪精度，能够通过遥操作完成书写、插孔、更换灯泡等多样化复杂任务，并且成功地将模仿学习应用于真实的空中操作场景，实现了机器人自主执行任务，为空中操作技术的标准化、通用化和智能化发展提供了重要途径。