通过模仿学习实现机器人灵巧操作：综述（下）

25年4月来自天津大学、山东大学、瑞士ETH、南方科技大学、通用 AI 国家重点实验室、爱丁堡大学和中科院自动化所的论文“Dexterous Manipulation through Imitation Learning: A Survey”。

灵巧操作是指机械手或多指末端执行器通过精确、协调的手指运动和自适应力调制，熟练地控制、重定位和操纵物体的能力，能够实现类似于人手灵巧性的复杂交互。随着机器人技术和机器学习的最新进展，人们对这些系统在复杂和非结构化环境中运行的需求日益增长。由于灵巧操作的高维度和复杂的接触动力学，传统的基于模型方法难以跨任务和目标变化进行泛化。尽管强化学习 (RL) 等无模型方法前景光明，但它们需要大量的训练、大规模的交互数据以及精心设计的奖励机制，以确保稳定性和有效性。模仿学习 (IL) 提供一种替代方案，它允许机器人直接从专家演示中习得灵巧操作技能，捕捉细粒度的协调和接触动力学，同时无需显式建模和大规模试错。本综述概述基于模仿学习 (IL) 的灵巧操作方法，详细介绍最新进展，并探讨该领域的关键挑战。此外，本文还探讨增强 IL 驱动灵巧操作的潜在研究方向。

。。。。。。。继续。。。。。。。。

遥操作系统为人机协作提供了强大的接口，得益于其能够直接使机器人行为达到人类水平的智能水平，即“人在环”。这种方法非常直观，因为人类丰富的知识和经验使他们能够对复杂场景中的各种任务做出明智的判断，并根据反馈及时调整策略。由于这种可用性，遥操作被广泛应用于各个领域。此外，通过收集机器人在遥操作过程中的状态和相应动作的数据，可以构建数据集以进行端到端的模仿学习。

用于灵巧操作的遥操作系统

典型的遥操作系统由两个主要部分组成：本地站点和远程站点，如图所示。本地站点包括一名操作员和一套交互式I/O（输入/输出）设备。输出设备提供遥机器人及其周围环境的实时状态，而输入设备允许操作员以各种形式发出命令，从而控制遥机器人的动作。远程站点主要包含机器人本身，它配备各种传感器来收集自身状态和周围环境的感知。当接收到来自人类的遥操作命令时，机器人可以执行相应的动作并完成任务。

为了准确地将人类操作员的意图传达给机器人系统，先前的研究采用了各种各样的人机交互设备。具有工作经验的人类操作员可以轻松地通过图像识别机器人的当前状态，然而，准确地将人类指令转化为机器人动作仍然是一个挑战。一些传统的控制器作用于此：1）操纵杆 [218] 2）触觉设备[219]；然而，操作任务通常涉及精细的动作和复杂的交互，例如抓取、移动和定位小型或不规则形状的目标。这些任务需要能够提供灵巧界面的设备，以确保机器人动作的安全性和有效性。精确和实时反馈至关重要。常用的设备包括：1）摄像机[17]–[20]，[54]，[220]–[223]；2）动作捕捉手套[224]–[229]；3）VR/AR控制器[14]，[27]，[54]，[230]–[238]；4）外骨骼和双侧系统[53]，[239]–[243]。如图所示：

1. 基于视觉的遥操作系统：近年来，计算机视觉的进步推动了基于视觉的遥操作系统的发展。然而，它们捕捉手部运动的准确性常常受到遮挡、光照、分辨率、背景以及不准确的 3D 估计问题等因素的影响。为了实现稳健的手势估计和到机器人末端执行器的可靠映射，已经提出了几种方法。Li [222] 开发一种基于视觉的遥操作系统，该方法使用人手和模拟机器人的图像对训练 TeachNet，在潜在空间中形成人手和机器人影子手之间的映射。Dexpilot [18] 利用经过标定的多摄像头系统估计手势，以遥控 Allegro 手。黎曼运动策略 (RMP) 用于计算手的笛卡尔姿态，从而促进手臂运动控制。其后续方法，例如 Robotic Telekinesis [17] 和 DIME [54]，将要求简化为单个 RGB 摄像头，从而减少标定的需要。这是通过一种在具有不同运动结构的人和机器人之间建立通用映射方法实现的。此外，Robotic telekinesis [17] 利用人体手腕相对于躯干的相对位置和方向来调整末端执行器相对于其底座的位置和方向，从而实现对手臂和手的远程操作。然而，由于单个固定摄像头的设置，这些方法仍然存在遮挡问题。为了解决这个问题，Transteleop [223] 提出了一种利用实时主动视觉的系统，该系统在远程 UR5 机械臂的末端执行器上安装一个深度摄像头。在遥操作过程中，该机械臂可以重新定位摄像头，以增强其视野并提高手部姿势估计的准确性。
   人手和机械手之间的形态差异可能会妨碍操作员直观地控制机器人。为了解决这个问题，Qin [20] 构建一个仿照人手特定形状的定制机械手，开发了一个用户友好的界面。用这种定制机械手进行的演示可以直接迁移到任何灵巧的机械手上。AnyTeleop [19] 提出一种解决自遮挡问题的方法，即整合来自多个摄像头的图像，每个摄像头提供不同的视角。为了进一步提高观察精度，ACE [221] 将摄像头安装在外骨骼的末端执行器下方，以保持对手和手腕的清晰视野。MimicPlay [93] 使用两个不同视点的已标定摄像头来重建 3D 手部位置。机器人的遥操作数据由 RoboTurk 系统 [244] 收集，该系统通过配备 IMU 的智能手机进行操作。

2. 动作捕捉手套：动作捕捉系统通常使用稳定的硬件设备，例如带有标记的多摄像头设置、IMU 传感器和 RGB-D 摄像头。这些设备对光照、遮挡和复杂背景的变化具有很强的鲁棒性。动作捕捉手套直接通过传感器收集人体手部运动数据，实现了理想的实时性能，并显著提高了远程操作的数据收集效率。虽然动作捕捉手套价格昂贵，但它们可以提供精确的手部追踪 [226]。Wang [16] 推出便携式动作捕捉系统 DexCap。它包括一个用于精确手指关节追踪的动作捕捉手套、一个用于 6 自由度腕部姿势追踪的单视角摄像头，以及一个用于观察周围 3D 环境的 RGB-D 激光雷达摄像头。利用这些精确的 3D 手部运动数据，所提出的 DexIL 系统可以有效地学习双手灵巧操作技能。该远程系统配备两个 Franka Emika 机械臂，每个机械臂都配备一个 LEAP 灵巧机械手。同样，Mosbach [245] 使用力反馈手套 SenseGlove DK1 来捕捉手部关节运动，并通过安装在头戴式设备上的摄像头进行手部追踪。

3. VR/AR 控制器：VR 设备通常包括头戴式显示器、追踪系统和输入设备。头戴式显示器通过高分辨率屏幕和头部运动追踪技术提供沉浸式视觉体验。追踪系统捕捉用户的动作，以确保虚拟环境中的交互与现实世界的动作相对应。输入设备（如控制器或手套）促进用户在虚拟空间内的交互。Zhang [14] 开发一种使用消费级 VR 设备的遥操作系统来控制 PR2 机器人。随后，利用低成本设备的方法 [234], [246] 通过混合现实展示高质量的遥操作。为了简化场景构建，Mosbach [245] 探索在模拟环境中执行 VR 遥操作以执行操作任务。最近，Bunny-VisionPro [235] 为 Apple VisionPro 配备触觉模块，以提供触觉反馈。类似地，Open-television [247] 使用安装在人形机器人上的有源摄像头捕捉第一人称立体视觉视频。这种方法通过提供类似于人类视觉的动态实时视角，增强机器人执行精确情境感知动作的能力。Lin [248] 介绍一种低成本遥操作系统 HATO，它将两个用于假肢的 Psionic Ability Hands 与 UR5e 机械臂相结合。该系统利用两个带有 IMU 传感器的 Meta Quest 2 VR 控制器捕捉手部空间位置和方向，将控制器输入转换为多指手势。

4）外骨骼和双边系统：上述大多数方法侧重于在笛卡尔坐标系的任务空间中操纵机器人的末端执行器。虽然设置机器人末端执行器的位置很方便，但也存在一些缺点。对于具有多自由度 (multi-DoF) 的机器人，需要进行计算量巨大的逆运动学 (IK) 计算，这在实时控制场景中可能会造成问题。这些复杂性可能会导致响应延迟并影响操作精度。此外，运动轨迹中的奇异点可能导致 IK 解不确定或不存在，从而导致控制失败。

外骨骼是一种可穿戴设备，用于收集和分析用户运动数据。Fabian [239] 开发一种轻量级外骨骼 DE VITO，用于测量人类手臂运动，从而遥操作移动机器人 DE NIRO [249]。同时，AirExo [240] 提出一个全臂灵巧操作框架，该框架使用可互换的 3D 打印组件，适用于不同形态的机器人手臂。

另一种方法涉及双边框架，其中引导机器人的运动由跟随机器人镜像复制。跟随机器人遇到的任何阻力或力都会传达回引导机器人，从而实现精确的触觉任务。Kim [241] 开发了一种控制器，其 Denavit-Hartenberg (DH) 参数与遥控双臂机器人相匹配，同时还开发一种标定方法以减少重力误差。对于没有真实机器人的演示，控制器使用与真实机器人相同的力/扭矩 (F/T) 传感器来提供力反馈。最近，ALOHA [53] 利用结构类似、关节间距相同的机械臂进行遥操作，采用经济高效的 ViperX [250] 机械臂作为跟随机器人，并使用尺寸相当的 WidowX [251] 作为引导机器人，以增强控制能力。

在此概念的基础上，Mobile ALOHA [242] 将该系统与自动导引车 (AGV) 集成，建立了一个全身遥操作系统。 GELLO [243] 通过在本地用按比例缩放的运动等效 3D 打印部件和现成的电机替换真实的机械臂，实现了一对一的关节映射，进一步降低了成本。

与特定的机器人方法不同，AnyTeleop [19] 通过通用的运动重定向方法，引入了一个支持多个机械臂和灵巧手的统一系统，该方法将机械手映射到人类的手指上。该系统通过基于估计的笛卡尔末端执行器位姿生成轨迹来支持不同的机械臂。ACE [221] 开发一种跨平台的视觉外骨骼遥操作系统，兼容各种机器人硬件，包括各种末端执行器，如夹持器和多指手，提供了灵活性。其外骨骼臂配备高分辨率编码器，可精确读取关节位置，确保准确的末端执行器跟踪。

数据集和基准

1. 数据集：MIME [252] 是一个大规模数据集，包含 8260 个人机演示，涵盖 20 种不同的任务，从简单的倾倒任务到复杂的堆叠物体任务。它既包含真人演示视频，也包含机器人的运动轨迹。

RH20T [253] 数据集包含超过 110000 个多模态机器人操作序列，这些序列使用配备力-扭矩传感器和触觉反馈的直观遥操作界面收集。它除了捕捉真人演示视频外，还捕捉视觉、触觉、听觉和本体感受数据，从而促进跨不同任务和机器人配置的一次性模仿学习。该数据集旨在通过增强任务和运动规划，提升机器人在非结构化环境中的技能获取。

BridageData [254] 包含 10 种环境中 71 个任务的 7200 个演示，主要在厨房环境中进行各种复杂的操作。它旨在通过跨领域数据集支持广泛的技能泛化。在此基础上，BridgeData V2 [255] 扩展了任务和环境的范围，以培养机器人更强大的泛化和迁移能力。它拥有 24 个环境中的 60096 条机器人操作轨迹，支持可扩展的机器人学习，任务范围从拾取放置到复杂操作，从而促进了多任务和语言条件学习方法在任务、目标和设置之间的泛化。

DRIOD [256] 以其无与伦比的场景多样性和任务多样性超越了其他纯粹通过人类遥操作收集的数据集。它是一个多样化的机器人模仿学习数据集，拥有 86 个任务和 564 个场景的 76000 条演示轨迹。

为了解决收集大量人类演示进行模仿学习总是费时费力的问题，一些数据集将数据增强应用于通过人类遥操作收集的演示。例如，数据增强是一种广泛应用于各个领域的技术，尤其是在计算机视觉和机器人技术领域。它通过对原始数据进行一系列转换或修改，人为地扩展训练数据集的大小和多样性，从而提高在增强数据集上训练的机器学习模型的鲁棒性和泛化能力。

RoboAgent [257] 包含通过人类远程操作收集的 7500 条轨迹。它可以扩展到大约 98000 条轨迹，通过语义增强来实现数据多样化，而无需额外的人力/机器人成本。同样，Cyber​​Demo [258] 也采用了这种方法。研究人员在模拟和现实环境中使用远程操作收集人类演示，然后对收集的演示进行广泛的数据增强。通过在模拟环境中结合视觉和物理变化，接受模拟训练的机器人可以获得增强的策略鲁棒性和泛化能力。
其他一些数据集利用演示生成系统，通过从有限数量的人类演示中扩展数据集来增强模仿学习。MimicGen [259] 从大约 200 个人类演示中创建了 18 个任务中超过 50,000 个演示。它通过基于已知物体姿态的轨迹变换，将以物体为中心的操作行为适应新的情境，从而合成了各种场景配置、物体具身和机械臂的完整演示，从而能够训练复杂、长期和高精度的任务。

同样，2024 年推出的 IntervenGen [260] 也能从最少的人工输入中自主生成大量纠正干预措施，从而增强策略对分布变化的鲁棒性。它擅长生成干预数据来解决策略错误，进一步减少人工投入并提高鲁棒性。

DiffGen [261] 基本遵循相同的思路，但集成可微分物理模拟、渲染和视觉语言模型，能够根据基于文本的指令生成逼真的机器人演示。
还有一些数据集专注于灵巧的双手操作和手-物体交互。例如，ARCTIC [262] 包含 210 万个视频，其中包含精确的 3D 手-物体网格和动态接触数据，可用于研究关节式物体的灵巧双手操作。它引入了一致性运动重建和交互场估计的新任务，促进了手-物体交互的高级研究。
此外，DexGraspNet [263] 包含 ShadowHand 对 5355 个物体的 132 万次抓取，填补灵巧抓取领域缺乏大规模、多样化和高质量数据集的空白。它包含每个物体超过 200 种不同的抓取动作，并在模拟中验证其物理稳定性，从而能够更有效地进行模仿学习，并对机器人操纵算法进行基准测试，以实现类似人类的灵活性和抓取能力。

OAKINK2 数据集 [264] 包含 627 个双手目标操作序列，包含 401 万帧来自多视角捕捉的图像，并包含人体、手部和物体的详细姿态注释。
基于模仿学习的灵巧操作因其模仿学习和灵巧控制本身的复杂性而面临独特的挑战。尽管过去十年取得了显著进展，但仍存在一些挑战阻碍其达到人类水平的灵巧度和现实世界的适用性。

数据收集与生成

基于模仿学习的灵巧操作数据收集与生成面临诸多挑战，包括异构数据融合、数据多样性、高维数据稀疏性以及数据收集成本：

1. 异构数据融合：灵巧操作依赖于多模态感知输入（例如视觉、触觉、本体感受和力），每种输入的采样率、噪声特性和时空分辨率各不相同，这使得数据集成和同步极具挑战性。此外，不同机器人实施例和夹持器设计的差异也带来了额外的复杂性。例如，由于运动学、驱动机制和传感器位置的差异，用一只机械手收集的演示可能无法很好地直接泛化到另一只机械手。应对这些挑战需要 (1) 多模态配准技术来改进传感器融合；(2) 跨机器人具身学习框架，以实现跨机器人平台和不同具身之间的更好可迁移性。

2. 数据数量、质量和多样性：确保足够的数据数量、质量和多样性具有挑战性，因为大规模收集灵巧任务的专家演示需要耗费大量人力且成本高昂。即使物体属性、任务条件或环境因素的微小变化也会显著影响操作策略，使模仿学习模型难以推广。未来的研究应探索合成数据增强、域随机化和生成模型，以有效地生成多样化的训练数据集。可扩展的自动化数据收集方法，例如众包遥操作（多个用户遥控制机器人进行各种演示）和自监督学习（机器人通过交互和反馈自主收集和标记数据），可以进一步缓解数据收集瓶颈。此外，建立标准化的数据收集协议并定义稳健的数据质量和多样性评估指标，对于确保一致性和可靠性至关重要。

3）高维数据稀疏性：高维动作空间中的数据稀疏性限制学习策略的有效性，因为灵巧的操作需要精确的手指协调、力的调节以及丰富的接触交互，而单靠演示很难全面捕捉这些。分层表征学习可以通过将高维动作空间构建为更易于学习的子空间来潜​有潜力地缓解这一挑战。在灵巧操作中，将控制策略分解为不同层级（例如低级运动指令、中级抓取策略和高级任务 affordance），有助于模型提取结构化表征，从而提高学习效率并减少对大规模演示的依赖。

强化学习微调功能，通过改进灵巧操作策略（演示行为之外）进一步补充模仿学习。模拟中的微调使机器人能够探索演示数据中可能未涵盖的物体属性、任务条件和环境动态的变化。然而，有效的模拟-到-现实迁移技术和高保真物理引擎对于弥合模拟训练与实际执行之间的差距至关重要。

4. 数据收集成本：数据收集的高成本和复杂性，阻碍模仿学习在灵巧操作中的扩展。传统方法通常需要专门的动作捕捉系统、高精度力传感器和复杂的遥操作装置，这些装置价格昂贵、劳动密集，且不适用于大规模数据采集。要减少这些障碍，就需要开发低成本、可扩展的数据收集方法，例如用于捕捉人体演示的可穿戴传感器系统，以及用于最大程度减少操作员工作量的共享自主技术。此外，建立标准化的数据收集协议和协作数据共享平台，可以提高数据可访问性和跨数据集的一致性。

虽然仿真为生成灵巧操作的合成数据，提供一种可扩展的解决方案，但一些挑战限制了其在现实世界中的有效性。首先，实现真实世界的保真度仍然很困难，因为物理引擎难以模拟接触动力学、可变形体和高分辨率触觉反馈，导致模拟与现实之间存在差异。其次，确保足够的数据多样性是另一项挑战，因为在静态或过于理想化的环境中训练的模型通常无法泛化到非结构化的现实世界条件。虽然域随机化可以增强鲁棒性，但过度的变异可能会降低学习效率或引入不切实际的伪影。第三，模拟与现实之间的差距，进一步加剧了部署的复杂性，因为在模拟环境中训练的策略通常会由于传感器噪声、意外干扰和驱动差异而导致在现实世界中失效。虽然域自适应、模拟与现实微调和基于物理的标定等技术可以帮助缓解这些挑战，但它们需要大量的计算资源和现实世界的验证，从而增加了部署的复杂性。

基准测试与可重复性

对现实世界硬件实验的依赖以及模拟环境的多变性，对基于模仿学习灵巧操作的基准测试和可重复性，构成了重大挑战。与计算机视觉或自然语言处理不同，在这些领域，大规模数据集能够实现标准化评估，而灵巧操作涉及物理交互，这使得跨研究工作进行一致性复制变得困难。硬件依赖性是一个主要障碍，因为复现结果需要访问相同的机器人平台、夹持器设计、传感器设置和控制软件，而由于成本、可用性和专有限制，这在现实世界的实验中通常是不切实际的。

基于模拟的基准测试，提供了一种可扩展的替代方案，但基于物理的模拟器缺乏标准化的模拟设置、计算环境和评估协议，限制了跨研究的公平比较。物理引擎配置、执行器模型、接触动力学和材料特性的多变性进一步加剧了不一致性，使得在灵巧操作研究中建立可靠的性能基准和普遍可比的评估指标变得困难。一些研究依赖于非基于物理或简化的模拟器，这些模拟器专注于高级任务规划，而忽略低级接触物理建模。虽然这些环境提供了视觉真实感和可规模化的训练，但它们引入显著的模拟与现实差距，未能捕捉灵巧操作的关键方面，例如精确的力相互作用和物体变形。

应对这些挑战需要标准化的基准测试框架和用于模拟和真实世界实验的开源数据集。在模拟中，标准化应侧重于一致的物理参数化（例如，接触动力学、执行器模型、材料特性）和通用的环境表示，以最大限度地减少不同物理引擎之间的差异。对于现实世界的实验，基准测试应包含多模态感官记录（例如 RGB-D、触觉、本体感受数据）以及跨不同机器人具身的多样化任务演示，以确保更广泛的可比性。此外，建立跨硬件平台和基于物理的模拟器的标准评估协议，将有助于在不同研究中进行更可靠的性能比较。

泛化至新设置

由于任务和环境的多变性、自适应学习的局限性、从模拟-到-现实的迁移问题以及跨具身适应性，基于模仿学习的灵巧操作策略的泛化具有挑战性：

1. 任务和环境的多变性：基于学习的策略通常难以从特定的演示扩展到新的条件。物体形状、大小、重量、纹理和动态交互的变化，以及不可预见的障碍物和工作空间变化，都可能显著降低性能。此外，当面对需要在演示分布外自适应行为的未知任务配置时，这些策略可能会失败。

2. 自适应和持续学习框架：传统的模仿学习模型，在训练后无法适应新任务或环境变化。这种局限性导致行为僵化，无法随着经验的积累而改进。持续学习框架使机器人能够从新数据中逐步学习，避免“灾难性遗忘”；而元学习和强化学习微调等自适应学习方法则能够利用先前经验，将策略泛化到新情况。此外，不确定性-觉察模型可以根据实时反馈动态调整决策策略，从而提升其在非结构化环境中的泛化能力。

3）模拟-到-现实的迁移：虽然模拟环境为训练灵巧操作策略提供一个可扩展且可控的环境，但将这些学习的行为迁移到现实环境却极具挑战性。接触动力学、传感器噪声、驱动延迟和材料特性的差异造成模拟-到-现实的差距，导致训练的模型在部署到真实机器人上时性能不一致。未来的潜研方向是通过可微分物理引擎、自适应参数调整和自监督的从现实-到-模拟的细化来提高物理模拟的真实度，从而更好地逼近现实世界的交互。此外，利用混合学习方法（即在模拟环境中预训练策略，并根据现实世界进行微调）可以增强可迁移性。还可以集成不确定性估计技术，帮助模型在非结构化现实世界环境中部署时识别并适应分布变化。

4）跨具身适应性：机器人具身、夹持器设计、传感器配置和驱动动力学的多样性对泛化提出重大挑战。由于自由度、关节限制、接触动力学和控制策略的差异，在一个机械手上训练的策略可能难以迁移到另一个机械手上。即使在同一个机器人平台内，传感器噪声、延迟和机械公差也会导致不一致。为了解决这个问题，可以探索与形态无关的策略学习，即在不同的机器人具身上训练模型，以开发可迁移的表征。基于图和潜空间的机器人运动学嵌入，可以帮助策略更有效地推理不同的具身。此外，模块化策略架构（其中各个组件（例如感知、控制和自适应模块）可以独立进行微调）或许能够增强可迁移性。另一个有前景的方向是元学习和少样本自适应，使机器人能够以最少的数据快速适应新的形态，从而减少大量再训练的需要。

实时控制

灵巧操作因其高维动作空间和复杂的动态特性，带来巨大的计算挑战。实现实时执行需要在软件和硬件方面实现准确性和效率之间的微妙平衡。

高效的实时控制，依赖于能够处理非线性、接触动力学和反馈回路，同时保持稳定性和响应速度的算法。基于模型的方法，例如最优控制和模型预测控制 (MPC)，利用系统动力学来生成控制策略，但通常难以应对灵巧操作的复杂性。MPC 尤其如此，它通过持续优化提供实时适应性，但计算需求很高，通常需要专门的硬件加速或专用边缘计算来满足实时约束。相比之下，无模型强化学习直接从数据中学习策略，无需进行显式系统建模。虽然强化学习在高维非结构化环境中具有更强的适应性，但它​​仍然样本效率低下，容易收敛缓慢，并且难以稳定，尤其是在实时执行的情况下。一个潜在的解决方案是设计混合控制策略，将基于模型的控制与无模型学习相结合，以实现稳定性，从而在不牺牲鲁棒性的情况下提高效率。同时，并行的强化学习训练和元学习等加速学习技术可以解决样本效率低下的问题，从而加快策略收敛速度。

硬件架构也是实时灵巧操作的关键推动因素，需要平衡计算能力、延迟和能效。高性能计算硬件（例如 GPU、TPU 和 FPGA）对于基于模型和学习的复杂控制策略至关重要，但通常受到高功耗和部署成本的限制。边缘计算和定制 ASIC 提供低延迟处理，但可能缺乏大规模灵巧操作策略推理所需的计算能力。云计算有助于大规模训练和高保真模拟；然而，实时依赖远程处理会受到通信延迟和网络不稳定的限制。低功耗AI加速器、神经形态计算和分布式边缘云架构的最新进展有望增强实时处理能力，同时降低延迟和能耗限制。

安全性、稳健性和社会合规性

确保安全性、稳健性和社会合规性对于现实世界的灵巧机器人至关重要，这需要风险预防、自适应错误恢复和人机感知行为，以实现无缝集成。

现实世界的灵巧操作在错误检测、恢复和适应性方面面临着重大挑战，要求机器人能够在动态和非结构化环境中可靠运行。由于传感器噪声、遮挡和不可预测的交互作用，故障检测非常复杂，难以区分微小的执行偏差与关键故障（例如抓取失败或物体意外运动）。一旦检测到错误，必须实时计算自适应恢复策略，例如重抓取和轨迹重规划，同时保持稳定性和任务连续性。

未来的研究应解决两个关键方面。

首先，大规模故障数据集和标准化基准对于改进数据驱动的恢复策略至关重要。缺乏针对不同物体、任务和环境的多样化、带标签的故障案例，限制模型的泛化。建立全面的数据集和评估方案，用于故障检测、不确定性估计和恢复有效性，将为训练和基准测试稳健策略奠定基础。

其次，用于多模态异常检测的自监督学习可以使机器人自主改进其错误检测能力。通过利用视觉、触觉和本体感受反馈，机器人可以学习实时识别和预测故障，从而提高动态环境中的适应性和鲁棒性。

安全对于机器人及其周围环境（包括人类用户）同样重要，尤其是在现实世界中，不可预测的交互和动态条件会带来重大风险。在灵巧操作中，安全考虑包括防撞、力调节和柔顺性控制，尤其是在与易碎物体交互或在人类附近操作时。然而，实现这些安全措施需要处理不同的接触条件，而传感器噪声、遮挡和数据处理延迟会降低可靠性。此外，虽然柔性执行器和软体机器人设计有助于减轻冲击力，但集成这些硬件安全机制需要在控制精度、响应速度和耐用性之间进行权衡。

除了技术安全之外，社会合规性，对于现实世界的部署也至关重要，但目前对此的研究较少，尤其是在人机交互环境中。机器人必须遵守社会规范、道德准则和人类期望，才能被视为值得信赖和被接受的。这包括调整操作策略以适应人类的工作空间，确保行为透明且可预测，并最大限度地减少可能引起不适或干扰的操作。然而，现有的操作框架缺乏对社会约束和人类偏好的认知。为了应对这一挑战，交互式学习范式提供一个有前景的研究方向，即机器人通过学习人类的纠正和偏好来改进其符合社会规范的操作策略。此外，集成语言、视觉和非语言提示的多模态人机交互数据集可以增强上下文理解，使机器人能够更好地预测和响应人类的需求。此外，要确保社会意识灵巧操作的一致性和可靠性，需要社会合规性的标准化基准，提供客观的评价标准来评估机器人如何很好地融入以人为本的环境。