论文阅读：2024 NeurIPS Group Robust Preference Optimization in Reward-free RLHF

Group Robust Preference Optimization in Reward-free RLHF

https://www.doubao.com/chat/3870738843518978

https://arxiv.org/pdf/2405.20304

速览

• 研究动机 传统RLHF忽视群体偏好差异，导致模型对少数群体表现不佳，需提升群体鲁棒性。
• 研究问题 如何使大语言模型在多样化群体偏好中实现稳健对齐，避免“一刀切”带来的不公平？
• 研究方法 提出GRPO框架，结合群体信息与无奖励优化，通过自适应加权优先优化最差群体损失，理论分析收敛性并设计交替更新算法。
• 研究结论 GRPO显著提升最差群体性能，减少群体间损失失衡，在合成和真实数据中优于非鲁棒基线，增强模型公平性。
• 不足 在数据平衡场景优势有限，最坏情况优化可能降低平均性能，需进一步权衡参数调节。

这篇论文主要讲了如何让大语言模型（LLMs）更好地适应不同群体的偏好，避免“一刀切”带来的不公平问题，以下是核心内容的通俗解读：

背景：大模型的“偏心”问题

• 现状：传统的大模型微调方法（如RLHF）假设所有用户的偏好可以用一个统一的模型来表示，这会导致“多数人偏好主导，少数人被忽视”。
  比如，当不同群体对“社交媒体是否该加强监管”有相反意见时（如图1），模型可能只倾向多数群体（如G1）的观点，而忽略少数群体（如G2）的需求。
• 原因：人类社会由多个不同群体组成（如不同国家、文化、职业等），每个群体的偏好可能差异很大。传统方法没有考虑群体差异，导致模型对弱势群体的表现较差。

核心方法：GRPO（群体鲁棒偏好优化）

• 目标：让模型在所有群体中都能“稳健”表现，尤其提升表现最差群体的对齐效果，减少群体间的性能差异。
• 创新点：
  1. 引入群体信息：在模型输入中加入群体标识（如“某国人群的观点”），让模型意识到不同群体的偏好差异。
  2. 最坏情况优化：不再优化整体平均表现，而是专门优化“表现最差的群体”的损失，确保没有群体被严重忽视。
  3. 自适应加权：通过算法动态调整不同群体的权重，优先关注累积损失高的群体（如图1下方的“自适应群体权重”机制）。

技术细节：如何实现？

• 无奖励模型框架：基于直接偏好优化（DPO），无需显式训练奖励模型，直接根据偏好数据优化策略，简化训练流程。
• 理论分析：证明了GRPO在对数线性策略类中的收敛性，确保算法能找到最优解。
• 算法设计：通过交替更新群体权重和模型参数（Algorithm 1），让模型逐步“照顾”到每个群体的需求，尤其是弱势群。

实验验证：效果如何？

• 合成数据实验：在不同群体规模和偏好分布的场景中，GRPO显著降低了最差群体的损失，优于传统DPO和 Importance Sampling等基线方法（如图2）。
• 真实数据实验：使用全球意见数据集（GlobalOpinionQA）和开源模型Gemma-2B，验证了GRPO能减少不同国家群体间的性能差异，提升最差群体的准确率（如图3）。

总结：解决了什么问题？

• 核心价值：让大模型更公平地服务于多样化群体，减少偏见和性能失衡，尤其适用于需要考虑群体差异的场景（如跨文化对话、多团队协作）。
• 局限性：当群体间数据平衡且难度相似时，优势不明显；最坏情况优化可能牺牲部分平均性能（可通过调整参数平衡，如附录B.4）。

一句话总结
这篇论文提出了一种让大语言模型“公平对待”不同群体的方法GRPO，通过动态调整群体权重和优化最差群体表现，解决了传统方法忽视群体差异的问题，让模型在多样化场景中更稳健、更公平。