前沿分享｜处理LLM幻觉问题-CoN｜笔记链：增强检索增强语言模型的鲁棒性

检索增强语言模型（RALMs）在大型语言模型的能力方面取得了重大进步，特别是在减少事实幻觉方面，这得益于外部知识来源的利用。

然而，检索到的信息的可靠性并不总是有保证。

检索到无关数据可能导致误导性回答，甚至可能导致模型忽视其固有的知识，即使它拥有足够的信息来回答查询。

此外，标准 RALMs 往往难以评估它们是否拥有足够的知识，无论是内在的还是检索到的，以提供准确的答案。

在知识缺乏的情况下，这些系统应理想地以“未知”作为回答，当答案无法获得时。针对这些挑战，我们引入了-

链式笔记（CoN）

这是一种旨在提高 RALMs 在面对噪声、无关文档以及处理未知场景的鲁棒性的新颖方法。

CoN 的核心思想是为检索到的文档生成顺序阅读笔记，以便彻底评估其与给定问题的相关性，并将这些信息整合到最终答案中。

我们使用 ChatGPT 创建 CoN 的训练数据，该数据随后在 LLaMa-2 7B 模型上进行了训练。

我们在四个开放域问答基准上的实验表明，配备 CoN 的 RALMs 在标准 RALMs 上显著优于。

值得注意的是，CoN 在完全噪声检索文档的情况下，EM 分数平均提高了+7.9，对于超出预训练知识范围的实时问题，拒绝率提高了+10.5。

Link：

[2311.09210] Chain-of-Note: Enhancing Robustness in Retrieval-Augmented Language Models