2311.0921.md

背景

• 背景
  文章介绍了检索增强型语言模型（RALMs）的概念，这类模型通过结合外部知识源来减少虚假信息的产生，注入最新的知识，并增强特定领域的专家知识。这一框架的潜力在于能够整合相关的外部知识，丰富语言模型对输入文本的理解，并基于这些信息生成答案。

• 已有的工作 尽管RALMs表现出强大的前景，但仍存在一些问题。例如，信息检索（IR）系统可能无法保证总是提供最相关或最可信的信息；当处理以事实为基础的问题时，最先进的大型语言模型（LLMs）可能出现幻觉（误导性响应）。现有方法未能充分解决这些问题，尤其是在出现噪声数据或模型面对未知学习范畴的问题时的鲁棒性问题。

核心贡献

• 提出了一个名为CHAIN-OF-NOTE（CON）的框架

  • 挑战1：噪声鲁棒性 当前RALM系统在处理检索到的无关文档信息时可能产生误导性响应，导致输出不准确。论文的方法通过生成系列阅读笔记来评估检索文档的相关性和信息的可靠性，从而有效过滤掉无关或不可信的内容，增强了系统的准确性和语境相关性。

  • 挑战2：未知鲁棒性 现有的RALMs在面对缺乏相应知识无法回答的查询时无法正确回应，而CON框架增强了模型在检索文档未提供相关信息时承认自身局限性的能力，指导模型给出“未知”的回答或根据现有数据提供最佳可能解释，增强了模型的可靠性。

实现与部署

评估结果显示CHAIN-OF-NOTE框架相对于标准的RALM系统显示出了更好的性能。对三个开放领域的QA数据集的整体QA性能进行了对比，结果表明集成了CON的增强RALM在三个数据集上平均EM（精确匹配）得分提升了+1.97。特别的，在DPR（密集检索）未成功检索到相关文档时，使用CON框架的改进明显，平均提升达到+2.3。除了整体QA性能的评估，还对模型在不同噪声比例条件下的鲁棒性进行了测试，CON在面对高噪声比例时尤其表现出色。对未知鲁棒性的评估采用了拒绝率（RR）的指标，这个指标用于评估模型在面对超出其知识范围的问题时的表现。

总结

论文提出的CHAIN-OF-NOTE（CON）框架旨在提高RALMs的鲁棒性，主要通过引入结构化的阅读笔记过程来批判性地评估检索到的文档。实验结果表明，该框架提高了模型在噪声数据和未知情况下的健壮性，改善了整体QA性能，并在检索文档失败还是成功时均提高了模型的性能。CON框架通过生成读取笔记和最终回答，提高了模型对噪声的鲁棒性，并在缺乏信息时能够给出“未知”的回答，增强了模型的适应性和可靠性。