2405.19893.md

背景

• 背景
  近年来，大型语言模型（LLMs）在多个领域取得了显著成就，但是知识更新的不及时性和成本问题以及LLMs产生错误信息的问题限制了它们在知识密集型任务中的应用。其中，检索式增强生成（Retrieval-Augmented Generation，简称RAG）技术可以发挥作用。现有的检索增强模型通常使用相似性作为检索和阅读之间的桥梁。

• 已有的工作 现有的检索增强生成模型主要基于相似性来检索外部文档库中的文件，然后将检索到的文档用作LLMs的上下文，以此增强生成能力。这些方法虽然在许多知识密集型任务中比纯粹的参数化LLMs表现得更好，但完全依赖相似性有时会降低其性能。

核心贡献

• 提出了METRAG框架

  • 挑战1：超越相似性导向的思维模式 目前的检索增强模型往往无法捕捉查询与文档之间的实用性。METRAG引入了一个用LLM监督的小规模实用模型，这不仅跳出了相似性导向的思维模式，而且还通过综合相似性和实用性导向的思维，提出了一个“更智能”的模型。

  • 挑战2：处理检索文档集的庞大性和孤立性 给定检索到的文档集往往很庞大，并且单独使用它们会使得捕捉它们之间的共性和特性变得困难。METRAG提出让LLM充当任务适应性的摘要器，以赋予检索增强生成以紧凑性导向的思维。

实现与部署

METRAG在众多知译密集型任务上的广泛实验已经证明了其优越性。METRAG框架不仅结合了相似性和实用性的优点，还通过使用LLM作为任务适应性的摘要器，提高了生成的紧凑性和信息的相关性。

总结

METRAG提出了一个新颖的检索增强生成框架，该框架通过实用性和紧凑性思维来解决现有模型的局限性，并在知识密集型任务中显示出更好的性能。