2404.05825.md

背景

• 背景
  该论文讨论了信息检索领域，特别是文档级别表示的建模，其目的是通过使用大型语言模型（LLM）来丰富文档的嵌入表示，从而增强检索模型的性能。

• 已有的工作为什么解决不了 现有的检索模型在表示用户查询和目标文档时存在局限性，特别是对于Bi-encoder、Cross-encoder以及Late-interaction模型。此外，尚无统一的框架利用LLM增强文档级嵌入，过去的研究也没有充分利用语言模型在数据增强方面的潜力。

核心贡献

• 提出了一个模型无关的框架

  • 挑战1：丰富文档嵌入的上下文信息 为了提高检索器的质量和鲁棒性，论文提出了一个LLM-augmented检索框架来丰富文档嵌入的上下文信息。通过大语言模型生成相关查询和标题，并将它们与原始文档分割的段落组合成文档级嵌入，从而增强了文档表示的丰富性和表达力。

  • 挑战2：改进检索模型训练过程中的关键组成部分 论文还提出了在检索模型训练过程中对负采样、损失函数等关键组件的改进。这些改进有助于提升模型的训练效果。

实现与部署

论文中提出的LLM-augmented检索框架在多种检索模型上进行了验证，包括Bi-encoders、ColBERTv2等，在LoTTE数据集和BEIR数据集上取得了领先的结果。这表明通过文档级嵌入框架和对检索模型训练过程的改进，可以显著提升检索模型的性能。

总结

该论文成功提出并验证了一个增强型文档级嵌入的LLM-augmented检索框架，不仅通过生成合成的相关查询和标题增加了文档嵌入的上下文信息，还改进了检索模型训练的关键步骤，从而提升检索模型的性能和鲁棒性。