2403.08593.md

背景

• 背景
  文章介绍了现有的大型语言模型（LLMs）在结构化环境（如知识图谱和表格）中进行推理的潜能，这些任务通常要求进行多跳推理，即将自然语言表述与环境中的实例相匹配。

• 已有的工作 已有工作采用LLMs逐步构建推理路径，在与环境交互的过程中逐步选择元素。然而，这种方法牺牲了推理效率，阻碍了实际应用的可行性。每一步骤中LLMs基于历史信息做出一个选择，容易导致错误的传播。另外，精调方法将环境数据嵌入模型参数中，并在推理时回醒模式，这虽然效率高，但并不能确保模型输出能够真实地依据结构化环境（SEs）。现有的方法因此无法实现高效且真实地在大规模SEs上进行推理。

核心贡献

• 提出了一个Reasoning-Path-Editing (Readi)框架

  • 挑战1：高效且真实地推理 Readi框架允许模型初步生成推理路径，并只在必要时进行编辑，从而减轻了逐步交互的负担，并提高了整体效率。通过收集推理日志作为即时反馈（包括诸如卡点位置、相关联的关系、半途完成的实例等细节），可以更有针对性地精炼推理路径，进一步增强真实性。

  • 挑战2：利用LLMs的内在规划能力 Readi是首个完全利用LLMs固有规划能力进行推理的框架。它不需要将静态的结构化环境全部注入模型中，而是利用动态的推理日志作为指导。

实现与部署

在知识图谱问答（KGQA）和表格问答（TableQA）任务上的实验表明，Readi在效率和准确度上超越了现有解决方案。具体而言，Readi在CWQ上取得了67.0%的Hit@1，在WebQSP上取得了78.7%，并在MQA-1H上取得了业界领先的结果。分析表明，Readi的推理路径生成和编辑模块的性能卓越。Readi平均仅需1.55次编辑调用，大幅减少了与逐步交互范式（需要4到8次调用）相比的LLM调用次数。推理日志也显示出Readi具有类似于人类思维过程的特征。

总结

Readi框架提出了一种高效并真实地在大规模结构化环境中进行推理的方法，它充分发挥了LLMs的规划能力，并通过动态反馈优化推理路径，实现了在多跳推理任务中的显著改进。