2403.06932.md

背景

• 背景
  文章指出大型语言模型（LLMs）已在多种自然语言处理任务中取得显著成就。然而，在涉及多个实体的复杂场景中，LLMs仍面临着难题，这些挑战源于需要多步推理的隐含关系。

• 现有工作 尽管最近如Chain-of-Thought（CoT）这样的提示策略能显著增强LLMs的推理能力，但在特定情境中仍多实体相互之间的隐式关系给CoT带来了严重的挑战。现存的命名实体识别（NER）方法在解决此类任务时应用广泛，关系提取方法也用于处理文本中实体之间的关系。然而不借助额外提示，LLMs在实体和关系提取方面的能力有限，解决知识密集型任务也要求对实体关系进行全面分析。

核心贡献

• 提出了一个新框架ERA-CoT（Entity Relationship Analysis with Chain-of-Thought）
  • 挑战1：复杂实体场景中的推理任务 论文提出的ERA-CoT方法首先提取文中涉及的所有实体；然后提取基于文本直接提及的实体间显式关系；接着推断出基于这些显式关系和文本中隐藏信息的实体间隐含关系；随后让模型对这些隐含关系进行可靠性评分，并设定一个判断关系可靠性的阈值，淘汰低于该阈值的隐含关系；最后根据提取的实体和获得的隐含关系与显式关系来回答问题。这一方法通过增强LLMs对实体关系的理解，显著提高了问题回答的准确度，并增强了LLMs的推理能力。
  • 挑战2：CoT中的实体关系分析和关系提取 ERA-CoT框架将实体关系分析和关系提取扩展到CoT中，并能够在NER中提取实体后进一步推理复杂关系，并在零样本设置中逐步准确分析任何复杂场景的逻辑。

实现与部署

论文在六个广泛采用的数据集上进行了实验，并与四个基线方法进行了比较。实验结果表明，ERA-CoT在几乎所有基准测试中都优于基线方法，平均提高了约5.1%。ERA-CoT在所有三种推理问题类型上表现出色：常识推理、数学推理和逻辑推理。这表明增强模型对实体关系理解的方法可以显著提高LLMs的推理能力和回答问题的准确性。具体到模型性能，ERA-CoT在GPT-3.5上取得了约7.3%的准确性提升，并且在开源大型模型Llama-2上也展示了显著改进。

总结

该论文通过提出一种新的框架ERA-CoT，有效强化了大型语言模型在复杂实体场景中的推理和问题回答能力。该方法通过增强对实体关系的理解，实现了显著提升模型推理准确度，特别是在CoT推理过程中。