2312.0435.md

背景

• 背景 研究人工智能和因果推理的科学家们一直渴望构建一个能够轻松进行合理因果推理并能以大规模回答因果问题的机器。近年来，大型语言模型（LLMs）在自然语言处理（NLP）和人工智能（AI）领域引起了范式转变。

• 已有的工作
  尽管LLMs在复杂性能上已经取得显著进步，但它们在进行正规因果推理和精准地回答因果问题方面仍有局限性。特别是它们是否采用了摊销的因果推理（一种在机器学习中基于以往经验对新情况做出快速推断的机制）无法适用于所有场景，尤其是那些摊销偏差可能失败的反常识和无意义的因果关系案例。

核心贡献

• 提出了一个用于测试LLMs正规因果推理能力的方法

  • 挑战1：如何系统地测试和评估LLMs的正规因果推理能力 为了解决这个挑战，论文提出了CLADDER数据集，它特别之处在于以自然语言提出的因果问题都以符号问题和真实答案为基础，由一个符合Pearl因果推理方法的因果推导引擎（CI Engine）衍生而来，同时基于一系列的因果图和三个因果关系层阶（联合、干预、反事实）构建了超过10000个因果问题。

  • 挑战2：如何引导LLMs进行正音的因果推理并帮助解决复杂的因果问题 论文启用了CAUSALCOT这一思维路径提示策略，灵感来自CI引擎，该策略要求LLM提取问题中的因果图、因果查询和可用“数据”（例如条件或干预概率）并输出正确的因果推断。实验结果表明CAUSALCOT提高了LLMs在CLADDER上的表现。

实现与部署

在各种LLMs上进行广泛的实验后，发现CAUSALCOT策略使LLMs在CLADDER数据集上的整体准确率达到了66.64%，比未使用CAUSALCOT的GPT-4高出2.36个百分点。研究还发现，提供与任务相关的实例有助于LLMs通过上下文学习，改善对新问题类型的推广能力。实验结果揭示了LLMs在正规因果推理上的局限性，为未来在提升和增强LLMs方面指明了重要研究方向。

总结

此研究为测试和分析大型语言模型（LLMs）在正规因果推理上的能力提出了CLADDER数据集和CAUSALCOT思维路径提示策略，通过实验突显了LLMs的局限并为未来研究提出了方向。