2401.02009.md

背景

• 背景
  论文讨论大型语言模型（LLM）中的反思能力。当前LLM通过后处理提示策略如反思（reflection）和自我完善（self-refine）来优化其响应，基于自我评估或外部反馈。然而，最新研究表明，缺乏外部反馈时，LLM的内在反思是不稳定的。标准自反思策略在初次给出错误响应后，错误到正确的反馈转变仅为15.1%，而反馈中表现出的过度自信（46.7%）和不一致性（45.7%）严重损害了反思的有效性。

• 已有的工作 已有研究显示，LLMs在没有外部反馈的情况下，难以自我修正先前的响应。这表明仅依靠LLM自身和简单的后处理提示策略的自我校正是不可靠的。LLMs在进行自我评估时常常表现出过于自信或高度随机性，提供固执或不一致的反馈，导致反思效果不佳。

核心贡献

• 提出了一个"自我对比"策略

  • 挑战1：如何改善LLM的自我反思质量并避免过度自信和不一致性 为了改善自我评估反馈的质量问题，研究者提出“自我对比”(Self-Contrast)方法。该方法通过自主创建多样化的解决方案观点，对比这些观点的差异，并将这些不同点总结为检查清单作为再次检查和消除不一致性的依据。这种做法使得LLM具备了多样化的视角，以缓解顽固的偏见，同时提供了一个更准确和稳定反思的催化剂。

  • 挑战2：确保方法的有效性和普遍性 研究者在一系列推理和翻译任务上，使用不同的LLMs进行了实验，以强调该策略的有效性和普遍性。据研究者观察，当LLMs在给出的多个解决方案之间进行比较对比后，这些差异通常指向可能的错误、经常被忽视的细节或陷阱，从而通过对这些差异的反思来激发更准确和稳定的自我修正。

实现与部署

实验表明自我对比方法能够有效增加LLM在自我评估中的准确性和一致性。该论文强调，与已有的仅依赖初次响应然后自我评估的标准反思流程相比，通过探索多种解决方案视角来对比差异，并归纳这些差异为有洞察力的检查清单，可以显著提升自我修正的成功率。该方法既提供了一种新策略以增强LLM的内省和自我纠错能力，也以一系列实验来验证这种策略的实际有效性和普遍应用性。

总结

本文提出了一种名为“自我对比”的新策略，用于改善大型语言模型（LLM）在反思和自我修正过程中存在的固执和不一致问题，通过创建多样化解决方案视角，对比不同解决方案的差异，并将差异总结为检查清单，进而提升了LLM的反思质量，并通过实验验证了该策略的效果和广泛适用性。