-
背景
这篇论文研究了大型语言模型（LLMs）在解决最新竞赛级编程问题方面的推理能力。目前，LLMs在推理能力方面的表现仍然存在争议，尤其是在数据污染的问题上。作者选择了Codeforces平台中的问题来作为评测LLMs的推理能力的数据资源，因为这些问题由专家精心设计，独一无二，需要深入的理解和健全的推理技能去完成。 -
已有的工作 先前的研究集中在基础的编码能力上，而非竞赛级问题，这些问题要求解决者具备高级推理和数学建模技能，而这正是人工智能非常需要的。Codeforces平台通过专业的编程竞赛和独特的问题质量，为算法竞赛提供发展能力的绝佳平台，因此也成为评估LLMs推理能力的合适工具。此外，Codeforces的问题分布在不同难度级别，使得可以根据参赛者在比赛中的排名和表现来评定问题的难度，相较于其他常用评价标准更为适合。
- 提出了一个综合评估方法
-
挑战1：如何评估LLMs真正的推理能力并解决数据污染问题？ 论文通过评估GPT-4在竞赛级编程问题上的零样本(zero-shot)表现来提出挑战，考虑了问题发布时间、难度以及遇到的错误类型。研究发现在2021年9月后发布的问题上，GPT-4表现出了明显的性能下降，这不仅表明了潜在的数据污染问题，也突显出处理未见过的复杂推理问题对于现有LLMs的挑战。
-
挑战2：如何增强LLMs在此类问题上的表现？ 为了提升LLM在这些竞赛级编程问题上的表现，作者调查了多种方法，包括针对性的微调(CodeLlama和DeepSeek-Coder)，Chain-of-Thought提示(提示式推理)和问题语句的简化。然而，这些方法都没能在提高困难程度问题的表现上产生一致的改善效果，表明作为评估工具，困难和未见过的编程问题对于LLMs是一种有效的检验方式。
-
研究团队详细分析了GPT-4及其他编码LLMs在Codeforces上的零样本表现。重要发现包括：GPT-4在2021年9月后问题上的表现显著下降；GPT-4解决困难问题的能力有限，表现出在复杂问题解决上的潜在弱点；GPT-4在第一个测试案例上表现挣扎，这可能表明了对问题本身理解出现了错误。这些现象也可以在其他LLMs中观察到，表明不足的推理能力可能是一个普遍问题。通过以上方法的尝试和表现分析，研究指出这些竞赛级问题是评价LLMs真实推理能力的优秀数据源，并且推动未来LLMs在推理能力和概括能力上的进一步发展。
本研究通过评估大型语言模型在处理竞赛级编程问题上的表现，揭示了GPT-4等模型在真实推理能力上的不足，并提出了一些提升表现的方法。这些发现突显了这类问题作为评估LLMs的有效工具的重要性，并促进了对于提高LLMs复杂推理能力的进一步研究。