2311.12022.md

背景

• 背景
  文章提出了一个新的数据集 GPQA，该数据集包含由生物学、物理学和化学领域的专家撰写的448道多项选择题。这些问题的难度非常高，即使是对应领域的专家解答正确率也只有65%，如果排除了专家回顾后认识到的明显错误，则正确率为74%，而在允许使用互联网的情况下，非专家验证者的平均正确率仅为34%。这表明问题对 AI 系统也很有挑战，使用 GPT-4 作为基准的 AI 系统的正确率仅有39%。

• 已有的工作 一些当前的数据集并非针对检验领域专家级别的知识，并且这些数据集中的问题可以通过简单地在互联网上查询来找到答案，因此这些工作无法衡量人工智能在处理高难度问题时的能力。GPQA 数据集解决了这些问题，通过确保问题即使对人类领域专家来说也是困难的，并且不仅局限于单纯的信息检索，在逻辑推理、深度理解和创造性解决问题等方面向 AI 系统提出挑战。

核心贡献

• 提出了一个新的数据集 GPQA

  • 挑战1：高质量和高难度问题的创作 创作能够考验专家且对非专家来说即便有互联网辅助也难以回答的问题非常困难。该论文通过提供详细的问题编写指南、回答选项编写建议以及问题客观性评估标准，引导问题编写者创作出具有较高难度和质量的问题。此外，通过对问题编写者提出具有挑战性的经济激励，鼓励他们创作客观且困难的问题。

  • 挑战2：确保问题的客观性和准确性 一个新的问题必须经过三步专家验证流程：首先是第一个专家验证者尝试回答问题并提供详细反馈；接着是问题编写者根据反馈修订问题；最后是第二个专家验证者尝试回答。通过这个流程，确保了问题不仅被编写出来，而且通过域中其他专家的验证，保证了其客观性和准确性，进而确保了 GPQA 数据集的质量和难度。

实现与部署

根据 GPQA 数据集的设计和实施过程，可以得出结论该数据集为 AI 和人工合作提供了一个高质量的试验环境。专家编写者创作问题，另外的专家和非专家验证者对这些问题进行评估，以确保难度和客观性。论文中没有提供一个具体的部署实例和详细的评估结果。

总结

GPQA 数据集提供了一个用于测试 AI 系统在处理需深度理解和推理能力的复杂问题上的能力的基准。通过严格的问题质量控制和专家级别的难度，它可能促进人类专家与 AI 系统合作的方法发展，并推动 AI 系统设计的进步。