2405.14751.md

背景

• 背景
  文章介绍了LLM在自主代理（LLM agents）的发展中所表现出来的卓越能力，如指令遵循、推理和零样本学习。但是，如何将这些组成部分整合到一个统一的框架，并进行端到端的优化还不清楚。

• 已有的工作 已有的工作探讨了加强LLM代理能力的要素和流程，比如规划、反思、使用工具和终身学习。不过，目前还缺乏一个统一框架来整合这些组件，并对其进行端到端的优化。

核心贡献

• 提出了一个名为AGILE（互动学习环境中的代理）的新型LLM代理框架

  • 挑战1：统一与优化 AGILE框架整合了LLM、记忆、工具和执行器这四个模块，并提出了一个端到端的训练方法，基于强化学习。这个方法不仅训练了不同模块的调用策略，而且还训练了LLM代理的推理、规划、反思和主动寻求建议（与专家交流）等能力。

  • 挑战2：复杂问答回答的评估 目前的QA基准测试往往只针对特定的能力子集，例如反思、记忆检索等，不能同时评估代理结合所有模块和能力的整体性能。为此，研究团队开发了一个新的基准测试集ProductQA，用于全面评估代理在处理历史信息、累积知识、利用工具、与人类互动、自我评估和进行反思方面的能力。

实现与部署

AGILE代理框架在ProductQA和MedMCQA两个任务上进行了评估，发现基于13B和7B LLM并通过PPO算法训练的AGILE代理能够胜过GPT-4代理。而且从AGILE的消融研究显示，记忆、工具使用、咨询、反思和强化学习对于代理表现至关重要。移除工具或记忆使用会显著影响代理的表现，并分别增加了寻求建议的频率，减少了总得分的相对比例。此外，与通过模仿学习得到的基准相比，采用PPO训练的AGILE代理能够在总成绩上实现相对增长，证明了PPO训练的必要性。

总结

该论文提出了一个新型的LLM代理框架AGILE，它通过整合不同的组件，并采用强化学习来实现端到端的训练。该框架在复杂的问答任务中展现出较传统LLM独立使用更优的性能，并证明了组件整合和端到端优化的有效性。数据集和代码已公开发布，以促进相关领域的进一步研究。