2311.15649.md

背景

• 背景
  文章介绍了机器人智能体在执行日常任务时需要理解自然语言指令和做出长期序贯决策。大规模语言模型（LLMs）已经在自然语言处理领域取得了显着进步，因此人们尝试使用LLMs来解决复杂的机器人规划问题。然而，尽管LLMs在理解指令任务方面具有很强的泛化能力，但有时生成的任务规划缺乏可执行性和正确性。

• 已有的工作 已有的研究如模板规划和专家引导规划在处理某些日常指令任务时取得了一定的成果，但这些方法并不能真正理解指令任务（包括对象的数量、前缀内容和对象之间的依赖关系），因此，当面对超出预定义类型的日常任务时，它们仍然难以做出长期决策，并且面临名词多样性挑战。尽管LLMs在大量信息内化方面取得进展，并且有研究尝试解决复杂的机器人规划问题，但一般的LLMs过于宽泛，缺乏机器人领域的专业知识，因此它们生成的计划经常不具备直接为机器人执行的实际可行性。

核心贡献

• 提出了一个RoboGPT智能体

  • 挑战1：提升LLMs规划能力，使其具有机器人领域的专业知识 文章通过专门设计的67k日常指令任务数据集细化和提高LLMs规划流程，以确保逻辑有效性和最优执行。使用这个数据集对LLMs进行微调后，展示了在执行具象指令任务方面的改进性能。

  • 挑战2：解决环境导致的指令目标与物体映射的多样性挑战 为了解决指令中的目标物体与环境中物体的映射挑战，本文引入了环境反馈和重新规划方法，以使指令中的物体与环境中的物体保持一致。

实现与部署

实验表明，RoboGPT智能体比现有SOTA方法在ALFRED日常任务上表现更优。该智能体包括RoboGPT规划器、Re-Plan模块和RoboSkill。RoboGPT规划器通过微调和增强在67K机器人数据集上的Llama模型，结合了LLMs的世界知识和机器人的专家知识，能够处理数百种复杂的日常任务。Re-Plan模块采用了低计算需求，使得规划过程可以动态适应环境，并处理了指令任务的名词多样性挑战。此外，通过整合Fast SAM模块，Roboskill模块在导航和交互能力上也得到了改进。总体而言，RoboGPT智能体在ALFRED基准测试以及涉及泛化任务方面与SOTA模型相比显示出更优越的性能。

总结

文章提出了一个名为RoboGPT的智能体，该智能体用于制定执行日常指令任务的长期决策。该智能体通过一项新的机器人数据集，结合了LLMs的通用知识和机器人领域的专业知识，并引入了Re-Plan模块和RoboSkill模块以增强任务规划的逻辑性和适应性。在ALFRED基准测试和泛化任务上，RoboGPT优于现有的先进方法。