WikiEdge:ArXiv-2409.12262/summary
跳转到导航
跳转到搜索
这篇论文介绍了一种新的方法，该方法从大型语言模型（LLM）中提取知识以生成对象级计划，这些计划描述了对象状态的高级变化，并使用它们以分层的方式引导任务和运动规划（TAMP）。现有工作使用LLM直接输出任务计划或生成如PDDL这样的表示中的目标，但这些方法存在不足，因为它们要么依赖LLM进行实际规划，要么输出难以满足的目标。相反，我们的方法从LLM中提取知识，形成称为功能面向对象网络（FOON）的对象级表示，从中我们自动生成PDDL子目标。我们的实验表明，我们方法的性能在模拟中的多个任务上显著超过了其他规划策略。
- 引言: 大型语言模型（LLM）的出现促进了大量利用其能力进行规划的工作，包括使用LLM进行机器人和具体化代理的规划。语言模型编码了关于世界的领域知识，这对决策制定很有用。这些方法将LLM用作：1）任务规划器，2）任务目标生成器。然而，现有工作在处理复杂、目标导向的任务方面存在几个关键缺陷。我们提出一种方法，LLM用于在对象级别生成部分目标模式，然后用于生成PDDL子目标。这样的方法继承了LLM的常识规划知识，同时仍然支持健全和完整的任务级规划。
- 背景: 大型语言模型（LLM）是通过自监督学习和自注意力训练的复杂神经网络模型。LLM在自然语言处理（NLP）和生成任务中表现出色。我们使用OpenAI的Chat-GPT。任务和运动规划（TAMP）的目标是将高级符号任务规划与低级运动规划集成，以使机器人能够解决复杂的长期任务。
- 使用语言模型进行对象级规划: 我们提出了一种对象级规划方法，它仅针对对象交互进行推理。我们使用功能面向对象网络（FOON）：一种描述对象-动作关系的知识点图表示。我们的方法通过两阶段过程构建FOON，从自然语言任务提示中生成对象级计划草图。
- 连接到任务和运动规划: 我们生成一个计划模式GT，用它可以解决自然语言中给出的任务T。然而，这个模式太抽象，无法以其当前形式执行，它必须基于机器人的体现和环境进行接地。我们使用GT通过提供PDDL子目标来引导TAMP。
- 评估: 我们评估了我们分层规划方法的灵活性，该方法利用LLM提取OLP，并将它们转换为任务和运动级问题。我们特别强调LLM无法可靠地生成PDDL定义，并且无法可靠地进行任务规划；然而，我们可以提示LLM以对象级细节，这对于构建PDDL子目标很有用。
- 相关工作: 许多研究人员已经探索了语言模型在机器人应用中的使用，受到它们在语言相关任务中的出色表现的启发。先前的工作已经研究了LLM的规划能力。其他工作则用语言模型补充任务规划。
- 结论: 我们介绍了一种分层规划方法，该方法利用大型语言模型（LLM）的强大功能来引导任务和运动规划（TAMP）。通过在TAMP之上增加一个额外的规划层，称为对象级规划，我们使机器人能够灵活地从通过LLM提示提取的计划草图中找到规划解决方案。