WikiEdge:ArXiv-2409.12262/summary
跳至導覽
跳至搜尋
這篇論文介紹了一種新的方法，該方法從大型語言模型（LLM）中提取知識以生成對象級計劃，這些計劃描述了對象狀態的高級變化，並使用它們以分層的方式引導任務和運動規劃（TAMP）。現有工作使用LLM直接輸出任務計劃或生成如PDDL這樣的表示中的目標，但這些方法存在不足，因為它們要麼依賴LLM進行實際規劃，要麼輸出難以滿足的目標。相反，我們的方法從LLM中提取知識，形成稱為功能面向對象網絡（FOON）的對象級表示，從中我們自動生成PDDL子目標。我們的實驗表明，我們方法的性能在模擬中的多個任務上顯著超過了其他規劃策略。
- 引言: 大型語言模型（LLM）的出現促進了大量利用其能力進行規劃的工作，包括使用LLM進行機器人和具體化代理的規劃。語言模型編碼了關於世界的領域知識，這對決策制定很有用。這些方法將LLM用作：1）任務規劃器，2）任務目標生成器。然而，現有工作在處理複雜、目標導向的任務方面存在幾個關鍵缺陷。我們提出一種方法，LLM用於在對象級別生成部分目標模式，然後用於生成PDDL子目標。這樣的方法繼承了LLM的常識規劃知識，同時仍然支持健全和完整的任務級規劃。
- 背景: 大型語言模型（LLM）是通過自監督學習和自注意力訓練的複雜神經網絡模型。LLM在自然語言處理（NLP）和生成任務中表現出色。我們使用OpenAI的Chat-GPT。任務和運動規劃（TAMP）的目標是將高級符號任務規劃與低級運動規劃集成，以使機器人能夠解決複雜的長期任務。
- 使用語言模型進行對象級規劃: 我們提出了一種對象級規劃方法，它僅針對對象交互進行推理。我們使用功能面向對象網絡（FOON）：一種描述對象-動作關係的知識點圖表示。我們的方法通過兩階段過程構建FOON，從自然語言任務提示中生成對象級計劃草圖。
- 連接到任務和運動規劃: 我們生成一個計劃模式GT，用它可以解決自然語言中給出的任務T。然而，這個模式太抽象，無法以其當前形式執行，它必須基於機器人的體現和環境進行接地。我們使用GT通過提供PDDL子目標來引導TAMP。
- 評估: 我們評估了我們分層規劃方法的靈活性，該方法利用LLM提取OLP，並將它們轉換為任務和運動級問題。我們特別強調LLM無法可靠地生成PDDL定義，並且無法可靠地進行任務規劃；然而，我們可以提示LLM以對象級細節，這對於構建PDDL子目標很有用。
- 相關工作: 許多研究人員已經探索了語言模型在機器人應用中的使用，受到它們在語言相關任務中的出色表現的啟發。先前的工作已經研究了LLM的規劃能力。其他工作則用語言模型補充任務規劃。
- 結論: 我們介紹了一種分層規劃方法，該方法利用大型語言模型（LLM）的強大功能來引導任務和運動規劃（TAMP）。通過在TAMP之上增加一個額外的規劃層，稱為對象級規劃，我們使機器人能夠靈活地從通過LLM提示提取的計劃草圖中找到規劃解決方案。