WikiEdge:ArXiv-2311.08516/summary

編輯

這篇論文探討了大型語言模型（LLMs）在自我修正邏輯或推理錯誤方面的能力。主要內容包括：

1. 引言：
   • 介紹了大型語言模型（LLMs）在自然語言處理（NLP）領域的主導地位，以及它們在零樣本或少樣本提示下解決任務的能力。討論了自我修正的概念，即讓LLMs糾正自己的輸出，以及在推理任務中LLMs在識別和修復錯誤方面的挑戰。
2. BIG-Bench Mistake數據集：
   • 描述了BIG-Bench Mistake數據集的創建，該數據集包含使用PaLM 2生成的CoT風格痕跡，並標註了第一個邏輯錯誤的地點。數據集涵蓋了BIG-bench數據集中的五個任務：單詞排序、跟蹤洗牌對象、邏輯推理、多步算術和Dyck語言。
3. LLMs能否找到CoT痕跡中的推理錯誤？：
   • 展示了在BIG-Bench Mistake數據集上測試的幾個最先進的LLMs在錯誤發現能力上的掙扎，即使是在非常客觀、明確的情況下也是如此。
4. LLMs能否糾正CoT痕跡中的推理錯誤？：
   • 通過將BIG-Bench Mistake中的錯誤位置信息作為oracle反饋輸入模型，並提示其進行原始CoT痕跡的修正版本，測試了LLMs獨立於其發現錯誤的能力之外的糾正能力。
5. 使用訓練有素的分類器獲取錯誤位置信息：
   • 討論了在沒有oracle標籤的情況下，如何通過訓練一個小型分類器來獲取錯誤位置信息，以及如何使用這種分類器來提高LLMs在少樣本情況下的錯誤發現準確性。
6. 相關工作：
   • 簡要回顧了與LLMs自我修正相關的現有研究，包括數據集和自我修正技術。
7. 結論：
   • 總結了LLMs在發現錯誤和糾正輸出方面的能力，提出了錯誤發現是阻礙自我修正策略在推理任務上表現良好的重要瓶頸，並展示了通過訓練分類器來克服這一瓶頸的初步證據。