WikiEdge:ArXiv-2311.08516/abs

編輯

• 標題：LLMs cannot find reasoning errors, but can correct them given the error location
• 中文標題：大型語言模型無法發現推理錯誤，但可以在給定錯誤位置的情況下進行修正
• 發布日期：2023-11-14 20:12:38+00:00
• 作者：Gladys Tyen, Hassan Mansoor, Victor Cărbune, Peter Chen, Tony Mak
• 分類：cs.AI, cs.CL, cs.LG
• 原文連結：http://arxiv.org/abs/2311.08516

摘要：儘管自我糾正已顯示出在提高大型語言模型（LLMs）輸出的風格和質量方面的潛力（例如，Chen et al., 2023b; Madaan et al., 2023），但最近對邏輯或推理錯誤的自我糾正嘗試往往導致正確答案變為錯誤，從而導致整體表現變差（Huang et al., 2023）。在本文中，我們表明，較差的自我糾正表現源於LLMs無法發現邏輯錯誤，而不是它們糾正已知錯誤的能力。首先，我們對幾種最先進的LLMs在其錯誤發現能力上進行了基準測試，結果表明它們在這一任務上普遍表現不佳，即使在高度客觀、明確的情況下也是如此。其次，我們使用回溯設置測試了LLMs的糾正能力——與錯誤發現分開，向模型提供真實錯誤位置的信息。我們表明，這提升了我們五個推理任務的下游任務表現，表明LLMs的糾正能力是穩健的。最後，我們展示了在沒有真實標籤或領域內訓練數據的情況下獲取錯誤位置信息是可能的。我們使用域外數據訓練了一個小型分類器，其錯誤發現表現優於提示大型模型。我們發布了LLM生成邏輯錯誤的數據集BIG-Bench Mistake，以促進對定位LLM推理錯誤的進一步研究。