WikiEdge:ArXiv-2311.08516/methods

編輯

這篇研究論文的工作方法主要圍繞以下幾個方面：

1. 自我修正能力測試（Self-Correction Ability Testing）：
   • 通過在多個任務上測試多個最先進的大型語言模型（LLMs），來評估它們在發現邏輯錯誤方面的能力。這些任務包括單詞排序、追蹤洗牌對象、邏輯推理、多步算術和Dyck語言。
2. 錯誤定位與修正（Error Localization and Correction）：
   • 利用回溯設置（backtracking setup），將真實錯誤位置信息輸入模型，測試LLMs在獨立於錯誤發現的情況下修正錯誤的能力。這表明，即使LLMs在少量樣本條件下難以發現錯誤，也可以通過訓練小型分類器來提高錯誤定位的準確性。
3. 數據集構建與發布（Dataset Construction and Release）：
   • 構建並發布了BIG-Bench Mistake數據集，這是一個包含CoT風格推理步驟的數據集，用於進一步研究LLMs在推理錯誤定位上的能力。
4. 分類器訓練（Classifier Training）：
   • 訓練了一個小型分類器，使用領域外數據來展示在沒有領域內訓練數據的情況下，如何提高錯誤發現的準確性。這一方法為未來開發更複雜的錯誤發現方法提供了概念驗證。