WikiEdge:ArXiv-2402.12875/summary

編輯

這篇論文深入探討了思維鏈（Chain of Thought, CoT）如何增強大型語言模型（Large Language Models, LLMs）在算術和符號推理任務中的準確性。主要內容包括：

1. 引言：介紹了大型語言模型在複雜推理任務中表現出色，通過生成中間步驟或思維鏈（CoT）來解鎖這些高級推理能力。論文假設CoT允許進行更多序列計算，這是標準Transformer所不能的。
2. 符號和預備知識：定義了自然數集和實數集，引入了ReLU函數、向量和矩陣的相關操作，以及多項式增長率和二進制表示等概念。詳細描述了僅解碼器變換器的結構，包括嵌入層、位置編碼層、輸出層和解碼器層。
3. 帶有思維鏈的 Transformer 的表達能力理論：從理論上研究了帶有CoT的 Transformer 的表達能力，定義了有限精度模型，並提出了更緊確的表達能力上界。證明了帶有T步CoT的恆定深度變換器可以解決任何可由布爾電路解決的問題。
4. CoT使 Transformer 更具表達力：展示了CoT如何顯著提高變換器在固有序列問題上的準確性，包括置換群的組合、迭代平方和電路值問題等任務。
5. 相關工作：討論了神經網絡在算法推理方面的能力，包括自注意力機制的低複雜度電路創建能力，以及從訓練模型中提取可解釋符號計算的可能性。
6. 結論：總結了CoT通過表達能力的角度增強了解碼器僅為Transformer時的能力，並通過電路複雜性的語言定義了新的複雜性類別CoT。實驗驗證了理論，並發現對於固有序列問題，使用CoT的 Transformer 能夠更準確地表達真實函數。