WikiEdge:ArXiv-2408.15658/abs

編輯

• 標題：An Empirical Study on Self-correcting Large Language Models for Data Science Code Generation
• 中文標題：自我糾正的大型語言模型在數據科學代碼生成中的實證研究
• 發布日期：2024-08-28 09:19:09+00:00
• 作者：Thai Tang Quoc, Duc Ha Minh, Tho Quan Thanh, Anh Nguyen-Duc
• 分類：cs.SE, cs.AI
• 原文連結：http://arxiv.org/abs/2408.15658

摘要：大型語言模型（LLMs）最近在軟體工程任務的許多應用中取得了進展，特別是在代碼生成方面。當前面臨的挑戰之一是，LLMs生成的代碼通常存在不準確和幻覺的問題，需要外部輸入來進行修正。最近的一種策略是利用模型自身的輸入（自我增強）來修正這些問題。在本研究中，我們提出了一種新方法，稱為CoT-SelfEvolve。CoT-SelfEvolve通過自我糾正過程，迭代並自動地精煉代碼，過程受到來自真實編程問題反饋的思維鏈的指導。我們專注於數據科學代碼，包括NumPy和Pandas等Python庫，在DS-1000數據集上的評估表明，CoT-SelfEvolve在解決複雜問題方面顯著優於現有模型。該框架在初始代碼生成和後續迭代中均顯示出顯著的改進，隨著每次額外迭代，模型的準確性顯著提高。這突顯了利用思維鏈提示來解決程序執行器回溯錯誤信息所揭示的複雜性的有效性。我們還討論了如何將CoT-SelfEvolve集成到持續的軟體工程環境中，為改善基於LLM的代碼生成提供了一種實用的解決方案。