WikiEdge:ArXiv-2408.15658/abs

编辑

• 标题：An Empirical Study on Self-correcting Large Language Models for Data Science Code Generation
• 中文标题：自我纠正的大型语言模型在数据科学代码生成中的实证研究
• 发布日期：2024-08-28 09:19:09+00:00
• 作者：Thai Tang Quoc, Duc Ha Minh, Tho Quan Thanh, Anh Nguyen-Duc
• 分类：cs.SE, cs.AI
• 原文链接：http://arxiv.org/abs/2408.15658

摘要：大型语言模型（LLMs）最近在软件工程任务的许多应用中取得了进展，特别是在代码生成方面。当前面临的挑战之一是，LLMs生成的代码通常存在不准确和幻觉的问题，需要外部输入来进行修正。最近的一种策略是利用模型自身的输入（自我增强）来修正这些问题。在本研究中，我们提出了一种新方法，称为CoT-SelfEvolve。CoT-SelfEvolve通过自我纠正过程，迭代并自动地精炼代码，过程受到来自真实编程问题反馈的思维链的指导。我们专注于数据科学代码，包括NumPy和Pandas等Python库，在DS-1000数据集上的评估表明，CoT-SelfEvolve在解决复杂问题方面显著优于现有模型。该框架在初始代码生成和后续迭代中均显示出显著的改进，随着每次额外迭代，模型的准确性显著提高。这突显了利用思维链提示来解决程序执行器回溯错误信息所揭示的复杂性的有效性。我们还讨论了如何将CoT-SelfEvolve集成到持续的软件工程环境中，为改善基于LLM的代码生成提供了一种实用的解决方案。