WikiEdge:ArXiv-2407.08995/abs

编辑

• 标题：Self-Prompt Tuning: Enable Autonomous Role-Playing in LLMs
• 中文标题：自我提示调优：实现大型语言模型的自主角色扮演
• 发布日期：2024-07-12 05:26:24+00:00
• 作者：Aobo Kong, Shiwan Zhao, Hao Chen, Qicheng Li, Yong Qin, Ruiqi Sun, Xin Zhou, Jiaming Zhou, Haoqin Sun
• 分类：cs.CL
• 原文链接：http://arxiv.org/abs/2407.08995v1

摘要：最近在大型语言模型（LLMs）方面的进展展示了它们卓越的角色扮演能力，能够根据不同的指令和上下文准确模拟各种角色的对话风格和认知过程。研究表明，赋予LLMs专家角色的策略，即角色扮演提示，可以提升它们在相应领域的表现。然而，提示需要针对给定问题进行手动设计，这需要一定的专业知识和反复修改。为此，我们提出了自我提示调优，使LLMs能够通过微调自行生成角色扮演提示。我们以LIMA数据集作为基础语料库，利用GPT-4为每个数据点注释角色扮演提示，从而创建了LIMA-Role数据集。然后，我们对Llama-2-7B和Mistral-7B等LLMs进行了LIMA-Role的微调。因此，自我提示调优的LLMs能够自动为任何给定问题生成专家角色提示。我们在广泛使用的自然语言处理基准和开放式问题测试中对自我提示调优的LLMs进行了广泛评估。我们的实证结果表明，自我提示调优的LLMs在大多数数据集上优于标准指令调优的基线。这突显了利用微调使LLMs自我提示的巨大潜力，从而自动化复杂的提示策略。我们在此发布数据集、模型和代码。