WikiEdge:ArXiv-2407.08995/abs

編輯

• 標題：Self-Prompt Tuning: Enable Autonomous Role-Playing in LLMs
• 中文標題：自我提示調優：實現大型語言模型的自主角色扮演
• 發布日期：2024-07-12 05:26:24+00:00
• 作者：Aobo Kong, Shiwan Zhao, Hao Chen, Qicheng Li, Yong Qin, Ruiqi Sun, Xin Zhou, Jiaming Zhou, Haoqin Sun
• 分類：cs.CL
• 原文連結：http://arxiv.org/abs/2407.08995v1

摘要：最近在大型語言模型（LLMs）方面的進展展示了它們卓越的角色扮演能力，能夠根據不同的指令和上下文準確模擬各種角色的對話風格和認知過程。研究表明，賦予LLMs專家角色的策略，即角色扮演提示，可以提升它們在相應領域的表現。然而，提示需要針對給定問題進行手動設計，這需要一定的專業知識和反覆修改。為此，我們提出了自我提示調優，使LLMs能夠通過微調自行生成角色扮演提示。我們以LIMA數據集作為基礎語料庫，利用GPT-4為每個數據點注釋角色扮演提示，從而創建了LIMA-Role數據集。然後，我們對Llama-2-7B和Mistral-7B等LLMs進行了LIMA-Role的微調。因此，自我提示調優的LLMs能夠自動為任何給定問題生成專家角色提示。我們在廣泛使用的自然語言處理基準和開放式問題測試中對自我提示調優的LLMs進行了廣泛評估。我們的實證結果表明，自我提示調優的LLMs在大多數數據集上優於標準指令調優的基線。這突顯了利用微調使LLMs自我提示的巨大潛力，從而自動化複雜的提示策略。我們在此發布數據集、模型和代碼。