WikiEdge:ArXiv-2407.08995/background

編輯

這篇文獻的背景主要集中在以下幾個方面：

1. 大型語言模型（LLMs）的角色扮演能力：
   • 近期在LLMs領域的進展展示了它們在基於不同指令和上下文模擬各種角色的對話風格和認知過程方面的卓越能力。
   • 研究表明，通過角色扮演提示（role-play prompting）策略，即將LLMs賦予專家角色，可以增強其在相應領域的表現。
2. 角色扮演提示的局限性：
   • 角色扮演提示雖然是有效的，但它面臨兩個主要限制：一是任務特定性，即角色選擇和提示設計必須針對個別任務量身定製，且通常無法遷移到不同任務；二是提示設計勞動密集，需要大量的領域專業知識和迭代改進，可能耗時且效率低下。
3. 自我提示調整（Self-Prompt Tuning）的提出：
   • 為了解決這些限制，研究者提出了自我提示調整方法，通過微調使LLMs自身生成角色扮演提示，減少對人類干預的依賴。
   • 利用LIMA數據集作為基礎語料庫，並通過GPT-4為每個數據點注釋角色扮演提示，創建了LIMA-Role數據集，然後對LLMs如Llama-2-7B和Mistral-7B進行微調。
4. 自我提示調整的評估與結果：
   • 通過在廣泛使用的NLP基準測試和開放式問題測試上對自我提示調整後的LLMs進行評估，實證結果表明，與標準指令調整基線相比，自我提示調整後的LLMs在大多數數據集上表現更佳。

綜上所述，這篇文獻的背景強調了通過微調實現LLMs自我提示的潛力，以及自動化複雜提示策略的可能性。作者提出的自我提示調整方法為自動化多樣化的提示策略開闢了新的途徑。