WikiEdge:ArXiv-2401.14423

• 標題：Prompt Design and Engineering: Introduction and Advanced Methods
• 中文標題：提示設計與工程：介紹和高級方法
• 發佈日期：2024-01-24 06:20:18+00:00
• 作者：Xavier Amatriain
• 分類：cs.SE, cs.LG
• 原文連結：http://arxiv.org/abs/2401.14423v4

摘要：提示設計和工程已迅速成為最大化大型語言模型潛力的關鍵。在本文中，我們介紹了核心概念，如鏈式思考和反思等高級技術，以及構建基於LLM的代理的原則。最後，我們提供了提示工程師的工具調查。

問題與動機

作者面對的研究問題包括：

• 如何設計有效的提示（prompt）來最大化大型語言模型（LLMs）的潛力？
• 如何通過高級提示技術如「思維鏈（Chain-of-Thought）」和「反思（Reflection）」提升LLMs的性能？
• 如何構建基於LLMs的智能代理，並理解其背後的原理？
• 如何通過工具來支持提示工程師的工作？
• LLMs在處理複雜問題時存在哪些限制，如何通過高級提示設計技巧來克服這些限制？
• 如何通過自動化的提示工程（APE）提高提示設計的效率和準確性？
• 如何利用檢索增強生成（RAG）技術來擴展LLMs，以訪問實時或特定領域的信息？
• 如何通過工具和框架來增強LLMs的功能和應用範圍？

背景介紹

這篇文獻的研究背景主要集中在以下幾個方面：

提示設計與工程

• 提示（Prompt）在生成式AI模型中是用戶輸入的文本，用於指導模型的輸出，可以是簡單的問題或詳細的描述。
• 提示工程（Prompt Engineering）是指導AI模型輸出的新興學科，涉及構建最佳提示以實現特定目標。
• 隨着大型語言模型（LLMs）的發展，提示設計和工程變得至關重要，以最大化這些模型的潛力。

大型語言模型（LLMs）及其局限性

• LLMs在自然語言處理方面取得了顯著進展，但它們受到固有限制的約束，如瞬態狀態、概率性質、過時信息、內容編造和資源密集性。
• 這些限制強調了高級提示工程和專門技術的必要性，以提高LLM的效用並減輕固有限制。

高級提示設計技巧和策略

• 包括鏈式思考（Chain of Thought）提示、使用工具、自我一致性、反思等，這些技術旨在優化LLM在特定限制內的性能。
• 這些技術通過將隱含的推理步驟轉化為明確的、引導的序列，從而增強了模型在複雜問題解決環境中基於邏輯推理產生輸出的能力。

工具、連接器和技能的集成

• 工具、連接器和技能的集成顯著擴展了LLMs的功能和應用範圍，使它們能夠與外部數據源交互並執行特定任務。
• 例如，Toolformer訓練LLM決定何時使用工具，甚至確定API需要什麼參數，包括兩種不同的搜尋引擎或計算器。

自我一致性和反思

• 自我一致性（Self-Consistency）方法通過產生多個答案並評估它們的一致性來提高LLM輸出的準確性和可靠性。
• 反思（Reflection）概念使LLM能夠進行自我改進，通過自我評估其輸出來提高輸出的準確性、邏輯一致性和相關性。

綜上所述，這篇文獻的背景強調了隨着LLMs和生成式AI的發展，提示設計和工程的重要性日益增加，以及如何通過高級技術來克服LLMs的固有限制。