WikiEdge:ArXiv-2409.17167

• 標題：StressPrompt: Does Stress Impact Large Language Models and Human Performance Similarly?
• 中文標題：壓力提示：壓力是否對大型語言模型和人類的表現產生相同的影響？
• 發布日期：2024-09-14 08:32:31+00:00
• 作者：Guobin Shen, Dongcheng Zhao, Aorigele Bao, Xiang He, Yiting Dong, Yi Zeng
• 分類：cs.HC, cs.AI, cs.CL
• 原文連結：http://arxiv.org/abs/2409.17167v1

摘要：人類經常會經歷壓力，這會顯著影響他們的表現。本研究探討大型語言模型（LLMs）是否會表現出與人類相似的壓力反應，以及他們的表現在不同的壓力誘導提示下是否會波動。為了調查這一點，我們開發了一套新的提示，稱為StressPrompt，設計用於誘導不同程度的壓力。這些提示源自已建立的心理框架，並根據人類參與者的評級進行了仔細校準。然後，我們將這些提示應用於幾個LLMs，以評估他們在一系列任務中的反應，包括遵循指示、複雜推理和情緒智力。研究發現，LLMs在適度壓力下的表現最佳，與Yerkes-Dodson法則一致。值得注意的是，他們在低壓和高壓條件下的表現都會下降。我們的分析進一步揭示，這些StressPrompts顯著改變了LLMs的內部狀態，導致他們的神經表徵發生變化，反映了人類對壓力的反應。這項研究為LLMs的操作魯棒性和靈活性提供了關鍵的見解，展示了設計能夠在壓力普遍存在的現實世界場景中保持高性能的AI系統的重要性，如在客戶服務、醫療保健和緊急響應環境中。此外，本研究通過提供一種新的視角來看待LLMs如何處理不同的場景以及他們與人類認知的相似性，為更廣泛的AI研究社區做出了貢獻。

問題與動機

作者的研究問題包括：

• 大型語言模型（LLMs）是否表現出與人類相似的壓力反應？
• 不同的壓力誘導提示對LLMs的性能有何影響？
• 壓力條件下LLMs的內部狀態如何變化，以及這些變化如何反映在模型的神經表徵上？
• 如何設計能夠適應現實世界壓力環境並保持高性能的AI系統？
• LLMs在處理不同壓力水平的任務時，與人類認知的相似性如何？
• 壓力對LLMs在特定任務（如情感智能、偏見檢測和幻覺易感性）上的性能有何影響？
• 如何通過調整壓力水平來優化LLMs在特定任務上的性能？

背景介紹

這篇文獻的背景主要集中在以下幾個方面：

1. 大型語言模型（LLMs）的發展：
   • 大型語言模型（LLMs）在人工智慧領域取得了顯著進展，特別是在自然語言處理、決策制定和認知模擬方面。
   • 這些基於Transformer的架構在多種認知任務中展現出與人類相媲美甚至超越的性能。
2. LLMs 對壓力的響應：
   • 儘管LLMs在多個領域取得了顯著成就，但壓力—一個在人類認知過程中普遍且關鍵的因素—對LLMs性能的影響尚未得到充分研究。
   • 理解LLMs如何響應壓力對於深入理解人工智慧系統的魯棒性和靈活性至關重要。
3. 壓力對人類和LLMs性能的影響：
   • 壓力是心理學中廣泛研究的主題，對人類的表現和行為有深遠的影響。
   • Yerkes-Dodson定律表明，適度的壓力可以提高性能，而不足和過度的壓力則可能對其產生負面影響。
   • 探索LLMs中類似模式的存在對於理解人工智慧系統的認知魯棒性和適應性具有重要意義。
4. 提示工程（Prompt Engineering）的應用：
   • 提示工程通過設計特定的輸入提示來引發LLMs的期望響應，為模擬現實世界壓力條件提供了一種靈活且高效的方法。
   • 通過這種方法，研究者可以系統地研究LLM行為，通過設計特定的提示來引發期望的響應。

綜上所述，這篇文獻的背景強調了LLMs在壓力條件下的性能表現，以及如何通過心理學理論和提示工程技術來系統地評估LLMs在壓力條件下的行為和內部狀態變化。