WikiEdge:ArXiv-2409.17167

出自WikiEdge
於 2024年9月28日 (六) 03:08 由 David留言 | 貢獻 所做的修訂 (Updated page by David)
跳至導覽 跳至搜尋
  • 標題:StressPrompt: Does Stress Impact Large Language Models and Human Performance Similarly?
  • 中文標題:壓力提示:壓力是否對大型語言模型和人類的表現產生相同的影響?
  • 發布日期:2024-09-14 08:32:31+00:00
  • 作者:Guobin Shen, Dongcheng Zhao, Aorigele Bao, Xiang He, Yiting Dong, Yi Zeng
  • 分類:cs.HC, cs.AI, cs.CL
  • 原文鏈接http://arxiv.org/abs/2409.17167v1

摘要:人類經常會經歷壓力,這會顯著影響他們的表現。本研究探討大型語言模型(LLMs)是否會表現出與人類相似的壓力反應,以及他們的表現在不同的壓力誘導提示下是否會波動。為了調查這一點,我們開發了一套新的提示,稱為StressPrompt,設計用於誘導不同程度的壓力。這些提示源自已建立的心理框架,並根據人類參與者的評級進行了仔細校準。然後,我們將這些提示應用於幾個LLMs,以評估他們在一系列任務中的反應,包括遵循指示、複雜推理和情緒智力。研究發現,LLMs在適度壓力下的表現最佳,與Yerkes-Dodson法則一致。值得注意的是,他們在低壓和高壓條件下的表現都會下降。我們的分析進一步揭示,這些StressPrompts顯著改變了LLMs的內部狀態,導致他們的神經表徵發生變化,反映了人類對壓力的反應。這項研究為LLMs的操作魯棒性和靈活性提供了關鍵的見解,展示了設計能夠在壓力普遍存在的現實世界場景中保持高性能的AI系統的重要性,如在客戶服務、醫療保健和緊急響應環境中。此外,本研究通過提供一種新的視角來看待LLMs如何處理不同的場景以及他們與人類認知的相似性,為更廣泛的AI研究社區做出了貢獻。

問題與動機

作者的研究問題包括:

  • 大型語言模型(LLMs)是否表現出與人類相似的壓力反應?
  • 不同的壓力誘導提示對LLMs的性能有何影響?
  • 壓力條件下LLMs的內部狀態如何變化,以及這些變化如何反映在模型的神經表徵上?
  • 如何設計能夠適應現實世界壓力環境並保持高性能的AI系統
  • LLMs在處理不同壓力水平的任務時,與人類認知的相似性如何?
  • 壓力對LLMs在特定任務(如情感智能偏見檢測幻覺易感性)上的性能有何影響?
  • 如何通過調整壓力水平來優化LLMs在特定任務上的性能?