WikiEdge:ArXiv-2409.17167

• 标题：StressPrompt: Does Stress Impact Large Language Models and Human Performance Similarly?
• 中文标题：压力提示：压力是否对大型语言模型和人类的表现产生相同的影响？
• 发布日期：2024-09-14 08:32:31+00:00
• 作者：Guobin Shen, Dongcheng Zhao, Aorigele Bao, Xiang He, Yiting Dong, Yi Zeng
• 分类：cs.HC, cs.AI, cs.CL
• 原文链接：http://arxiv.org/abs/2409.17167v1

摘要：人类经常会经历压力，这会显著影响他们的表现。本研究探讨大型语言模型（LLMs）是否会表现出与人类相似的压力反应，以及他们的表现在不同的压力诱导提示下是否会波动。为了调查这一点，我们开发了一套新的提示，称为StressPrompt，设计用于诱导不同程度的压力。这些提示源自已建立的心理框架，并根据人类参与者的评级进行了仔细校准。然后，我们将这些提示应用于几个LLMs，以评估他们在一系列任务中的反应，包括遵循指示、复杂推理和情绪智力。研究发现，LLMs在适度压力下的表现最佳，与Yerkes-Dodson法则一致。值得注意的是，他们在低压和高压条件下的表现都会下降。我们的分析进一步揭示，这些StressPrompts显著改变了LLMs的内部状态，导致他们的神经表征发生变化，反映了人类对压力的反应。这项研究为LLMs的操作鲁棒性和灵活性提供了关键的见解，展示了设计能够在压力普遍存在的现实世界场景中保持高性能的AI系统的重要性，如在客户服务、医疗保健和紧急响应环境中。此外，本研究通过提供一种新的视角来看待LLMs如何处理不同的场景以及他们与人类认知的相似性，为更广泛的AI研究社区做出了贡献。

问题与动机

作者的研究问题包括：

• 大型语言模型（LLMs）是否表现出与人类相似的压力反应？
• 不同的压力诱导提示对LLMs的性能有何影响？
• 压力条件下LLMs的内部状态如何变化，以及这些变化如何反映在模型的神经表征上？
• 如何设计能够适应现实世界压力环境并保持高性能的AI系统？
• LLMs在处理不同压力水平的任务时，与人类认知的相似性如何？
• 压力对LLMs在特定任务（如情感智能、偏见检测和幻觉易感性）上的性能有何影响？
• 如何通过调整压力水平来优化LLMs在特定任务上的性能？

背景介绍

这篇文献的背景主要集中在以下几个方面：

1. 大型语言模型（LLMs）的发展：
   • 大型语言模型（LLMs）在人工智能领域取得了显著进展，特别是在自然语言处理、决策制定和认知模拟方面。
   • 这些基于Transformer的架构在多种认知任务中展现出与人类相媲美甚至超越的性能。
2. LLMs 对压力的响应：
   • 尽管LLMs在多个领域取得了显著成就，但压力—一个在人类认知过程中普遍且关键的因素—对LLMs性能的影响尚未得到充分研究。
   • 理解LLMs如何响应压力对于深入理解人工智能系统的鲁棒性和灵活性至关重要。
3. 压力对人类和LLMs性能的影响：
   • 压力是心理学中广泛研究的主题，对人类的表现和行为有深远的影响。
   • Yerkes-Dodson定律表明，适度的压力可以提高性能，而不足和过度的压力则可能对其产生负面影响。
   • 探索LLMs中类似模式的存在对于理解人工智能系统的认知鲁棒性和适应性具有重要意义。
4. 提示工程（Prompt Engineering）的应用：
   • 提示工程通过设计特定的输入提示来引发LLMs的期望响应，为模拟现实世界压力条件提供了一种灵活且高效的方法。
   • 通过这种方法，研究者可以系统地研究LLM行为，通过设计特定的提示来引发期望的响应。

综上所述，这篇文献的背景强调了LLMs在压力条件下的性能表现，以及如何通过心理学理论和提示工程技术来系统地评估LLMs在压力条件下的行为和内部状态变化。