WikiEdge:ArXiv-2301.06627

• 标题：Dissociating language and thought in large language models
• 中文标题：解构大型语言模型中的语言和思维
• 发布日期：2023-01-16 22:41:19+00:00
• 作者：Kyle Mahowald, Anna A. Ivanova, Idan A. Blank, Nancy Kanwisher, Joshua B. Tenenbaum, Evelina Fedorenko
• 分类：cs.CL, cs.AI
• 原文链接：http://arxiv.org/abs/2301.06627v3

摘要：大型语言模型（LLMs）在迄今为止的所有模型中，最接近于掌握人类语言，然而对它们的语言和认知能力的看法仍然存在分歧。在这里，我们使用语言形式能力——语言规则和模式的知识——和功能语言能力——理解和使用语言——之间的区别来评估LLMs。我们将这种区别基于人类神经科学，它已经显示出形式和功能能力依赖于不同的神经机制。尽管LLMs在形式能力上表现出惊人的优势，但它们在功能能力任务上的表现仍然不稳定，通常需要专门的微调和/或与外部模块的耦合。我们认为，以人类方式使用语言的模型需要掌握这两种能力，这反过来可能需要形式语言能力的专门机制的出现，这与功能能力是不同的。

章节摘要

这篇论文探讨了大型语言模型（LLMs）在模拟人类语言使用方面的能力，主要内容包括：

1. 引言与挑战：介绍了大型语言模型（LLMs）在模拟人类语言方面取得的进展，同时指出了它们在语言和思维之间关系理解上的局限性。论文提出了形式语言能力和功能语言能力之间的区别，并基于人类神经科学证据，讨论了这两种能力在人脑中的不同机制。
2. 研究目的：旨在评估LLMs在形式和功能语言能力方面的表现，探讨它们是否能够像人类一样使用语言，并提出了评估现代语言模型能力的认知科学框架。
3. 方法论：
   • 形式与功能语言能力的定义：形式语言能力涉及语言规则和模式的知识，而功能语言能力涉及在现实世界情境中使用语言的能力。
   • 人类神经科学证据：讨论了人脑中语言处理网络与非语言认知任务之间的分离，以及这一发现对评估LLMs的意义。
   • LLMs的形式语言能力：分析了LLMs在英语形式语言能力方面的表现，指出它们在这一领域的进步接近人类水平。
   • LLMs的功能语言能力：讨论了LLMs在功能语言能力方面的不足，包括它们在常识推理、世界知识、情境建模和社会认知等方面的局限性。
4. 实验与结果：
   • 形式语言能力的成功：LLMs在捕捉复杂语言现象方面表现出色，能够处理长距离的语法一致性和语言抽象。
   • 功能语言能力的挑战：尽管LLMs在形式语言能力方面表现出色，但它们在功能语言能力方面的表现参差不齐，通常需要专门的微调和/或与外部模块的耦合。
5. 讨论与结论：
   • 论文讨论了LLMs在形式和功能语言能力之间存在的差距，并提出了未来模型发展的方向，包括构建更专门的评估基准和采用模块化架构来模拟人类大脑中形式和功能语言能力的区别。