WikiEdge:ArXiv-2301.06627
- 標題：Dissociating language and thought in large language models
- 中文標題：解構大型語言模型中的語言和思維
- 發布日期：2023-01-16 22:41:19+00:00
- 作者：Kyle Mahowald, Anna A. Ivanova, Idan A. Blank, Nancy Kanwisher, Joshua B. Tenenbaum, Evelina Fedorenko
- 分類：cs.CL, cs.AI
- 原文鏈接：http://arxiv.org/abs/2301.06627v3
摘要：大型語言模型（LLMs）在迄今為止的所有模型中，最接近於掌握人類語言，然而對它們的語言和認知能力的看法仍然存在分歧。在這裡，我們使用語言形式能力——語言規則和模式的知識——和功能語言能力——理解和使用語言——之間的區別來評估LLMs。我們將這種區別基於人類神經科學，它已經顯示出形式和功能能力依賴於不同的神經機制。儘管LLMs在形式能力上表現出驚人的優勢，但它們在功能能力任務上的表現仍然不穩定，通常需要專門的微調和/或與外部模塊的耦合。我們認為，以人類方式使用語言的模型需要掌握這兩種能力，這反過來可能需要形式語言能力的專門機制的出現，這與功能能力是不同的。
章節摘要
這篇論文探討了大型語言模型（LLMs）在模擬人類語言使用方面的能力，主要內容包括：
- 引言與挑戰：介紹了大型語言模型（LLMs）在模擬人類語言方面取得的進展，同時指出了它們在語言和思維之間關係理解上的局限性。論文提出了形式語言能力和功能語言能力之間的區別，並基於人類神經科學證據，討論了這兩種能力在人腦中的不同機制。
- 研究目的：旨在評估LLMs在形式和功能語言能力方面的表現，探討它們是否能夠像人類一樣使用語言，並提出了評估現代語言模型能力的認知科學框架。
- 方法論：
- 實驗與結果：
- 形式語言能力的成功：LLMs在捕捉複雜語言現象方面表現出色，能夠處理長距離的語法一致性和語言抽象。
- 功能語言能力的挑戰：儘管LLMs在形式語言能力方面表現出色，但它們在功能語言能力方面的表現參差不齊，通常需要專門的微調和/或與外部模塊的耦合。
- 討論與結論：
- 論文討論了LLMs在形式和功能語言能力之間存在的差距，並提出了未來模型發展的方向，包括構建更專門的評估基準和採用模塊化架構來模擬人類大腦中形式和功能語言能力的區別。