WikiEdge:ArXiv-2409.17172

• 標題：What Would You Ask When You First Saw $a^2+b^2=c^2$? Evaluating LLM on Curiosity-Driven Questioning
• 中文標題：你第一次看到 $a^2+b^2=c^2$ 時會問什麼？評估大型語言模型在好奇驅動的提問上的表現
• 發佈日期：2024-09-19 22:12:16+00:00
• 作者：Shashidhar Reddy Javaji, Zining Zhu
• 分類：cs.CL, cs.AI, cs.LG
• 原文連結：http://arxiv.org/abs/2409.17172v1

摘要：大型語言模型（LLMs）可以存儲大量的知識，然而它們獲取新知識的潛力尚未知。我們提出了一個新的評估框架來評估這種能力。該框架提示LLMs生成關於介紹科學知識的陳述的問題，模擬一個好奇的人第一次面對這個陳述時的情況。我們對生成的問題的質量進行評分，從而評估LLM的知識獲取潛力。我們應用了受控的消融研究來驗證我們的評分程序。此外，我們創建了一個合成數據集，包括1101個在物理、化學和數學中具有不同難度級別的陳述，300個一般知識陳述，和567個錯誤的陳述。我們進行了人類評估來驗證我們的模型評估，所有三個考慮的指標上的加權Cohen's kappa約為0.7。我們發現，儘管像GPT-4和Mistral 8x7b這樣的大型模型擅長生成連貫和相關的問題，但較小的Phi-2模型同樣或更有效。這表明，大小並不是決定模型知識獲取潛力的唯一因素。所提出的框架量化了一個常被忽視的關鍵模型能力，並為開發更有知識的AI系統提供了研究機會。

問題與動機

作者的研究問題包括：

• 大型語言模型（LLMs）在存儲大量知識的同時，它們獲取新知識的潛力如何？
• 如何評估LLMs提出問題的能力，即它們在面對新知識時的好奇心驅動的問題生成能力？
• 不同大小的LLMs在生成與科學知識介紹相關的、具有好奇心的問題方面的表現如何？
• 模型規模是否是決定LLMs知識獲取潛力的唯一因素？
• 如何通過評估框架量化LLMs的關鍵能力，尤其是它們提出問題的能力？
• 在教育、推理、事實檢查等領域，提問的重要性如何體現在LLMs的評估中？
• 如何設計一個評估框架來模擬人類首次面對一個新陳述時的好奇心驅動的問題生成？
• 如何通過人工評估和受控的消融研究來驗證LLMs生成的問題的質量？
• 如何創建一個包含不同難度級別的物理、化學和數學陳述的綜合數據集，以及包含錯誤陳述的數據集，來挑戰模型的批判性探究技能？
• 如何通過增量噪聲添加技術來驗證LLM評估器的有效性？
• 如何通過人類評估來驗證LLMs生成的問題與人類評估之間的一致性？
• 如何通過引入噪聲來評估LLMs在處理質量受損數據輸入時的表現？

背景介紹

這篇文獻的背景主要集中在以下幾個方面：

1. 大型語言模型的知識獲取潛力：
   • 儘管大型語言模型（LLMs）能夠存儲大量的知識，但它們獲取新知識的能力仍然是未知的。
   • 傳統的評估方法，如提問和指令遵循，未能充分揭示LLMs在發現新知識方面的潛力。
   • 本研究從人類如何發現新知識的啟發出發，即出於好奇心提問。
2. 提問在學習和知識獲取中的關鍵作用：
   • 提問是支撐學習和知識獲取的關鍵認知技能。
   • 通過提問，人們尋求理解周圍的世界，探索事物的工作原理，並挑戰現有的信念。
   • 這種探究行為不僅幫助人類學習新信息，還促進了批判性思維、分析和創新。
   • 在教育中，提問與分析、綜合和評估等高階思維技能密切相關。
   • 提問的複雜性和深度通常反映了個人對主題的掌握和理解程度。
   • 在推理和事實核查中，提問也起着至關重要的作用，因為提出有見地的問題需要邏輯思考、澄清假設、識別知識差距和探索替代觀點。
   • OpenAI的o1模型使用其自身的「思維鏈」方法，通過結構化推理和迭代詢問/提問來提煉和增強其輸出。
   • 經過深思熟慮的問題對於徹底和邏輯的推理至關重要。
   • 提問對於事實核查同樣重要，好的問題通過識別信息中的空白、偏見和不一致性來指導驗證過程。
   • 有效的事實核查需要背景和細微差別，好的問題可以幫助揭示虛假或誤導性的信息。
   • 提問在許多其他領域也發揮着重要作用，如激發創造力、促進討論和推動創新。
   • 受人類提問的啟發，本研究提出了一個框架，直接評估LLMs發現新知識的潛力。
   • 該框架設置了一個任務，即好奇心驅動的問題生成（CDQG），其中我們提示模型將自己想像成第一次遇到新陳述的人類，引發最直接產生的疑問。
   • 然後我們根據三個關鍵指標—相關性、連貫性和多樣性—對這些問題進行評分，這些評分基於心理學文獻中的根源。
   • 我們使用最好的LLMs來計算這些分數，並通過人類判斷和嚴格的消融研究來驗證這些分數。
   • 為了促進嚴格和普遍的評估，我們收集了一個包含物理、化學和數學陳述的數據集，這些陳述涵蓋了不同的難度級別。
   • 值得注意的是，我們的數據集包括一個特殊部分的錯誤陳述，旨在挑戰模型的關鍵探究技能。
   • 我們評估了各種模型，從像Phi-2這樣的較小模型到像GPT-4和Gemini這樣的較大模型。
   • 雖然較大的模型在連貫性和相關性方面得分較高，但較小的Phi-2模型得分相當好（甚至更好），表明大小可能不是知識獲取潛力的唯一因素。

綜上所述，這篇文獻的背景強調了評估LLMs在模擬人類探究方面的能力的重要性，並提出了一個評估框架來量化通常被忽視的關鍵模型能力，為開發更具知識性的AI系統提供了研究機會。

章節摘要

這篇論文是關於如何評估大型語言模型（LLMs）獲取新知識的能力，主要內容包括：

1. 引言
   1. 背景介紹

- 大型語言模型（LLMs）能夠存儲大量知識，但它們獲取新知識的能力尚不清楚。 - 傳統評估方法，如回答問題和遵循指令，無法充分揭示LLMs的這一潛力。

1. 1. 研究動機

- 受到人類通過好奇心提問來發現新知識的啟發，提出了一種新的評估框架。

1. 相關工作
   1. 問題生成

- 問題生成在教育中很重要，已經從基於規則的系統發展到使用變換器模型。

1. 1. 生成模型的評估

- 最新的評估方法已經超越了傳統指標，包括多方面的方法，更接近人類判斷。

1. 1. 提示工程

- 提示工程的最新進展集中在優化提示技術，以更接近人類判斷。

1. 1. LLMs用於評估

- 近期研究表明LLMs在各種任務中具有達到人類評估質量的潛力。

1. 方法論
   1. 研究設計概述

- 通過好奇心驅動的問題生成（CDQG）任務來評估模型。

1. 1. 好奇心驅動的問題生成（CDQG）

- 選擇數據集中的陳述作為提示工程的基礎。

1. 1. 評估

- 通過多維框架評估模型的知識獲取能力。

1. 1. 用噪聲添加消融法評估有效性

- 通過逐步添加噪聲來驗證評估器。

1. 1. 用人類評估評估有效性

- 對LLMs生成的問題進行了人類評估。

1. 數據集準備

- 構建了一個包含物理、化學和數學陳述的數據集。

1. 模型和實現

- 研究了不同大小的模型。

1. 結果
   1. 模型表現

- GPT-4在幾乎所有指標和主題上都表現出色。

1. 1. 洞察和含義

- 較大的模型通常提供強大的整體性能，而較小或專門的模型如Phi-2和Mistral 8x7b表現也非常出色。

1. 1. 錯誤陳述的洞察

- 觀察到模型在處理錯誤陳述時的表現差異。

1. 1. 驗證噪聲添加消融

- 噪聲的添加顯著影響了指標。

1. 結論和未來工作

- 這項工作展示了LLMs通過問題生成模仿人類好奇心的能力。

1. 限制

- 研究引入了一種創新的框架來評估LLMs的提問能力，但主要使用的相關性、連貫性和多樣性指標可能無法捕捉到類似人類提問的全部深度。