WikiEdge:ArXiv-2407.15017/abs

編輯

• 標題：Knowledge Mechanisms in Large Language Models: A Survey and Perspective
• 中文標題：大型語言模型中的知識機制：綜述與展望
• 發布日期：2024-07-22 06:15:59+00:00
• 作者：Mengru Wang, Yunzhi Yao, Ziwen Xu, Shuofei Qiao, Shumin Deng, Peng Wang, Xiang Chen, Jia-Chen Gu, Yong Jiang, Pengjun Xie, Fei Huang, Huajun Chen, Ningyu Zhang
• 分類：cs.CL, cs.AI, cs.CV, cs.HC, cs.LG
• 原文連結：http://arxiv.org/abs/2407.15017

摘要：理解大型語言模型（LLMs）中的知識機制對於推動可信的通用人工智慧（AGI）至關重要。本文從一個新穎的分類法回顧了知識機制分析，包括知識的利用和演變。知識利用深入探討了記憶、理解、應用和創造的機制。知識演變關注個體和群體LLMs中知識的動態進展。此外，我們討論了LLMs所學習的知識、參數知識脆弱性的原因，以及將面臨挑戰的潛在暗知識（假設）。我們希望這項工作能夠幫助理解LLMs中的知識，並為未來的研究提供見解。