WikiEdge:ArXiv-2407.15017/abs

编辑

• 标题：Knowledge Mechanisms in Large Language Models: A Survey and Perspective
• 中文标题：大型语言模型中的知识机制：综述与展望
• 发布日期：2024-07-22 06:15:59+00:00
• 作者：Mengru Wang, Yunzhi Yao, Ziwen Xu, Shuofei Qiao, Shumin Deng, Peng Wang, Xiang Chen, Jia-Chen Gu, Yong Jiang, Pengjun Xie, Fei Huang, Huajun Chen, Ningyu Zhang
• 分类：cs.CL, cs.AI, cs.CV, cs.HC, cs.LG
• 原文链接：http://arxiv.org/abs/2407.15017

摘要：理解大型语言模型（LLMs）中的知识机制对于推动可信的通用人工智能（AGI）至关重要。本文从一个新颖的分类法回顾了知识机制分析，包括知识的利用和演变。知识利用深入探讨了记忆、理解、应用和创造的机制。知识演变关注个体和群体LLMs中知识的动态进展。此外，我们讨论了LLMs所学习的知识、参数知识脆弱性的原因，以及将面临挑战的潜在暗知识（假设）。我们希望这项工作能够帮助理解LLMs中的知识，并为未来的研究提供见解。