查看“WikiEdge:ArXiv-2311.08516/background”的源代码

<div style="float: right;">[{{fullurl:WikiEdge:ArXiv-2311.08516/background|action=edit}} 编辑]</div>
这篇文献的背景主要集中在以下几个方面：
# '''大型语言模型（[[Large Language Models]]，LLMs）在[[自然语言处理]]（[[Natural Language Processing]]，NLP）领域的主导地位'''：
#* LLMs在多种应用中取得了最先进的性能，展示了零次或少次提示的能力，催生了如[[思维链]]（[[Chain-of-Thought]]，CoT）和[[自我一致性]]（[[Self Consistency]]，SC）等多种提示方法。
#* 近期文献关注于[[自我修正]]的概念，即让LLMs修正自己的输出，但现有研究表明，自我修正在逻辑或推理错误上常常导致正确答案变得错误，从而整体性能下降。
#  '''自我修正性能不佳的原因探究'''：
#* 研究将自我修正过程分解为[[错误发现]]和[[输出修正]]两部分，以更好地理解每个组成部分。
#* 错误发现是基础的推理技能，在[[哲学]]、[[心理学]]和[[数学]]中被广泛研究和应用，而LLMs目前还不能可靠地发现错误。
#* 输出修正涉及部分或完全改变先前生成的输出，研究显示，即使LLMs在发现错误方面存在困难，但如果给出错误位置信息，它们能够修正输出。
#  '''错误位置信息的获取'''：
#* 研究展示了即使在少次提示条件下LLMs在错误发现上的准确性较低，也可以通过训练小型分类器来获得更可靠的错误位置信息。
#* 通过训练一个小型的错误发现分类器，使用领域外数据，其表现优于直接提示大型模型，为未来工作留下了开发更复杂方法的空间。
综上所述，这篇文献的背景强调了在LLMs领域中对错误发现和自我修正能力的需求，以及现有方法的局限性。作者提出了一种创新的方法，通过训练分类器来辅助错误发现，以提高LLMs在推理任务中的性能。