WikiEdge:ArXiv-2407.01219/methods

编辑

这篇文献的工作部分详细介绍了检索增强生成（RAG）技术在提升大型语言模型性能方面的应用。以下是这部分的主要内容：

1. 检索增强生成（Retrieval-Augmented Generation, RAG）：
   • 定义了RAG的概念，即通过检索与查询相关的文档来增强语言模型的生成能力，以提供准确、实时、特定领域的上下文信息。
2. RAG工作流程（RAG Workflow）：
   • 描述了RAG工作流程，包括查询分类、检索、重排序、重新打包、摘要等模块，并对每个模块的常用方法进行了评估和选择。
3. 查询分类（Query Classification）：
   • 介绍了查询分类模块，用于确定是否需要对特定输入查询进行检索增强，以提高信息准确性和减少生成内容的虚构。
4. 检索方法（Retrieval Methods）：
   • 评估了不同的检索方法，包括基于向量数据库的检索和基于语言模型的嵌入检索，以及查询重写和伪文档生成等技术。
5. 重排序策略（Reranking Strategies）：
   • 讨论了重排序策略，使用深度语言模型对检索到的文档进行重新排序，以提高与查询的相关性。
6. 重新打包（Repacking）：
   • 探索了不同的文档重新打包方法，如正向、反向和侧向，以优化文档的排列顺序，从而提高后续处理模块的性能。
7. 摘要技术（Summarization Techniques）：
   • 分析了提取式和抽象式摘要方法，以及它们在减少冗余信息和提高语言模型生成准确性方面的作用。
8. 生成器微调（Generator Fine-tuning）：
   • 研究了微调生成器对提高RAG系统性能的影响，特别是相关和不相关上下文对生成器性能的影响。
9. 多模态扩展（Multimodal Extension）：
   • 讨论了将RAG扩展到多模态应用的可能性，包括文本到图像和图像到文本的检索能力，以及它们在提高内容生成质量和可靠性方面的优势。