WikiEdge:ArXiv-2407.01219/methods

編輯

這篇文獻的工作部分詳細介紹了檢索增強生成（RAG）技術在提升大型語言模型性能方面的應用。以下是這部分的主要內容：

1. 檢索增強生成（Retrieval-Augmented Generation, RAG）：
   • 定義了RAG的概念，即通過檢索與查詢相關的文檔來增強語言模型的生成能力，以提供準確、實時、特定領域的上下文信息。
2. RAG工作流程（RAG Workflow）：
   • 描述了RAG工作流程，包括查詢分類、檢索、重排序、重新打包、摘要等模塊，並對每個模塊的常用方法進行了評估和選擇。
3. 查詢分類（Query Classification）：
   • 介紹了查詢分類模塊，用於確定是否需要對特定輸入查詢進行檢索增強，以提高信息準確性和減少生成內容的虛構。
4. 檢索方法（Retrieval Methods）：
   • 評估了不同的檢索方法，包括基於向量數據庫的檢索和基於語言模型的嵌入檢索，以及查詢重寫和偽文檔生成等技術。
5. 重排序策略（Reranking Strategies）：
   • 討論了重排序策略，使用深度語言模型對檢索到的文檔進行重新排序，以提高與查詢的相關性。
6. 重新打包（Repacking）：
   • 探索了不同的文檔重新打包方法，如正向、反向和側向，以優化文檔的排列順序，從而提高後續處理模塊的性能。
7. 摘要技術（Summarization Techniques）：
   • 分析了提取式和抽象式摘要方法，以及它們在減少冗餘信息和提高語言模型生成準確性方面的作用。
8. 生成器微調（Generator Fine-tuning）：
   • 研究了微調生成器對提高RAG系統性能的影響，特別是相關和不相關上下文對生成器性能的影響。
9. 多模態擴展（Multimodal Extension）：
   • 討論了將RAG擴展到多模態應用的可能性，包括文本到圖像和圖像到文本的檢索能力，以及它們在提高內容生成質量和可靠性方面的優勢。