WikiEdge:ArXiv-2409.02026v1/background

編輯

這篇文獻的背景主要集中在以下幾個方面：

1. 大型語言模型（Large Language Models，LLMs）的壓縮需求：
   • 大型語言模型（LLMs）已成為解決自然語言處理中眾多問題的一種通用框架，包括文本翻譯、摘要、對話式人工智能和自動生成報告等。
   • 這些模型通常包含數十億甚至數百億個權重參數，使得它們在資源受限的設備上部署面臨挑戰，因為模型權重和激活不再適合設備內存，需要頻繁地從片外存儲器加載和保存。
   • 這種限制不僅嚴重影響了LLMs在時間敏感任務中的可用性，也加劇了大規模AI基礎設施的環境影響。
2. 模型壓縮技術的發展：
   • 為了降低大型模型的計算和存儲需求，研究者們探索了模型壓縮技術，包括權重剪枝、激活和權重的量化，以及通過主成分分析（PCA）類型的降維方法。
   • 權重和激活的量化特別有用，可以將模型壓縮到非常低的比特深度或任意用戶指定的模型大小，同時保持模型準確性。
3. 量化方法的挑戰：
   • 儘管量化技術取得了進展，但在低比特深度下，當前的權重量化方法常常導致模型準確性嚴重下降。
   • 大多數技術專門為權重量化開發，對於推理期間的激活量化過於複雜，難以應用。
4. 量化框架的提出：
   • 本文提出了一種基於凸優化視角的LLM量化框架，旨在解決現有模型壓縮文獻中的技術空白，並推進LLMs的準確和高效壓縮方法。
   • 作者提出了一種隨機梯度上升型算法，用於在訓練後精確且高效地解決量化問題，該算法在確定最佳比特深度後，幾乎不需要實際進行權重量化的時間。

綜上所述，這篇文獻的背景強調了在資源受限設備上部署大型語言模型的需求，以及現有量化技術的局限性。作者提出了一種新的量化方法，旨在提高模型壓縮的效率和準確性。