WikiEdge:ArXiv-2409.02026v1/terms

編輯

這篇文章的術語表如下：

• 大型語言模型（Large Language Models, LLMs）：在自然語言處理領域，用於解決從文本翻譯、摘要到會話AI和自動生成報告等眾多問題的通用框架，通常包含數十或數百億個權重參數。
• 量化（Quantization）：在模型訓練後通過簡化模型的表示來減少計算和存儲需求的方法之一，特別指的是權重和激活的量化。
• 權重修剪（Weight Pruning）：一種模型壓縮技術，通過移除神經網絡中的一些權重來減少模型的大小和計算需求。
• 主成分分析（Principal Component Analysis, PCA）：一種統計方法，用於發現數據中的關鍵特徵，常在量化過程中用於降維。
• 比特深度（Bit Depth）：在量化中，指每個權重或激活值所使用的比特數，影響模型的精度和壓縮效率。
• 梯度上升（Gradient Ascent）：一種優化算法，通過增加導致成本函數上升的參數值來找到最優解。
• 拉格朗日乘數法（Lagrange Multiplier Method）：一種用於解決帶約束優化問題的數學方法，通過引入拉格朗日乘數來平衡原始目標函數和約束條件。
• 對偶上升（Dual Ascent）：一種解決優化問題的方法，通過交替更新原始變量和對偶變量來逐步接近最優解。
• 均勻標量量化（Uniform Scalar Quantization）：一種量化方法，將連續值映射到固定間隔的離散值上。
• 壓縮感知（Compressed Sensing）：一種信號處理理論，表明如果一個信號是稀疏的，那麼可以用遠低於奈奎斯特率的採樣率來重建該信號。