WikiEdge:ArXiv-2409.02026v1/terms

编辑

这篇文章的术语表如下：

• 大型语言模型（Large Language Models, LLMs）：在自然语言处理领域，用于解决从文本翻译、摘要到会话AI和自动生成报告等众多问题的通用框架，通常包含数十或数百亿个权重参数。
• 量化（Quantization）：在模型训练后通过简化模型的表示来减少计算和存储需求的方法之一，特别指的是权重和激活的量化。
• 权重修剪（Weight Pruning）：一种模型压缩技术，通过移除神经网络中的一些权重来减少模型的大小和计算需求。
• 主成分分析（Principal Component Analysis, PCA）：一种统计方法，用于发现数据中的关键特征，常在量化过程中用于降维。
• 比特深度（Bit Depth）：在量化中，指每个权重或激活值所使用的比特数，影响模型的精度和压缩效率。
• 梯度上升（Gradient Ascent）：一种优化算法，通过增加导致成本函数上升的参数值来找到最优解。
• 拉格朗日乘数法（Lagrange Multiplier Method）：一种用于解决带约束优化问题的数学方法，通过引入拉格朗日乘数来平衡原始目标函数和约束条件。
• 对偶上升（Dual Ascent）：一种解决优化问题的方法，通过交替更新原始变量和对偶变量来逐步接近最优解。
• 均匀标量量化（Uniform Scalar Quantization）：一种量化方法，将连续值映射到固定间隔的离散值上。
• 压缩感知（Compressed Sensing）：一种信号处理理论，表明如果一个信号是稀疏的，那么可以用远低于奈奎斯特率的采样率来重建该信号。