QLoRA 原理图解：三个组件把微调显存压下来

01 QLoRA 在讲什么

QLoRA（Quantized Low-Rank Adaptation）是 LoRA 的量化增强版本，2023 年由华盛顿大学与微软研究院提出。它在 LoRA 的基础上引入 4-bit 量化，在几乎不损失性能的前提下把大语言模型微调的硬件门槛大幅降低，使数十亿参数级别的模型可在单张消费级 GPU（如 RTX 3090 / 4090）上完成高效微调。讲义原文

核心思想同样是一句话：讲义原文 先对预训练模型权重进行 4-bit 量化以压缩显存占用，再在其上应用 LoRA 进行参数高效微调。

放在具体硬件上看这个差别的量级：原片口述 移动端单卡走全参微调连 0.6B 参数都吃力，同一张卡走 QLoRA 则可以调 8B 的模型。

• 全参微调：优化器状态是 32-bit 的全量副本，方框面积最大。
• LoRA：优化器状态大幅缩小（要训的参数少了），但 Base Model 仍要按 16-bit 完整加载——权重冻结也依然要参与前向计算与梯度回流；此外还额外多出 Adaptors（A、B 两个低秩矩阵）这一块显存。
• QLoRA：Base Model 换成 4-bit，这一块的显存面积才是真的降下来。图里从优化器状态牵向 CPU 的洋红虚线，是第三个组件的预示——优化器状态按页在 CPU 与显存之间往返。

02 先把传统 4-bit 量化讲清楚

NF4 是从传统 4-bit 量化发展来的，所以先看基线流程。讲义原文 传统 4-bit 量化通常采用三步：

• 使用权重的最大绝对值（absmax）把权重归一化到区间 [-1, 1]；
• 将该区间均匀划分为 2⁴ = 16 个等距格点；
• 每个权重被映射到最近的格点，并以对应的 4-bit 索引存储。

• 为什么要按组归一：模型参数按 64 个一组切分，每组找自己的 absmax。组内每个权重除以这个 absmax，结果必然落进 [-1, 1]。
• 16 个格点 = 15 个间距：间距 = 2 / 15 ≈ 0.1333，所以格点表从 -1.00 起步、每次加 0.1333。
• 存索引而不是存格点：16 个格点是固定的，直接存格点数值等于没压缩。退一步存它在格点表里的下标（0~15），正好一个 4-bit 二进制数装得下：0000 → 0，1111 → 15。
• 反量化 = 查表 × absmax：索引 9 查到格点 0.2，再乘回该组的 absmax 1.52，得到 0.304。
• 位宽账：量化前 4 个 FP16 权重 = 64 bit；量化后 4×4 bit 索引 = 16 bit，再加一个 16 bit 的 absmax，合计 32 bit。组越大，absmax 被摊得越薄，节省比例越高。

03 NF4：把格点从「等距」改成「等概率」

原片现场讨论出两条路，每条各有代价：

NF4 选了第二条路。讲义原文 将标准正态分布按累积概率均分为若干等概率区间，每个区间选取其中位数值作为该区间的量化代表值。

• 0 附近（数值最集中的地方）格点变密，量化误差显著下降；
• 两端格点变疏，把有限的码位花在真正有数据的地方；
• 格点数不变、位宽不变，仍然是 4 bit 存一个权重。

04 双重量化：连缩放因子一起压

为了让精度可控，通常让每 64 个权重共享一个 32-bit 的缩放因子（absmax）。问题在于模型一大，absmax 的数量就跟着炸。原片口述 以 671B 参数的模型估算：671B ÷ 64 = 10.48B，也就是上百亿个 absmax 常量——它们本身就成了新的显存瓶颈。

做法很直白，讲义原文 把这些高精度的缩放因子以 256 个为一组，使用 8-bit 数据类型做二次量化。原片对它的形容是：这就是个套娃。

适用范围要划清楚：原片口述 双重量化是针对超大模型的优化，不是强制项。一般规模的小模型可以不开，收益有限。

05 分页优化器：优化器状态不再独占显存

瓶颈在优化器状态：Adam 的一阶矩、二阶矩往往比模型权重本身更占显存。即使 LoRA 已经把可训练参数压得很小，优化器状态仍可能撑爆消费级 GPU。

• 效果：显存只需容纳「当前正在使用的」那部分优化器状态，占用随之显著下降。
• 这是个通用套路：原片口述 分页思想在整个计算机领域用得极多，后续讲 VLM 推理时还会再遇到，这里先建立印象即可。

06 三个组件收口