标签：显存优化

参数、梯度、优化器状态全部按卡数切开，每卡只留 1/N；哪一层要用就临时把参数拼回来，算完立刻释放。

4-bit 量化冻结基座 + 16-bit LoRA 适配器，按「传统量化 → NF4 → 双重量化 → 分页优化器」的顺序逐层拆开。