不空谈概念，交付能上线的 AI。10 年开发经验，贯通后端、大数据、大模型，专注 AI 大模型应用开发：RAG / GraphRAG、Agent 工作流、Text2SQL、微调与评测。https://llmnex.topzh-CNWed, 23 Sep 2026 07:55:20 GMThttps://llmnex.top/distributed-training-algorithmshttps://llmnex.top/distributed-training-algorithms数据并行、流水线并行、张量并行、专家并行与 ZeRO——逐个说清楚切的是什么、代价落在哪，以及面试里该怎么说。Wed, 23 Sep 2026 09:00:00 GMT分布式训练分布式训练数据并行流水线并行张量并行ZeROhttps://llmnex.top/zero-3-core-flowhttps://llmnex.top/zero-3-core-flow参数、梯度、优化器状态全部按卡数切开，每卡只留 1/N；哪一层要用就临时把参数拼回来，算完立刻释放。Wed, 23 Sep 2026 08:50:00 GMT分布式训练ZeRO分布式训练显存优化数据并行https://llmnex.top/ring-allreduce-core-flowhttps://llmnex.top/ring-allreduce-core-flow梯度切成 N 块、N 张卡排成环，两轮各走 N−1 步：每卡只搬约 2 份梯度大小的数据，就能拿到全量梯度之和。Wed, 23 Sep 2026 08:40:00 GMT分布式训练Ring AllReduce集合通信数据并行分布式训练https://llmnex.top/lorahttps://llmnex.top/lora冻结原权重，只训练两个小矩阵 A(d×r) 与 B(r×k) 去逼近 ΔW，可训练参数从 dk 降到 r(d+k)：挂在哪、秩 r 怎么选。Wed, 23 Sep 2026 08:30:00 GMT参数高效微调LoRAPEFT低秩分解微调https://llmnex.top/qlorahttps://llmnex.top/qlora4-bit 量化冻结基座 + 16-bit LoRA 适配器，按「传统量化 → NF4 → 双重量化 → 分页优化器」的顺序逐层拆开。Wed, 23 Sep 2026 08:20:00 GMT参数高效微调QLoRA量化NF4PEFT显存优化https://llmnex.top/positional-encodinghttps://llmnex.top/positional-encoding从 X = E + P 走到 RoPE：为什么 Self-Attention 天生看不见顺序，位置信息又如何只靠点积留下相对距离。Wed, 23 Sep 2026 08:10:00 GMT模型原理位置编码RoPETransformerAttentionhttps://llmnex.top/activation-functionshttps://llmnex.top/activation-functions从 Sigmoid、Tanh 到 ReLU 家族与 GELU / SwiGLU：梯度消失、神经元死亡，以及 FFN 里到底该用哪个。Wed, 23 Sep 2026 08:00:00 GMT模型原理激活函数ReLUGELUSwiGLUFFNhttps://llmnex.top/forward-and-backwardhttps://llmnex.top/forward-and-backward微调场景下的前向产物、反向传播机制，以及冻结参数与 LoRA 等不同策略对反向计算图的实际影响。Wed, 23 Sep 2026 07:50:00 GMT模型原理前向传播反向传播计算图微调https://llmnex.top/gradient-descent-and-optimizershttps://llmnex.top/gradient-descent-and-optimizers把 θ ← θ − η∇L(θ) 这行公式拆开，看它落到工程里会分出哪四个问题，再按时间顺序看每一代优化器回答了哪一个。Wed, 23 Sep 2026 07:40:00 GMT模型原理梯度下降SGDAdamAdamWMuon