深度学习

前向算预测与 loss、反向算梯度、优化器更新参数——再把这套流程换算成步数：一个 step 跑几次、梯度累积怎么改变次数、epoch 怎么折算，附面试速记版。

从一个只有两个参数的小例子起步：先算链式法则，再推广到多层网络，最后落到计算图与 PyTorch 的 backward。核心不是某条公式，而是「为什么必须从后往前算」。

把梯度下降拆成一条完整推导链：找关联 → 建模型 → 定标准 → 构造损失 → 求偏导 → 合成梯度 → 沿反方向下山。每一步只回答一个问题：现在往哪走、走多远。

从 Sigmoid、Tanh 到 ReLU 家族与 GELU / SwiGLU：梯度消失、神经元死亡，以及 FFN 里到底该用哪个。

微调场景下的前向产物、反向传播机制，以及冻结参数与 LoRA 等不同策略对反向计算图的实际影响。

把 θ ← θ − η∇L(θ) 这行公式拆开，看它落到工程里会分出哪四个问题，再按时间顺序看每一代优化器回答了哪一个。