标签：SwiGLU

从 Sigmoid、Tanh 到 ReLU 家族与 GELU / SwiGLU：梯度消失、神经元死亡，以及 FFN 里到底该用哪个。