2026年10月28日 · 强化学习强化学习笔记：从策略梯度到 PPO把「让模型表现更好」这个模糊目标，一步步变成一行可以求导、可以写代码的公式：贝尔曼方程 → 轨迹概率 → 策略梯度 → GAE → PPO-clip，附 RLHF 实现细节。