前两篇讲的 value-based 和 policy gradient 都属于 model-free：它们从不试图理解环境本身，只是在大量试错中总结"什么状态下做什么好"。代价是样本效率极低——DQN 打 Atari 需要上亿帧交互（相当于人类连续玩 40 天），PPO 学会一个简单的机器人步态也要百万级交互。
而人类学开车不需要撞一万次。原因很清楚：我们脑子里有一个世界模型。看到前方有个坑，不用真的开过去才知道会颠，可以先在想象里推演一遍。
这就是 Model-based RL 的全部动机：
与其在真实世界里反复试错，不如先学出环境的动力学 T^,R^\hat{T...
上一篇Value-based 方法结束在一堵墙前面：DQN 家族的所有操作都依赖 argmaxaQ(s,a)\arg\max_a Q(s,a)argmaxaQ(s,a)，而当动作是机械臂的 7 个连续关节力矩时，这个 argmax\arg\maxargmax 变成了一个每一步都要重解的非凸优化问题。
这一篇讲的路线，思路极其直接：
既然我们最终要的就是策略，为什么不直接把策略参数化成 πθ(a∣s)\pi_\theta(a \mid s)πθ(a∣s)，然后对"期望回报"求梯度、做梯度上升？
这就是 Policy gradient（策略梯度） 方法。它...
上一篇强化学习基础的结尾留了一个悬念：那个 20 行的表格 Q-learning 在 4 格走廊上完美收敛，但如果把 Q 表格换成神经网络，"一切都开始不收敛了"。
这篇文章就来讲这条路线：Value-based 方法。它的核心信念极其简洁——
如果我能准确知道"在每个状态下、每个动作的长期价值"，那最优策略就是免费的副产品：π∗(s)=argmaxaQ∗(s,a)\pi^*(s) = \arg\max_a Q^*(s,a)π∗(s)=argmaxaQ∗(s,a)。
问题在于，这个 QQQ 表格在 Atari 里有大约 1010010^{...
假设我们要训练一个模型玩走迷宫：从入口出发，绕过墙壁，最后拿到宝箱。按照监督学习的思路，我们应该准备一批"输入-输出"数据：输入是当前位置，输出是正确的动作。但问题马上来了——谁来提供这个"正确的动作"？ 在迷宫的第一个岔路口，往左还是往右？只有走到终点才知道。更麻烦的是，模型往左走之后，它接下来看到的所有画面都变了，它自己生成了自己的训练数据。
这就是强化学习（Reinforcement Learning, RL）要处理的问题：没有标准答案，只有事后的好坏评价；而且你的每一个决策都会改变你之后面对的世界。 这篇文章会讲清三件事：
强化学习和监督...