强化学习 03：Bellman Optimality Equation

最优值函数

最优状态值函数是在所有策略中能够取得的最大期望回报：

V^*(s)=\max_\pi V^\pi(s)

最优动作值函数为：

Q^*(s,a)=\max_\pi Q^\pi(s,a)

如果知道 $Q^*$ ，便可以直接构造一个确定性最优策略：

\pi^*(s)\in\arg\max_a Q^*(s,a)

最优状态价值满足：

V^*(s) =\max_a\sum_{s',r}p(s',r\mid s,a) \left[r+\gamma V^*(s')\right]

与 Bellman 期望方程相比，策略对动作的加权平均被最大化操作替代。它表达了最优性原则：如果当前选择了最优动作，那么此后也必须从下一状态开始继续采取最优决策。

最优动作价值满足：

Q^*(s,a) =\sum_{s',r}p(s',r\mid s,a) \left[r+\gamma\max_{a'}Q^*(s',a')\right]

二者之间有：

V^*(s)=\max_a Q^*(s,a)

定义 Bellman 最优算子：

(\mathcal{T}^*V)(s) =\max_a\mathbb{E} \left[R_{t+1}+\gamma V(S_{t+1}) \mid S_t=s,A_t=a\right]

于是：

V^*=\mathcal{T}^*V^*

当 $\gamma<1$ 时， $\mathcal{T}^*$ 同样是压缩映射，因此 $V^*$ 是唯一不动点。这为值迭代的收敛性提供了基础。

固定策略的 Bellman 方程在线性 MDP 中可以写成线性方程组，而 Bellman 最优方程包含 $\max$ ，因此通常是非线性的，不能直接通过一次矩阵求逆得到解。

常见求解思路是反复执行：

V_{k+1}(s) \leftarrow \max_a\sum_{s',r}p(s',r\mid s,a) \left[r+\gamma V_k(s')\right]

直到值函数变化足够小，再从最终值函数中提取贪心策略。

需要区分两个事实：

如果一个策略对 $V^*$ 是贪心的，那么它就是最优策略：

\pi(s)\in\arg\max_a \mathbb{E} \left[R_{t+1}+\gamma V^*(S_{t+1})\mid s,a\right]

Bellman 最优方程本身假设可以计算环境期望。当转移概率和奖励模型已知时，可以使用动态规划；模型未知时，则用样本近似期望。Q-learning 的更新目标

R_{t+1}+\gamma\max_{a'}Q(S_{t+1},a')

就是 Bellman 最优方程的一次采样版本。

Bellman Equation 评估一个给定策略，Bellman Optimality Equation 则直接描述最优价值。两者的差别集中在“按策略求平均”和“对动作取最大值”之间，这也对应策略评估与策略改进两个核心步骤。