强化学习 02：Bellman Equation

从回报的递归形式开始

折扣回报可以拆成当前一步奖励与下一时刻回报：

\begin{aligned} G_t &=R_{t+1}+\gamma R_{t+2}+\gamma^2R_{t+3}+\cdots \\ &=R_{t+1}+\gamma G_{t+1} \end{aligned}

Bellman Equation 的关键思想正是这种“一步展开”：一个状态的长期价值，等于即时奖励加上下一状态价值的折扣期望。

对固定策略 $\pi$ ，状态值函数满足：

V^\pi(s) =\sum_a\pi(a\mid s) \sum_{s',r}p(s',r\mid s,a) \left[r+\gamma V^\pi(s')\right]

这个方程包含三层平均：

也可以简写为：

V^\pi(s)=\mathbb{E}_\pi \left[R_{t+1}+\gamma V^\pi(S_{t+1})\mid S_t=s\right]

动作值函数固定了第一步动作，因此有：

Q^\pi(s,a) =\sum_{s',r}p(s',r\mid s,a) \left[ r+\gamma\sum_{a'}\pi(a'\mid s')Q^\pi(s',a') \right]

状态值与动作值之间还满足：

Q^\pi(s,a) =\mathbb{E}\left[R_{t+1}+\gamma V^\pi(S_{t+1}) \mid S_t=s,A_t=a\right]

定义策略 $\pi$ 对应的 Bellman 算子：

(\mathcal{T}^\pi V)(s) =\mathbb{E}_\pi \left[R_{t+1}+\gamma V(S_{t+1})\mid S_t=s\right]

Bellman 方程可以写成不动点形式：

V^\pi=\mathcal{T}^\pi V^\pi

当 $\gamma<1$ 时， $\mathcal{T}^\pi$ 在最大范数下是压缩映射：

\|\mathcal{T}^\pi V-\mathcal{T}^\pi U\|_\infty \le \gamma\|V-U\|_\infty

因此它具有唯一不动点。从任意初始值函数开始反复应用该算子，都会收敛到 $V^\pi$ 。

对有限状态 MDP，若 $P^\pi$ 是策略诱导的状态转移矩阵， $r^\pi$ 是期望即时奖励向量，则：

V^\pi=r^\pi+\gamma P^\pi V^\pi

理论上可以直接求解：

V^\pi=(I-\gamma P^\pi)^{-1}r^\pi

但状态数量很大时，矩阵求逆代价高且可能无法存储，因此实践中更常使用迭代方法或采样方法。

Bellman Equation 将一个无限时间跨度的目标转化为局部的一步递归关系。动态规划、Monte Carlo、Temporal-Difference Learning 以及许多深度强化学习算法，都可以看作是在用不同方式逼近这个方程的解。