无限期强化学习中的折扣问题、价值迭代与策略迭代
1. 折扣问题概述
在强化学习中，折扣问题是一类重要的问题，其中存在一个折扣因子 $\alpha < 1$。使用转移概率符号，贝尔曼方程和价值迭代（VI）算法具有以下形式：
-贝尔曼方程：对于所有 $i = 1, \ldots, n$，有 $J^(i) = \min_{u\in U(i)} \sum_{j=1}^{n} p_{ij}(u) [g(i, u, j) + \alpha J^(j)]$。
-价值迭代算法：对于所有 $i = 1, \ldots, n$ 和任何初始条件 $J_0(1), \ldots, J_0(n)$，VI 算法生成序列 ${J_k}$，其中 $J_{k+1}(i) = \min_{u\in U(i)} \sum_{j=1}^{n} p_{ij}(u) [g(i, u, j) + \alpha J_k(j)]$。
折扣问题可以转换为一个最短路径问题（SSP），我们考虑一个相关的 SSP 问题，涉及状态 $1, \ldots, n$ 以及一个人工终止状态 $t$。从状态 $i \neq t$ 应用控制 $u$ 时，下一个状态是 $j$ 的概率为 $\alpha p_{ij}(u)$，成本为 $g(i, u, j)$；到达 $t$ 的概率为 $1 - \alpha$，成本为 0。
如果在折扣问题和相关的 SSP 问题中使用相同的策略，只要终止尚未发生，两个问题的状态演化由相同的转移概率控制。并且，相关最短路径问题第 $k$ 阶段的预期成本是 $g(i_k, \mu_k(i_k),
