马尔可夫决策过程（MDP）：RL 的数学骨架
本文基于模型知识整理（生成时未联网核对），关键结论建议对照 Sutton & Barto 教材复核。
一句话定义
MDP 用五元组 $(\mathcal{S}, \mathcal{A}, P, R, \gamma)$ 形式化序贯决策：状态集合、动作集合、转移概率 $P(s'|s,a)$、奖励函数 $R(s,a)$ 与折扣因子 $\gamma$；其灵魂是马尔可夫性——未来只依赖当前状态，不依赖更早的历史。
为什么重要
MDP 是所有 RL 算法的共同前提：贝尔曼方程（kp-004）建立在它之上，"状态设计得好不好"直接决定问题可不可解。把真实问题翻译成 MDP（状态里放什么、奖励怎么定、γ 取多少）是 RL 工程的第一步也是最重要的一步。
前置知识
kp-001；条件概率与期望。
核心概念
- 状态 $S_t$：对决策有用的环境信息摘要。可以是原始观测（像素）或工程化特征。
- 动作 $A_t$：智能体的选择，离散（上下左右）或连续（力矩）。
- 转移核 $P(s'|s,a) = \Pr(S_{t+1}=s' \mid S_t=s, A_t=a)$：环境的动力学；大多数实际问题未知（无模型设定）。
- 奖励 $R(s,a)$ 或 $R(s,a,s')$：每步的即时反馈。
- 折扣因子 $\gamma \in [0,1)$：未来奖励的现值权重（详见 kp-003）。
- 马尔可夫性：$\Pr(S_{t+1} \mid S_t, A_t) = \Pr(S_{t+1} \mid S_t, A_t, S_{t-1}, A_{t-1}, \dots)$。
原理与机制
为什么马尔可夫性如此重要：它让"最优决策"成为"当前状态的函数"而非"整段历史的函数"——值函数与策略才有定义域 $s$；贝尔曼方程才能成立（递归把未来压缩进当前状态）。马尔可夫性不满足时（部分可观测，POMDP），工程解法是把历史压进状态：堆叠最近 k 帧、RNN/Transformer 记忆（Atari 堆 4 帧是经典例子）。
状态设计是建模核心：状态要满足① 信息充分（马尔可夫近似成立，如速度与位置都给，否则同样的"位置"下一步走向完全不同）；② 尽量小（维度灾难影响函数逼近难度）。"同样的 s 却有不同未来"是状态缺信息的信号；"不同 s 行为相同"是冗余。
episode 型与持续型任务：有终止状态（棋局、游戏）叫 episodic，回报为有限和；无终止（库存控制）叫 continuing，用折扣或平均奖励定义目标。两者在算法实现上的差异（bootstrapping 边界、终止 mask）常是 bug 源（kp-029）。
图示
R_{t+1}, S_{t+1}
s ──a──► [环境 P(s'|s,a)]
◄────────────────────
马尔可夫性: s' 只看 (s, a)，与更早历史无关
目标: 找 π 使 E[Σ_{t≥0} γ^t R_{t+1}] 最大实例或案例
- 迷宫：状态=坐标（若速度重要还要加速度），动作=四方向，奖励=-1/步（鼓励最短路径），γ=0.99。
- 股票交易建模：状态=持仓+价格窗口，动作=买卖持有，奖励=盈亏——注意"下期开盘不可预知"由转移核表达。
- 自动驾驶：状态=自车运动学+周边目标轨迹特征；"只有自车位置"则严重非马尔可夫。
常见误区
- 误区一："MDP 要求环境真的无记忆"。不要求——它要求状态表示携带足够信息使近似成立；记忆不足就扩充状态（帧堆叠/记忆网络）。
- 误区二："奖励函数随便设设就行"。奖励是唯一监督信号，稠密/稀疏、正负号与尺度直接决定学习难易与 hacking 面（kp-027、kp-029）。
- 误区三："γ 只是数值细节"。γ 同时是数学上的收敛保证（<1 保证无穷和有界）、时间偏好（kp-003）与有效视野（1/(1-γ)）——改变它等于改变问题本身。
与其他知识点的关系
自测题
- 马尔可夫性的精确表述与作用？
答：$\Pr(s_{t+1}|s_t,a_t) = \Pr(s_{t+1}|s_0,a_0,\dots,s_t,a_t)$；它使最优决策只依赖当前状态，值函数与贝尔曼递归才能成立。
- 状态缺信息有什么症状、怎么补？
答：症状是"同一状态不同走向"（策略学不动、值震荡）；补法是加入速度/动量等特征或堆叠历史帧/使用记忆网络。
- episodic 与 continuing 任务的目标定义有何不同？
答：episodic 用有限回报和（终止即结算）；continuing 用折扣无穷和（γ<1 保证有界）或平均奖励。
延伸阅读
- Sutton & Barto 教材第 3 章（MDP）。
- David Silver 课程 Lecture 2。
- Kaelbling 等, "Partially Observable MDPs"（POMDP 综述）。