深度 RL 工程基础：Gymnasium、向量化环境与复现

本文基于模型知识整理（生成时未联网核对），关键结论建议对照 Gymnasium 官方文档复核。

一句话定义

RL 工程的地基是标准环境接口（Gymnasium 的 reset/step API）、向量化并行环境（一次交互一批环境，GPU 食喂率的关键）、以及从第一天就建立的复现纪律（固定种子、记录超参与代码版本、检查点）——RL 的"实验管理"负担比监督学习重一个量级。

为什么重要

深度 RL 的实验迭代成本极高（一个 Atari 跑数小时到数天），且结果方差大（kp-030）——没有工程纪律的团队会陷入"改了不知道有没有用、崩了不知道为什么"的循环。本条是 kp-029（调参）与 kp-030（评估）的物理基础。

前置知识

kp-002（环境交互循环）、Python/PyTorch 基础。

核心概念

• Gymnasium API（OpenAI Gym 的继任者）：obs, info = env.reset(seed=42)；obs, reward, terminated, truncated, info = env.step(action)——terminated（任务真结束）与 truncated（超时截断）必须区分：截断时 bootstrap 价值、终止时不 bootstrap（kp-010 的 (1−d) 细节；混用是经典 bug）。
• 向量化环境：SyncVectorEnv（串行批量）与 AsyncVectorEnv（子进程并行）——每步同时推进 N 个环境，把 GPU 的等待时间填满；PPO 的 rollout 长度按"每环境步数 × 环境数"计。
• 动作与观测空间：Discrete/Box/MultiDiscrete 决定网络头的设计；环境包装器（wrapper）链式处理（帧跳、灰度、stack、clip reward——Atari 预处理全家桶）。
• 复现三件套：种子全埋点（python/numpy/torch/环境）、配置快照（git commit + 超参 JSON）、检查点与重放（最优模型 + 训练曲线落盘）。
• 监控：episode 回报（训练与评估分线）、episode 长度、损失、熵、KL、价值损失——TensorBoard/W&B 常驻。

原理与机制

吞吐量决定实验节奏：深度 RL 的时间大头是环境交互（CPU 密集）而非网络前反向——向量化 N 个环境可把 GPU 利用率从 <10% 提到 60%+；进一步提速靠 env pooling/子进程数调优，或改用 JAX 系环境（brax/envpool，把环境也搬进 GPU）。工程第一课：先测 steps/second，再谈算法。

评估环境与训练环境隔离：训练中的 episode 回报受探索噪声污染（ε-greedy 下的成绩 ≠ 贪心成绩）；必须定期用无探索的评估策略跑独立环境——评估环境的种子也要固定以便曲线可比（kp-030 的前提）。

确定性不是全有全无：即使种子全固定，GPU 非确定性算子（原子加法、cuDNN）仍会引入微差，RL 的混沌放大（kp-012）使其长成巨差——复现的诚实目标是"同配置同分布"，不是"同结果"。

图示

向量化训练循环:
for step in rollout_len:
    actions = policy(obs_batch)              # GPU: 一次前向
    obs_batch, rewards, dones = vec_env.step(actions)  # N 环境并行
    buffer.store(obs_batch, actions, rewards, next_obs, dones)
# rollout 结束 → GAE → 多 epoch 更新 (PPO)
监控: train_return / eval_return / entropy / KL / loss 分线记录

直观类比

RL 实验室像天文台：单次观测（一次训练）噪声巨大，必须"多镜联动"（向量化环境）、"记录所有条件"（种子/版本/超参）、"长期巡天"（多种子重复）才能从噪声中读出信号。工具用错，再好的理论也看不见。

实例或案例

• 最小工作栈：Gymnasium + stable-baselines3（内置向量化与日志）→ 一天内跑通 PPO@CartPone→Pendulum 阶梯。
• 性能对比：SyncVectorEnv(8) vs 单环境，同样 PPO 训练时间缩短 ~6 倍——向量化是免费的午餐（算法未动）。

常见误区

• 误区一："terminated 和 truncated 随便用"。超时截断不 bootstrap 会系统性低估价值（把它当失败），两者混用是 DQN/PPO 实现 bug 榜第一。
• 误区二："只看训练奖励曲线"。探索噪声、环境随机性都会画好看的曲线；无评估环境的曲线不可信（kp-030）。
• 误区三："记录了奖励就够了"。熵、KL、价值损失、比率贴边率是诊断仪（学习率过大/熵坍缩/目标失准都先在诊断量上显形，kp-029）。

与其他知识点的关系

• kp-010/017：terminated/truncated 处理直接作用于目标计算。
• kp-015：并行环境降低梯度方差的理论在工程上就是向量化。
• kp-029/030：调参与评估的物理载体。

自测题

1. Gymnasium 里 terminated 与 truncated 的区别？各自的 bootstrap 处理？

答：terminated=环境真终止（无未来，目标不 bootstrap）；truncated=超时截断（有未来，目标应 bootstrap V(s')）；混用会系统性偏差价值估计。

1. 向量化环境为什么能大幅提速？

答：把 N 个环境批量推进，GPU 一次前向服务一批数据，填满等待时间；RL 瓶颈在 CPU 交互而非网络计算。

1. 深度 RL 复现为什么连固定种子也难完全复现？

答：GPU 非确定性算子引入微差，RL 的混沌动力学（致命三角 kp-012）把微差放大；诚实目标是同配置同分布。

延伸阅读

• Gymnasium 官方文档（API 与 wrapper 生态）。
• stable-baselines3 / CleanRL 源码（CleanRL 的"单文件可读实现"是学工程的范本）。
• Huang 等, "Deep Reinforcement Learning that Matters"（复现性经典论文）。