stable-baselines3

Stable Baselines3 (SB3) 是一个基于 PyTorch 的强大强化学习库，提供包括 PPO、SAC、DQN、TD3、DDPG 和 A2C 等热门算法的可靠实现。此技能专为从事序列决策任务、机器人技术或复杂环境模拟的研究人员和工程师所设计。它允许用户通过类 scikit-learn 的简化 API 快速进行智能体训练原型开发，同时保持深度学习研究所需的灵活性。本技能涵盖强化学习的完整生命周期，从初始环境设置和策略选择，到进阶训练诊断与模型持久化。

• 完整支持热门算法：PPO、A2C（通用型）、SAC、TD3（连续控制）、DQN（离散型）以及 HER（目标条件型）。

• 精简的自定义 Gymnasium 兼容环境创建流程，附带内置验证工具以检查观察值与动作空间规范。

• 进阶训练功能，包括向量化环境 (DummyVecEnv, SubprocVecEnv)，可最大化 CPU 利用率并进行并行模拟。

• 全面的回调函数管理系统，用于监控训练指标、设置模型存档点、依据奖励阈值实现提前停止，以及执行自定义训练逻辑。

• 标准化的模型持久化机制，用于保存/加载智能体、归一化统计数据，以及与 PyTorch 状态字典交互。

• 用于量化模型效能的评估工具，可测量平均奖励及标准差，并支持确定性评估。

• 优先选择 PPO/A2C 应对多重处理需求与通用稳定性，而在连续控制应用中应选用 SAC/TD3 以提高样本效率。

• 在开始长时间训练之前，请务必使用 check_env() 以确保自定义环境符合所有 Gymnasium 限制。

• 处理向量化环境时，请注意 step() 的返回值与单一环境逻辑不同（返回 4 元组）；终端观察值需通过 info 字典访问。

• model.save() 不会保存回放缓冲区 (replay buffer) 以节省磁盘空间；请确保通过类方法而非实例方法正确加载模型。

• 当对离线策略算法使用多个环境时，建议将 gradient_steps 设为 -1，以维持样本效率与实际运行时间之间的平衡。