重复作者GzDRL同种子PPO实验
哈里德万、康和山 在 2026 年预印本中介绍 GzDRL。 V-B 部分、图 6 和表 II 比较了使用相同和不同种子的过程隔离 PPO 运行。此示例在 CPU 上执行他们发布的同种子研究工件,并将其实际检查点参数和 evaluation 返回与论文进行比较。
从environment.yml 创建一个隔离的conda 环境。检查的Linux构建记录在environment-explicit.txt中; Python包记录在requirements-tested.txt中。运行 sh fetch-source.sh 在激活的环境中,然后 sh run.sh。源固定到 3e5c5f9a62c1160b3b2889e6d34d794a5361e178。作者代码是 MIT,具有单独的 Gazebo 和捆绑的 EnvPool 依赖项通知。保留其 LICENSE/THIRD_PARTY_NOTICES 文件。
此便携式构建使用 conda-forge Gazebo 10.6.0 和 GCC 15,而不是作者的 GCC 11 系统安装。机械兼容性补丁通过显式消除了 22 个标量绑定构造函数调用的歧义 std::tuple;动态和任务逻辑未编辑。源代码需要该补丁才能使用此工具链进行编译。使用 CPU PyTorch 2.7.1 和 Stable Baselines3 2.7.0。历史纸张依赖锁未建立。
未经修改的作者配置训练五个独立进程,种子为 42,八个环境,禁用域随机化,请求 500,000 个时间步长,每 50,000 个步长检查点。 PPO 的推出批处理产生 501,760 个实际时间步。每个检查点都会在新的过程中评估 20 多个固定种子事件,并恢复和冻结保存的观察标准化。表 II 的不同种子行不在本次运行中。
作者的飞行前检查通过了所有五个哈希值:初始观察、固定转换序列、初始策略、一次 PPO 更新策略和标准化状态。独立的状态字典检查还发现所有 12 个保存的检查点位置的所有五次运行中的参数相同。 Zip 存档时间戳不包含在该参数比较中。
该论文报告了同种子返回 18.43 ± 0.00 和 100% 相同的检查点。在所有五次已完成的运行中,运行的最终回报为 16.53216975 ± 0.00。每个检查点收到 20 个固定种子 evaluation 集,总计 1,200 个 evaluation。运行内最后一集返回 SD 为 14.98144;最终剧集长度的成功率为 0.55。训练后的参数和 evaluation 曲线在整个过程中是相同的。这次运行支持了检查点确定性主张;论文中的数值回报没有被复制。对其四舍五入的返回值没有发明的接受容差,并且软件/编译器差异仍然很大。
保留原始剧集 CSV、预检记录、独立策略比较、有效配置和作者分析输出。人类科学审查仍有待进行。此处运行的完整训练/evaluation 为有用的实验室示例提供了具体证据,同时保留了与论文的分歧。
下载录制文件#
- checkpoint_variability.csv — 原生分析/evaluation 数据。
- table_training_reproducibility.tex — 原生分析/evaluation 数据。
- fig_training_variability.png — 原生分析/evaluation 数据。
- training_reproducibility_summary.csv — 原生分析/evaluation 数据。
- final_run_statistics.csv — 原生分析/evaluation 数据。
- fig_training_reproducibility.png — 原生分析/evaluation 数据。
- fig_training_reproducibility.svg — 原生分析/evaluation 数据。
- analysis_manifest.json — 原生分析/evaluation 数据。
- checkpoint_run_statistics.csv — 原生分析/evaluation 数据。
- fig_training_variability.svg — 原生分析/evaluation 数据。
- determinism_check.json — 原生分析/evaluation 数据。
- effective_config.json — 原生分析/evaluation 数据。
- gazebo-independent-policy-comparison.json — 原生分析/evaluation 数据。
- gazebo-comparison.json — 原生分析/evaluation 数据。
- checkpoint_evaluations.csv — 原生分析/evaluation 数据。
- monitor.csv — 原生分析/evaluation 数据。
- metadata.json — 原生分析/evaluation 数据。
- checkpoint_250000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_100000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_50000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_500000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_501760_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_450000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_0_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_350000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_200000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_300000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_400000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_150000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_evaluations.csv — 原生分析/evaluation 数据。
- monitor.csv — 原生分析/evaluation 数据。
- metadata.json — 原生分析/evaluation 数据。
- checkpoint_250000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_100000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_50000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_500000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_501760_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_450000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_0_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_350000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_200000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_300000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_400000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_150000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_evaluations.csv — 原生分析/evaluation 数据。
- monitor.csv — 原生分析/evaluation 数据。
- metadata.json — 原生分析/evaluation 数据。
- checkpoint_250000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_100000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_50000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_500000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_501760_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_450000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_0_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_350000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_200000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_300000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_400000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_150000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_evaluations.csv — 原生分析/evaluation 数据。
- monitor.csv — 原生分析/evaluation 数据。
- metadata.json — 原生分析/evaluation 数据。
- checkpoint_250000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_100000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_50000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_500000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_501760_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_450000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_0_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_350000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_200000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_300000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_400000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_150000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_evaluations.csv — 原生分析/evaluation 数据。
- monitor.csv — 原生分析/evaluation 数据。
- metadata.json — 原生分析/evaluation 数据。
- checkpoint_250000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_100000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_50000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_500000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_501760_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_450000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_0_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_350000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_200000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_300000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_400000_episodes.csv — 原生分析/evaluation 数据。
- checkpoint_150000_episodes.csv — 原生分析/evaluation 数据。
- model_501760_steps.zip — 训练有素的政策/规范化器。
- model_vecnormalize_501760_steps.pkl — 训练有素的政策/规范化器。
- run.sh — 便携式驱动程序或环境/源记录。
- environment.yml — 便携式驱动程序或环境/源记录。
- requirements.txt — 便携式驱动程序或环境/源记录。
- compatibility.patch — 便携式驱动程序或环境/源记录。
- fetch-source.sh — 便携式驱动程序或环境/源记录。
- config.json — 便携式驱动程序或环境/源记录。
- requirements-tested.txt — 便携式驱动程序或环境/源记录。
- environment-explicit.txt — 便携式驱动程序或环境/源记录。