重复作者GzDRL同种子PPO实验

哈里德万、康和山 在 2026 年预印本中介绍 GzDRL。 V-B 部分、图 6 和表 II 比较了使用相同和不同种子的过程隔离 PPO 运行。此示例在 CPU 上执行他们发布的同种子研究工件,并将其实际检查点参数和 evaluation 返回与论文进行比较。

从environment.yml 创建一个隔离的conda 环境。检查的Linux构建记录在environment-explicit.txt中; Python包记录在requirements-tested.txt中。运行 sh fetch-source.sh 在激活的环境中,然后 sh run.sh。源固定到 3e5c5f9a62c1160b3b2889e6d34d794a5361e178。作者代码是 MIT,具有单独的 Gazebo 和捆绑的 EnvPool 依赖项通知。保留其 LICENSE/THIRD_PARTY_NOTICES 文件。

此便携式构建使用 conda-forge Gazebo 10.6.0 和 GCC 15,而不是作者的 GCC 11 系统安装。机械兼容性补丁通过显式消除了 22 个标量绑定构造函数调用的歧义 std::tuple;动态和任务逻辑未编辑。源代码需要该补丁才能使用此工具链进行编译。使用 CPU PyTorch 2.7.1 和 Stable Baselines3 2.7.0。历史纸张依赖锁未建立。

未经修改的作者配置训练五个独立进程,种子为 42,八个环境,禁用域随机化,请求 500,000 个时间步长,每 50,000 个步长检查点。 PPO 的推出批处理产生 501,760 个实际时间步。每个检查点都会在新的过程中评估 20 多个固定种子事件,并恢复和冻结保存的观察标准化。表 II 的不同种子行不在本次运行中。

作者的飞行前检查通过了所有五个哈希值:初始观察、固定转换序列、初始策略、一次 PPO 更新策略和标准化状态。独立的状态字典检查还发现所有 12 个保存的检查点位置的所有五次运行中的参数相同。 Zip 存档时间戳不包含在该参数比较中。

该论文报告了同种子返回 18.43 ± 0.00 和 100% 相同的检查点。在所有五次已完成的运行中,运行的最终回报为 16.53216975 ± 0.00。每个检查点收到 20 个固定种子 evaluation 集,总计 1,200 个 evaluation。运行内最后一集返回 SD 为 14.98144;最终剧集长度的成功率为 0.55。训练后的参数和 evaluation 曲线在整个过程中是相同的。这次运行支持了检查点确定性主张;论文中的数值回报没有被复制。对其四舍五入的返回值没有发明的接受容差,并且软件/编译器差异仍然很大。

保留原始剧集 CSV、预检记录、独立策略比较、有效配置和作者分析输出。人类科学审查仍有待进行。此处运行的完整训练/evaluation 为有用的实验室示例提供了具体证据,同时保留了与论文的分歧。

下载录制文件#

完整的运行记录 · 所有候选人的尝试。人类科学审查正在等待中。

查看 GitHub 上的源代码