저자 GzDRL 동일 시드 PPO 실험 반복

하리데반, 캉, 샨 2026년 사전 인쇄에 GzDRL을 제시합니다. 섹션 V-B, 그림 6 및 표 II는 동일한 시드와 다른 시드를 사용하여 공정 분리된 PPO 실행을 비교합니다. 이 예에서는 CPU에서 출시된 동일 시드 연구 아티팩트를 실행하고 실제 체크포인트 매개변수와 evaluation 반환을 논문과 비교합니다.

Environment.yml에서 격리된 Conda 환경을 만듭니다. 확인된 Linux 빌드는 Environment-explicit.txt에 기록됩니다. Python 패키지는 요구사항-tested.txt에 기록됩니다. 실행 sh fetch-source.sh 활성화된 환경 내부에서 sh run.sh. 소스는 다음에 고정되어 있습니다. 3e5c5f9a62c1160b3b2889e6d34d794a5361e178. 작성자 코드는 MIT이며 별도의 Gazebo 및 번들 EnvPool 종속성 알림이 포함되어 있습니다. LICENSE/THIRD_PARTY_NOTICES 파일을 유지하세요.

이 휴대용 빌드는 작성자의 GCC 11 시스템 설치 대신 conda-forge Gazebo 10.6.0 및 GCC 15를 사용합니다. 기계적 호환성 패치는 22개의 스칼라 바인딩 생성자 호출을 명시적으로 명확하게 합니다. std::tuple; 역학 및 작업 논리는 편집되지 않았습니다. 이 툴체인으로 컴파일하려면 소스에 해당 패치가 필요했습니다. CPU PyTorch 2.7.1 및 Stable Baselines3 2.7.0이 사용되었습니다. 기록 용지 종속성 잠금이 설정되지 않았습니다.

수정되지 않은 작성자 구성은 시드 42, 8개의 환경, 도메인 무작위화 비활성화, 500,000개의 요청 시간 단계 및 50,000단계마다 체크포인트를 사용하여 5개의 독립적인 프로세스를 교육합니다. PPO의 롤아웃 일괄 처리는 501,760개의 실제 시간 단계를 생성합니다. 모든 체크포인트는 저장된 관찰 정규화가 복원 및 동결된 새로운 프로세스에서 20개 이상의 고정 시드 에피소드를 평가합니다. 표 II의 다른 시드 행은 이 실행 외부에 있습니다.

작성자의 실행 전 검사는 초기 관찰, 고정된 전환 순서, 초기 정책, 단일 PPO 업데이트 정책 및 정규화 상태 등 5가지 해시를 모두 통과했습니다. 또한 독립적인 상태-사전 검사를 통해 저장된 12개 체크포인트 위치 모두에서 5회 실행 모두에서 동일한 매개변수가 발견되었습니다. Zip 아카이브 타임스탬프는 해당 매개변수 비교에서 제외됩니다.

이 논문에서는 동일 시드 수익률이 18.43 ± 0.00이고 100% 동일한 체크포인트를 보고했습니다. 5번의 완료된 실행 전체에서 최종 수익률은 전체 실행에서 16.53216975 ± 0.00이었습니다. 각 체크포인트는 20개의 고정 시드 evaluation 에피소드를 수신하여 총 1,200개의 evaluation를 받았습니다. 실행 내 최종 에피소드 반환 SD는 14.98144였습니다. 최종 에피소드 길이의 성공률은 0.55였습니다. 훈련된 매개변수와 evaluation 곡선은 프로세스 전체에서 동일했습니다. 이 실행에서는 체크포인트 결정론 주장이 지원됩니다. 논문의 수치 결과는 재현되지 않습니다. 반올림된 수익에 대한 수용 허용 오차는 없으며 소프트웨어/컴파일러 차이는 여전히 중요합니다.

원시 에피소드 CSV, 실행 전 기록, 독립적인 정책 비교, 효과적인 구성 및 작성자 분석 결과를 보관하세요. 인간의 과학적 검토는 아직 보류 중입니다. 여기에서 실행된 전체 교육/evaluation는 논문과의 불일치를 유지하면서 유용한 실험실 예에 대한 구체적인 증거를 제공합니다.

녹음된 파일을 다운로드하세요#

완전한 실행 기록 · 모든 후보자 시도. 인간의 과학적 검토가 보류 중입니다.

GitHub에서 소스 보기