재현한 신뢰구간이 같은 실행을 두 번 셀 때

방법론 노트. 사람의 과학적 검토와 외부 재실행이 남아 있습니다.

독립 재실행 패킷 다운로드 · 버전이 고정된 환경 설정 및 실행 지침 읽기

OSRI 시뮬레이션 랩은 작업 프로세스 두 개로 단일 서버 대기열의 공개 R 코드를 실행했습니다. 평균 0.4974943과 95% 신뢰구간 [0.4868269, 0.5081617]을 논문에 표시된 자릿수까지 재현했습니다. 저장된 반복 실행 평균 100개는 연속된 50쌍을 이루었고 각 쌍의 두 값은 같았습니다. 각 쌍에서 하나만 사용하면 추정값은 같고 구간은 44% 넓어집니다. 4.2절에는 시드와 병렬 호출이 제시되어 있습니다. 논문의 결과에 사용된 작업 프로세스 수는 확인되지 않았습니다. Ucar, Smeets 및 Azcorra (2019), 4.2절과 R 보충 자료 · OSRI 실행 가이드

쌍이 생긴 이유#

simmer 예제는 도착률이 2이고 서비스율이 4인 M/M/1 대기열을 모의합니다. 각 실행은 빈 시스템에서 시작하여 500 시간 단위 후에 끝납니다. 논문은 시간에 따라 시스템에 있는 고객 수의 평균을 설명합니다. R 코드는 각 실행에서 떠난 고객의 출발 시각에서 도착 시각을 뺀 값의 평균을 구합니다. 이 대기열의 정상상태 평균 체류 시간은 0.5 시간 단위이고 평균 고객 수는 1명입니다. 공개 R 보충 자료

공개 코드에서는 시드를 1234로 설정하고 병렬 호출에서 시드 재설정을 끕니다. OSRI의 작업 프로세스 두 개는 동일한 난수 상태를 상속했습니다. 별도의 두 실행 진단에서는 두 프로세스의 처리를 마친 고객 기록을 비교했으며 모든 열이 같았습니다. 전체 100회 실행은 반복별 평균을 보존했고 50쌍 모두 쌍 내 값이 같았습니다. 시드 상속에 관한 R 문서 · 두 작업 프로세스 진단

t 검정은 100개 값이 모두 독립이라고 가정해 표준오차를 계산했습니다. 두 복사본을 모두 세는 효과를 확인하기 위해 저장된 반복 데이터의 1, 3, …, 99행에 같은 t 검정을 적용했습니다. 그 결과 얻은 95% 구간 [0.4821378, 0.5128508]은 중복이 이 실행의 구간을 얼마나 좁혔는지 보여 줍니다. 더 넓은 구간을 명목상 95% 수준으로 해석하려면 선택한 실행들의 독립성 등 t 구간의 가정이 충족되어야 합니다. 저장된 반복 실행 평균

서로 다른 시드를 사용한 점검#

랩은 같은 모델과 실행 시간을 유지하고 새로운 실행 100개에 시드 10001–10100을 할당했습니다. 시스템 내 평균 체류 시간은 0.49806이었고 97.5% t 구간은 [0.48819, 0.50793]이었습니다. 시간 가중 평균 시스템 내 고객 수는 0.99770이었고 97.5% t 구간은 [0.97466, 1.02074]였습니다. 두 비교를 고려해 각 구간에 97.5% 수준을 적용했습니다. 두 구간 모두 각각의 정상상태 기준값을 포함했습니다. 두 추정치 모두 빈 시스템에서 시작해 500 시간 단위 동안 수행한 실험을 나타냅니다. 체류 시간 추정에는 종료 전에 떠난 고객만 포함됩니다. 정상상태 추정의 정확도와 구간 포함률은 아직 검증하지 않았습니다. 기록된 비교와 실행 설정

병렬 시뮬레이션을 다시 실행해 구간을 확인할 때는 실행별 결과를 시드 설정 및 작업 프로세스 수와 함께 저장하세요. 이 사례에서는 실행별 결과에서 중복이 드러났고 시드 설정에서 그 원인을 확인할 수 있었습니다.

연구 기록. OSRI 시뮬레이션 랩은 Cole Lyons의 지휘 아래 에이전트의 도움을 받아 재현과 진단을 수행했습니다. Codex는 논문과 코드를 점검하고 저장된 데이터로 구간을 다시 계산했습니다.

GitHub에서 소스 보기