Quand un intervalle de confiance reproduit compte deux fois les mêmes exécutions

Note méthodologique. Un examen scientifique humain et une nouvelle exécution externe restent à faire.

Télécharger le dossier de reproduction indépendante · Lire les instructions d’installation et d’exécution avec les versions fixées

Le laboratoire de simulation d’OSRI a exécuté avec deux processus le code R publié pour une file à serveur unique. Il a reproduit la moyenne de 0,4974943 et l’intervalle de confiance à 95 % [0,4868269 ; 0,5081617] à la précision affichée. Les 100 moyennes enregistrées forment 50 paires consécutives dont les deux valeurs sont identiques. Retenir une moyenne par paire donne la même estimation et un intervalle 44 % plus large. La section 4.2 indique la graine et l’appel parallèle. Le nombre de processus utilisé pour le résultat imprimé reste à confirmer. Ucar, Smeets et Azcorra (2019), section 4.2 et supplément R · Guide d’exécution d’OSRI

L’origine des paires#

L’exemple simmer simule une file M/M/1 avec un taux d’arrivée de 2 et un taux de service de 4. Chaque exécution commence avec une file vide et s’arrête après 500 unités de temps. L’article décrit la population moyenne, qui compte les clients présents dans le système au fil du temps. Le code R moyenne la différence entre l’heure de départ et l’heure d’arrivée pour les clients partis pendant chaque exécution. Dans cette file, la durée moyenne en régime stationnaire est de 0,5 unité de temps et la population moyenne est de 1 client. Supplément R publié

Le code publié fixe la graine à 1234 et désactive la réinitialisation des graines dans l’appel parallèle. Dans l’exécution d’OSRI, les deux processus ont hérité du même état du générateur aléatoire. Un diagnostic distinct sur deux exécutions a comparé les enregistrements des clients arrivés puis partis. Toutes les colonnes concordaient. Les résultats des 100 exécutions conservent les moyennes par réplication, identiques au sein des 50 paires. Documentation R sur l’héritage de l’état du générateur · Diagnostic à deux processus

Le test t a calculé son erreur type comme si les 100 valeurs étaient indépendantes. Pour isoler l’effet du double comptage, nous avons appliqué le même test t aux lignes 1, 3, …, 99 des données enregistrées. L’intervalle à 95 % obtenu, [0,4821378 ; 0,5128508], indique de combien les doublons ont réduit la largeur de l’intervalle dans cette exécution. Interpréter l’intervalle élargi à son niveau nominal de 95 % dépend des hypothèses de l’intervalle t, notamment de l’indépendance des exécutions retenues. Moyennes enregistrées par réplication

Une vérification avec des graines distinctes#

Le laboratoire a conservé le modèle et l’horizon et a affecté les graines 10001–10100 à 100 nouvelles exécutions. La durée moyenne dans le système était de 0,49806, avec un intervalle t à 97,5 % de [0,48819 ; 0,50793]. La population moyenne pondérée par le temps était de 0,99770, avec un intervalle t à 97,5 % de [0,97466 ; 1,02074]. Le niveau de 97,5 % pour chaque intervalle tient compte des deux comparaisons. Les deux intervalles contenaient leurs valeurs de référence respectives en régime stationnaire. Les estimations décrivent une expérience de 500 unités de temps qui démarre avec une file vide. L’estimation de durée inclut seulement les clients partis avant la fin. L’exactitude en régime stationnaire et la couverture des intervalles restent à vérifier. Comparaisons et paramètres d’exécution consignés

Si vous relancez une simulation parallèle pour vérifier son intervalle, enregistrez les résultats de chaque exécution avec les réglages des graines et le nombre de processus. Ici, les résultats individuels ont révélé les doublons et le réglage des graines en a expliqué l’origine.

Dossier de recherche. Le laboratoire de simulation d’OSRI a mené la reproduction et le diagnostic sous la direction de Cole Lyons avec l’aide d’agents. Codex a vérifié l’article et le code et recalculé les intervalles à partir des données enregistrées.

Afficher la source sur GitHub