复现的置信区间何时会重复计算同一次运行

方法札记。人工科学审查和外部复跑尚待完成。

下载独立复跑材料包 · 阅读锁定版本的环境设置和运行说明

OSRI 模拟实验室用两个工作进程运行了已发表的单服务台排队 R 代码,在印刷精度内复现了均值 0.4974943 和 95% 置信区间 [0.4868269, 0.5081617]。保存的 100 个重复运行均值依次组成 50 对,每对的两个值完全相同。每对保留一个均值后,估计值相同,区间宽了 44%。第 4.2 节给出了种子和并行调用。论文所列结果使用的工作进程数尚未确认。 Ucar、Smeets 和 Azcorra(2019),第 4.2 节及 R 补充材料 · OSRI 运行指南

成对结果的来源#

simmer 示例模拟到达率为 2、服务率为 4 的 M/M/1 队列。每次运行从空系统开始,持续 500 个时间单位。论文描述的是随时间统计的平均系统人数。R 代码则对每次运行中已离开的顾客计算离开时间减到达时间的平均值。该队列的稳态平均系统停留时间为 0.5 个时间单位,稳态平均系统人数为 1。 已发表的 R 补充材料

已发表的代码设置种子 1234,并在并行调用中关闭重新设种。在 OSRI 的两个工作进程运行中,两者继承了相同的随机数状态。另做的一对运行诊断比较了两个进程中已完成服务的到达记录,各列完全一致。完整的 100 次运行保留了每次的均值,50 对均值全部成对相同。 关于种子继承的 R 文档 · 双工作进程诊断

t 检验按 100 个条目均相互独立来计算标准误。为确定重复计数的影响,我们对保存的数据第 1、3、…、99 行应用了相同的 t 检验。所得 95% 区间 [0.4821378, 0.5128508] 表明本次运行中的重复条目使区间缩窄了多少。该较宽区间能否按名义 95% 水平解释,取决于 t 区间的假设,包括保留运行之间的独立性。 保存的重复运行均值

使用不同种子的对照检查#

实验室沿用相同模型和运行时长,为 100 次新运行分别指定了种子 10001–10100。平均系统停留时间为 0.49806,97.5% t 区间为 [0.48819, 0.50793]。时间加权平均系统人数为 0.99770,97.5% t 区间为 [0.97466, 1.02074]。每个区间采用 97.5% 水平,以考虑两项比较。两个区间均包含各自的稳态参考值。两项估计均来自从空系统起始、运行 500 个时间单位的实验。停留时间估计仅纳入截止前离开的顾客。稳态准确性和区间覆盖率尚未经检验。 已记录的比较与运行设置

如果重新运行并行模拟以核查区间,请保存每次运行的结果、种子设置和工作进程数。本例中,逐次结果显示了重复,种子设置解释了原因。

研究记录。OSRI 模拟实验室在 Cole Lyons 指导下借助智能代理完成了复现和诊断。Codex 核查了论文和代码,并根据保存的数据重新计算了区间。

查看 GitHub 上的源代码