发布日期:|最后更新日期
诊断测试的可重复性如何?
只有当诊断结果不依赖于样本的测量地点时,它才是有用的。可重复性是指两个实验室、仪器或操作人员对同一样本是否得出相同的结果。它与重复性不同,重复性是指同一实验室对同一样本再次测量的结果是否一致。这类研究被称为可靠性和一致性研究:它们旨在显示任何诊断、评分或测量中固有的误差量,GRRAS 指南的作者指出,这类研究的报告往往不完整。
本文并未讨论检测方法区分健康人和病人的能力。这属于诊断准确性的范畴,由STARD报告。7此处的问题更为具体:其他实验室能否得出相同的结果?
为什么不同实验室对同一份样本的检测结果会存在分歧
实验室结果的差异可能出现在检测的任何阶段,《尼泊尔医学会杂志》上的一篇综述将剔除实验室误差后剩余的差异归纳为三类。6
左右滑动即可查看每一列。
| 变异来源 | 消息人士称 | 来源 |
|---|---|---|
| 分析前 | 患者准备情况是最常见的因素:饮食、身体活动和采样时间都会影响结果,而其中一些因素是实验室无法控制的。 | 6 |
| 瞬时生物 | 分析物在人体自身设定点附近的生理波动,具有周期性和随机性。 | 6 |
| 分析 | 方法和设备的差异,以及每种分析技术固有的随机不精确性,即使对同一台仪器上的一个样品也是如此。 | 6 |
该综述还提供了一种判断两个结果差异是否超出预期的方法:参考变化值 (RCV) = 2 1/2 × Z × (CVA 2 + CVI 2 ) 1/2,其中 CVA 为分析变异,CVI 为个体内部生物学变异。 <sup> 6</sup>其自身葡萄糖示例使用了 CVA 2.7% 和 CVI 5.6%,Z = 1.96。Editverse 使用 R 语言重新计算了该示例,得到 17.2%,因此小于约 17% 的变化在预期变异范围内。
以下案例研究揭示了另外两个原因。正如游离轻链研究的作者所指出的,当没有公认的国际参考标准时,不同的平台对同一份样本可能会报告不同的数值。<sup> 5</sup>此外,当没有标准化的操作规程时,每个实验室都可能自行设定阈值,抗FGFR3 ELISA研究中就出现了这种情况。<sup> 8</sup>
如何衡量一致性:ICC、Kappa 和 Bland-Altman
根据结果类型选择统计量。表 1 汇总了各来源对每个统计量的解读。请注意,同一个 kappa 值可能被赋予不同的标签:0.77 在 Cohen 系数表中属于显著性水平,而在 McHugh 系数表中则属于中等水平。3
左右滑动即可查看每一列。
| 测量 | 信息来源如何解读价值 | 来源 |
|---|---|---|
| 国际刑事法院 | 低于 0.5 为差,0.5 至 0.75 为中等,0.75 至 0.9 为良好,高于 0.90 为优秀,以估计值的 95% 置信区间为准。 | 2 |
| Kappa,Cohen乐队 | 0.41 至 0.60 为中等,0.61 至 0.80 为相当,0.81 至 1.00 为几乎完美,正如 McHugh 所引述的那样。 | 3 |
| Kappa,McHugh 桌 | 0.60 至 0.79 为中等,0.80 至 0.90 为强,0.90 以上几乎完美;任何低于 0.60 的 kappa 值都表示一致性不足。 | 3 |
| 同意率 | 麦克休指出,许多文献建议将 80% 的一致性作为可接受的最低评分者间一致性标准。 | 3 |
| 布兰德-奥特曼 | 该图绘制了成对测量值之间的差异与其均值的关系;一致性界限为平均差异加减 1.96 倍差异标准差。该图并未说明一致性是否足够好:这取决于分析、生物学或临床目标。 | 4 |
表1. 引文中所述的解释阈值。这些是惯例,而非法律,且每篇文献都对其自身的局限性有所说明。
这些论文中贯穿了两点注意事项。Koo 和 Li 指出,ICC 有多种形式,因此必须报告所使用的形式。2 McHugh指出,小样本的 kappa 区间可能足够宽,以至于包含任何不一致的情况。3
实例1:八个实验室,十五个样本
Natali及其同事邀请了8家实验室对15份混合脑脊液和血清样本中的κ游离轻链(KFLC)指数进行测量。K指数的计算方法是用脑脊液/血清KFLC比值除以脑脊液/血清白蛋白比值,K指数≥5.8被判定为阳性。其中4家实验室使用Binding Site公司的仪器和检测方法,3家使用Siemens公司的仪器和检测方法,1家使用Siemens公司的仪器配合Binding Site公司的检测方法。这些样本来自37名患者,样本的选择涵盖了高值、极低值以及接近临界值的情况。<sup> 5 </sup> 该论文以CC BY 4.0协议开放获取,并列出了每家实验室对每个样本的K指数,因此我们在R语言中重新绘制并计算了该指数。

11 个样本在所有 8 个实验室中都得到了相同的检测结果。在其余 4 个实验室中,120 个实验室对样本的检测结果中有 7 个与大多数实验室的检测结果存在差异,Editverse 计算得出该差异占比为 5.8%。其中 3 个样本的读数在 4.6 到 5.5 之间,比临界值低 0.3 到 1.2;另有 1 个样本(编号 10)被混合平台实验室检测为 9.8,而其他 7 个样本的读数在 0.4 到 3.2 之间。
混合实验室并非此表中的特例:在15个样本中,有14个样本的检测结果等于或高于其他所有实验室。图2以比率尺度将其与其他七个实验室的几何平均值进行比较;Giavarina描述了如何以百分比或比率绘制差异图,以及当差异不服从正态分布时如何对数据进行对数转换。4

平均而言,混合实验室的读数比其他七个实验室的几何平均值高出2.27倍(95% CI 1.83至2.83),95%一致性界限为1.05至4.94。由于只有15个样本,每个界限本身都存在不确定性:下限的95%区间为0.72至1.53,上限的95%区间为3.38至7.23,这是根据Giavarina描述的区间方法得出的。<sup> 4</sup>该论文的作者指出,该实验室似乎低估了血清KFLC,这会提高K指数,并表示目前尚无法得出结论。<sup> 5</sup>
反对重新计算的论文
表2列出了已发表的统计数据与我们的数据。其中两项与我们的结果一致:15个结果中有11个相符,以及当使用Fleiss kappa系数计算八个实验室的总体kappa系数时,所有实验室的kappa系数为0.77。结合位点ICC值在以平均值、双向、绝对一致性ICC系数计算时也与我们的结果完全一致。
左右滑动即可查看每一列。
| 数量 | 纸质报告 | Editverse 结果 (R) |
|---|---|---|
| 在所有8个实验室中检测结果均为阳性或阴性的样本 | 11-15 | 11-15 |
| Kappa值呈阳性(K指数为5.8或以上)时,所有实验室 | 0.77 | 0.77(Fleiss kappa系数);0.78(28个成对Cohen kappa系数的平均值) |
| K 指数 ICC,4 个结合位点实验室 | 0.97 (0.94 到 0.99) | 平均值ICC为0.97(0.94至0.99);单次测量ICC为0.89(0.79至0.96)。 |
| K 指数 ICC,3 个西门子实验室 | 0.95 (0.89 到 0.98) | 0.99(0.98 至 1.00)单项指标 |
| K 指数 ICC,7 个实验室未进行混合检测 | 0.91 (0.82 到 0.96) | 0.94(0.89 至 0.98)单项指标 |
| K 指数 ICC,所有 8 个实验室 | 0.65 (0.43 到 0.84) | 0.77(0.61 至 0.90)单项指标 |
| 结合位点和西门子集团内部的 Kappa | 0.89 0.71和 | 0.75 和 0.79(弗莱斯) |
表 2. 数据来自 Natali 等人的已发表文献;Editverse 数据使用 R 语言的 irr 包,基于 15×8 表格计算得出。尝试的变量包括:单因素和双因素模型、单次测量和平均测量、一致性和一致性、对数尺度、严格的大于 5.8 规则,以及 Fleiss 值与均值成对 Cohen kappa 系数的比较。表格标题 B1 重复出现;我们从左到右依次读取各列,分别为 B1 至 B4、混合值、S1 至 S3。
其他行在我们尝试的所有方法下均无法重现,我们无法确定原因在于列标签、ICC 约定还是分组方式。这对于阅读而言很重要,但对结论无关:kappa 值和 ICC 值取决于所选模型,因此方法部分必须说明所使用的模型。2移除混合实验室数据后,Fleiss kappa 值从 0.77 提高到 0.80。
本案例展示了:如何分析多实验室设计,分歧集中在临界值附近,以及单个平台不匹配如何导致衍生指标发生偏移。但它并未展示: K 指数在患者中的表现,哪个平台是正确的,以及其他检测方法的表现。样本来自 2022 年一项研究,由 37 名患者在临界值附近选择的 15 个混合样本组成,因此 11/15 的数据取决于样本的选择。5
实例 2:两家实验室的同一项 ELISA 检测
Appeltshauser及其同事在法国和德国的两家实验室采用相同的实验方案,对42份血清样本进行了抗FGFR3抗体ELISA检测:其中包括18例感觉神经病患者、18例小纤维神经病患者和6例健康对照者。这些血清样本的选择涵盖了德国筛查中所有血清阳性样本及其对应的血清阴性样本,因此该组样本中临界病例较多。<sup> 8</sup>本文根据CC BY 4.0许可协议开放获取。

两家实验室对 42 份血清样本中的 34 份结果一致(两家实验室均检测出 13 份阳性,21 份阴性),一致率为 81.0%,根据 Editverse 计算的 Wilson 95% 置信区间为 66.7% 至 90.0%。论文报告的 Cohen's kappa 值为 0.61,并称其具有显著性。文中并未说明 8 份不一致的血清样本在两家实验室的检测结果中是如何分布的,因此我们计算了所有可能分布情况下的 kappa 值:只有当每家实验室的检测结果不一致的样本中至少有一份时,kappa 值才在 0.605 至 0.613 之间,正如论文中分别给出的仅在实验室 1 检测出阳性和仅在实验室 2 检测出阳性的血清样本的中位数所暗示的那样,因此报告的 0.61 值在该范围内。在 McHugh 更为严格的 kappa 值标准下,该值属于中等水平。<sup> 8 , 3</sup>
各实验室设定的临界值差异大于检测结果的差异。每个实验室都根据健康对照血清设定了自己的临界值,实验室 1 为 65,实验室 2 为 50:实验室 1 的 R² 值为 0.371,实验室 2 为 0.122,Editverse 计算出的比值为 3.04,中位光密度值分别为 0.293 和 0.076。作者得出结论,每个实验室都必须单独确定临界值。8 份不一致的血清样本中有 8 份仅呈弱阳性。
第二个发现与实验方案的细节有关。实验室 2 首先仅根据已发表的信息构建了检测方法,然后使用实验室 1 提供的详细方案重复了该检测方法。8
左右滑动即可查看每一列。
| 实验室 2 方案 | 截止值(OD440) | 阳性:感觉神经病变 | 阳性:小纤维神经病变 | 阳性:健康对照组 |
|---|---|---|---|---|
| 仅公开信息 | 0.102 | 1-17 | 1-60 | 1-50 |
| 实验室 1 的详细方案 | 0.122 | 1-17 | 5-60 | 2-50 |
表 3. Appeltshauser 等人报告的实验室 2 的计数和临界值。作者得出结论,方案的微小修改可以改变临界值和结果。
本案例表明:即使不同实验室的临界值相差约三倍,研究型 ELISA 检测在包含大量临界值样本的情况下仍能达到较高的 kappa 值,且检测方案的细节差异可能导致阳性结果的判定不同。但本案例并未揭示:哪个实验室的结果是正确的。作者指出,目前尚无独立的金标准,因此无法确定不一致的血清样本是假阳性还是假阴性,阳性结果应结合临床情况进行解读。8
如何设计和报告多实验室一致性研究
这两个例子和引用的指导原则都指向同一份检查清单。
- 1寄送相同的样品并说明选择标准。 游离轻链研究将储存的样本混合在一起,纳入了高值、极低值和接近临界值的样本;FGFR3 研究则选择了富含临界值的血清样本。之所以要说明这一点,是因为它会影响任何一致性分析的结果。5,8
- 2编写实验方案,以便其他实验室可以重复实验。 STARD 2015 要求对指标测试进行足够详细的说明,以便进行重复测试(第 10a 项),因此 FGFR3 的作者发表了详细的 ELISA 方案。7,8
- 3列出每个实验室的临界值,并说明是否是预先设定的。 STARD 2015 第 12a 项要求定义并说明检测阳性阈值的依据,区分预先设定的阈值和探索性阈值。请按实验室报告,如同 FGFR3 论文中所述。7,8
- 4将统计量与数据匹配,并指出其形式。 ICC 用于数值结果,kappa 用于分类结果,Bland-Altman 一致性界限用于两种方法的比较。2,3,4
- 5给出区间估计值,而不仅仅是点估计值。 Koo 和 Li 根据 ICC 的置信区间判断可靠性,McHugh 解释说 kappa 是一个值得关注的置信区间估计值,而 Giavarina 给出了一致性界限的区间。2,3,4
- 6单独查看接近临界值的样本。 这两个实例都发现不一致性集中在该区域,因此请展示这些样本,如图 1 所示。5,8
- 7向GRRAS报告。 GRRAS 指南提出了在报告信度和一致性时需要关注的 15 个问题,这些问题与论文的常用标题相对应。我们阅读了该指南的摘要和 EQUATOR 网络记录;由于无法访问出版商页面,因此我们采用了论文原文中的相关表述。1
验证和能力测试
协议研究与常规质量规则并列。在美国,CLIA法规规定了实验室在使用新的检测系统报告患者结果之前必须完成的事项,并要求参与能力验证测试。表4总结了2026年10月30日发布的《联邦法规电子版》的内容;其他国家/地区有各自的规定。
左右滑动即可查看每一列。
| 情况(美国) | 报告患者结果前必须满足此条件 | 来源 |
|---|---|---|
| 未经修改、经 FDA 批准或认可的测试系统 | 在准确度、精密度和可报告范围方面,证明其性能与制造商相当,并验证制造商的参考区间适合患者群体。 | 9 |
| 经 FDA 批准的改良测试、内部方法或无制造商规范 | 确定准确度、精密度、分析灵敏度、分析专属性(包括干扰物质)、可报告范围和参考区间,以及任何其他要求的特性。 | 9 |
| 能力测试 | 参加经美国卫生与公众服务部 (HHS) 批准的各专科及亚专科能力验证计划,并以与患者样本相同的方式测试样本。 | 10 |
表 4. 仅限美国法规,摘自 2026 年 10 月 30 日在 eCFR 上发布的 42 CFR 493.1253 和 493.801。法规会发生变化,因此请查看当前文本。
方法验证综述列出了实验室在引入新方法时评估的特性:精密度、准确度、分析灵敏度、检测限、分析特异性、干扰、测量范围、线性度和测量不确定度。<sup> 11</sup>该综述指出,准确度可使用认证参考物质或能力验证物质进行评估,但只有当能力验证物质的共识均值和标准偏差来自至少十名同行参与者时,才能使用;两种方法或仪器之间的可比性可通过在两种方法或仪器上运行 40 至 100 个样品进行评估,其中 Bland-Altman 分析是可行的方法之一。<sup> 11</sup>
需要运行或检查分析结果?请咨询 Editverse。
Editverse 的学科专家遵循 COPE、ICMJE 和 GPP 2022 指南,并遵守机构和国家特定的道德规范。
编辑宇宙
SPSS、R 和 Stata 分析
来自多个实验室的一致性数据,但分析尚未进行或核查?
您需要提供:您的数据、研究问题和首选软件(SPSS、R 或 STATA;SAS 可根据要求提供)。
您将获得:带注释的代码或语法、完整的输出文件、输出解释指南和可直接用于出版的表格。
何时:您有实验室数据,需要进行分析或检查分析结果。
SPSS/R/STATA 统计分析 · 400 美元
编辑宇宙
手稿写作
协议研究已分析完毕,但论文尚未撰写?
您需要发送:您的数据、结果和目标期刊。
您将获得:由具有博士学位的学科专家撰写的稿件,以及编辑、统计审查、期刊选择和投稿支持。
时间:分析已完成,但论文尚未完成。
稿件撰写服务 · 1,500 美元
编辑宇宙
期刊选择
不确定实验室方法研究应该归类到哪里?
您需要提交:您的稿件或摘要以及您的发表目标。
您将获得:一份包含 5-10 个推荐期刊排名列表及推荐理由的列表,排名依据为期刊范围匹配度、影响因子和接收率。
何时:您有检测结果,需要将其发送到正确的地方。
科学期刊遴选服务 · 115 美元
Editverse提供的免费研究工具
- Bland-Altman图计算器:两种测量方法的平均偏差和 95% 一致性界限,结果由 R 命令给出。
- ICC计算器(组内相关系数):单向随机效应,单测量 ICC(1,1) 及其公式和 R 代码。
- 科恩Kappa系数计算器(评分者间一致性):观察和预期的一致性以及两位评分者的 kappa 值。
常見問題解答
诊断测试中的重复性和再现性有什么区别?
重复性是指同一实验室对同一份样本进行重复测量时结果的差异。再现性是指不同实验室、仪器或操作人员对同一份样本进行测量时结果的差异。Pradhan及其同事采用了这些含义,其中再现性用于描述两个实验室发布的结果,而重复性用于描述一个实验室发布的结果。
我应该使用哪种统计数据来比较各个实验室?
将统计量与数据相匹配。对于不同评分者或实验室之间的数值结果,Koo 和 Li 描述了组内相关系数 (ICC),并要求作者说明所使用的 ICC 形式。对于同一数值尺度上的两种方法,Giavarina 描述了 Bland-Altman 一致性界限。对于阳性或阴性结果,McHugh 描述了 Kappa 统计量并讨论了其置信区间。
什么样的ICC值才算良好的可靠性?
Koo 和 Li 将低于 0.5 的值定义为差,0.5 至 0.75 为中等,0.75 至 0.9 为良好,高于 0.90 为优秀,判断依据是 95% 置信区间而非点估计值。在包含八个实验室的示例中,血清 ICC 值为 0.81,其置信区间为 0.53 至 0.93,涵盖了中等到优秀的范围。
kappa值为0.61是否算好一致性?
这取决于所使用的标准。McHugh 引用的 Cohen 系数标准将 0.61 到 0.80 定义为“显著”。McHugh 提出了一个更为严格的标准,将 0.60 到 0.79 定义为“中等”,并指出任何低于 0.60 的 kappa 值都表明一致性不足。在论文报告的 FGFR3 双实验室检测示例中,kappa 值为 0.61,而 Editverse 计算得出,无论 8 份不一致血清样本的分布情况如何,其 kappa 值都应在 0.605 到 0.613 之间,因为论文报告的血清样本在每个方向上都只有一个实验室呈阳性。
为什么各实验室在临界值附近分歧最大?
接近阈值的结果可能略有偏差,不同实验室之间的差异也很小。例如,在κ游离轻链的例子中,三个不一致样本的读数比5.8的临界值低0.3到1.2;而在FGFR3的例子中,8个不一致的血清样本中有7个仅呈弱阳性。FGFR3的作者将探针处理、实验室温度、试剂配制、硬件和移液操作列为可能的原因。
实验室在使用FDA批准的检测方法之前是否需要进行验证?
根据美国《临床实验室改进修正案》(CLIA) 法规 42 CFR 493.1253,引入未经修改的 FDA 批准或认可的检测系统的实验室,在报告患者结果之前,必须证明其检测系统的准确度、精密度和可报告范围与现有系统相当,并验证制造商提供的参考区间是否适用于其患者。如果是修改后的检测或实验室自研检测,则需要实验室制定更详细的性能规范清单。以上内容摘自 2026 年 10 月 30 日发布的 eCFR 法规,仅适用于美国。
两个实验室对同一检测可以使用不同的阈值吗?
在FGFR3 ELISA研究中,一个实验室的临界值为0.371,另一个实验室的临界值为0.122。作者得出结论,由于不同实验室的平均光密度值存在差异,因此每个实验室的临界值必须单独确定。这只是一项研究的结论,并非适用于所有检测的通用规则。
一项一致性研究需要多少样本?
这两个例子都未能确立任何规则。kappa自由轻链的作者指出样本数量少是一个限制因素,而McHugh则指出,在样本量非常小的情况下,kappa区间可能宽到足以包含任何不一致的结果。在15个样本的情况下,Editverse Bland-Altman一致性界限本身也存在不确定性,其下限的95%置信区间为0.72至1.53。
案例
- Kottner J、Audigé L、Brorson S 等人提出了报告可靠性和一致性研究 (GRRAS) 的指南。 J临床流行病学。 2011;64(1):96-106. doi:10.1016/j.jclinepi.2010.03.002. 已阅读摘要和 EQUATOR 网络记录;我们无法访问出版商全文。 pubmed.ncbi.nlm.nih.gov/21130355/
- Koo TK,Li MY。可靠性研究中组内相关系数的选择和报告指南。 脊椎医学杂志 2016;15(2):155-163. doi:10.1016/j.jcm.2016.02.012. pmc.ncbi.nlm.nih.gov/articles/PMC4913118/
- McHugh ML. 评分者间信度:kappa 统计量。 生物化学医学(萨格勒布)。 2012;22(3):276-282. pmc.ncbi.nlm.nih.gov/articles/PMC3900052/
- Giavarina D. 理解 Bland Altman 分析。 生物化学医学(萨格勒布)。 2015;25(2):141-151. doi:10.11613/BM.2015.015. pmc.ncbi.nlm.nih.gov/articles/PMC4470095/
- Natali P、Bedin R、Bernardi G 等。脑脊液和血清 kappa 游离轻链测量的实验室间一致性。 生物分子。 2022;12(5):677. doi:10.3390/biom12050677. 开放获取,CC BY 4.0;K 指数值取自作者的表 2,所有统计数据均由 R 中的 Editverse 重新计算并绘制。 pmc.ncbi.nlm.nih.gov/articles/PMC9138559/
- Pradhan S、Gautam K、Pant V. 实验室报告的差异:除实验室误差外的其他原因。 JNMA J尼泊尔Med Assoc。 2022;60(246):222-224. doi:10.31729/jnma.6022. pmc.ncbi.nlm.nih.gov/articles/PMC9200014/
- Bossuyt PM、Reitsma JB、Bruns DE 等。STARD 2015:诊断准确性研究报告基本项目更新列表。 英国医学杂志。 2015;351:h5527. doi:10.1136/bmj.h5527. pmc.ncbi.nlm.nih.gov/articles/PMC4623764/
- Appeltshauser L、Moritz CP、Reinhardt L 等。感觉神经病中血清成纤维细胞生长因子受体 3 (FGFR3) 抗体检测的实验室间比较。 前免疫。 2025;16:1604456。doi:10.3389/fimmu.2025.1604456。开放获取,CC BY 4.0;计数和截止值取自文本,导出值由 R 中的 Editverse 计算。 pmc.ncbi.nlm.nih.gov/articles/PMC12549695/
- 42 CFR 493.1253,标准:性能规范的建立和验证。联邦法规电子版,2026 年 10 月 30 日文本(美国)。 www.ecfr.gov/current/title-42/section-493.1253
- 42 CFR 493.801,条件:样品登记和测试(能力验证测试)。联邦法规电子版,2026 年 10 月 30 日文本(美国)。 www.ecfr.gov/current/title-42/section-493.801
- Abdel Ghafar MT,El-Masry MI。医学实验室定量分析方法的验证。 医学生物化学杂志 2021;40(3):225-236. doi:10.5937/jomb0-24764. pmc.ncbi.nlm.nih.gov/articles/PMC8199534/
Editverse 研究团队 | 更新于 2026 年 11 月
