发布时间

PROBAST 工具(预测模型偏倚风险评估工具)是判断已发表的预测模型是否可信以及是否适用于您所关注患者的标准工具。Wolff 及其同事于 2019 年在《内科医学年鉴》(Annals of Internal Medicine)上发表了该工具 [1],一篇配套的解释和阐述文章详细阐述了每个问题背后的逻辑 [2]。本文将解释 PROBAST 工具的结构,然后逐行应用全部 20 个信号问题,应用于一个真实的开放获取模型——发表在PLOS Medicine上的 QUIDS 早产模型[3]。每一行都指向支持该行的论文章节,并且每一行基于判断的结论都已标注。

用简单的话

预测模型将患者的一些基本信息转化为风险评估。PROBAST 工具会提出 20 个针对性问题,询问模型的构建和测试方法,这些问题分为四个领域(参与者、预测因子、结果和分析),以判断报告的准确率是否可能被夸大。然后,它还会提出另一个问题:该模型是否适合您的患者。即使模型构建得再精良,也可能不适合您的诊所。

PROBAST 工具评估的内容

PROBAST 工具最初是为预测模型的系统评价而开发的,但同样适用于临床医生或编辑评估单篇论文。它涵盖诊断模型(判断当前是否存在该疾病)和预后模型(判断未来是否会发生某个事件),并适用于开发、验证或更新模型的研究[1,2]。该工具会得出两个独立的结论。第一个结论是偏倚风险,指的是设计、实施或分析中的缺陷,这些缺陷会扭曲模型预测效果的评估。第二个结论是适用性问题,即研究人群、预测因子和结果是否符合研究问题。

由于乐观情绪,偏倚在此至关重要。一个模型如果过于灵活,能够与开发数据完美契合,那么它在这些数据中看起来就非常出色,但在新患者中的表现却会更差。De Jong 及其同事将此描述为开发时宣称的性能与验证时实际性能之间的系统性差距[4]。他们对 50 项使用 PROBAST 工具的系统评价进行了荟萃分析,这些评价涵盖了 1,510 项研究和 2,104 个模型,结果显示所有领域都存在不明确或较高的偏倚风险[4]。因此,评估是常规步骤,而非例外情况。

每个信号问题都有五个答案选项之一:是、可能、可能、否或无信息。这些问题会生成一个领域评级,分为低、高或不明确。根据 PROBAST 指南,当所有问题的答案均​​为“是”或“可能”时,该领域评级为低;当至少一个问题的答案为“否”或“可能”时,该领域评级为潜在高;当信息缺失且没有问题的答案为“否”时,该领域评级为不明确 [1,2]。评级结果不进行汇总,最终决定权在于审核员。

PROBAST 工具在相关工具中的定位

PROBAST 工具评估的是方法,而非报告。报告的完整性属于 TRIPOD 的范畴,我们的TRIPOD+AI 预测模型报告指南对此进行了阐述。预测模型评价的数据提取遵循 CHARMS 清单 [5],模型开发的样本量遵循 Riley 等人 [6] 的标准,该标准取代了旧的固定事件/变量规则。对于其他研究设计,相应的匹配工具包括:RoB 2(用于试验,参见我们的RoB 2 操作指南)、ROBINS-I(用于非随机干预,参见ROBINS-I 指南)和 QUADAS-2(用于诊断准确性研究,参见QUADAS-2 实践)。我们的偏倚风险评估指南对试验工具进行了深入讲解。

PROBAST+AI,2025 年更新版

2025年,Moons及其同事在《英国医学杂志》(BMJ)上发表了PROBAST+AI [7]。该工具包含两部分:模型开发部分使用16个信号问题来评估模型质量和适用性;模型评估部分使用18个信号问题来评估偏倚风险和适用性。两部分均保留了四个领域,现在分别命名为参与者和数据来源、预测因子、结果和分析,并且前三个领域的适用性评估仍然保留。作者指出,PROBAST+AI可能会取代原始工具[7]。本文采用的是2019年的原始工具,因为其20个问题是固定的,并且与现有综述文献中使用的问题相同[4]。如果您的方案、导师或目标期刊使用了PROBAST+AI,请使用2025年的问题集,并保持如下所示的证据指示习惯。

PROBAST 工具概览:4 个领域和 20 个信号问题

表格用通俗易懂的语言概括了20个问题,并说明了证据通常在论文中的位置。一些分析题,例如4.5和4.9,仅适用于模型构建,而其他一些分析题则根据你所评分的部分进行了调整。

问题用通俗易懂的话来说,它问的是什么?在哪里看
1.1数据来源是否合适,例如队列研究或试验,而不是会扭曲绝对风险的设计?摘要,研究设计段落
1.2纳入和排除标准是否适合目标人群?资格文本、参与者流程图
2.1对于每个参与者,预测指标的定义和测量方式是否相同?预测因子定义、测量方案
2.2预测变量的测量是在不知道结果的情况下进行的吗?研究设计、盲法声明
2.3当模型需要使用时,所有预测因子是否都可用?针对预期用途的预测列表
3.1结果是否通过合适的方法确定?结果定义和数据来源
3.2是否使用了预先设定的或标准的结局定义?协议、注册、方法
3.3结果是否在不使用任何预测因子的情况下定义?根据预测因子列表定义结果
3.4所有参与者的结果定义和确定方式是否相同?多中心手术,补充
3.5结果是否是在不知道预测值的情况下确定的?盲法,评估者描述
3.6预测指标测量与结果测量之间的时间间隔是否合适?后续窗口,预期用途
4.1该任务是否有足够的结果事件?事件和候选预测因子,样本量部分
4.2连续型和分类型预测变量是否得到了恰当的处理?统计方法、转换
4.3所有报名参与者都纳入分析了吗?流程图,分析人群
4.4缺失数据是否得到妥善处理?表 1 中缺少数据段落
4.5预测因子的选择是否未经过单变量筛选?(仅用于开发阶段)模型构建段落
4.6在相关情况下,是否处理了审查、竞争风险和抽样控制等问题?型号,后续描述
4.7是否报告了合适的性能指标,包括校准和区分度?性能部分,校准图
4.8是否已处理过拟合、拟合不足和乐观偏差问题?内部验证,收缩
4.9最终的预测因子和权重是否与已报告的多变量分析结果相符?(仅供开发阶段使用)模型表,方程

适用性评估采用三个额外的判断标准,而非提出问题。参与者和环境、预测因素以及结果,都会根据你的综述问题被评为低、高或不确定。适用性正是同一篇论文可能适合一项综述而不适合另一项综述的原因所在。

如何分五步完成 PROBAST 工具评估

  • 写出复习题。 在打开任何论文之前,请务必说明模型的研究对象、预测变量、结果变量、时间节点、应用场景和预期用途。缺少这些信息,就无法评估模型的适用性。
  • 对论文进行分类。 将每篇论文标记为开发、验证或两者兼有,并分别对各部分进行评分。一篇同时包含开发和验证的论文,其各部分可以获得不同的评分。
  • 用证据线索回答信号问题。 记录支持每个答案的章节、表格或图表,并尽量少引用。
  • 给每个域名评分。 应用“任何否定或可能否定的结论都会使某个领域变得潜在地高”这一规则,然后判断该原因是否是真正的扭曲来源。
  • 给出总体评价。 只有当所有四个领域的偏差风险都很低时,该论文的偏差风险才较低,同样的逻辑也适用于适用性。

使用两名独立审阅者,然后进行结果协调。2023 年一项关于 PROBAST 使用的荟萃分析报告称,随着时间的推移,偏倚趋势稳定,且审阅者间一致性较低 [8]。因此,在筛选开始前,务必就审查问题、事件阈值以及如何处理无信息答案达成一致。

我们评价的开放获取论文

该论文是Stock及其同事撰写的《针对有早产症状女性的早产风险预测模型的开发与验证(QUIDS研究)》,发表于2021年的PLOS Medicine期刊[3]。它之所以具有很强的教学价值,有三个原因:首先,它既包含模型开发部分,也包含外部验证部分;其次,它详细报告了其方法,足以回答正文中的大部分关键问题;最后,作者指出了自身设计的不足之处,从而使判断过程清晰可见。该论文采用CC BY 4.0许可协议,这一点已在Crossref的版本记录许可字段、Europe PMC许可字段以及全文中的JATS许可声明中得到确认。该论文已被PubMed收录,PMID为34228732(PMCID为PMC8259998)。

该模型用于评估出现早产征兆和症状的女性在7天内发生自发性早产的风险。该模型基于对五项前瞻性队列研究(1,783名女性,139例早产事件)的个体参与者数据进行荟萃分析而建立,并在一项包含英国26个医疗机构(2,924名女性,85例早产事件)的新前瞻性队列研究中得到验证。最终模型结合了定量胎儿纤维连接蛋白(qfFN)以及吸烟、种族、初产和多胎妊娠等因素。

复习题要素本次评估所用的措辞
人口与环境妊娠22+0至34+6周,出现早产症状和体征且胎膜完整的孕妇,在配备定量fFN分析仪的医院产科病房接受评估。
预测因素首次评估时可获得定量 fFN 和常规临床因素
结果和时间测试后7天内发生自发性早产
有可能的使用支持对有症状女性的入院和治疗做出决定

这些是我们为本次练习所做的选择,并非论文原文中的表述。例如,如果审稿人提出不同的问题,比如对在没有分析器的情况下使用的模型进行评估,那么其适用性评分可能会有所不同。评估仅阅读正文,包括其中的表格和图表。补充材料 S1 中的表格未纳入评估范围,因此依赖于这些表格的行会特别注明。

将 PROBAST 工具应用于 QUIDS 的第 1 至 3 域

领域 1,参与者

Q回答证据和线索标签
1.1是开发阶段采用了“5项欧洲前瞻性队列研究的个体参与者数据(IPD)荟萃分析”(Stock等人,摘要)。验证阶段采用了英国26个由顾问主导的医疗机构的前瞻性队列研究(方法,外部验证)。前瞻性队列研究保留了绝对风险。
1.2可能是入选标准包括妊娠期、症状、胎膜完整且无胎儿纤维连接蛋白(fFN)检测禁忌症(方法、模型结果、目标人群和候选预测因子)。四个早期数据集“使用酶联免疫吸附试验(ELISA)测定fFN浓度,因此被排除在外”(方法、模型开发),2,968名女性中有27名在窥阴器检查时不符合入选标准(结果、外部验证;图1)。症状由各研究者自行定义。判断

领域 1 评级,偏倚风险低。适用性,低关注度,因为所述人群与审查问题相符。

领域 2,预测因子

Q回答证据和线索标签
2.1可能是开发研究采用“10Q快速fFN分析仪系统测定的定量fFN结果”(方法,模型开发)。验证研究在每个研究中心使用一台经过改进的分析仪,并进行质量控制(方法,外部验证;质量控制详情见补充材料S1,未经审阅)。正文中未描述如何在五个队列中协调吸烟和种族因素。判断
2.2是这些队列研究是前瞻性的,因此在测量时结果未知。在验证过程中,“定量 fFN 结果对临床医生进行盲法处理,并以 3 个字母的代码存储。”(方法,外部验证)。
2.3是“所有纳入的候选预测因子均可在首次评估早产体征和症状时获得。”(方法、模型结果、目标人群和候选预测因子)。

领域 2 评级:低偏倚风险。适用性:对于配备分析仪的单位而言,无需过多关注。引言指出,定量 fFN 检测尚未获得美国 FDA 批准,且 NICE 认为现有证据不足以推荐使用,因此,针对未配备分析仪的机构进行的评估应高度关注此问题。

领域 3,结果

Q回答证据和线索标签
3.1可能是出生日期和是否为自然分娩的信息均来自记录。“所有其他数据均从参与者记录中收集并记录在研究数据库中。”(方法,外部验证)。分娩时间是客观的,但正文并未描述如何独立判定自然分娩与医学指征分娩。判断
3.2是“主要结局指标为定量 fFN 检测后 7 天内的自发性早产”(方法、模型结局、目标人群和候选预测因子),并已在已发表的方案中设定(方法、研究监督)。所有早产病例的分析均被标记为未预先设定(方法、附加模型和亚组分析)。
3.3是结果是指在特定时间窗口内发生的出生事件。五个最终预测因子均不属于该定义的一部分(结果、模型开发和内部验证)。
3.4可能是所有队列均采用同一定义,验证点根据新生儿护理水平进行了划分(方法,外部验证)。结果与当地的新生儿护理实践无关。
3.5可能是由于qfFN值被掩盖,因此它不会影响结局的判定。临床医生确实看到了定性fFN结果,而宫缩抑制剂可能会延迟分娩。作者指出:“在敏感性分析中纳入了宫缩抑制剂,以探讨其对延迟分娩的潜在治疗效果。”(方法、模型结果、目标人群和候选预测因子)。判断
3.6是“选择这一结果是基于我们之前对女性和临床医生进行的定性研究”(方法部分,同上)。引言部分指出,产前使用皮质类固醇的益处与分娩后7天内给药密切相关。

领域 3 评级,偏倚风险低。适用性,低关注度,因为 7 天结果与审查问题相符。

将 PROBAST 工具应用于 QUIDS 的第四域分析

领域 4 是大多数预测论文评分下降的地方,也是 QUIDS 开发和验证部分唯一出现分歧的领域。这两个部分分别标记为 Dev 和 Val。论文自身数据中的两个小计算分别位于第 4.1 行和第 4.9 行之后。

  • 每个候选预测因子发生的事件数。 开发阶段共有 139 个事件和 10 个候选预测因子,因此 139 除以 10 等于 13.9,作者将其四舍五入为约 14(方法,样本量计算)。这符合之前 10 到 20 的范围 [4],但低于使用 PROBAST 工具时通常采用的每个候选预测因子 20 个事件的标准。我们接受“可能符合”的结论,因为作者指出数据符合现代最小样本量标准,所以更严格的审稿人可能会给出“可能不符合”的结论,并将开发分析领域评为“不清晰”或“高”。
  • 验证事件。 在 2,924 名女性中发生了 85 起事件(2.9%),低于作者自己引用的约 100 起事件作为验证的最低要求(结果,外部验证;方法,样本量计算)。
  • 4.9 的缩水检查。 将表 2 中每个乐观调整系数除以其原始值,得到所有五个预测变量的系数为 0.943 至 0.946,这与论文中报告的统一收缩因子 0.94 一致。
Q回答证据和线索标签
4.1开发者可能同意,Val 可能不同意开发比率为每候选预测因子13.9个事件,见上文。验证:“一个潜在的局限性是外部验证中的事件数量(85)。”(讨论)。作者还写道:“风险预测模型验证至少需要约100个事件和100个非事件”(方法,样本量计算)。判断 (两部分)
4.2是连续预测变量在其连续尺度上进行分析。非线性采用分数多项式处理,从而得到 qfFN 的平方根形式(方法、模型开发;结果)。由于部分群体数量稀少,种族被合并为“白人”和非“非白人”(讨论)。
4.3可能是在验证过程中,27名女性因窥阴器检查不符合纳入标准,17项检查无效,因此最终分析了2,968例中的2,924例,损失了44名女性,即1.5%(结果,外部验证;图1)。排除标准基于检查资格,而非检查结果。判断
4.4是在每项原始研究中,均采用链式方程法对缺失值进行多重插补,其中模型开发阶段进行了 60 次插补,验证阶段进行了 8 次插补(方法,模型开发;外部验证)。完全病例敏感性分析结果与此类似(结果,外部验证)。模型开发阶段有 29.7% 的样本缺失 BMI 值(表 1),但最终模型中已包含该值。
4.5是的(开发人员)预先设定了十个候选预测因子,然后使用赤池信息准则(AIC)在多变量逻辑回归模型中通过向后选择法进行筛选(方法,模型开发)。这并非单变量筛选。
4.6可能是研究聚类采用单阶段个体患者数据(IPD)模型处理,每个研究使用单独的截距,并采用两阶段随机效应模型检验预测变量的异质性(方法,模型构建)。验证采用来自五个研究截距的随机效应荟萃分析的合并截距(方法,外部验证)。如果随访完成,则采用7天二元结局可以避免删失问题。判断
4.7是本文报告了AUC、校准斜率、整体校准、预期值与观测值之比、校准图和Nagelkerke R²(方法,预测性能指标;表3;图2),以及净收益(图3)。验证AUC为0.89(95% CI 0.84至0.94),重新校准前预期值与观测值之比为0.80,校准斜率为1.24。
4.8Dev说是的,Val可能也说是的。Bootstrap 内部验证使用了 100 个样本,“重复了我们模型开发的所有步骤”(方法,内部验证),得到统一的收缩因子 0.94,之后重新估计了研究特定的截距(结果,模型开发和内部验证)。在验证过程中,仅更新了截距(表 3,B 列),并报告了重新校准前的性能(A 列)。
4.9是的(开发人员)结果中的方程,QUIDS 风险预测模型,使用 1.915 作为 qfFN 的平方根,加上 0.370、0.834、减去 0.687 和减去 0.139 作为临床因素,截距减去 5.002。这些与表 2 中的乐观调整列和表 3 中的重新校准截距相匹配。

领域 4 评级。开发部分偏差风险低。验证部分严格解读后偏差风险高,主要由第 4.1 行的一个项目导致。领域 4 中的其他所有项目答案均为“是”或“可能为”。

总体评分和校准图

Editverse:PROBAST 工具对 QUIDS 预测模型的评级
图1。 这是 Editverse 对 QUIDS 论文的 PROBAST 工具评级(原始 PROBAST 2019)。行代表四个偏倚风险领域和三个适用性判断。列代表开发部分和外部验证部分。绿色表示低风险,红色表示高风险。

请将图表视为下一步研究方向的指引,而非对研究本身的最终结论。开发部分在所有领域都表现不佳。验证部分有一个红色单元格,这是由于事件计数为 85,而阈值约为 100,作者自己也承认存在这一差距。审稿人可能会提出评级不明确的观点,但无论如何,审稿流程都应记录原因,因为评级会影响模型在任何综合分析中的权重。

校准图显示了事件计数在实践中的重要性。几乎所有分组观测值都低于预测风险 0.03(事件发生率极低),而一个预测风险接近 0.17 的分组,其观测风险约为 0.22,且区间较宽。作者报告称,在较高风险下存在一些低估,并且在截距重新校准后,校准斜率为 1.24(结果,外部验证)。由于较高风险组的事件数量极少,单个分组的变化就会影响整体预测结果,而这正是第 4.1 项旨在指出的不稳定性。

Editverse:QUIDS 校准图,用于比较预测的早产风险与观察到的早产风险
图2。 QUIDS 模型在前瞻性队列数据中验证的预测风险与观察风险的校准图。摘自 Stock 等人,PLoS Med 2021;18(7):e1003686,CC BY 4.0 (https://doi.org/10.1371/journal.pmed.1003686),裁剪自原始图 2。

第 4.7 行要求进行校准和区分,而此图正是校准证据。论文中的净收益分析(图 3)涉及另一个问题,即该模型是否有助于决策。如果您想对自己的模型进行净收益分析,我们免费的决策曲线分析计算器可以根据您预测的风险进行计算。

判断性决定以及评估师意见不一致之处

本次评估中的七项内容都基于判断。与其假装该工具是机械式的,不如给它们命名,这样更有意义,而且这种做法也有助于两位评估者达成一致。

  • 1.2 判断排除四个早期 ELISA 数据集是否构成选择性偏差问题。这取决于方法,所以我们认为很可能是。
  • 2.1 取决于补充文件中规定的协调细节。
  • 3.1 和 3.5 关注结果的分类方式以及治疗是否可以改变结果。
  • 4.1 这是验证的关键步骤,也是决定研发方向的重要因素。即使审稿人因为时间间隔较窄而接受了 85 个事件,也需要在方案中明确说明。
  • 4.3 和 4.6 对于可能存在“是”的答案,第二位审阅者可能会要求提供更多关于失访的细节。

2023 年的一项荟萃​​分析表明,PROBAST 的使用与较低的评分者间一致性相关 [8],因此在进行全面评估之前,对两三篇论文进行简短的校准练习是值得的。需要就事件阈值、如何处理无信息以及独立结果裁定的判定标准达成一致。

PROBAST 工具的常见错误

  • 将其用作报告核对清单。 报告质量差的研究无法获得任何信息,这与方法本身存在缺陷不同。请将 PROBAST 工具与 TRIPOD 结合使用以进行报告。
  • 无需书面评审问题即可评估评分适用性。 适用性是相对的,所以问题必须首先存在。
  • 将信号问题汇总成一个分数。 该工具旨在进行结构化判断,通过统计“是”的答案数量来隐藏哪个领域失败。
  • 融合开发与验证。 请对每个部分进行评分。QUIDS 展示了同一篇论文如何同时获得低分和高分。
  • 混淆了向后选择和单变量筛选。 问题 4.5 旨在在建模之前逐个筛选预测因子。多变量模型中的向后选择是另一个问题,问题 4.8 通过乐观性校正进行检验 [4]。
  • 将高偏倚风险等同于糟糕的模型。 该评级表明性能预测可能不可靠,而不是模型本身有误。
  • 以作者的说法作为证据。 仅仅说这项研究遵循了 TRIPOD 方法并不能回答任何信号问题。请指出显示该研究遵循 TRIPOD 方法的表格或段落。

在系统评价中报告 PROBAST 结果

报告评审问题、工具版本(2019 年原版或 PROBAST+AI)、评审员人数以及分歧解决规则。对于每个纳入的模型,展示类似图 1 的交通灯图,并在辅助表格中列出各领域的评分以及每个高评分的原因。然后,在综合分析中使用这些评分,例如通过敏感性分析,剔除分析领域中存在高偏倚风险的模型。评审记录的流向应以 PRISMA 图的形式呈现,您可以使用下方提供的免费 Flowchart Pro 工具在浏览器中创建该流程图。

如果您的审查还包括治疗试验或队列研究,请将 PROBAST 工具与上述 RoB 2、ROBINS-I 和 QUADAS-2 指南中的匹配工具配对,以便使用为其构建的工具评估每个纳入的设计。

用于预测模型研究的免费工具

Editverse提供的免费研究工具

  • GraphPro:创建可用于出版的图表,共 25 种类型,内置 t 检验、方差分析、相关性分析和卡方检验 p 值。免费,无需注册。
  • 统计数据:免费的统计计算器和测试选择工具,涵盖组比较、分类结果、事件发生时间分析和诊断准确性。
  • 流程图专业版:直接在浏览器中生成 PRISMA 2020、PRISMA-ScR、CONSORT、STROBE、STARD、MOOSE 和 ARRIVE 流程图。

为偏见风险评估提供专业支持

由两位独立审稿人对 20 项或 200 项研究进行评估是一项耗时的工作,而且只有当评估结果一致且有据可查时,才能对系统评价有所帮助。Editverse 为系统评价的评估和数据提取阶段提供支持,并交付固定成果。请在下单前发送您纳入的研究及其设计,并询问每种设计可以使用哪种评估工具。

偏见风险评估

$350

是否需要将纳入研究的每一项都以审稿人可接受的形式进行评估?

请提交您纳入的研究及其设计。

您将获得完整的评估表格、偏倚风险表、交通灯可视化图和方法部分叙述。

标准处理时间为 4 至 6 个工作日。

查看服务 →

系统评价数据提取

$500

提取表是否是评估开始前的瓶颈?

请提交您纳入的研究和您的评审问题。

您将获得自定义提取表单、双重提取和核对,以及与研究特征一起捕获的质量评估数据。

处理时间通常为 5 至 7 个工作日,具体取决于研究数量。

查看服务 →

如需从方案到论文的完整审查,请参阅我们的系统评价写作服务,该服务涵盖上述两项服务所涉及的各个阶段。我们的工作遵循 COPE、ICMJE 和 GPP 2022 的建议,并遵守机构和国家/地区特定的伦理要求。

结语

PROBAST 工具将“预测模型是否有效”这个模糊的问题转化为 20 个附带证据的问题。应用于 QUIDS 数据集,该工具显示模型开发的偏差风险较低,但由于外部验证涉及 85 个事件,严格解读后偏差风险较高,而对于此处提出的审查问题,其适用性则无需过多担忧。关键在于方法,而非结果。首先撰写审查问题,分别评估模型开发和验证,并指出每个答案背后的依据,同时明确指出判断依据。如果您的方案指向 2025 年的 PROBAST+AI,则这些方法同样适用。

案例

  1. Wolff RF、Moons KGM、Riley RD、Whiting PF、Westwood M、Collins GS 等。PROBAST:评估预测模型研究的偏倚风险和适用性的工具。Ann Intern Med. 2019;170(1):51-8。 doi:10.7326/M18-1376PMID 30596875。
  2. Moons KGM、Wolff RF、Riley RD、Whiting PF、Westwood M、Collins GS 等。PROBAST:评估预测模型研究的偏倚风险和适用性的工具,解释和阐述。Ann Intern Med. 2019;170(1):W1-33。 doi:10.7326/M18-1377PMID 30596876。
  3. Stock SJ、Horne M、Bruijn M、White H、Boyd KA、Heggie R 等。针对有早产症状的女性,开发和验证早产风险预测模型(QUIDS 研究):一项前瞻性队列研究和个体参与者数据荟萃分析。PLoS Med. 2021;18(7):e1003686。 doi:10.1371/journal.pmed.1003686PMID 34228732。PMCID PMC8259998。CC BY 4.0。
  4. de Jong Y、Ramspek CL、Zoccali C、Jager KJ、Dekker FW、van Diepen M. 评估预测研究:使用预测模型偏倚风险评估工具 (PROBAST) 进行偏倚和适用性评估的指南和荟萃分析。肾脏病学(卡尔顿)。2021;26(12):939-47。 doi:10.1111/nep.13913PMID 34138495。
  5. Moons KGM、de Groot JAH、Bouwmeester W、Vergouwe Y、Mallett S、Altman DG 等。预测模型研究系统评价的批判性评价和数据提取:CHARMS 清单。PLoS Med. 2014;11(10):e1001744。 doi:10.1371/journal.pmed.1001744PMID 25314315。
  6. Riley RD、Ensor J、Snell KIE、Harrell FE Jr、Martin GP、Reitsma JB 等。计算开发临床预测模型所需的样本量。BMJ。2020;368:m441。 doi:10.1136/bmj.m441PMID 32188600。
  7. Moons KGM、Damen JAA、Kaul T、Hooft L、Andaur Navarro C、Dhiman P 等。PROBAST+AI:一种用于评估使用回归或人工智能方法的预测模型的质量、偏倚风险和适用性的更新评估工具。BMJ. 2025;388:e082505。 doi:10.1136/bmj-2024-082505PMID 40127903。
  8. Langenhuijsen LFS、Janse RJ、Venema E、Kent DM、van Diepen M、Dekker FW 等。预测研究的系统元审查表明偏倚趋势稳定,PROBAST 评估者间一致性较低。 J 临床流行病学杂志。 2023;159:159-73。 doi:10.1016/j.jclinepi.2023.04.012PMID 37142166。