Strumento PROBAST: 4 ambiti, 20 domande di segnalazione e una valutazione dettagliata.

Pubblicato il Ottobre 31, 2026

Lo strumento PROBAST (Prediction model Risk Of Bias ASsessment Tool) è lo strumento standard per valutare se un modello predittivo pubblicato sia affidabile e se si adatti ai pazienti di cui ci si occupa. Wolff e colleghi lo hanno pubblicato negli Annals of Internal Medicine nel 2019 [1], e un documento esplicativo e di approfondimento correlato illustra il ragionamento alla base di ciascuna domanda [2]. Questo post spiega come è strutturato lo strumento PROBAST, quindi applica tutte le 20 domande di segnalazione, una riga alla volta, a un modello open-access reale, il modello QUIDS per la nascita pretermine pubblicato su PLOS Medicine [3]. Ogni riga rimanda alla sezione del documento che la supporta, e ogni riga che si basa su un giudizio è etichettata.

Cosa valuta lo strumento PROBAST

Lo strumento PROBAST è stato sviluppato per le revisioni sistematiche dei modelli predittivi e funziona altrettanto bene per un clinico o un redattore che valuta un singolo articolo. Copre i modelli diagnostici (la condizione è presente al momento?) e i modelli prognostici (si verificherà un evento in futuro?) e si applica agli studi che sviluppano, convalidano o aggiornano un modello [1,2]. Produce due verdetti separati. Il primo riguarda il rischio di bias, definito come carenze nella progettazione, nella conduzione o nell'analisi che distorcono le stime di quanto bene il modello predice. Il secondo riguarda la preoccupazione per l'applicabilità, che si chiede se la popolazione, i predittori e l'esito dello studio siano compatibili con la domanda di ricerca.

Il bias è importante in questo contesto a causa dell'ottimismo. Un modello sufficientemente flessibile da adattarsi troppo da vicino ai dati di sviluppo appare eccellente in quei dati e ha prestazioni peggiori nei nuovi pazienti. De Jong e colleghi descrivono questo fenomeno come un divario sistematico tra le prestazioni dichiarate in fase di sviluppo e le prestazioni realizzate in fase di validazione [4]. La loro meta-analisi di 50 revisioni sistematiche che hanno utilizzato lo strumento PROBAST ha coperto 1,510 studi e 2,104 modelli, e tutti i domini hanno mostrato un rischio di bias non chiaro o elevato [4]. La valutazione è quindi una fase di routine, non un'eccezione.

Ogni domanda di segnalazione prevede una delle cinque risposte possibili: sì, probabilmente sì, probabilmente no, no o nessuna informazione. Le risposte contribuiscono a una valutazione del dominio, che può essere bassa, alta o incerta. Nelle linee guida PROBAST, un dominio è considerato basso quando a tutte le domande si risponde sì o probabilmente sì, è potenzialmente alto quando almeno una domanda risponde no o probabilmente no, ed è incerto quando mancano informazioni e a nessuna domanda si risponde no [1,2]. Le valutazioni non vengono sommate per ottenere un punteggio, e la decisione finale spetta al revisore.

Dove si colloca lo strumento PROBAST tra gli strumenti correlati

Lo strumento PROBAST valuta i metodi, non la completezza della rendicontazione. La completezza della rendicontazione è di competenza di TRIPOD, argomento trattato nella nostra guida alla rendicontazione dei modelli predittivi con TRIPOD+AI . L'estrazione dei dati per le revisioni dei modelli predittivi segue la checklist CHARMS [5], e la dimensione del campione per lo sviluppo del modello segue i criteri di Riley e colleghi [6], che sostituiscono la vecchia regola del numero fisso di eventi per variabile. Per altri disegni di studio, gli strumenti di riferimento sono RoB 2 per gli studi clinici (vedi la nostra guida su RoB 2 ), ROBINS-I per gli interventi non randomizzati (vedi la guida su ROBINS-I ) e QUADAS-2 per gli studi di accuratezza diagnostica (vedi QUADAS-2 nella pratica ). La nostra guida alla valutazione del rischio di bias tratta in dettaglio lo strumento per gli studi clinici.

PROBAST+AI, l'aggiornamento del 2025

Nel 2025 Moons e colleghi hanno pubblicato PROBAST+AI sul BMJ [7]. È composto da due parti. La parte relativa allo sviluppo del modello utilizza 16 domande di segnalazione per valutare la qualità e l'applicabilità, mentre la parte relativa alla valutazione del modello utilizza 18 domande di segnalazione per valutare il rischio di bias e l'applicabilità. Entrambe le parti mantengono quattro domini, ora denominati partecipanti e fonti di dati, predittori, risultati e analisi, e l'applicabilità viene ancora valutata per i primi tre. Gli autori affermano che PROBAST+AI può sostituire lo strumento originale [7]. Questo post applica lo strumento originale del 2019, poiché le sue 20 domande sono fisse e sono quelle utilizzate nella letteratura di revisione esistente [4]. Se il protocollo, il supervisore o la rivista di destinazione denominano PROBAST+AI, utilizzare il set di domande del 2025 e mantenere la stessa abitudine di segnalazione delle prove mostrata di seguito.

Lo strumento PROBAST in sintesi: 4 ambiti e 20 domande di segnalazione

La tabella parafrasa le 20 domande in parole semplici e indica in quale punto del documento si trovano solitamente le prove. Alcune domande di analisi, ad esempio la 4.5 e la 4.9, si applicano solo allo sviluppo del modello, mentre diverse altre sono adattate alla parte che si sta valutando.

L'applicabilità si basa su tre ulteriori criteri di valutazione, anziché su semplici domande di segnalazione. I partecipanti e il contesto, i predittori e l'esito vengono valutati come di scarsa, alta o incerta rilevanza rispetto alla domanda di revisione. L'applicabilità è il motivo per cui lo stesso articolo può essere adatto a una revisione e inadatto a un'altra.

Come eseguire una valutazione degli strumenti PROBAST in cinque passaggi

• Scrivi la domanda di revisione. Prima di aprire qualsiasi documento, specifica la popolazione, i predittori, l'esito, la tempistica, il contesto e l'uso previsto del modello. Senza queste informazioni, non è possibile valutarne l'applicabilità.
• Classifica il documento. Classifica ciascun documento come sviluppo, validazione o entrambi, e valuta le parti separatamente. Un documento che svolge entrambe le funzioni può ottenere valutazioni diverse per ciascuna parte.
• Rispondi alle domande di segnalazione con un puntatore di prova. Annotate la sezione, la tabella o la figura che supporta ciascuna risposta e citate con parsimonia.
• Valuta ciascun dominio. Applica la regola secondo cui qualsiasi risposta negativa o probabilmente negativa rende un dominio potenzialmente elevato, quindi decidi se la ragione rappresenta una vera fonte di distorsione.
• Esprimere un giudizio complessivo. Il documento presenta un basso rischio di distorsione solo quando tutti e quattro i domini sono bassi, e la stessa logica si applica all'applicabilità.

Utilizzare due revisori che lavorino in modo indipendente e poi confrontarli. Una meta-analisi del 2023 sull'uso di PROBAST ha riportato tendenze stabili nel bias nel tempo e un basso accordo tra valutatori [8], che è il motivo pratico per concordare la domanda di revisione, la soglia degli eventi e la gestione delle risposte senza informazioni prima dell'inizio dello screening.

L'articolo ad accesso aperto che valutiamo

L'articolo è Stock e colleghi, Sviluppo e validazione di un modello di previsione del rischio di parto pretermine per donne con sintomi di travaglio pretermine (lo studio QUIDS) , pubblicato su PLOS Medicine nel 2021 [3]. È un caso di studio valido per tre motivi. Contiene sia una parte di sviluppo che una parte di validazione esterna, riporta i suoi metodi in modo sufficientemente dettagliato da rispondere alla maggior parte delle domande di segnalazione del testo principale e i suoi autori dichiarano i punti deboli del loro stesso progetto, il che rende visibili le decisioni prese. La licenza è CC BY 4.0, confermata dal campo della licenza della versione di registrazione di Crossref, dal campo della licenza Europe PMC e dalla dichiarazione di autorizzazione JATS nel testo completo. L'articolo è indicizzato in PubMed come PMID 34228732 (PMCID PMC8259998).

Il modello stima il rischio di parto pretermine spontaneo entro 7 giorni nelle donne con segni e sintomi di travaglio pretermine. È stato sviluppato mediante una meta-analisi di dati individuali di partecipanti provenienti da cinque studi di coorte prospettici (1,783 donne, 139 eventi) e validato in una nuova coorte prospettica in 26 centri del Regno Unito (2,924 donne, 85 eventi). Il modello finale combina la fibronectina fetale quantitativa (qfFN) con il fumo, l'etnia, la nulliparità e la gravidanza multipla.

Queste sono le nostre scelte per l'esercizio, non affermazioni tratte dall'articolo. Un revisore con una domanda diversa, ad esempio una revisione di modelli da utilizzare in assenza di un analizzatore, valuterebbe l'applicabilità in modo diverso. La valutazione si basa esclusivamente sull'articolo principale, comprese tabelle e figure. Le tabelle del testo supplementare S1 non sono state esaminate, pertanto le righe che dipendono da esse lo specificano.

Applicazione dello strumento PROBAST a QUIDS, domini da 1 a 3

Dominio 1, partecipanti

Valutazione del dominio 1, basso rischio di bias. Applicabilità, bassa preoccupazione , poiché la popolazione indicata corrisponde alla domanda di revisione.

Dominio 2, predittori

Valutazione del dominio 2, basso rischio di bias. Applicabilità, bassa preoccupazione per le unità dotate di analizzatore. L'introduzione rileva che la fFN quantitativa non ha l'approvazione della FDA statunitense e che il NICE ha ritenuto le prove insufficienti per raccomandarla, pertanto una revisione mirata a contesti sprovvisti di analizzatore dovrebbe sollevare questo problema con elevata preoccupazione.

Dominio 3, risultato

Valutazione del dominio 3, basso rischio di bias. Applicabilità, bassa preoccupazione , poiché il risultato a 7 giorni corrisponde alla domanda di revisione.

Applicazione dello strumento PROBAST all'analisi del dominio 4 di QUIDS.

Il dominio 4 è quello in cui la maggior parte degli articoli di previsione perde la propria valutazione, ed è l'unico dominio in cui le parti di sviluppo e validazione di QUIDS divergono. Le due parti sono contrassegnate rispettivamente con Dev e Val. Due piccoli calcoli tratti dai dati dell'articolo stesso si trovano dietro le righe 4.1 e 4.9.

• Eventi per predittore candidato. Lo sviluppo ha avuto 139 eventi e 10 predittori candidati, quindi 139 diviso 10 fa 13.9, che gli autori arrotondano a circa 14 (Metodi, Calcoli della dimensione del campione). Questo rientra nell'intervallo precedente da 10 a 20 [4] ma è inferiore ai 20 eventi per predittore candidato spesso applicati quando si utilizza lo strumento PROBAST. Accettiamo probabilmente sì perché gli autori affermano che i dati soddisfacevano i moderni criteri minimi di dimensione del campione, quindi un revisore più rigoroso potrebbe rispondere probabilmente no e valutare il dominio di analisi dello sviluppo non chiaro o alto.
• Eventi di convalida. Si sono verificati 85 eventi in 2,924 donne (2.9%), un numero inferiore ai circa 100 eventi che gli autori stessi indicano come minimo per la validazione (Risultati, Validazione esterna; Metodi, Calcolo della dimensione del campione).
• Verifica del restringimento per 4.9. Dividendo ciascun coefficiente corretto per l'ottimismo nella Tabella 2 per il suo valore originale si ottiene un valore compreso tra 0.943 e 0.946 per tutti e cinque i predittori, in linea con il fattore di contrazione uniforme di 0.94 riportato nell'articolo.

Valutazione del dominio 4. La parte di sviluppo presenta un basso rischio di distorsione . La parte di validazione presenta un alto rischio di distorsione , interpretata in modo rigoroso e determinata da un singolo elemento, la riga 4.1. A tutto il resto nel dominio 4 si risponde affermativamente o probabilmente affermativamente.

Valutazioni complessive e grafico di calibrazione

Interpretate la figura come una mappa che indica dove concentrare la prossima attenzione, non come un giudizio definitivo sullo studio. La parte relativa allo sviluppo presenta un punteggio basso in tutti gli ambiti. La parte relativa alla validazione ha un solo punto rosso, e deriva da un conteggio di 85 eventi a fronte di una soglia di circa 100, una discrepanza che gli autori stessi dichiarano. Un revisore potrebbe invece argomentare a favore di una valutazione non chiara, ma il protocollo di revisione dovrebbe comunque riportare la motivazione, poiché la valutazione influenza il modo in cui il modello viene ponderato in qualsiasi sintesi.

Il grafico di calibrazione mostra perché il conteggio degli eventi è importante nella pratica. Quasi tutte le osservazioni raggruppate si trovano al di sotto di un rischio previsto di 0.03, dove gli eventi sono rari, e un gruppo vicino a un rischio previsto di 0.17 mostra un rischio osservato di circa 0.22 con un ampio intervallo. Gli autori segnalano una certa sottostima a rischi più elevati e una pendenza di calibrazione di 1.24 dopo la ricalibrazione dell'intercetta (Risultati, Validazione esterna). Con così pochi eventi nei gruppi superiori, un singolo gruppo influenza il quadro generale, che è esattamente l'instabilità che il punto 4.1 è progettato per segnalare.

La riga 4.7 richiede calibrazione e discriminazione, e questa figura rappresenta la prova di calibrazione. L'analisi del beneficio netto presentata nell'articolo (Fig. 3) si riferisce a una questione diversa, ovvero se il modello aiuti a prendere decisioni. Se desideri eseguire un'analisi del beneficio netto sul tuo modello, il nostro calcolatore gratuito per l'analisi della curva decisionale lo fa a partire dai rischi previsti.

Decisioni discrezionali e casi di disaccordo tra i periti

In questa valutazione, sette punti si basano sul giudizio. Nominarli è più utile che fingere che lo strumento sia meccanico, ed è proprio questa pratica che favorisce la concordanza tra due revisori.

• 1.2 Dipende dal fatto che l'esclusione di quattro set di dati ELISA iniziali costituisca un problema di selezione. Essendo un problema legato al metodo, lo abbiamo valutato probabilmente in senso affermativo.
• 2.1 dipende dai dettagli di armonizzazione contenuti nel supplemento.
• 3.1 and 3.5 la questione riguarda come è stato classificato l'esito e se un trattamento avrebbe potuto modificarlo.
• 4.1 è la riga decisiva per la validazione e una richiesta di giudizio per lo sviluppo. Un revisore che accetta 85 eventi perché gli intervalli sono ristretti dovrebbe comunque specificarlo nel protocollo.
• 4.3 and 4.6 Probabilmente si tratta di risposte affermative, per le quali un secondo revisore potrebbe chiedere maggiori dettagli sulla perdita al follow-up.

Una meta-analisi del 2023 ha collegato l'uso di PROBAST a una bassa concordanza tra valutatori [8], quindi un breve esercizio di calibrazione su due o tre articoli prima della valutazione completa si ripaga da solo. Concordare la soglia degli eventi, concordare come trattare l'assenza di informazioni e concordare cosa conta come valutazione indipendente dell'esito.

Errori comuni con lo strumento PROBAST

• Utilizzarlo come lista di controllo per la redazione dei report. Uno studio che presenta risultati scadenti non fornisce risposte informative, il che è diverso da un metodo scadente. Abbina lo strumento PROBAST a TRIPOD per la creazione dei report.
• Valutazione dell'applicabilità senza una domanda di revisione scritta. L'applicabilità è relativa, quindi la domanda deve prima esistere.
• Sommare le domande di segnalazione in un punteggio. Lo strumento è progettato per una valutazione strutturata e il conteggio delle risposte affermative nasconde quale ambito ha fallito.
• Unire sviluppo e validazione. Valuta ogni parte. QUIDS mostra come un singolo documento possa ottenere sia un punteggio basso che un punteggio alto.
• Confondere la selezione retrospettiva con lo screening univariato. La domanda 4.5 riguarda lo screening dei predittori uno alla volta prima della modellazione. La selezione all'indietro all'interno di un modello multivariato è una questione separata che la domanda 4.8 verifica attraverso la correzione dell'ottimismo [4].
• Equiparare un alto rischio di distorsione a un modello inadeguato. La valutazione indica che la stima delle prestazioni potrebbe essere inaffidabile, non che il modello sia errato.
• Considerare le affermazioni dell'autore come prove. Una frase che afferma che lo studio ha seguito il protocollo TRIPOD non risponde ad alcuna domanda di segnalazione. Indica la tabella o il paragrafo che lo dimostra.

Presentazione dei risultati di PROBAST in una revisione sistematica

Riporta la domanda di revisione, la versione dello strumento (originale 2019 o PROBAST+AI), il numero di revisori e la regola per la risoluzione dei disaccordi. Mostra un diagramma a semaforo come la Figura 1 per ogni modello incluso, con le valutazioni del dominio e la motivazione di ogni valutazione elevata in una tabella di supporto. Quindi utilizza le valutazioni nella sintesi, ad esempio tramite un'analisi di sensibilità che rimuova i modelli con un alto rischio di bias nel dominio di analisi. Il flusso dei record nella tua revisione deve essere rappresentato in un diagramma PRISMA e il programma gratuito Flowchart Pro qui sotto ne crea uno direttamente nel tuo browser.

Se la tua revisione include anche studi clinici o studi di coorte sui trattamenti, abbina lo strumento PROBAST agli strumenti corrispondenti nelle guide RoB 2, ROBINS-I e QUADAS-2 sopra riportate, in modo che ogni disegno incluso venga valutato con lo strumento appositamente creato.

Strumenti gratuiti per la ricerca di modelli predittivi

Supporto professionale per la valutazione del rischio di pregiudizio

Valutare 20 o 200 studi con due revisori indipendenti è un lavoro lento e le valutazioni sono utili a una revisione solo se coerenti e documentate. Editverse supporta le fasi di valutazione ed estrazione dei dati delle revisioni sistematiche con risultati predefiniti. Inviate gli studi da includere e i relativi disegni di studio e chiedete quale strumento di valutazione può essere utilizzato per ciascun disegno prima di effettuare l'ordine.

Per una revisione completa, dal protocollo al manoscritto, consultate il nostro servizio di redazione di revisioni sistematiche , che copre tutte le fasi a cui contribuiscono i due servizi sopra menzionati. Il nostro lavoro segue le raccomandazioni di COPE, ICMJE e GPP 2022 e rispetta i requisiti etici istituzionali e nazionali.

Conclusione

Lo strumento PROBAST trasforma la vaga domanda sull'efficacia di un modello predittivo in 20 domande con relative prove a supporto. Applicato a QUIDS, presenta un basso rischio di bias per lo sviluppo del modello, un alto rischio di bias in una lettura rigorosa per la validazione esterna a causa degli 85 eventi e una bassa preoccupazione circa l'applicabilità alla domanda di revisione qui formulata. Il lavoro sta nel metodo, non nei colori. Scrivete prima la domanda di revisione, valutate separatamente lo sviluppo e la validazione, indicate la sezione relativa a ciascuna risposta e specificate i criteri di valutazione. Se il vostro protocollo prevede l'utilizzo di PROBAST+AI 2025, le abitudini rimangono invariate.

Referenze

1. Wolff RF, Moons KGM, Riley RD, Whiting PF, Westwood M, Collins GS, et al. PROBAST: uno strumento per valutare il rischio di bias e l'applicabilità degli studi sui modelli predittivi. Ann Intern Med. 2019;170(1):51-8. doi:10.7326/M18-1376PMID 30596875.
2. Moons KGM, Wolff RF, Riley RD, Whiting PF, Westwood M, Collins GS, et al. PROBAST: uno strumento per valutare il rischio di bias e l'applicabilità degli studi sui modelli predittivi, spiegazione ed elaborazione. Ann Intern Med. 2019;170(1):W1-33. doi:10.7326/M18-1377PMID 30596876.
3. Stock SJ, Horne M, Bruijn M, White H, Boyd KA, Heggie R, et al. Sviluppo e validazione di un modello di previsione del rischio di parto pretermine per le donne con sintomi di travaglio pretermine (lo studio QUIDS): uno studio di coorte prospettico e una meta-analisi dei dati dei singoli partecipanti. PLoS Med. 2021;18(7):e1003686. doi:10.1371/journal.pmed.1003686PMID 34228732. PMCID PMC8259998. CC BY 4.0.
4. de Jong Y, Ramspek CL, Zoccali C, Jager KJ, Dekker FW, van Diepen M. Valutazione della ricerca predittiva: una guida e una meta-analisi sulla valutazione del bias e dell'applicabilità utilizzando il Prediction model Risk Of Bias ASsessment Tool (PROBAST). Nephrology (Carlton). 2021;26(12):939-47. doi:10.1111/nep.13913PMID 34138495.
5. Moons KGM, de Groot JAH, Bouwmeester W, Vergouwe Y, Mallett S, Altman DG, et al. Valutazione critica ed estrazione dei dati per revisioni sistematiche di studi di modellizzazione predittiva, la checklist CHARMS. PLoS Med. 2014;11(10):e1001744. doi:10.1371/journal.pmed.1001744PMID 25314315.
6. Riley RD, Ensor J, Snell KIE, Harrell FE Jr, Martin GP, ​​Reitsma JB, et al. Calcolo della dimensione del campione necessaria per sviluppare un modello di previsione clinica. BMJ. 2020;368:m441. doi:10.1136/bmj.m441PMID 32188600.
7. Moons KGM, Damen JAA, Kaul T, Hooft L, Andaur Navarro C, Dhiman P, et al. PROBAST+AI: uno strumento aggiornato per la valutazione della qualità, del rischio di bias e dell'applicabilità dei modelli predittivi che utilizzano metodi di regressione o di intelligenza artificiale. BMJ. 2025;388:e082505. doi:10.1136/bmj-2024-082505PMID 40127903.
8. Langenhuijsen LFS, Janse RJ, Venema E, Kent DM, van Diepen M, Dekker FW, et al. La metarevisione sistematica degli studi di previsione dimostra tendenze stabili nel bias e un basso accordo tra valutatori PROBAST. J Clin Epidemiol. 2023;159:159-73. doi:10.1016/j.jclinepi.2023.04.012PMID 37142166.