Pubblicato | Ultimo aggiornamento

.evrob-wrap{overflow-x:auto !important;margin:22px 0 !important;}.evrob-table{border-collapse:collapse !important;width:100% !important;min-width:520px !important;}.evrob-table th{background-color:#0d2137 !important;color:#ffffff !important;padding:10px 12px !important;text-align:left !important;border:1px solid #cddaea !important;font-size:0.92rem !important;}.evrob-table td{background-color:#ffffff !important;color:#1a1a1a !important;padding:9px 12px !important;border:1px solid #cddaea !important;vertical-align:top !important;font-size:0.92rem !important;}.evrob-table tr:nth-child(even) td{background-color:#f0f5fa !important;}.evrob-cap{margin:6px 0 0 0 !important;font-size:0.85rem !important;color:#1a1a1a !important;}

Lo strumento RoB 2 per la valutazione del rischio di bias è la versione rivista dello strumento Cochrane per giudicare se il risultato di uno studio randomizzato sia affidabile. Sterne e colleghi lo hanno pubblicato sul BMJ nel 2019 ( BMJ 2019;366:l4898 ). Analizza cinque domini, pone una serie fissa di domande per ciascuno di essi e converte le risposte in uno dei tre giudizi: basso rischio di bias, alcune perplessità o alto rischio di bias. Questa guida spiega le domande di segnalazione del RoB 2 dominio per dominio, mostra come gli algoritmi giungono a un giudizio, descrive un ipotetico studio clinico dalla prima risposta alla valutazione complessiva e illustra come riportare il risultato in una revisione sistematica.

In parole semplici

RoB 2 non assegna un singolo punteggio di qualità a uno studio clinico. Per ogni risultato estratto da uno studio, è necessario rispondere a brevi domande fattuali su cinque aspetti relativi alla conduzione e alla rendicontazione dello studio stesso. Le risposte a queste domande producono una valutazione per ciascun aspetto, e la valutazione peggiore determina la valutazione complessiva. Un risultato è considerato Basso solo quando ogni dominio presenta una valutazione Bassa. Un solo dominio con una valutazione Alta fa sì che l'intero risultato sia considerato Alto.

Cosa valuta lo strumento RoB 2 per la valutazione del rischio di bias

Il criterio RoB 2 valuta un singolo risultato dello studio, non l'intero studio. Le linee guida Cochrane definiscono tale risultato come una stima dell'effetto relativo di due interventi su un particolare esito. Uno studio che riporta dati su dolore, funzionalità ed eventi avversi necessita quindi di diverse valutazioni. Le linee guida aggiungono che è probabile che queste decisioni coincidano con i risultati riportati nella tabella di riepilogo dei risultati, sebbene non abbiano ancora emesso una regola formale su quanti risultati valutare ( riskofbias.info ).

Prima ancora di aprire il primo foglio, è opportuno correggere tre aspetti del design.

  • I domini sono obbligatori. Le linee guida affermano che i cinque ambiti coprono tutti i tipi di bias che possono influenzare gli studi randomizzati, quindi ognuno di essi è obbligatorio e non dovrebbero essere aggiunti ulteriori ambiti.
  • I nomi descrivono le cause. Gli autori hanno evitato le etichette della versione 1 (bias di selezione, bias di prestazione, bias di abbandono e bias di rilevamento) perché tali etichette non descrivevano le problematiche specifiche valutate.
  • L'effetto degli interessi deve essere dichiarato. Si può scegliere tra l'effetto dell'assegnazione all'intervento (effetto intention-to-treat) e l'effetto dell'adesione all'intervento (effetto per protocollo). Solo il dominio 2 cambia con questa scelta, e la scelta non è correlata al fatto che si raccolgano gli odds ratio o le differenze di rischio.

Il capitolo 8 del manuale avverte che le analisi ingenue per protocollo e per trattamento ricevuto possono essere seriamente distorte e che una stima valida per protocollo richiede metodi specializzati; per questo motivo, la maggior parte delle revisioni specifica l'effetto di assegnazione. La nostra guida all'analisi intention-to-treat rispetto all'analisi per protocollo spiega perché questa distinzione è importante prima di iniziare a rispondere alle domande.

Le prove a supporto dei domini sono empiriche. Nello studio meta-epidemiologico ROBES, che ha analizzato 2,443 studi randomizzati in 228 meta-analisi Cochrane, le stime dell'effetto dell'intervento sono risultate in media esagerate negli studi con valutazioni del rischio di bias elevate o non chiare (rispetto a quelle con valutazioni basse) per la generazione della sequenza, con un rapporto di odds ratio di 0.91 (intervallo di credibilità al 95% da 0.86 a 0.98) ( Savović et al., Am J Epidemiol 2018 ). Tale studio ha utilizzato le valutazioni precedenti anziché RoB 2, ma illustra il motivo per cui lo strumento si interroga sul processo di randomizzazione.

I cinque domini e le loro domande sulla segnalazione RoB 2

La tabella seguente riporta i cinque ambiti per uno studio randomizzato individuale a gruppi paralleli, la questione centrale che ciascuno di essi indaga e il numero di domande di segnalazione presenti nel modello per valutare l'effetto dell'assegnazione all'intervento.

DominiNome nello strumentoProblema principale che testaDomande
D1Distorsione derivante dal processo di randomizzazioneLa sequenza di assegnazione era casuale e nascosta? Le differenze al basale suggeriscono un problema?3 (da 1.1 a 1.3)
D2Bias dovuto a deviazioni dagli interventi previstiLa consapevolezza dell'assegnazione del ruolo ha causato deviazioni dal protocollo, e l'analisi è stata appropriata?7 (da 2.1 a 2.7)
D3Distorsione dovuta alla mancanza di dati sui risultatiI dati sugli esiti sono disponibili per quasi tutti i partecipanti randomizzati, e la mancanza di dati potrebbe dipendere dal valore reale?4 (da 3.1 a 3.4)
D4Distorsione nella misurazione del risultatoLa misurazione era appropriata e comparabile tra i gruppi? Le conoscenze dei valutatori potrebbero averla influenzata?5 (da 4.1 a 4.5)
D5Bias nella selezione del risultato riportatoIl risultato riportato è stato scelto tra diverse misurazioni o analisi degli esiti?3 (da 5.1 a 5.3)

Tabella 1. Domini RoB 2 e numero di domande. Fonte: Linee guida Cochrane RoB 2, 22 agosto 2019. L'effetto dell'adesione all'intervento utilizza un diverso set di domande nel dominio 2.

Come vengono risolte le domande sulla segnalazione RoB 2

Ciascuna delle domande di segnalazione RoB 2 è formulata in modo da essere ragionevolmente fattuale. La risposta prevede una delle cinque opzioni: Sì, Probabilmente sì, Probabilmente no, No o Nessuna informazione. Sì e Probabilmente sì implicano lo stesso rischio di bias di No e Probabilmente no. Le domande sono formulate in modo tale che un Sì possa indicare un rischio di bias basso o alto, motivo per cui è fondamentale leggere l'algoritmo e non dare mai per scontato che Sì sia la risposta corretta.

Quattro regole prevengono la maggior parte degli errori di risposta.

  1. Utilizzare le informazioni non richieste con parsimonia. La linea guida riserva questa opzione ai casi in cui la relazione è troppo scarna per supportare un "Probabilmente sì" o un "Probabilmente no" e in cui una supposizione sarebbe irragionevole. Uno studio clinico di grandi dimensioni condotto da un'unità di sperimentazione esperta che non descrive la generazione della sequenza in un documento con un numero limitato di parole è più probabilmente un caso in cui si può rispondere con un "Probabilmente sì".
  2. Sappi cosa significa un dettaglio mancante. Se una domanda cerca prove di un problema, l'assenza di informazioni significa che non ci sono prove di quel problema. Se riguarda qualcosa che dovrebbe essere segnalato, come le perdite al follow-up, il silenzio desta preoccupazione.
  3. Rispondi a ciascuna domanda in modo indipendente. Uno squilibrio di base non deve modificare le risposte alle domande sulla generazione della sequenza o sull'occultamento. Va registrato solo alla domanda 1.3.
  4. Citare il rapporto. La casella di testo libero accanto a ciascuna domanda dovrebbe contenere, ove possibile, brevi citazioni dirette.

Gli algoritmi associano quindi le risposte a un giudizio di dominio proposto. Tale output va considerato come una proposta. Le linee guida affermano che gli utenti devono verificarlo, possono modificarlo e devono spiegare qualsiasi scostamento. Indicano inoltre ai valutatori di interpretare "rischio di pregiudizio" come "rischio di pregiudizio rilevante", pertanto le preoccupazioni devono sussistere solo laddove un problema possa compromettere la capacità di trarre conclusioni affidabili.

L'affidabilità richiede attenzione nella pratica. In uno studio sull'affidabilità inter-rater condotto da Minozzi e colleghi, quattro valutatori hanno applicato RoB 2 a 80 risultati relativi a sette esiti provenienti da 16 studi di una revisione Cochrane. Durante l'esercizio di calibrazione non hanno raggiunto un accordo sul giudizio complessivo (kappa di Fleiss pari a -0.15) e il tempo medio di applicazione dello strumento è stato di 168.5 minuti per studio. Il team ha quindi redatto un documento di implementazione specifico per l'argomento e ha misurato nuovamente l'accordo, e l'articolo riporta un miglioramento dell'affidabilità ( Minozzi et al., J Clin Epidemiol 2022 ). La lezione pratica è quella di concordare le regole di interpretazione, come ad esempio cosa si intende per "quasi tutti" i dati relativi agli esiti, prima di iniziare l'estrazione.

Dominio 1 RoB 2 Domande di segnalazione, processo di randomizzazione

Le domande di segnalazione RoB 2 nel dominio 1 chiedono se la sequenza di allocazione fosse casuale (1.1), se fosse stata nascosta fino all'arruolamento e all'assegnazione dei partecipanti (1.2) e se le differenze al basale suggeriscano un problema con la randomizzazione (1.3). Le differenze compatibili con il caso non creano rischio e un piccolo numero di differenze significative al livello 0.05 sono generalmente compatibili con il caso. Un giudizio basso richiede un adeguato occultamento e nessuna preoccupazione riguardo alla generazione della sequenza.

1.1 Sequenza casuale1.2 Nascosto1.3 Lo squilibrio suggerisce un problemasentenza in contumacia
Y / PY / NIY / PYN / PN / NIBasso
Y / PYY / PYY / PYAlcune preoccupazioni
N / PN / NIY / PYY / PYAlcune preoccupazioni
QualsiasiNIN / PN / NIAlcune preoccupazioni
QualsiasiNIY / PYAlto
QualsiasiN / PNQualsiasiAlto

Tabella 2. Domande di segnalazione RoB 2 del dominio 1 e mappatura predefinita. Y = Sì, PY = Probabilmente sì, N = No, PN = Probabilmente no, NI = Nessuna informazione. Fonte: Guida RoB 2, Tabella 4.

Domande di segnalazione relative al dominio 2 RoB 2, deviazioni dagli interventi previsti

Le domande di segnalazione RoB 2 nel dominio 2 sono le più complesse e si dividono in due parti per l'effetto dell'assegnazione. La Parte 1 comprende le domande da 2.1 a 2.5. Chiede se i partecipanti (2.1) e i caregiver o le persone che erogano l'intervento (2.2) fossero a conoscenza dell'assegnazione e, in caso affermativo, se si sono verificate deviazioni a causa del contesto dello studio (2.3), se hanno influenzato l'esito (2.4) e se erano bilanciate tra i gruppi (2.5). Per "contesto dello studio" si intendono gli effetti del reclutamento e del coinvolgimento, come ad esempio un partecipante che si sente sfortunato dopo essere stato assegnato al gruppo di confronto e cerca il trattamento sperimentale. La non aderenza che rispecchia ciò che accadrebbe al di fuori dello studio viene risposta No o Probabilmente no.

La Parte 2 tratta le domande 2.6 e 2.7 e chiede se un'analisi appropriata abbia stimato l'effetto dell'assegnazione. Sono appropriate le analisi intention-to-treat e le analisi intention-to-treat modificate che escludono solo i partecipanti con dati di esito mancanti. Le analisi ingenue per protocollo e as-treated non sono appropriate. La domanda 2.7 chiede quindi se l'analisi di persone nel gruppo sbagliato avrebbe potuto avere un impatto sostanziale, e la guida osserva che ciò può essere vero anche quando meno del 5% è stato interessato se l'esito è raro.

ParteRispostegiudizio parziale
Parte 1 (da 2.1 a 2.5)2.1 e 2.2 entrambi N / PNBasso
Parte 1Oppure 2.1 o 2.2 Y / PY / NI e 2.3 N / PNBasso
Parte 1Sia consapevole, sia 2.3 NIAlcune preoccupazioni
Parte 1Entrambi consapevoli, 2.3 Y / PY e 2.4 N / PNAlcune preoccupazioni
Parte 1O consapevoli, 2.3 Y/PY, 2.4 Y/PY/NI e 2.5 Y/PYAlcune preoccupazioni
Parte 1Entrambi consapevoli, 2.3 Y / PY, 2.4 Y / PY / NI e 2.5 N / PN / NIAlto
Parte 2 (2.6, 2.7)2.6 anni/annoBasso
Parte 22.6 N/PN/NI e 2.7 N/PNAlcune preoccupazioni
Parte 22.6 N/PN/NI e 2.7 Y/PY/NIAlto
Dominio 2Entrambe le parti basse, oppure Alcune preoccupazioni in una delle due parti senza che nessuna sia alta, oppure Alta in una delle due partiBasso, Alcune preoccupazioni, Alto rispettivamente

Tabella 3. Domande di segnalazione RoB 2 del dominio 2 e mappatura predefinita per l'effetto dell'assegnazione. Fonte: Guida RoB 2, Tabella 6.

Domande di segnalazione relative al dominio 3 RoB 2, dati mancanti sull'esito

Le domande di segnalazione RoB 2 nel dominio 3 iniziano con un semplice test. I dati per questo esito erano disponibili per tutti, o quasi tutti, i partecipanti randomizzati (3.1)? Le linee guida affermano che la disponibilità del 95% dei partecipanti sarà spesso sufficiente per un esito continuo, mentre per un esito dicotomico la soglia dipende dal rischio dell'evento. I valori imputati sono considerati dati mancanti. Se i dati sono incompleti, ci si chiede se vi siano prove che il risultato non sia stato distorto dalla mancanza di dati (3.2), se la mancanza di dati possa dipendere dal valore reale (3.3) e se sia probabile che lo sia stata (3.4). I motivi per una risposta affermativa al punto 3.4 includono proporzioni diverse di dati mancanti tra i bracci, motivi diversi tra i bracci e censura all'interruzione del trattamento nelle analisi del tempo all'evento.

3.1 Dati completi3.2 Prove di assenza di pregiudizi3.3 Potrebbe dipendere dal valore reale3.4 Probabilmente dipendesentenza in contumacia
Y / PYNANANABasso
N / PN / NIY / PYNANABasso
N / PN / NIN / PNN / PNNABasso
N / PN / NIN / PNY / PY / NIN / PNAlcune preoccupazioni
N / PN / NIN / PNY / PY / NIY / PY / NIAlto

Tabella 4. Domande di segnalazione RoB 2 del dominio 3 e mappatura predefinita. NA = Non applicabile. Fonte: Guida RoB 2, Tabella 10.

Dominio 4 RoB 2 Domande di segnalazione, Misurazione del risultato

Le domande di segnalazione RoB 2 nel dominio 4 chiedono se il metodo di misurazione fosse inappropriato (4.1), se la misurazione o l'accertamento potessero differire tra i gruppi (4.2), se i valutatori fossero a conoscenza dell'intervento ricevuto (4.3), se la conoscenza potesse aver influenzato la valutazione (4.4) e se probabilmente l'abbia fatto (4.5). Per gli esiti riferiti dai partecipanti, il valutatore è il partecipante stesso. La conoscenza dell'assegnazione può influenzare i sintomi auto-riferiti e le valutazioni basate sul giudizio, ma le linee guida osservano che è improbabile che influenzi esiti come la mortalità per tutte le cause.

Rispostesentenza in contumacia
4.1 N / PN / NI, 4.2 N / PN e 4.3 N / PN oppure 4.4 N / PNBasso
4.1 N/PN/NI, 4.2 N/PN, 4.3 Y/PY/NI, 4.4 Y/PY/NI, 4.5 N/PNAlcune preoccupazioni
4.1 N/PN/NI, 4.2 N/PN, 4.3 Y/PY/NI, 4.4 Y/PY/NI, 4.5 Y/PY/NIAlto
4.2 ha risposto NI con risposte altrimenti valideAlcune preoccupazioni (elevate se 4.5 è Y / PY / NI)
4.1 Y / PY o 4.2 Y / PYAlto

Tabella 5. Domande di segnalazione RoB 2 del dominio 4 e mappatura predefinita, in forma sintetica. Fonte: linee guida RoB 2, Tabella 12.

Domande di segnalazione del dominio 5 RoB 2, selezione del risultato riportato

Le domande di segnalazione RoB 2 nel dominio 5 chiedono se i dati sono stati analizzati in conformità con un piano predefinito e finalizzato prima che fossero disponibili i dati di esito non in cieco (5.1) e se è probabile che il risultato sia stato selezionato da più misurazioni di esito ammissibili (5.2) o da più analisi ammissibili (5.3). Esempi di misurazioni multiple includono diverse scale o punti temporali per un singolo esito. Esempi di analisi multiple includono modelli aggiustati e non aggiustati o diversi punti di taglio. Per rispondere con sicurezza è necessario il protocollo o il piano di analisi statistica.

5.1 Piano seguito5.2 Selezionato dalle misurazioni5.3 Selezionato dalle analisisentenza in contumacia
Y / PYN / PNN / PNBasso
N / PN / NIN / PNN / PNAlcune preoccupazioni
QualsiasiN / PNNIAlcune preoccupazioni
QualsiasiNIN / PN o NIAlcune preoccupazioni
QualsiasiY / PYQualsiasiAlto
QualsiasiQualsiasiY / PYAlto

Tabella 6. Domande di segnalazione RoB 2 del dominio 5 e mappatura predefinita. Fonte: Guida RoB 2, Tabella 14.

Dai giudizi di dominio alla valutazione complessiva

Il giudizio complessivo utilizza le stesse tre etichette dei domini. Un risultato è Basso solo se tutti i domini sono Bassi. Presenta alcune preoccupazioni se almeno un dominio solleva alcune preoccupazioni e nessuno è Alto. È Alto se almeno un dominio è Alto, oppure se ci sono alcune preoccupazioni in più domini in un modo che riduce sostanzialmente la fiducia nel risultato. Quest'ultima clausola è una valutazione soggettiva, quindi documenta il tuo ragionamento ogni volta che la utilizzi.

RoB 2 strumento di valutazione del rischio di bias: regola di giudizio generale che mostra i criteri Alto, Alcune preoccupazioni e Basso
Immagine 1. Regola di valutazione generale. Segnali rossi: alto rischio di bias, segni gialli: alcune perplessità e segni verdi: basso rischio di bias. Controllare le righe dall'alto verso il basso. Fonte: linee guida Cochrane RoB 2, 22 agosto 2019.

Le linee guida affermano inoltre che un giudizio di rischio elevato in un qualsiasi dominio dovrebbe avere la stessa implicazione per il risultato nel suo complesso, indipendentemente dal dominio da cui proviene. Sconsigliano di interrompere una revisione sistematica completa una volta che un dominio è stato giudicato ad alto rischio, poiché la trasparenza dei dati a livello di dominio è utile per i lettori e per la progettazione di studi futuri. Le regole di interruzione sono accettabili solo quando il protocollo prevede che gli studi ad alto rischio non avranno alcun ruolo nella sintesi.

Domande sulla segnalazione RoB 2 nella pratica: un esempio svolto

Il seguente studio è ipotetico e le domande di segnalazione RoB 2 riportate di seguito sono state completamente analizzate. Esiste solo per illustrare i meccanismi. Si tratta di uno studio randomizzato a due bracci, in aperto, che confronta un programma di esercizi strutturati con le cure standard in adulti con lombalgia cronica. Un totale di 240 adulti sono stati randomizzati, 120 per braccio. L'esito è l'intensità del dolore su una scala numerica da 0 a 10 a 12 settimane, riportata dal partecipante. La revisione si interroga sull'effetto dell'assegnazione all'intervento.

DominiRisposte alle domande sulla segnalazioneGiudizio
Randomizzazione D11.1 Y (sequenza generata al computer). 1.2 Y (assegnazione centralizzata via web). 1.3 N (punteggi del dolore basale simili).Basso
Deviazioni D22.1 Y e 2.2 Y (l'esercizio non può essere in cieco). 2.3 PN (alcuni partecipanti al gruppo di cure standard hanno richiesto fisioterapia, cosa che avverrebbe anche al di fuori di uno studio). 2.4 e 2.5 NA. 2.6 Y (tutti i partecipanti randomizzati con dati analizzati come assegnato). 2.7 NA.Basso (Parte 1 Basso, Parte 2 Basso)
D3 Dati mancantiDati disponibili per 212 su 240 (88%), con 15 dati mancanti nel gruppo di esercizio e 13 nel gruppo di cure standard. 3.1 N. 3.2 N (nessuna analisi di sensibilità). 3.3 Y (le persone con dolore più grave potrebbero abbandonare lo studio). 3.4 PN (proporzioni simili, 12.5% contro 10.8%, e motivi registrati simili).Alcune preoccupazioni
Misurazione D44.1 N (è adatta una scala di valutazione numerica). 4.2 N (stessa scala e punto temporale). 4.3 Y (il partecipante è il valutatore e conosce il braccio). 4.4 Y. 4.5 PY (i partecipanti che si aspettano benefici dall'esercizio possono segnalare un dolore inferiore).Alto
Risultato riportato D55.1 Y (protocollo registrato e piano di analisi finalizzati prima dello sblocco). 5.2 N (una scala del dolore in un momento prestabilito). 5.3 N (un'analisi prestabilita).Basso
TotaleUn dominio di alto livello (D4).Alto

Tabella 7. Esempio pratico delle domande di segnalazione RoB 2 per uno studio ipotetico. Tutti i dettagli dello studio sono inventati a scopo illustrativo.

La valutazione complessiva è Alta perché il dominio 4 è Alto, indipendentemente dagli altri quattro domini. Si noti che il verdetto dipende da una sola risposta, alla domanda 4.5. I revisori devono indicare il motivo della loro scelta "Probabilmente sì", citando il report ove possibile. La tabella seguente mostra come cambia la valutazione quando si modifica una risposta o una caratteristica di progettazione.

ScenarioDominio 4Dominio 3Valutazione complessiva
Come riportato (studio in aperto, dolore auto-riferito, 4.5 anni-persona)AltoAlcune preoccupazioniAlto
I revisori assegnano un punteggio di 4.5 PN (nessun motivo per ritenere che la segnalazione sia stata influenzata).Alcune preoccupazioniAlcune preoccupazioniAlcune preoccupazioni, oppure Elevate se entrambe insieme riducono sostanzialmente la fiducia. Documentare la scelta.
Stesso studio, ma il dolore è stato sostituito da un test di camminata cronometrato da un valutatore in cieco (4.3 N)BassoAlcune preoccupazioniAlcune preoccupazioni
Come riportato, ma l'abbandono è maggiore nel gruppo sottoposto ad esercizio fisico a causa di riacutizzazioni del dolore (3.4 anni)AltoAltoAlto

Tabella 8. Tabella decisionale che mostra come la valutazione complessiva risponde ai cambiamenti nella sperimentazione ipotetica. I domini 1, 2 e 5 rimangono bassi in ogni scenario.

Grafico a semaforo del rischio di bias RoB 2 di sei studi illustrativi in ​​cinque ambiti con giudizio complessivo
Immagine 2. Riepilogo a semaforo per sei studi esemplificativi. Da D1 a D5 sono i cinque domini RoB 2. Un segno più verde indica un basso rischio di bias, un punto interrogativo giallo indica alcune perplessità e una croce rossa indica un alto rischio di bias. Lo studio D è l'esempio pratico riportato sopra. Lo studio F presenta alcune perplessità in quattro dei cinque domini ed è valutato complessivamente come "Alto" a causa della clausola "Alcune perplessità", che rappresenta il giudizio del revisore. Dati illustrativi. Preparato da Editverse.

Grafici come quello della Figura 2 sono convenzionali nelle revisioni sistematiche. McGuinness e Higgins hanno creato il pacchetto R robvis e l'applicazione web Shiny per consentire ai team di revisione di produrre rapidamente grafici del rischio di bias di qualità pubblicabile ( Res Synth Methods 2021 ). Per una panoramica più ampia sulla creazione di grafici per studi clinici e meta-analisi, consultare la nostra guida ai grafici per la ricerca clinica.

Un esempio concreto: le domande sulla segnalazione RoB 2 applicate allo studio ARTHROL.

Lo studio simulato sopra descritto illustra i meccanismi, ma non può mostrare come le domande di segnalazione RoB 2 si comportino rispetto a un report reale. Questa sezione applica lo strumento a uno studio randomizzato pubblicato, ARTHROL, che ha confrontato il resveratrolo orale con il placebo in adulti con osteoartrite dolorosa del ginocchio. L'effetto di interesse è l'effetto dell'assegnazione all'intervento (analisi intention-to-treat) e il risultato valutato è la variazione del dolore al ginocchio su una scala numerica da 0 a 100 a 3 mesi. Le tabelle da 9 a 11 e la figura 3 mostrano la valutazione.

Valutazione esemplificativa di Editverse per l'insegnamento

Questa valutazione è un esempio didattico di Editverse su come vengono risposte le domande di segnalazione a partire da un rapporto pubblicato. Non costituisce un giudizio sugli autori o sulla qualità del loro lavoro. I revisori che valutano lo stesso studio possono rispondere in modo diverso alle righe contrassegnate come "valutazioni soggettive", e le linee guida lo prevedono.

ArticoloEccezionale
Citazione (Vancouver)Nguyen C, Coudeyre E, Boutron I, Baron G, Daste C, Lefèvre-Colau MM, et al. Resveratrolo orale negli adulti con osteoartrite del ginocchio: uno studio randomizzato controllato con placebo (ARTHROL). PLoS Med. 2024;21(8):e1004440. DOI 10.1371/rivista.pmed.1004440
IdentificatoriPMID 39137167. PMCID PMC11321588.
Registrazione e protocolloClinicalTrials.gov NCT02905799, registrato prima dell'inizio della sperimentazione. Protocollo pubblicato prima dell'arruolamento del primo partecipante (Nguyen C, Boutron I, Baron G, et al. BMJ Open. 2017;7(9):e017652. DOI 10.1136 / bmjopen-2017-017652).
licenzaAccesso aperto sotto licenza CC BY 4.0 (creativecommons.org/licenses/by/4.0Brevi citazioni e una figura sono qui riutilizzate con attribuzione, mentre tutto il resto è parafrasato. © 2024 Nguyen et al.
Perché questo processoSi tratta di uno studio clinico randomizzato, a due bracci, a gruppi paralleli, in doppio cieco e controllato con placebo, condotto secondo le linee guida CONSORT, con relativa registrazione, protocollo pubblicato e piano di analisi statistica. Il diagramma di flusso fornisce tutti i conteggi necessari per i domini 2 e 3, e l'esito primario è riportato dai partecipanti, il che rende il dominio 4 degno di studio.

Tabella 9. Prova selezionata per l'esempio reale, con identificativi e licenza.

Diagramma di flusso CONSORT dello studio randomizzato ARTHROL utilizzato per un esempio di rischio di bias RoB 2, 142 partecipanti randomizzati
Immagine 3. Diagramma di flusso CONSORT dello studio ARTHROL. Riproduzione tratta da Nguyen C, et al. PLoS Med 2024;21(8):e1004440 (Figura 1), © 2024 Nguyen et al., sotto licenza CC BY 4.0. Il contenuto non è stato modificato e il file è stato convertito in WebP. La nota a piè di pagina del diagramma indica che i quattro partecipanti segnalati al momento della randomizzazione per problemi di eleggibilità sono stati inclusi, seguiti e analizzati, il che è rilevante per la domanda 2.6.

La tabella seguente segue il rapporto dello studio, il protocollo e il piano di analisi nell'ordine dei cinque domini. Ogni riga indica dove si trovano le prove, in modo che un secondo revisore possa verificare la risposta in un minuto. I giudizi relativi ai domini derivano dalle tabelle dell'algoritmo contenute nelle linee guida Cochrane del 22 agosto 2019, e l'algoritmo è solo una proposta che un valutatore può modificare motivando la sua decisione.

La DomandaLe prove contenute nel documento e dove trovarleRisposta
Dominio 1, processo di randomizzazione. Giudizio basso. L'algoritmo (tabella guida 4) con 1.1 Y, 1.2 Y e 1.3 PN dà Basso.
1.1 Sequenza casuale?Un elenco generato al computer da uno statistico indipendente, stratificato per centro, con blocchi permutati di 2, 4 o 6 (Metodi, Randomizzazione e mascheramento).Y
1.2 Sequenza nascosta?L'assegnazione è avvenuta tramite un software di randomizzazione sicuro e il protocollo prevede che la sequenza sia stata nascosta da un'interfaccia informatica nell'e-CRF. Le capsule sono state pre-etichettate dal fornitore (Metodi; protocollo, Metodo S1).Y
1.3 Uno squilibrio della linea di base suggerisce un problema?I gruppi erano composti da 71 e 71 soggetti con allocazione 1:1 e il dolore medio al ginocchio al basale era rispettivamente di 56.9 e 55.5 (Tabella 1). Alcune covariate differiscono, ad esempio l'uso precedente di FANS (46% contro 31%) e l'età media (59.8 contro 63.0 anni), ma la dimensione del campione è plausibile per caso, con 71 soggetti per braccio e circa 25 caratteristiche confrontate. CHIAMATA DI GIUDIZIOPN
Ambito 2, deviazioni dagli interventi previsti (effetto dell'assegnazione). Giudizio basso. Parte 1 Bassa (2.1 e 2.2 entrambi PN o N) e Parte 2 Bassa (2.6 Y), quindi il dominio è Basso (tabella guida 6).
2.1 I partecipanti sono a conoscenza del compito assegnato?L'articolo afferma che i partecipanti erano in cieco e che le capsule avevano dimensioni, colore e sapore identici (Metodi). Non viene riportato alcun test di successo del mascheramento.PN
2.2 Assistenti e addetti alle consegne ne sono consapevoli?“I partecipanti, i ricercatori, gli statistici e i medici curanti erano all'oscuro del gruppo di assegnazione” (Metodi, Randomizzazione e mascheramento).N
2.3-2.5 Deviazioni dal contesto della provaNon applicabile poiché né alla domanda 2.1 né alla 2.2 è stata data risposta Y, PY o NI.NA
2.6 Analisi appropriata?Il modello longitudinale vincolato include ogni partecipante randomizzato con almeno un valore basale o post-basale, e il diagramma di flusso mostra 71 partecipanti per braccio analizzati per l'esito primario, inclusi quattro partecipanti segnalati alla randomizzazione per problemi di eleggibilità (nota a piè di pagina della Figura 1; Analisi statistica). Il 15% che non ha completato l'intervento assegnato (120 su 142 lo hanno completato) viene analizzato come randomizzato.Y
2.7 Quali sono le conseguenze dell'analisi effettuata nel gruppo sbagliato?Non applicabile perché 2.6 era Y.NA
Ambito 3, dati di risultato mancanti. Valutazione bassa. 3.1 PY dà Low senza ulteriori domande (tabella guida 10).
3.1 Dati per tutti o quasi tutti?I dati sul dolore a tre mesi erano disponibili per 67 su 71 e 68 su 71, quindi 135 su 142 (95.1%), con 4 e 3 dati mancanti (nota a piè di pagina della Tabella 2; Discussione, limitazioni). Le linee guida affermano che il 95% sarà spesso sufficiente per un risultato continuo, quindi questo valore è in linea con la regola empirica. CHIAMATA DI GIUDIZIOPY
3.2 a 3.4Non applicabile. Se un valutatore avesse preferito N per il punto 3.1, la domanda 3.2 dipenderebbe dalle analisi di sensibilità nel caso peggiore e nel caso migliore riportate nell'Appendice S5, che questa valutazione non ha aperto.NA
Ambito 4, misurazione del risultato. Giudizio basso. 4.1 PN, 4.2 PN e 4.3 PN seguono la prima riga della tabella guida 12, che è Bassa.
4.1 Metodo inappropriato?Una scala numerica di valutazione del dolore auto-somministrata da 0 a 100, scelta in conformità con le raccomandazioni OMERACT e OARSI per gli studi sull'osteoartrite del ginocchio (Metodi, Risultati).PN
4.2 Le misurazioni differivano tra i gruppi?Entrambi i gruppi hanno compilato lo stesso questionario a casa prima della visita programmata, "per ridurre al minimo l'influenza dei raccoglitori di dati sulle risposte dei partecipanti" (Metodi, Risultati).PN
4.3 I valutatori sono a conoscenza dell'intervento?Per i risultati riportati dai partecipanti, il valutatore è il partecipante stesso e i partecipanti erano in cieco (vedere 2.1). Non viene riportato alcun test di successo del mascheramento.PN
4.4 e 4.5Non applicabile perché 4.3 era PN.NA
Dominio 5, selezione del risultato riportato. Giudizio basso. 5.1 PY con 5.2 N e 5.3 PN dà Basso (tabella guida 14).
5.1 Il piano predefinito è stato finalizzato prima della divulgazione dei dati non anonimizzati?Lo studio clinico è stato registrato prima del suo inizio (NCT02905799) e la versione 1.1 del protocollo, datata 14 dicembre 2016 e tuttora valida nella versione 7.0 del 23 marzo 2021, ha definito l'esito primario, il punto temporale di 3 mesi e l'analisi longitudinale vincolata (S1 Metodo, sezioni 7 e 8.2). Gli autori scrivono che "Tutti gli esiti pre-specificati nel protocollo sono stati riportati". I file separati del piano di analisi sono datati 3 e 4 ottobre 2022, dopo l'ultimo follow-up del 12 maggio 2022, e l'articolo non specifica quando i dati sono stati svelati, quindi la risposta si basa sul protocollo. CHIAMATA DI GIUDIZIOPY
5.2 Selezionato tra diverse misurazioni?Una misurazione primaria (scala numerica di valutazione del dolore) in un momento prestabilito (3 mesi). Le altre scale sono etichettate come secondarie.N
5.3 Selezionato tra diverse analisi?Il modello riportato è il modello longitudinale vincolato definito nel protocollo e nel piano di analisi. Il protocollo indicava il centro come effetto casuale, mentre il piano di analisi e l'articolo utilizzavano un effetto fisso. Gli autori dichiarano di non aver utilizzato l'approccio GEE previsto per gli esiti dicotomici perché solo tre centri hanno partecipato, una ragione non correlata ai risultati. Le analisi di sensibilità (ANCOVA, modello a due punti temporali, caso peggiore e caso migliore) sono etichettate come tali (Analisi statistica). CHIAMATA DI GIUDIZIOPN
Giudizio complessivo: Basso. Tutti e cinque i domini sono a livello Basso, che è l'unica via per raggiungere il livello Basso nella Tabella guida 1.

Tabella 10. Domande di segnalazione RoB 2 per il risultato primario ARTHROL (cambiamento del dolore al ginocchio a 3 mesi, resveratrolo rispetto al placebo, effetto dell'assegnazione all'intervento). Y indica sì, PY probabilmente sì, PN probabilmente no, N no e NA non applicabile. I riferimenti alle sezioni si riferiscono a Nguyen et al. 2024, salvo diversa indicazione. Le righe contrassegnate come "valutazioni soggettive" sono quelle in cui valutatori ragionevoli potrebbero rispondere diversamente. Gli algoritmi seguono le linee guida Cochrane RoB 2 del 22 agosto 2019 (tabelle 1, 4, 6, 10, 12 e 14).

Il riepilogo che segue raccoglie i giudizi e le risposte che hanno determinato ciascuno di essi.

DominiGiudizioRisposte che lo hanno decisoProve decisive
Randomizzazione D1Basso1.1 Y, 1.2 Y, 1.3 PNBlocchi stratificati generati al computer, occultamento controllato da software, bracci bilanciati
Deviazioni D2BassoParte 1 Bassa, Parte 2 BassaPartecipanti e clinici mascherati, tutti i partecipanti randomizzati analizzati come assegnati
D3 Dati mancantiBasso3.1 AC135 su 142 con dati relativi a 3 mesi (95.1%)
Misurazione D4Basso4.1 PN, 4.2 PN, 4.3 PNStessa scala di autovalutazione in entrambi i gruppi, compilata da partecipanti mascherati.
Risultato riportato D5Basso5.1 PY, 5.2 N, 5.3 PNRegistrato, protocollo fissato risultato e modello, una misura primaria
TotaleBassoBasso in tutti e cinque gli ambitiTabella guida 1

Tabella 11. Giudizi di dominio e complessivi per il risultato primario dello studio ARTHROL. Le regole derivano dalle linee guida Cochrane RoB 2 del 22 agosto 2019.

Cosa ti dice e cosa non ti dice un punteggio basso

Il risultato primario è stato una variazione media del dolore al ginocchio di -15.7 punti con il resveratrolo e -15.2 con il placebo, una differenza di -0.6 (IC 95% da -8.0 a 6.9). Il RoB 2 classifica questo risultato come Basso perché lo studio è stato condotto e riportato in modo da proteggere dai bias. Non dice nulla sulla precisione. Gli autori hanno randomizzato 142 dei 164 partecipanti previsti e descrivono lo studio come sottodimensionato, e tale limitazione appartiene al giudizio di imprecisione in una valutazione GRADE, non a un dominio RoB 2.

Perché la mancata adesione non è stata considerata un fattore negativo nello studio

Solo 120 dei 142 partecipanti (85%) hanno completato l'intervento assegnato, un dato che potrebbe sembrare preoccupante finché non si considera la domanda posta. Per quanto riguarda l'effetto dell'assegnazione, le deviazioni dal protocollo sono rilevanti solo quando derivano dal contesto dello studio, e un'analisi di tutti i partecipanti come randomizzati è appropriata. Una revisione che indagasse l'effetto dell'aderenza all'intervento utilizzerebbe una serie diversa di domande nel dominio 2 e richiederebbe un'analisi più specifica rispetto a quella qui riportata.

Punti in cui due valutatori potrebbero differire

Quattro righe contengono un'etichetta di valutazione. La riga 1.3 dipende da quanta differenza di base si accetta come casuale, la riga 3.1 si basa sulla regola empirica del 95%, e le righe 5.1 e 5.3 dipendono da come si tratta un piano di analisi datato dopo il follow-up e una modifica del termine centrale. Secondo l'algoritmo, una risposta meno favorevole alla 1.3 (PY), alla 5.1 (PN o NI) o alla 5.3 (NI) abbasserebbe quel dominio, e con esso la valutazione complessiva, a "Alcune preoccupazioni", mentre una Y o PY alla 5.3 darebbe un punteggio "Alto". Una N alla 3.1 indirizzerebbe il valutatore alla domanda 3.2 e alle analisi di sensibilità. Indipendentemente dalla risposta, registrare la citazione e la sezione che giustificano la scelta. Tale registrazione è ciò che rende una valutazione RoB 2 verificabile da un secondo revisore.

Confrontiamo questo risultato con lo studio in aperto ipotetico descritto in precedenza in questa guida. In quel caso, un risultato riportato dai partecipanti in uno studio non in cieco ha portato il dominio 4 a un livello Alto. Qui, lo stesso tipo di risultato si trova in un disegno in cieco, controllato con placebo, quindi il dominio 4 rimane Basso. Il tipo di risultato non ha modificato la valutazione, bensì il mascheramento. L'insieme completo delle domande di segnalazione è presente nelle linee guida Cochrane RoB 2 e i dettagli dello studio sono riportati nell'articolo originale.

Varianti di cluster e crossover in breve

Le linee guida del 2019 forniscono tre modelli, uno per ciascuno degli studi randomizzati individuali a gruppi paralleli, uno per gli studi randomizzati a gruppi paralleli a cluster (inclusi i disegni a gradini) e uno per gli studi crossover randomizzati e altri disegni appaiati. I cinque domini sopra menzionati si applicano agli studi randomizzati individuali, inclusi gli studi crossover. Gli studi randomizzati a cluster ricevono un dominio aggiuntivo, 1b, che riguarda il bias derivante dall'identificazione o dal reclutamento dei singoli partecipanti all'interno dei cluster. Le linee guida affermano che non esiste ancora una versione per gli studi crossover a cluster. Il Manuale Cochrane riassume entrambe le varianti nel suo Capitolo 23 e i modelli ufficiali sono disponibili su riskofbias.info . Se rientrate nella categoria degli studi crossover, il nostro articolo sul disegno crossover e sui periodi di washout spiega le caratteristiche del disegno che dovrete valutare.

Segnalazione RoB 2 Domande e giudizi di segnalazione

La relazione deve consentire al lettore di riprodurre i giudizi espressi. Le linee guida raccomandano di presentare i giudizi di consenso a livello di dominio nella revisione principale, sotto forma di tabella, figura o grafico a foresta, e di inserire le risposte di segnalazione con il relativo testo di supporto in un'appendice. Le annotazioni dei singoli valutatori vanno inserite in un supplemento e non devono essere in primo piano. Trattate i seguenti punti nella sezione Metodi.

  1. Indicare lo strumento e la sua versione, e specificare quale modello di progettazione è stato utilizzato per ogni prova.
  2. Indicare l'effetto di interesse e, per quanto riguarda l'aderenza, quali deviazioni sono state valutate.
  3. Elenca gli esiti e i momenti temporali valutati e, qualora ne fossero stati riportati diversi, indica quale risultato di ciascuno studio hai scelto.
  4. Descrivi il funzionamento del lavoro dei valutatori e le modalità di risoluzione dei disaccordi.
  5. Spiegare ogni sovrascrittura di una proposta di algoritmo e ogni utilizzo della clausola multipla "Alcune preoccupazioni".
  6. Indica le fonti utilizzate per ogni studio, inclusi i protocolli e le registrazioni, poiché il dominio 5 dipende da esse.

Frase sui metodi che puoi adattare

Il rischio di bias in ciascuno studio randomizzato incluso è stato valutato per [esito] al [punto temporale] utilizzando RoB 2 (linee guida del 22 agosto 2019) per l'effetto dell'assegnazione all'intervento. Due revisori hanno risposto alle domande di segnalazione in modo indipendente, hanno risolto le differenze tramite discussione e hanno registrato le citazioni a supporto. I giudizi a livello di dominio e complessivi (Basso, Alcune preoccupazioni, Alto) sono stati raggiunti utilizzando gli algoritmi pubblicati e qualsiasi modifica è documentata nel supplemento.

Riporta la revisione stessa in base alle linee guida PRISMA 2020 e posiziona il valore del rischio di bias accanto al forest plot. Il nostro generatore di diagrammi di flusso PRISMA 2020 gestisce il diagramma di flusso, mentre il calcolatore della tabella delle prove GRADE supporta il passaggio successivo. Se stai scrivendo questa sezione all'interno di una tesi, l'articolo sull'abbinamento delle linee guida di reporting ai capitoli della tesi mostra dove collocare ciascun elemento.

Errori comuni nell'applicazione di RoB 2

  • Valutare la sperimentazione anziché il risultato. I problemi di randomizzazione influenzano l'intero studio, ma le deviazioni, la misurazione e la selezione del risultato riportato sono legate allo specifico esito.
  • Fidarsi dell'etichetta "intenzione di trattamento". Le linee guida rilevano che il termine non ha una definizione univoca nei rapporti di studio. Confronta l'analisi effettiva con la domanda 2.6.
  • Trattare l'aggiustamento delle covariate come una soluzione per la randomizzazione interrotta. Le linee guida affermano che uno studio che ha controllato gli squilibri di base per mitigare i fallimenti della randomizzazione dovrebbe essere valutato con ROBINS-I invece (Sterne e altri, BMJ 2016).
  • Lasciare che una risposta ne determini un'altra. Rispondi a ciascuna domanda basandoti sulle prove fornite.
  • Impostazione predefinita: Nessuna informazione. Utilizzare "Probabilmente sì" o "Probabilmente no" quando le circostanze giustificano un giudizio ragionevole.
  • Saltiamo la nota di implementazione. I risultati sull'affidabilità sopra riportati dimostrano perché vale la pena dedicare del tempo alla creazione di un breve regolamento specifico per l'argomento trattato.
  • Presentazione dell'output dell'algoritmo senza alcuna motivazione. Una griglia di colori spoglia genera dubbi. Aggiungi delle giustificazioni sintetiche.

Molti di questi errori compaiono anche nell'elenco più ampio della nostra guida agli errori comuni nelle meta-analisi. Se non siete sicuri di quanti studi siano necessari per la vostra sintesi, una volta esclusi quelli ad alto rischio, consultate la sezione relativa al numero minimo di studi per una meta-analisi. Per la gerarchia dei disegni di studio alla base di queste decisioni, consultate la sezione sui livelli di evidenza nella ricerca clinica, e per il passaggio successivo alla valutazione del rischio di bias, consultate la nostra guida alla metodologia GRADE . La nostra precedente panoramica del Cochrane Risk of Bias Tool 2.0 offre un'introduzione più ampia, e la nostra masterclass sulle meta-analisi tratta l'aggregazione dei dati, l'eterogeneità e il bias di pubblicazione.

Strumenti e risorse

Tre strumenti gratuiti di Editverse supportano il lavoro di valutazione del rischio di pregiudizio. Utilizzali per disegnare figure, scegliere i test e creare diagrammi di flusso.

Strumenti di ricerca gratuiti da Editverse

  • GraphProCrea grafici pronti per la pubblicazione, di 25 tipologie diverse, con test t, ANOVA, correlazione e valori p del chi-quadrato integrati. Gratuito, senza registrazione.
  • StatiProCalcolatori statistici gratuiti e uno strumento di selezione dei test che copre confronti tra gruppi, risultati categorici, analisi del tempo all'evento e accuratezza diagnostica.
  • Flowchart Pro: Genera diagrammi di flusso PRISMA 2020, PRISMA-ScR, CONSORT, STROBE, STARD, MOOSE e ARRIVE direttamente nel tuo browser.

Supporto professionale per la valutazione del rischio di bias e le revisioni sistematiche

Una valutazione del rischio di bias di tipo 2 difendibile inizia con il protocollo di revisione, poiché l'effetto di interesse, gli esiti e il foglio delle regole vengono tutti definiti in quella fase. Editverse supporta le revisioni sistematiche dal protocollo al manoscritto, con un lavoro di reporting allineato a COPE, ICMJE e GPP 2022. I pacchetti elencati di seguito sono quelli più adatti al flusso di lavoro di valutazione del rischio di bias descritto in questo articolo.

Protocollo

$500

Protocollo pronto per PROSPERO con criteri di ammissibilità, strategia di ricerca, piano di estrazione dei dati e guida alla selezione dello strumento di valutazione del rischio di bias. La consegna standard è di 2-3 settimane.

Visualizza il pacchetto →

Revisione sistematica più meta-analisi

$1,800

Revisione completa e meta-analisi di un massimo di 15 studi idonei, con valutazione della qualità, stime del rischio di bias, forest plot e conformità alle linee guida PRISMA 2020.

Visualizza il pacchetto →

Non sai quale pacchetto sia più adatto alle tue esigenze? La nostra pagina dedicata al servizio di redazione di revisioni sistematiche spiega come funziona il processo, mentre i nostri servizi di scrittura di manoscritti si occupano della stesura finale una volta completate le valutazioni.

Conclusione

Lo strumento di valutazione del rischio di bias RoB 2 premia una procedura rigorosa. Definisci l'effetto di interesse e i risultati da valutare, redigi un breve foglio di regole, rispondi a ciascuna delle domande di segnalazione RoB 2 presenti nel report e nel protocollo e lascia che gli algoritmi propongano valutazioni per ciascun dominio, che dovrai poi verificare. La valutazione complessiva segue il dominio peggiore, con un'eccezione basata sul giudizio soggettivo per alcune problematiche specifiche. Riporta i giudizi di consenso nel testo principale e le risposte a supporto in un supplemento. In questo modo, la valutazione diventa un documento trasparente che lettori, revisori e commissioni GRADE possono consultare.

Referenze

  1. Sterne JAC, Savović J, Page MJ, et al. RoB 2: uno strumento rivisto per la valutazione del rischio di bias negli studi randomizzati. BMJ. 2019;366:l4898. DOI 10.1136/bmj.l4898. PMID 31462531. Open source
  2. Higgins JPT, Savović J, Page MJ, Elbers RG, Sterne JAC, editors. Strumento Cochrane rivisto per la valutazione del rischio di bias negli studi randomizzati (RoB 2). Documento guida, 22 agosto 2019. Open source
  3. Manuale Cochrane per le revisioni sistematiche degli interventi, Capitolo 8, Valutazione del rischio di bias in uno studio randomizzato. Open source
  4. Sterne JA, Hernán MA, Reeves BC, et al. ROBINS-I: uno strumento per valutare il rischio di bias negli studi di intervento non randomizzati. BMJ. 2016;355:i4919. DOI 10.1136/bmj.i4919. PMID 27733354. Open source
  5. Savović J, Turner RM, Mawdsley D, et al. Associazione tra valutazioni del rischio di bias e risultati di studi randomizzati nelle revisioni Cochrane: lo studio meta-epidemiologico ROBES. Am J Epidemiol. 2018;187(5):1113-1122. DOI 10.1093/aje/kwx344. PMID 29126260. Open source
  6. Minozzi S, Dwan K, Borrelli F, Filippini G. L'affidabilità dello strumento rivisto Cochrane per la valutazione del rischio di bias negli studi randomizzati (RoB2) è migliorata grazie all'utilizzo di istruzioni per l'implementazione. J Clin Epidemiol. 2022;141:99-105. DOI 10.1016/j.jclinepi.2021.09.021. PMID 34537386. Open source
  7. McGuinness LA, Higgins JPT. Visualizzazione del rischio di bias (robvis): un pacchetto R e un'applicazione web Shiny per la visualizzazione delle valutazioni del rischio di bias. Res Synth Methods. 2021;12(1):55-61. DOI 10.1002/jrsm.1411. PMID 32336025. Open source
  8. Page MJ, McKenzie JE, Bossuyt PM, et al. La dichiarazione PRISMA 2020: una linea guida aggiornata per la rendicontazione delle revisioni sistematiche. BMJ. 2021;372:n71. DOI 10.1136/bmj.n71. PMID 33782057. Open source
  9. Nguyen C, Coudeyre E, Boutron I, Baron G, Daste C, Lefèvre-Colau MM, et al. Resveratrolo orale negli adulti con osteoartrite del ginocchio: uno studio randomizzato controllato con placebo (ARTHROL). PLoS Med. 2024;21(8):e1004440. DOI 10.1371/journal.pmed.1004440. PMID 39137167. Open source
  10. Nguyen C, Boutron I, Baron G, Coudeyre E, Berenbaum F, Poiraudeau S, et al. Evoluzione del dolore a 3 mesi con resveratrolo orale nell'osteoartrite del ginocchio (ARTHROL): protocollo per uno studio multicentrico randomizzato in doppio cieco controllato con placebo. BMJ Open. 2017;7(9):e017652. DOI 10.1136/bmjopen-2017-017652. PMID 28965100. Open source