Pubblicato | Ultimo aggiornamento
.evrob-wrap{overflow-x:auto !important;margin:22px 0 !important;}.evrob-table{border-collapse:collapse !important;width:100% !important;min-width:520px !important;}.evrob-table th{background-color:#0d2137 !important;color:#ffffff !important;padding:10px 12px !important;text-align:left !important;border:1px solid #cddaea !important;font-size:0.92rem !important;}.evrob-table td{background-color:#ffffff !important;color:#1a1a1a !important;padding:9px 12px !important;border:1px solid #cddaea !important;vertical-align:top !important;font-size:0.92rem !important;}.evrob-table tr:nth-child(even) td{background-color:#f0f5fa !important;}.evrob-cap{margin:6px 0 0 0 !important;font-size:0.85rem !important;color:#1a1a1a !important;}
Lo strumento RoB 2 per la valutazione del rischio di bias è la versione rivista dello strumento Cochrane per giudicare se il risultato di uno studio randomizzato sia affidabile. Sterne e colleghi lo hanno pubblicato sul BMJ nel 2019 ( BMJ 2019;366:l4898 ). Analizza cinque domini, pone una serie fissa di domande per ciascuno di essi e converte le risposte in uno dei tre giudizi: basso rischio di bias, alcune perplessità o alto rischio di bias. Questa guida spiega le domande di segnalazione del RoB 2 dominio per dominio, mostra come gli algoritmi giungono a un giudizio, descrive un ipotetico studio clinico dalla prima risposta alla valutazione complessiva e illustra come riportare il risultato in una revisione sistematica.
In parole semplici
RoB 2 non assegna un singolo punteggio di qualità a uno studio clinico. Per ogni risultato estratto da uno studio, è necessario rispondere a brevi domande fattuali su cinque aspetti relativi alla conduzione e alla rendicontazione dello studio stesso. Le risposte a queste domande producono una valutazione per ciascun aspetto, e la valutazione peggiore determina la valutazione complessiva. Un risultato è considerato Basso solo quando ogni dominio presenta una valutazione Bassa. Un solo dominio con una valutazione Alta fa sì che l'intero risultato sia considerato Alto.
Cosa valuta lo strumento RoB 2 per la valutazione del rischio di bias
Il criterio RoB 2 valuta un singolo risultato dello studio, non l'intero studio. Le linee guida Cochrane definiscono tale risultato come una stima dell'effetto relativo di due interventi su un particolare esito. Uno studio che riporta dati su dolore, funzionalità ed eventi avversi necessita quindi di diverse valutazioni. Le linee guida aggiungono che è probabile che queste decisioni coincidano con i risultati riportati nella tabella di riepilogo dei risultati, sebbene non abbiano ancora emesso una regola formale su quanti risultati valutare ( riskofbias.info ).
Prima ancora di aprire il primo foglio, è opportuno correggere tre aspetti del design.
- I domini sono obbligatori. Le linee guida affermano che i cinque ambiti coprono tutti i tipi di bias che possono influenzare gli studi randomizzati, quindi ognuno di essi è obbligatorio e non dovrebbero essere aggiunti ulteriori ambiti.
- I nomi descrivono le cause. Gli autori hanno evitato le etichette della versione 1 (bias di selezione, bias di prestazione, bias di abbandono e bias di rilevamento) perché tali etichette non descrivevano le problematiche specifiche valutate.
- L'effetto degli interessi deve essere dichiarato. Si può scegliere tra l'effetto dell'assegnazione all'intervento (effetto intention-to-treat) e l'effetto dell'adesione all'intervento (effetto per protocollo). Solo il dominio 2 cambia con questa scelta, e la scelta non è correlata al fatto che si raccolgano gli odds ratio o le differenze di rischio.
Il capitolo 8 del manuale avverte che le analisi ingenue per protocollo e per trattamento ricevuto possono essere seriamente distorte e che una stima valida per protocollo richiede metodi specializzati; per questo motivo, la maggior parte delle revisioni specifica l'effetto di assegnazione. La nostra guida all'analisi intention-to-treat rispetto all'analisi per protocollo spiega perché questa distinzione è importante prima di iniziare a rispondere alle domande.
Le prove a supporto dei domini sono empiriche. Nello studio meta-epidemiologico ROBES, che ha analizzato 2,443 studi randomizzati in 228 meta-analisi Cochrane, le stime dell'effetto dell'intervento sono risultate in media esagerate negli studi con valutazioni del rischio di bias elevate o non chiare (rispetto a quelle con valutazioni basse) per la generazione della sequenza, con un rapporto di odds ratio di 0.91 (intervallo di credibilità al 95% da 0.86 a 0.98) ( Savović et al., Am J Epidemiol 2018 ). Tale studio ha utilizzato le valutazioni precedenti anziché RoB 2, ma illustra il motivo per cui lo strumento si interroga sul processo di randomizzazione.
I cinque domini e le loro domande sulla segnalazione RoB 2
La tabella seguente riporta i cinque ambiti per uno studio randomizzato individuale a gruppi paralleli, la questione centrale che ciascuno di essi indaga e il numero di domande di segnalazione presenti nel modello per valutare l'effetto dell'assegnazione all'intervento.
| Domini | Nome nello strumento | Problema principale che testa | Domande |
|---|---|---|---|
| D1 | Distorsione derivante dal processo di randomizzazione | La sequenza di assegnazione era casuale e nascosta? Le differenze al basale suggeriscono un problema? | 3 (da 1.1 a 1.3) |
| D2 | Bias dovuto a deviazioni dagli interventi previsti | La consapevolezza dell'assegnazione del ruolo ha causato deviazioni dal protocollo, e l'analisi è stata appropriata? | 7 (da 2.1 a 2.7) |
| D3 | Distorsione dovuta alla mancanza di dati sui risultati | I dati sugli esiti sono disponibili per quasi tutti i partecipanti randomizzati, e la mancanza di dati potrebbe dipendere dal valore reale? | 4 (da 3.1 a 3.4) |
| D4 | Distorsione nella misurazione del risultato | La misurazione era appropriata e comparabile tra i gruppi? Le conoscenze dei valutatori potrebbero averla influenzata? | 5 (da 4.1 a 4.5) |
| D5 | Bias nella selezione del risultato riportato | Il risultato riportato è stato scelto tra diverse misurazioni o analisi degli esiti? | 3 (da 5.1 a 5.3) |
Tabella 1. Domini RoB 2 e numero di domande. Fonte: Linee guida Cochrane RoB 2, 22 agosto 2019. L'effetto dell'adesione all'intervento utilizza un diverso set di domande nel dominio 2.
Come vengono risolte le domande sulla segnalazione RoB 2
Ciascuna delle domande di segnalazione RoB 2 è formulata in modo da essere ragionevolmente fattuale. La risposta prevede una delle cinque opzioni: Sì, Probabilmente sì, Probabilmente no, No o Nessuna informazione. Sì e Probabilmente sì implicano lo stesso rischio di bias di No e Probabilmente no. Le domande sono formulate in modo tale che un Sì possa indicare un rischio di bias basso o alto, motivo per cui è fondamentale leggere l'algoritmo e non dare mai per scontato che Sì sia la risposta corretta.
Quattro regole prevengono la maggior parte degli errori di risposta.
- Utilizzare le informazioni non richieste con parsimonia. La linea guida riserva questa opzione ai casi in cui la relazione è troppo scarna per supportare un "Probabilmente sì" o un "Probabilmente no" e in cui una supposizione sarebbe irragionevole. Uno studio clinico di grandi dimensioni condotto da un'unità di sperimentazione esperta che non descrive la generazione della sequenza in un documento con un numero limitato di parole è più probabilmente un caso in cui si può rispondere con un "Probabilmente sì".
- Sappi cosa significa un dettaglio mancante. Se una domanda cerca prove di un problema, l'assenza di informazioni significa che non ci sono prove di quel problema. Se riguarda qualcosa che dovrebbe essere segnalato, come le perdite al follow-up, il silenzio desta preoccupazione.
- Rispondi a ciascuna domanda in modo indipendente. Uno squilibrio di base non deve modificare le risposte alle domande sulla generazione della sequenza o sull'occultamento. Va registrato solo alla domanda 1.3.
- Citare il rapporto. La casella di testo libero accanto a ciascuna domanda dovrebbe contenere, ove possibile, brevi citazioni dirette.
Gli algoritmi associano quindi le risposte a un giudizio di dominio proposto. Tale output va considerato come una proposta. Le linee guida affermano che gli utenti devono verificarlo, possono modificarlo e devono spiegare qualsiasi scostamento. Indicano inoltre ai valutatori di interpretare "rischio di pregiudizio" come "rischio di pregiudizio rilevante", pertanto le preoccupazioni devono sussistere solo laddove un problema possa compromettere la capacità di trarre conclusioni affidabili.
L'affidabilità richiede attenzione nella pratica. In uno studio sull'affidabilità inter-rater condotto da Minozzi e colleghi, quattro valutatori hanno applicato RoB 2 a 80 risultati relativi a sette esiti provenienti da 16 studi di una revisione Cochrane. Durante l'esercizio di calibrazione non hanno raggiunto un accordo sul giudizio complessivo (kappa di Fleiss pari a -0.15) e il tempo medio di applicazione dello strumento è stato di 168.5 minuti per studio. Il team ha quindi redatto un documento di implementazione specifico per l'argomento e ha misurato nuovamente l'accordo, e l'articolo riporta un miglioramento dell'affidabilità ( Minozzi et al., J Clin Epidemiol 2022 ). La lezione pratica è quella di concordare le regole di interpretazione, come ad esempio cosa si intende per "quasi tutti" i dati relativi agli esiti, prima di iniziare l'estrazione.
Dominio 1 RoB 2 Domande di segnalazione, processo di randomizzazione
Le domande di segnalazione RoB 2 nel dominio 1 chiedono se la sequenza di allocazione fosse casuale (1.1), se fosse stata nascosta fino all'arruolamento e all'assegnazione dei partecipanti (1.2) e se le differenze al basale suggeriscano un problema con la randomizzazione (1.3). Le differenze compatibili con il caso non creano rischio e un piccolo numero di differenze significative al livello 0.05 sono generalmente compatibili con il caso. Un giudizio basso richiede un adeguato occultamento e nessuna preoccupazione riguardo alla generazione della sequenza.
| 1.1 Sequenza casuale | 1.2 Nascosto | 1.3 Lo squilibrio suggerisce un problema | sentenza in contumacia |
|---|---|---|---|
| Y / PY / NI | Y / PY | N / PN / NI | Basso |
| Y / PY | Y / PY | Y / PY | Alcune preoccupazioni |
| N / PN / NI | Y / PY | Y / PY | Alcune preoccupazioni |
| Qualsiasi | NI | N / PN / NI | Alcune preoccupazioni |
| Qualsiasi | NI | Y / PY | Alto |
| Qualsiasi | N / PN | Qualsiasi | Alto |
Tabella 2. Domande di segnalazione RoB 2 del dominio 1 e mappatura predefinita. Y = Sì, PY = Probabilmente sì, N = No, PN = Probabilmente no, NI = Nessuna informazione. Fonte: Guida RoB 2, Tabella 4.
Domande di segnalazione relative al dominio 2 RoB 2, deviazioni dagli interventi previsti
Le domande di segnalazione RoB 2 nel dominio 2 sono le più complesse e si dividono in due parti per l'effetto dell'assegnazione. La Parte 1 comprende le domande da 2.1 a 2.5. Chiede se i partecipanti (2.1) e i caregiver o le persone che erogano l'intervento (2.2) fossero a conoscenza dell'assegnazione e, in caso affermativo, se si sono verificate deviazioni a causa del contesto dello studio (2.3), se hanno influenzato l'esito (2.4) e se erano bilanciate tra i gruppi (2.5). Per "contesto dello studio" si intendono gli effetti del reclutamento e del coinvolgimento, come ad esempio un partecipante che si sente sfortunato dopo essere stato assegnato al gruppo di confronto e cerca il trattamento sperimentale. La non aderenza che rispecchia ciò che accadrebbe al di fuori dello studio viene risposta No o Probabilmente no.
La Parte 2 tratta le domande 2.6 e 2.7 e chiede se un'analisi appropriata abbia stimato l'effetto dell'assegnazione. Sono appropriate le analisi intention-to-treat e le analisi intention-to-treat modificate che escludono solo i partecipanti con dati di esito mancanti. Le analisi ingenue per protocollo e as-treated non sono appropriate. La domanda 2.7 chiede quindi se l'analisi di persone nel gruppo sbagliato avrebbe potuto avere un impatto sostanziale, e la guida osserva che ciò può essere vero anche quando meno del 5% è stato interessato se l'esito è raro.
| Parte | Risposte | giudizio parziale |
|---|---|---|
| Parte 1 (da 2.1 a 2.5) | 2.1 e 2.2 entrambi N / PN | Basso |
| Parte 1 | Oppure 2.1 o 2.2 Y / PY / NI e 2.3 N / PN | Basso |
| Parte 1 | Sia consapevole, sia 2.3 NI | Alcune preoccupazioni |
| Parte 1 | Entrambi consapevoli, 2.3 Y / PY e 2.4 N / PN | Alcune preoccupazioni |
| Parte 1 | O consapevoli, 2.3 Y/PY, 2.4 Y/PY/NI e 2.5 Y/PY | Alcune preoccupazioni |
| Parte 1 | Entrambi consapevoli, 2.3 Y / PY, 2.4 Y / PY / NI e 2.5 N / PN / NI | Alto |
| Parte 2 (2.6, 2.7) | 2.6 anni/anno | Basso |
| Parte 2 | 2.6 N/PN/NI e 2.7 N/PN | Alcune preoccupazioni |
| Parte 2 | 2.6 N/PN/NI e 2.7 Y/PY/NI | Alto |
| Dominio 2 | Entrambe le parti basse, oppure Alcune preoccupazioni in una delle due parti senza che nessuna sia alta, oppure Alta in una delle due parti | Basso, Alcune preoccupazioni, Alto rispettivamente |
Tabella 3. Domande di segnalazione RoB 2 del dominio 2 e mappatura predefinita per l'effetto dell'assegnazione. Fonte: Guida RoB 2, Tabella 6.
Domande di segnalazione relative al dominio 3 RoB 2, dati mancanti sull'esito
Le domande di segnalazione RoB 2 nel dominio 3 iniziano con un semplice test. I dati per questo esito erano disponibili per tutti, o quasi tutti, i partecipanti randomizzati (3.1)? Le linee guida affermano che la disponibilità del 95% dei partecipanti sarà spesso sufficiente per un esito continuo, mentre per un esito dicotomico la soglia dipende dal rischio dell'evento. I valori imputati sono considerati dati mancanti. Se i dati sono incompleti, ci si chiede se vi siano prove che il risultato non sia stato distorto dalla mancanza di dati (3.2), se la mancanza di dati possa dipendere dal valore reale (3.3) e se sia probabile che lo sia stata (3.4). I motivi per una risposta affermativa al punto 3.4 includono proporzioni diverse di dati mancanti tra i bracci, motivi diversi tra i bracci e censura all'interruzione del trattamento nelle analisi del tempo all'evento.
| 3.1 Dati completi | 3.2 Prove di assenza di pregiudizi | 3.3 Potrebbe dipendere dal valore reale | 3.4 Probabilmente dipende | sentenza in contumacia |
|---|---|---|---|---|
| Y / PY | NA | NA | NA | Basso |
| N / PN / NI | Y / PY | NA | NA | Basso |
| N / PN / NI | N / PN | N / PN | NA | Basso |
| N / PN / NI | N / PN | Y / PY / NI | N / PN | Alcune preoccupazioni |
| N / PN / NI | N / PN | Y / PY / NI | Y / PY / NI | Alto |
Tabella 4. Domande di segnalazione RoB 2 del dominio 3 e mappatura predefinita. NA = Non applicabile. Fonte: Guida RoB 2, Tabella 10.
Dominio 4 RoB 2 Domande di segnalazione, Misurazione del risultato
Le domande di segnalazione RoB 2 nel dominio 4 chiedono se il metodo di misurazione fosse inappropriato (4.1), se la misurazione o l'accertamento potessero differire tra i gruppi (4.2), se i valutatori fossero a conoscenza dell'intervento ricevuto (4.3), se la conoscenza potesse aver influenzato la valutazione (4.4) e se probabilmente l'abbia fatto (4.5). Per gli esiti riferiti dai partecipanti, il valutatore è il partecipante stesso. La conoscenza dell'assegnazione può influenzare i sintomi auto-riferiti e le valutazioni basate sul giudizio, ma le linee guida osservano che è improbabile che influenzi esiti come la mortalità per tutte le cause.
| Risposte | sentenza in contumacia |
|---|---|
| 4.1 N / PN / NI, 4.2 N / PN e 4.3 N / PN oppure 4.4 N / PN | Basso |
| 4.1 N/PN/NI, 4.2 N/PN, 4.3 Y/PY/NI, 4.4 Y/PY/NI, 4.5 N/PN | Alcune preoccupazioni |
| 4.1 N/PN/NI, 4.2 N/PN, 4.3 Y/PY/NI, 4.4 Y/PY/NI, 4.5 Y/PY/NI | Alto |
| 4.2 ha risposto NI con risposte altrimenti valide | Alcune preoccupazioni (elevate se 4.5 è Y / PY / NI) |
| 4.1 Y / PY o 4.2 Y / PY | Alto |
Tabella 5. Domande di segnalazione RoB 2 del dominio 4 e mappatura predefinita, in forma sintetica. Fonte: linee guida RoB 2, Tabella 12.
Domande di segnalazione del dominio 5 RoB 2, selezione del risultato riportato
Le domande di segnalazione RoB 2 nel dominio 5 chiedono se i dati sono stati analizzati in conformità con un piano predefinito e finalizzato prima che fossero disponibili i dati di esito non in cieco (5.1) e se è probabile che il risultato sia stato selezionato da più misurazioni di esito ammissibili (5.2) o da più analisi ammissibili (5.3). Esempi di misurazioni multiple includono diverse scale o punti temporali per un singolo esito. Esempi di analisi multiple includono modelli aggiustati e non aggiustati o diversi punti di taglio. Per rispondere con sicurezza è necessario il protocollo o il piano di analisi statistica.
| 5.1 Piano seguito | 5.2 Selezionato dalle misurazioni | 5.3 Selezionato dalle analisi | sentenza in contumacia |
|---|---|---|---|
| Y / PY | N / PN | N / PN | Basso |
| N / PN / NI | N / PN | N / PN | Alcune preoccupazioni |
| Qualsiasi | N / PN | NI | Alcune preoccupazioni |
| Qualsiasi | NI | N / PN o NI | Alcune preoccupazioni |
| Qualsiasi | Y / PY | Qualsiasi | Alto |
| Qualsiasi | Qualsiasi | Y / PY | Alto |
Tabella 6. Domande di segnalazione RoB 2 del dominio 5 e mappatura predefinita. Fonte: Guida RoB 2, Tabella 14.
Dai giudizi di dominio alla valutazione complessiva
Il giudizio complessivo utilizza le stesse tre etichette dei domini. Un risultato è Basso solo se tutti i domini sono Bassi. Presenta alcune preoccupazioni se almeno un dominio solleva alcune preoccupazioni e nessuno è Alto. È Alto se almeno un dominio è Alto, oppure se ci sono alcune preoccupazioni in più domini in un modo che riduce sostanzialmente la fiducia nel risultato. Quest'ultima clausola è una valutazione soggettiva, quindi documenta il tuo ragionamento ogni volta che la utilizzi.

Le linee guida affermano inoltre che un giudizio di rischio elevato in un qualsiasi dominio dovrebbe avere la stessa implicazione per il risultato nel suo complesso, indipendentemente dal dominio da cui proviene. Sconsigliano di interrompere una revisione sistematica completa una volta che un dominio è stato giudicato ad alto rischio, poiché la trasparenza dei dati a livello di dominio è utile per i lettori e per la progettazione di studi futuri. Le regole di interruzione sono accettabili solo quando il protocollo prevede che gli studi ad alto rischio non avranno alcun ruolo nella sintesi.
Domande sulla segnalazione RoB 2 nella pratica: un esempio svolto
Il seguente studio è ipotetico e le domande di segnalazione RoB 2 riportate di seguito sono state completamente analizzate. Esiste solo per illustrare i meccanismi. Si tratta di uno studio randomizzato a due bracci, in aperto, che confronta un programma di esercizi strutturati con le cure standard in adulti con lombalgia cronica. Un totale di 240 adulti sono stati randomizzati, 120 per braccio. L'esito è l'intensità del dolore su una scala numerica da 0 a 10 a 12 settimane, riportata dal partecipante. La revisione si interroga sull'effetto dell'assegnazione all'intervento.
| Domini | Risposte alle domande sulla segnalazione | Giudizio |
|---|---|---|
| Randomizzazione D1 | 1.1 Y (sequenza generata al computer). 1.2 Y (assegnazione centralizzata via web). 1.3 N (punteggi del dolore basale simili). | Basso |
| Deviazioni D2 | 2.1 Y e 2.2 Y (l'esercizio non può essere in cieco). 2.3 PN (alcuni partecipanti al gruppo di cure standard hanno richiesto fisioterapia, cosa che avverrebbe anche al di fuori di uno studio). 2.4 e 2.5 NA. 2.6 Y (tutti i partecipanti randomizzati con dati analizzati come assegnato). 2.7 NA. | Basso (Parte 1 Basso, Parte 2 Basso) |
| D3 Dati mancanti | Dati disponibili per 212 su 240 (88%), con 15 dati mancanti nel gruppo di esercizio e 13 nel gruppo di cure standard. 3.1 N. 3.2 N (nessuna analisi di sensibilità). 3.3 Y (le persone con dolore più grave potrebbero abbandonare lo studio). 3.4 PN (proporzioni simili, 12.5% contro 10.8%, e motivi registrati simili). | Alcune preoccupazioni |
| Misurazione D4 | 4.1 N (è adatta una scala di valutazione numerica). 4.2 N (stessa scala e punto temporale). 4.3 Y (il partecipante è il valutatore e conosce il braccio). 4.4 Y. 4.5 PY (i partecipanti che si aspettano benefici dall'esercizio possono segnalare un dolore inferiore). | Alto |
| Risultato riportato D5 | 5.1 Y (protocollo registrato e piano di analisi finalizzati prima dello sblocco). 5.2 N (una scala del dolore in un momento prestabilito). 5.3 N (un'analisi prestabilita). | Basso |
| Totale | Un dominio di alto livello (D4). | Alto |
Tabella 7. Esempio pratico delle domande di segnalazione RoB 2 per uno studio ipotetico. Tutti i dettagli dello studio sono inventati a scopo illustrativo.
La valutazione complessiva è Alta perché il dominio 4 è Alto, indipendentemente dagli altri quattro domini. Si noti che il verdetto dipende da una sola risposta, alla domanda 4.5. I revisori devono indicare il motivo della loro scelta "Probabilmente sì", citando il report ove possibile. La tabella seguente mostra come cambia la valutazione quando si modifica una risposta o una caratteristica di progettazione.
| Scenario | Dominio 4 | Dominio 3 | Valutazione complessiva |
|---|---|---|---|
| Come riportato (studio in aperto, dolore auto-riferito, 4.5 anni-persona) | Alto | Alcune preoccupazioni | Alto |
| I revisori assegnano un punteggio di 4.5 PN (nessun motivo per ritenere che la segnalazione sia stata influenzata). | Alcune preoccupazioni | Alcune preoccupazioni | Alcune preoccupazioni, oppure Elevate se entrambe insieme riducono sostanzialmente la fiducia. Documentare la scelta. |
| Stesso studio, ma il dolore è stato sostituito da un test di camminata cronometrato da un valutatore in cieco (4.3 N) | Basso | Alcune preoccupazioni | Alcune preoccupazioni |
| Come riportato, ma l'abbandono è maggiore nel gruppo sottoposto ad esercizio fisico a causa di riacutizzazioni del dolore (3.4 anni) | Alto | Alto | Alto |
Tabella 8. Tabella decisionale che mostra come la valutazione complessiva risponde ai cambiamenti nella sperimentazione ipotetica. I domini 1, 2 e 5 rimangono bassi in ogni scenario.

Grafici come quello della Figura 2 sono convenzionali nelle revisioni sistematiche. McGuinness e Higgins hanno creato il pacchetto R robvis e l'applicazione web Shiny per consentire ai team di revisione di produrre rapidamente grafici del rischio di bias di qualità pubblicabile ( Res Synth Methods 2021 ). Per una panoramica più ampia sulla creazione di grafici per studi clinici e meta-analisi, consultare la nostra guida ai grafici per la ricerca clinica.
Un esempio concreto: le domande sulla segnalazione RoB 2 applicate allo studio ARTHROL.
Lo studio simulato sopra descritto illustra i meccanismi, ma non può mostrare come le domande di segnalazione RoB 2 si comportino rispetto a un report reale. Questa sezione applica lo strumento a uno studio randomizzato pubblicato, ARTHROL, che ha confrontato il resveratrolo orale con il placebo in adulti con osteoartrite dolorosa del ginocchio. L'effetto di interesse è l'effetto dell'assegnazione all'intervento (analisi intention-to-treat) e il risultato valutato è la variazione del dolore al ginocchio su una scala numerica da 0 a 100 a 3 mesi. Le tabelle da 9 a 11 e la figura 3 mostrano la valutazione.
Valutazione esemplificativa di Editverse per l'insegnamento
Questa valutazione è un esempio didattico di Editverse su come vengono risposte le domande di segnalazione a partire da un rapporto pubblicato. Non costituisce un giudizio sugli autori o sulla qualità del loro lavoro. I revisori che valutano lo stesso studio possono rispondere in modo diverso alle righe contrassegnate come "valutazioni soggettive", e le linee guida lo prevedono.
| Articolo | Eccezionale |
|---|---|
| Citazione (Vancouver) | Nguyen C, Coudeyre E, Boutron I, Baron G, Daste C, Lefèvre-Colau MM, et al. Resveratrolo orale negli adulti con osteoartrite del ginocchio: uno studio randomizzato controllato con placebo (ARTHROL). PLoS Med. 2024;21(8):e1004440. DOI 10.1371/rivista.pmed.1004440 |
| Identificatori | PMID 39137167. PMCID PMC11321588. |
| Registrazione e protocollo | ClinicalTrials.gov NCT02905799, registrato prima dell'inizio della sperimentazione. Protocollo pubblicato prima dell'arruolamento del primo partecipante (Nguyen C, Boutron I, Baron G, et al. BMJ Open. 2017;7(9):e017652. DOI 10.1136 / bmjopen-2017-017652). |
| licenza | Accesso aperto sotto licenza CC BY 4.0 (creativecommons.org/licenses/by/4.0Brevi citazioni e una figura sono qui riutilizzate con attribuzione, mentre tutto il resto è parafrasato. © 2024 Nguyen et al. |
| Perché questo processo | Si tratta di uno studio clinico randomizzato, a due bracci, a gruppi paralleli, in doppio cieco e controllato con placebo, condotto secondo le linee guida CONSORT, con relativa registrazione, protocollo pubblicato e piano di analisi statistica. Il diagramma di flusso fornisce tutti i conteggi necessari per i domini 2 e 3, e l'esito primario è riportato dai partecipanti, il che rende il dominio 4 degno di studio. |
Tabella 9. Prova selezionata per l'esempio reale, con identificativi e licenza.

La tabella seguente segue il rapporto dello studio, il protocollo e il piano di analisi nell'ordine dei cinque domini. Ogni riga indica dove si trovano le prove, in modo che un secondo revisore possa verificare la risposta in un minuto. I giudizi relativi ai domini derivano dalle tabelle dell'algoritmo contenute nelle linee guida Cochrane del 22 agosto 2019, e l'algoritmo è solo una proposta che un valutatore può modificare motivando la sua decisione.
| La Domanda | Le prove contenute nel documento e dove trovarle | Risposta |
|---|---|---|
| Dominio 1, processo di randomizzazione. Giudizio basso. L'algoritmo (tabella guida 4) con 1.1 Y, 1.2 Y e 1.3 PN dà Basso. | ||
| 1.1 Sequenza casuale? | Un elenco generato al computer da uno statistico indipendente, stratificato per centro, con blocchi permutati di 2, 4 o 6 (Metodi, Randomizzazione e mascheramento). | Y |
| 1.2 Sequenza nascosta? | L'assegnazione è avvenuta tramite un software di randomizzazione sicuro e il protocollo prevede che la sequenza sia stata nascosta da un'interfaccia informatica nell'e-CRF. Le capsule sono state pre-etichettate dal fornitore (Metodi; protocollo, Metodo S1). | Y |
| 1.3 Uno squilibrio della linea di base suggerisce un problema? | I gruppi erano composti da 71 e 71 soggetti con allocazione 1:1 e il dolore medio al ginocchio al basale era rispettivamente di 56.9 e 55.5 (Tabella 1). Alcune covariate differiscono, ad esempio l'uso precedente di FANS (46% contro 31%) e l'età media (59.8 contro 63.0 anni), ma la dimensione del campione è plausibile per caso, con 71 soggetti per braccio e circa 25 caratteristiche confrontate. CHIAMATA DI GIUDIZIO | PN |
| Ambito 2, deviazioni dagli interventi previsti (effetto dell'assegnazione). Giudizio basso. Parte 1 Bassa (2.1 e 2.2 entrambi PN o N) e Parte 2 Bassa (2.6 Y), quindi il dominio è Basso (tabella guida 6). | ||
| 2.1 I partecipanti sono a conoscenza del compito assegnato? | L'articolo afferma che i partecipanti erano in cieco e che le capsule avevano dimensioni, colore e sapore identici (Metodi). Non viene riportato alcun test di successo del mascheramento. | PN |
| 2.2 Assistenti e addetti alle consegne ne sono consapevoli? | “I partecipanti, i ricercatori, gli statistici e i medici curanti erano all'oscuro del gruppo di assegnazione” (Metodi, Randomizzazione e mascheramento). | N |
| 2.3-2.5 Deviazioni dal contesto della prova | Non applicabile poiché né alla domanda 2.1 né alla 2.2 è stata data risposta Y, PY o NI. | NA |
| 2.6 Analisi appropriata? | Il modello longitudinale vincolato include ogni partecipante randomizzato con almeno un valore basale o post-basale, e il diagramma di flusso mostra 71 partecipanti per braccio analizzati per l'esito primario, inclusi quattro partecipanti segnalati alla randomizzazione per problemi di eleggibilità (nota a piè di pagina della Figura 1; Analisi statistica). Il 15% che non ha completato l'intervento assegnato (120 su 142 lo hanno completato) viene analizzato come randomizzato. | Y |
| 2.7 Quali sono le conseguenze dell'analisi effettuata nel gruppo sbagliato? | Non applicabile perché 2.6 era Y. | NA |
| Ambito 3, dati di risultato mancanti. Valutazione bassa. 3.1 PY dà Low senza ulteriori domande (tabella guida 10). | ||
| 3.1 Dati per tutti o quasi tutti? | I dati sul dolore a tre mesi erano disponibili per 67 su 71 e 68 su 71, quindi 135 su 142 (95.1%), con 4 e 3 dati mancanti (nota a piè di pagina della Tabella 2; Discussione, limitazioni). Le linee guida affermano che il 95% sarà spesso sufficiente per un risultato continuo, quindi questo valore è in linea con la regola empirica. CHIAMATA DI GIUDIZIO | PY |
| 3.2 a 3.4 | Non applicabile. Se un valutatore avesse preferito N per il punto 3.1, la domanda 3.2 dipenderebbe dalle analisi di sensibilità nel caso peggiore e nel caso migliore riportate nell'Appendice S5, che questa valutazione non ha aperto. | NA |
| Ambito 4, misurazione del risultato. Giudizio basso. 4.1 PN, 4.2 PN e 4.3 PN seguono la prima riga della tabella guida 12, che è Bassa. | ||
| 4.1 Metodo inappropriato? | Una scala numerica di valutazione del dolore auto-somministrata da 0 a 100, scelta in conformità con le raccomandazioni OMERACT e OARSI per gli studi sull'osteoartrite del ginocchio (Metodi, Risultati). | PN |
| 4.2 Le misurazioni differivano tra i gruppi? | Entrambi i gruppi hanno compilato lo stesso questionario a casa prima della visita programmata, "per ridurre al minimo l'influenza dei raccoglitori di dati sulle risposte dei partecipanti" (Metodi, Risultati). | PN |
| 4.3 I valutatori sono a conoscenza dell'intervento? | Per i risultati riportati dai partecipanti, il valutatore è il partecipante stesso e i partecipanti erano in cieco (vedere 2.1). Non viene riportato alcun test di successo del mascheramento. | PN |
| 4.4 e 4.5 | Non applicabile perché 4.3 era PN. | NA |
| Dominio 5, selezione del risultato riportato. Giudizio basso. 5.1 PY con 5.2 N e 5.3 PN dà Basso (tabella guida 14). | ||
| 5.1 Il piano predefinito è stato finalizzato prima della divulgazione dei dati non anonimizzati? | Lo studio clinico è stato registrato prima del suo inizio (NCT02905799) e la versione 1.1 del protocollo, datata 14 dicembre 2016 e tuttora valida nella versione 7.0 del 23 marzo 2021, ha definito l'esito primario, il punto temporale di 3 mesi e l'analisi longitudinale vincolata (S1 Metodo, sezioni 7 e 8.2). Gli autori scrivono che "Tutti gli esiti pre-specificati nel protocollo sono stati riportati". I file separati del piano di analisi sono datati 3 e 4 ottobre 2022, dopo l'ultimo follow-up del 12 maggio 2022, e l'articolo non specifica quando i dati sono stati svelati, quindi la risposta si basa sul protocollo. CHIAMATA DI GIUDIZIO | PY |
| 5.2 Selezionato tra diverse misurazioni? | Una misurazione primaria (scala numerica di valutazione del dolore) in un momento prestabilito (3 mesi). Le altre scale sono etichettate come secondarie. | N |
| 5.3 Selezionato tra diverse analisi? | Il modello riportato è il modello longitudinale vincolato definito nel protocollo e nel piano di analisi. Il protocollo indicava il centro come effetto casuale, mentre il piano di analisi e l'articolo utilizzavano un effetto fisso. Gli autori dichiarano di non aver utilizzato l'approccio GEE previsto per gli esiti dicotomici perché solo tre centri hanno partecipato, una ragione non correlata ai risultati. Le analisi di sensibilità (ANCOVA, modello a due punti temporali, caso peggiore e caso migliore) sono etichettate come tali (Analisi statistica). CHIAMATA DI GIUDIZIO | PN |
| Giudizio complessivo: Basso. Tutti e cinque i domini sono a livello Basso, che è l'unica via per raggiungere il livello Basso nella Tabella guida 1. | ||
Tabella 10. Domande di segnalazione RoB 2 per il risultato primario ARTHROL (cambiamento del dolore al ginocchio a 3 mesi, resveratrolo rispetto al placebo, effetto dell'assegnazione all'intervento). Y indica sì, PY probabilmente sì, PN probabilmente no, N no e NA non applicabile. I riferimenti alle sezioni si riferiscono a Nguyen et al. 2024, salvo diversa indicazione. Le righe contrassegnate come "valutazioni soggettive" sono quelle in cui valutatori ragionevoli potrebbero rispondere diversamente. Gli algoritmi seguono le linee guida Cochrane RoB 2 del 22 agosto 2019 (tabelle 1, 4, 6, 10, 12 e 14).
Il riepilogo che segue raccoglie i giudizi e le risposte che hanno determinato ciascuno di essi.
| Domini | Giudizio | Risposte che lo hanno deciso | Prove decisive |
|---|---|---|---|
| Randomizzazione D1 | Basso | 1.1 Y, 1.2 Y, 1.3 PN | Blocchi stratificati generati al computer, occultamento controllato da software, bracci bilanciati |
| Deviazioni D2 | Basso | Parte 1 Bassa, Parte 2 Bassa | Partecipanti e clinici mascherati, tutti i partecipanti randomizzati analizzati come assegnati |
| D3 Dati mancanti | Basso | 3.1 AC | 135 su 142 con dati relativi a 3 mesi (95.1%) |
| Misurazione D4 | Basso | 4.1 PN, 4.2 PN, 4.3 PN | Stessa scala di autovalutazione in entrambi i gruppi, compilata da partecipanti mascherati. |
| Risultato riportato D5 | Basso | 5.1 PY, 5.2 N, 5.3 PN | Registrato, protocollo fissato risultato e modello, una misura primaria |
| Totale | Basso | Basso in tutti e cinque gli ambiti | Tabella guida 1 |
Tabella 11. Giudizi di dominio e complessivi per il risultato primario dello studio ARTHROL. Le regole derivano dalle linee guida Cochrane RoB 2 del 22 agosto 2019.
Cosa ti dice e cosa non ti dice un punteggio basso
Il risultato primario è stato una variazione media del dolore al ginocchio di -15.7 punti con il resveratrolo e -15.2 con il placebo, una differenza di -0.6 (IC 95% da -8.0 a 6.9). Il RoB 2 classifica questo risultato come Basso perché lo studio è stato condotto e riportato in modo da proteggere dai bias. Non dice nulla sulla precisione. Gli autori hanno randomizzato 142 dei 164 partecipanti previsti e descrivono lo studio come sottodimensionato, e tale limitazione appartiene al giudizio di imprecisione in una valutazione GRADE, non a un dominio RoB 2.
Perché la mancata adesione non è stata considerata un fattore negativo nello studio
Solo 120 dei 142 partecipanti (85%) hanno completato l'intervento assegnato, un dato che potrebbe sembrare preoccupante finché non si considera la domanda posta. Per quanto riguarda l'effetto dell'assegnazione, le deviazioni dal protocollo sono rilevanti solo quando derivano dal contesto dello studio, e un'analisi di tutti i partecipanti come randomizzati è appropriata. Una revisione che indagasse l'effetto dell'aderenza all'intervento utilizzerebbe una serie diversa di domande nel dominio 2 e richiederebbe un'analisi più specifica rispetto a quella qui riportata.
Punti in cui due valutatori potrebbero differire
Quattro righe contengono un'etichetta di valutazione. La riga 1.3 dipende da quanta differenza di base si accetta come casuale, la riga 3.1 si basa sulla regola empirica del 95%, e le righe 5.1 e 5.3 dipendono da come si tratta un piano di analisi datato dopo il follow-up e una modifica del termine centrale. Secondo l'algoritmo, una risposta meno favorevole alla 1.3 (PY), alla 5.1 (PN o NI) o alla 5.3 (NI) abbasserebbe quel dominio, e con esso la valutazione complessiva, a "Alcune preoccupazioni", mentre una Y o PY alla 5.3 darebbe un punteggio "Alto". Una N alla 3.1 indirizzerebbe il valutatore alla domanda 3.2 e alle analisi di sensibilità. Indipendentemente dalla risposta, registrare la citazione e la sezione che giustificano la scelta. Tale registrazione è ciò che rende una valutazione RoB 2 verificabile da un secondo revisore.
Confrontiamo questo risultato con lo studio in aperto ipotetico descritto in precedenza in questa guida. In quel caso, un risultato riportato dai partecipanti in uno studio non in cieco ha portato il dominio 4 a un livello Alto. Qui, lo stesso tipo di risultato si trova in un disegno in cieco, controllato con placebo, quindi il dominio 4 rimane Basso. Il tipo di risultato non ha modificato la valutazione, bensì il mascheramento. L'insieme completo delle domande di segnalazione è presente nelle linee guida Cochrane RoB 2 e i dettagli dello studio sono riportati nell'articolo originale.
Varianti di cluster e crossover in breve
Le linee guida del 2019 forniscono tre modelli, uno per ciascuno degli studi randomizzati individuali a gruppi paralleli, uno per gli studi randomizzati a gruppi paralleli a cluster (inclusi i disegni a gradini) e uno per gli studi crossover randomizzati e altri disegni appaiati. I cinque domini sopra menzionati si applicano agli studi randomizzati individuali, inclusi gli studi crossover. Gli studi randomizzati a cluster ricevono un dominio aggiuntivo, 1b, che riguarda il bias derivante dall'identificazione o dal reclutamento dei singoli partecipanti all'interno dei cluster. Le linee guida affermano che non esiste ancora una versione per gli studi crossover a cluster. Il Manuale Cochrane riassume entrambe le varianti nel suo Capitolo 23 e i modelli ufficiali sono disponibili su riskofbias.info . Se rientrate nella categoria degli studi crossover, il nostro articolo sul disegno crossover e sui periodi di washout spiega le caratteristiche del disegno che dovrete valutare.
Segnalazione RoB 2 Domande e giudizi di segnalazione
La relazione deve consentire al lettore di riprodurre i giudizi espressi. Le linee guida raccomandano di presentare i giudizi di consenso a livello di dominio nella revisione principale, sotto forma di tabella, figura o grafico a foresta, e di inserire le risposte di segnalazione con il relativo testo di supporto in un'appendice. Le annotazioni dei singoli valutatori vanno inserite in un supplemento e non devono essere in primo piano. Trattate i seguenti punti nella sezione Metodi.
- Indicare lo strumento e la sua versione, e specificare quale modello di progettazione è stato utilizzato per ogni prova.
- Indicare l'effetto di interesse e, per quanto riguarda l'aderenza, quali deviazioni sono state valutate.
- Elenca gli esiti e i momenti temporali valutati e, qualora ne fossero stati riportati diversi, indica quale risultato di ciascuno studio hai scelto.
- Descrivi il funzionamento del lavoro dei valutatori e le modalità di risoluzione dei disaccordi.
- Spiegare ogni sovrascrittura di una proposta di algoritmo e ogni utilizzo della clausola multipla "Alcune preoccupazioni".
- Indica le fonti utilizzate per ogni studio, inclusi i protocolli e le registrazioni, poiché il dominio 5 dipende da esse.
Frase sui metodi che puoi adattare
Il rischio di bias in ciascuno studio randomizzato incluso è stato valutato per [esito] al [punto temporale] utilizzando RoB 2 (linee guida del 22 agosto 2019) per l'effetto dell'assegnazione all'intervento. Due revisori hanno risposto alle domande di segnalazione in modo indipendente, hanno risolto le differenze tramite discussione e hanno registrato le citazioni a supporto. I giudizi a livello di dominio e complessivi (Basso, Alcune preoccupazioni, Alto) sono stati raggiunti utilizzando gli algoritmi pubblicati e qualsiasi modifica è documentata nel supplemento.
Riporta la revisione stessa in base alle linee guida PRISMA 2020 e posiziona il valore del rischio di bias accanto al forest plot. Il nostro generatore di diagrammi di flusso PRISMA 2020 gestisce il diagramma di flusso, mentre il calcolatore della tabella delle prove GRADE supporta il passaggio successivo. Se stai scrivendo questa sezione all'interno di una tesi, l'articolo sull'abbinamento delle linee guida di reporting ai capitoli della tesi mostra dove collocare ciascun elemento.
Errori comuni nell'applicazione di RoB 2
- Valutare la sperimentazione anziché il risultato. I problemi di randomizzazione influenzano l'intero studio, ma le deviazioni, la misurazione e la selezione del risultato riportato sono legate allo specifico esito.
- Fidarsi dell'etichetta "intenzione di trattamento". Le linee guida rilevano che il termine non ha una definizione univoca nei rapporti di studio. Confronta l'analisi effettiva con la domanda 2.6.
- Trattare l'aggiustamento delle covariate come una soluzione per la randomizzazione interrotta. Le linee guida affermano che uno studio che ha controllato gli squilibri di base per mitigare i fallimenti della randomizzazione dovrebbe essere valutato con ROBINS-I invece (Sterne e altri, BMJ 2016).
- Lasciare che una risposta ne determini un'altra. Rispondi a ciascuna domanda basandoti sulle prove fornite.
- Impostazione predefinita: Nessuna informazione. Utilizzare "Probabilmente sì" o "Probabilmente no" quando le circostanze giustificano un giudizio ragionevole.
- Saltiamo la nota di implementazione. I risultati sull'affidabilità sopra riportati dimostrano perché vale la pena dedicare del tempo alla creazione di un breve regolamento specifico per l'argomento trattato.
- Presentazione dell'output dell'algoritmo senza alcuna motivazione. Una griglia di colori spoglia genera dubbi. Aggiungi delle giustificazioni sintetiche.
Molti di questi errori compaiono anche nell'elenco più ampio della nostra guida agli errori comuni nelle meta-analisi. Se non siete sicuri di quanti studi siano necessari per la vostra sintesi, una volta esclusi quelli ad alto rischio, consultate la sezione relativa al numero minimo di studi per una meta-analisi. Per la gerarchia dei disegni di studio alla base di queste decisioni, consultate la sezione sui livelli di evidenza nella ricerca clinica, e per il passaggio successivo alla valutazione del rischio di bias, consultate la nostra guida alla metodologia GRADE . La nostra precedente panoramica del Cochrane Risk of Bias Tool 2.0 offre un'introduzione più ampia, e la nostra masterclass sulle meta-analisi tratta l'aggregazione dei dati, l'eterogeneità e il bias di pubblicazione.
Strumenti e risorse
Tre strumenti gratuiti di Editverse supportano il lavoro di valutazione del rischio di pregiudizio. Utilizzali per disegnare figure, scegliere i test e creare diagrammi di flusso.
Strumenti di ricerca gratuiti da Editverse
- GraphProCrea grafici pronti per la pubblicazione, di 25 tipologie diverse, con test t, ANOVA, correlazione e valori p del chi-quadrato integrati. Gratuito, senza registrazione.
- StatiProCalcolatori statistici gratuiti e uno strumento di selezione dei test che copre confronti tra gruppi, risultati categorici, analisi del tempo all'evento e accuratezza diagnostica.
- Flowchart Pro: Genera diagrammi di flusso PRISMA 2020, PRISMA-ScR, CONSORT, STROBE, STARD, MOOSE e ARRIVE direttamente nel tuo browser.
Supporto professionale per la valutazione del rischio di bias e le revisioni sistematiche
Una valutazione del rischio di bias di tipo 2 difendibile inizia con il protocollo di revisione, poiché l'effetto di interesse, gli esiti e il foglio delle regole vengono tutti definiti in quella fase. Editverse supporta le revisioni sistematiche dal protocollo al manoscritto, con un lavoro di reporting allineato a COPE, ICMJE e GPP 2022. I pacchetti elencati di seguito sono quelli più adatti al flusso di lavoro di valutazione del rischio di bias descritto in questo articolo.
Protocollo
$500
Protocollo pronto per PROSPERO con criteri di ammissibilità, strategia di ricerca, piano di estrazione dei dati e guida alla selezione dello strumento di valutazione del rischio di bias. La consegna standard è di 2-3 settimane.
Revisione sistematica più meta-analisi
$1,800
Revisione completa e meta-analisi di un massimo di 15 studi idonei, con valutazione della qualità, stime del rischio di bias, forest plot e conformità alle linee guida PRISMA 2020.
Non sai quale pacchetto sia più adatto alle tue esigenze? La nostra pagina dedicata al servizio di redazione di revisioni sistematiche spiega come funziona il processo, mentre i nostri servizi di scrittura di manoscritti si occupano della stesura finale una volta completate le valutazioni.
Conclusione
Lo strumento di valutazione del rischio di bias RoB 2 premia una procedura rigorosa. Definisci l'effetto di interesse e i risultati da valutare, redigi un breve foglio di regole, rispondi a ciascuna delle domande di segnalazione RoB 2 presenti nel report e nel protocollo e lascia che gli algoritmi propongano valutazioni per ciascun dominio, che dovrai poi verificare. La valutazione complessiva segue il dominio peggiore, con un'eccezione basata sul giudizio soggettivo per alcune problematiche specifiche. Riporta i giudizi di consenso nel testo principale e le risposte a supporto in un supplemento. In questo modo, la valutazione diventa un documento trasparente che lettori, revisori e commissioni GRADE possono consultare.
Referenze
- Sterne JAC, Savović J, Page MJ, et al. RoB 2: uno strumento rivisto per la valutazione del rischio di bias negli studi randomizzati. BMJ. 2019;366:l4898. DOI 10.1136/bmj.l4898. PMID 31462531. Open source
- Higgins JPT, Savović J, Page MJ, Elbers RG, Sterne JAC, editors. Strumento Cochrane rivisto per la valutazione del rischio di bias negli studi randomizzati (RoB 2). Documento guida, 22 agosto 2019. Open source
- Manuale Cochrane per le revisioni sistematiche degli interventi, Capitolo 8, Valutazione del rischio di bias in uno studio randomizzato. Open source
- Sterne JA, Hernán MA, Reeves BC, et al. ROBINS-I: uno strumento per valutare il rischio di bias negli studi di intervento non randomizzati. BMJ. 2016;355:i4919. DOI 10.1136/bmj.i4919. PMID 27733354. Open source
- Savović J, Turner RM, Mawdsley D, et al. Associazione tra valutazioni del rischio di bias e risultati di studi randomizzati nelle revisioni Cochrane: lo studio meta-epidemiologico ROBES. Am J Epidemiol. 2018;187(5):1113-1122. DOI 10.1093/aje/kwx344. PMID 29126260. Open source
- Minozzi S, Dwan K, Borrelli F, Filippini G. L'affidabilità dello strumento rivisto Cochrane per la valutazione del rischio di bias negli studi randomizzati (RoB2) è migliorata grazie all'utilizzo di istruzioni per l'implementazione. J Clin Epidemiol. 2022;141:99-105. DOI 10.1016/j.jclinepi.2021.09.021. PMID 34537386. Open source
- McGuinness LA, Higgins JPT. Visualizzazione del rischio di bias (robvis): un pacchetto R e un'applicazione web Shiny per la visualizzazione delle valutazioni del rischio di bias. Res Synth Methods. 2021;12(1):55-61. DOI 10.1002/jrsm.1411. PMID 32336025. Open source
- Page MJ, McKenzie JE, Bossuyt PM, et al. La dichiarazione PRISMA 2020: una linea guida aggiornata per la rendicontazione delle revisioni sistematiche. BMJ. 2021;372:n71. DOI 10.1136/bmj.n71. PMID 33782057. Open source
- Nguyen C, Coudeyre E, Boutron I, Baron G, Daste C, Lefèvre-Colau MM, et al. Resveratrolo orale negli adulti con osteoartrite del ginocchio: uno studio randomizzato controllato con placebo (ARTHROL). PLoS Med. 2024;21(8):e1004440. DOI 10.1371/journal.pmed.1004440. PMID 39137167. Open source
- Nguyen C, Boutron I, Baron G, Coudeyre E, Berenbaum F, Poiraudeau S, et al. Evoluzione del dolore a 3 mesi con resveratrolo orale nell'osteoartrite del ginocchio (ARTHROL): protocollo per uno studio multicentrico randomizzato in doppio cieco controllato con placebo. BMJ Open. 2017;7(9):e017652. DOI 10.1136/bmjopen-2017-017652. PMID 28965100. Open source
