AMSTAR 2: Come utilizzare i 16 elementi, i 7 ambiti critici e i livelli di affidabilità

AMSTAR 2 è uno strumento di valutazione critica composto da 16 elementi che indica il grado di fiducia da riporre nei risultati di una revisione sistematica degli interventi sanitari. Beverley Shea e colleghi lo hanno pubblicato sul BMJ nel 2017 ( BMJ 2017;358:j4008 ) come aggiornamento dell'AMSTAR originale, concepito esclusivamente per le revisioni di studi randomizzati. Un lettore che applica correttamente lo strumento ottiene uno dei quattro verdetti (alto, moderato, basso o criticamente basso) e una motivazione scritta per ciascun elemento.

La maggior parte dei valutatori commette errori nella logica di valutazione, quindi questa guida illustra lo strumento nell'ordine in cui verrà utilizzato. Vengono trattati i 16 elementi, i 7 domini critici, i quattro livelli di confidenza, un esempio pratico completo che illustra come una recensione fittizia, partendo dalla valutazione degli elementi fino al verdetto finale, e una tabella decisionale per la scelta tra AMSTAR 2 e strumenti simili. Ogni definizione degli elementi riportata di seguito proviene dall'articolo pubblicato e dalle relative appendici, non da riassunti secondari.

Cos'è AMSTAR 2 e perché ha sostituito l'AMSTAR originale

AMSTAR è l'acronimo di A MeaSurement Tool to Assess systematic Reviews (Uno strumento di misurazione per valutare le revisioni sistematiche), e la prima versione è apparsa nel 2007, quando Shea e colleghi sono partiti da un insieme di 37 item, lo hanno applicato a 99 revisioni sistematiche cartacee e 52 elettroniche, hanno condotto un'analisi fattoriale esplorativa che ha individuato 11 componenti e hanno mantenuto un item per ciascuna componente attraverso un processo di gruppo nominale. Ne è risultato uno strumento di 11 item, progettato per le revisioni di studi randomizzati.

Nel 2017, tale modello non era più in linea con le evidenze scientifiche disponibili. Le revisioni tendevano sempre più a raggruppare studi non randomizzati sugli interventi (NRSI) e gli utenti avevano segnalato delle lacune nella formulazione originale. Un gruppo di esperti si è riunito per un giorno a Ottawa, ha esaminato i risultati dei sondaggi condotti tra gli utenti di AMSTAR e l'esperienza registrata dei partecipanti ai workshop AMSTAR tenutisi ai Colloqui Cochrane del 2015 e del 2016, prima di definire lo strumento rivisto. Le principali modifiche apportate ad AMSTAR 2 includono le seguenti.

• AMSTAR 2 è composto da 16 elementi, e l'elemento 12 (l'impatto del rischio di bias sulla meta-analisi) è nuovo.
• Le sezioni relative al rischio di bias, alla meta-analisi e alla selezione del disegno dello studio ora riguardano sia gli studi randomizzati controllati che gli studi non randomizzati controllati.
• Le opzioni "non applicabile" e "non posso rispondere" sono state eliminate e ogni domanda è formulata in modo tale che "Sì" indichi un risultato positivo.
• La dicitura "Parziale Sì" è stata aggiunta per gli elementi per i quali vale la pena registrare un'adesione parziale allo standard.
• Se una recensione non riporta le informazioni, il valutatore assegna un voto negativo all'articolo. Agli autori delle recensioni "non dovrebbe essere concesso il beneficio del dubbio".

Shea e colleghi hanno testato lo strumento rivisto con sei valutatori su 54 revisioni sistematiche, di cui 20 includevano solo studi randomizzati, 18 solo NRSI e 16 un mix. Su 50 punteggi kappa, 46 hanno mostrato un accordo moderato o migliore e 39 un accordo buono o migliore. Questi numeri descrivono la coerenza tra i valutatori e gli autori riportano che l'accordo variava sostanzialmente tra i vari elementi.

Per cosa non è progettato AMSTAR 2

Shea e colleghi affermano che le revisioni non erano destinate a revisioni di test diagnostici, meta-analisi di dati individuali di pazienti, meta-analisi di rete, scopeng review o revisioni realistiche. Lo strumento non insegna nemmeno la metodologia di revisione, e l'articolo rimanda i lettori interessati a questo aspetto al Manuale Cochrane . Se invece state valutando una scopeng review, la nostra guida passo passo per le scopeng review illustra il percorso JBI e PRISMA-ScR.

I 16 articoli di AMSTAR 2 in sintesi

Ogni riga sottostante riporta l'elemento nella sua forma specificata dalla checklist supplementare AMSTAR 2, con le opzioni di risposta tra cui un perito può scegliere. Gli elementi critici sono contrassegnati.

Cosa merita un Sì parziale o un Sì

Cinque elementi prevedono un'opzione "Parzialmente sì", e la differenza tra "Parzialmente sì" e "Sì" è il punto in cui i valutatori sono maggiormente in disaccordo. I criteri seguenti provengono dalla checklist supplementare pubblicata insieme all'articolo del BMJ.

I 7 domini critici di AMSTAR 2

Il riquadro 1 del documento elenca sette ambiti che "possono influenzare in modo critico la validità di una revisione e delle sue conclusioni". Le linee guida supplementari spiegano il ragionamento alla base di ciascuno di essi, rendendo l'elenco facile da ricordare.

• Punto 2, protocollo registrato prima dell'inizio della revisione. Le revisioni sistematiche sono una forma di ricerca osservazionale e l'adesione a un protocollo ben sviluppato riduce il rischio di bias nella revisione. Registrazione (ad esempio su PROSPEROLa pubblicazione su una rivista ad accesso aperto o la presentazione di un documento datato a un ufficio di ricerca sono tutte considerate verifiche indipendenti.
• Punto 4, adeguatezza della ricerca bibliografica. Una ricerca superficiale può tralasciare gli studi che cambiano la risposta, e la checklist richiede database, registri, elenchi di riferimenti e una data di ricerca recente.
• Punto 7, giustificazione dell'esclusione di singoli studi. L'esclusione ingiustificata può falsare i risultati, e le linee guida affermano che l'esclusione non dovrebbe mai essere basata sul rischio di pregiudizio, che viene gestito separatamente.
• Punto 9, rischio di bias derivante dagli studi inclusi. Le linee guida definiscono questo aspetto una parte fondamentale della valutazione di qualsiasi revisione sistematica, in particolare di una che includa l'NRSI.
• Punto 11, adeguatezza dei metodi meta-analitici. L'aggregazione dei dati NRSI può produrre una stima precisa ma distorta, pertanto l'elemento verifica l'utilizzo di metodi ponderati, la gestione dell'eterogeneità e la separazione delle stime per gli studi clinici e per i dati NRSI.
• Punto 13, considerazione del rischio di distorsione nell'interpretazione dei risultati. Gli autori che formulano raccomandazioni che potrebbero influenzare l'assistenza sanitaria o le politiche sanitarie dovrebbero dimostrare di aver preso in esplicita considerazione il rischio di pregiudizi.
• Punto 15, valutazione del bias di pubblicazione. Secondo il documento, sono necessari almeno 10 studi per dimostrare l'asimmetria del funnel plot, il che è importante quando una revisione raggruppa solo una manciata di studi. La nostra guida al numero minimo di studi per una meta-analisi copre quella soglia nella pratica.

Considerate la designazione come un'impostazione predefinita, non come una legge. Due esempi forniti dagli autori mostrano in quali casi un elemento diverso diventa critico, ovvero la mancata inclusione di studi non randomizzati (punto 3) in una revisione degli esiti avversi e l'incapacità di spiegare le ampie variazioni negli effetti del trattamento tra i diversi studi (punto 14). Se il vostro team modifica l'elenco degli elementi critici, registrate la modifica prima dell'inizio della valutazione in modo che il verdetto finale possa essere riprodotto.

Livelli di affidabilità AMSTAR 2: Alto, Moderato, Basso e Criticamente Basso

Il riquadro 2 del documento trasforma le valutazioni degli elementi in un verdetto complessivo, considerando separatamente due aspetti. Un difetto critico corrisponde a un "No" per un elemento critico, mentre una debolezza non critica corrisponde a un "No" per qualsiasi altro elemento. Ne risultano quattro livelli.

Accanto al tavolo ci sono due regole. La presenza di molteplici debolezze non critiche può diminuire la fiducia, quindi può essere opportuno declassare una valutazione da moderata a bassa. Inoltre, gli autori raccomandano vivamente di non sommare mai i punteggi dei singoli elementi per ottenere un punteggio complessivo, perché un punteggio elevato può nascondere una singola grave lacuna, come una ricerca inadeguata o la mancata valutazione del rischio di bias.

Come usare AMSTAR 2 passo dopo passo

Per quanto breve sia lo strumento, per ottenere risultati coerenti è necessario seguire una procedura fissa. Di seguito, la procedura combina le indicazioni degli autori con un metodo di lavoro raccomandato da Editverse.

1. Confermare la validità della recensione. L'obiettivo è quello di realizzare una revisione sistematica degli interventi sanitari, includendo studi randomizzati, studi non randomizzati controllati (NRSI) o entrambi. Le revisioni dell'accuratezza diagnostica, le meta-analisi di rete, le meta-analisi di dati individuali dei pazienti e le revisioni esplorative non rientrano nell'ambito di questo progetto.
2. Raccogli tutti i documenti. Scarica il rapporto completo, gli allegati, il protocollo registrato e qualsiasi elenco di studi esclusi. Diverse domande possono essere risolte solo consultando i file supplementari.
3. Richiedi una valutazione a due periti indipendenti. Ciascun valutatore lavora individualmente, poi entrambi risolvono i disaccordi tramite consenso. Nello studio sull'affidabilità condotto dagli autori, il grado di concordanza variava a seconda degli elementi, pertanto la presenza di due valutatori e la successiva fase di consenso rappresentano una buona prassi.
4. Valutare rigorosamente ogni elemento. Utilizzare le opzioni di risposta presenti nella checklist. Le informazioni mancanti vengono valutate come "No", senza alcun beneficio del dubbio.
5. Confronta il rapporto con il protocollo. Le linee guida indicano ai periti di confrontare la relazione pubblicata con il protocollo registrato, qualora questo esista, e che eventuali discrepanze evidenti e inspiegabili dovrebbero comportare un declassamento.
6. Contare separatamente difetti e punti deboli. Contare il numero di articoli critici e il numero di articoli non critici come due numeri diversi.
7. Assegnare il livello di confidenza e documentare le variazioni. Annotate qualsiasi deviazione dall'elenco critico predefinito o da qualsiasi convenzione adottata, come richiesto dagli autori.

Un ordine pratico consente di risparmiare tempo. Iniziate con i punti 2, 4 e 7, perché questi elementi critici sono visibili nella sezione dei metodi e nella voce del registro in pochi minuti. Una revisione con due fallimenti in questi punti è già criticamente bassa, e i restanti tredici punti documentano i dettagli anziché determinarne l'esito.

Esempio pratico: Valutazione di una recensione ipotetica, dalle valutazioni dei singoli elementi al verdetto finale.

Il nostro caso qui presentato è inventato a scopo didattico e non descrive alcuna revisione pubblicata. Immaginiamo una revisione sistematica della terapia con esercizi supervisionati per il dolore lombare cronico che abbia aggregato i dati di 14 studi randomizzati. Un valutatore legge il rapporto, la voce del registro e il supplemento, quindi assegna un punteggio a ciascun elemento.

Contando l'esempio

Solo un elemento critico ha ricevuto una risposta negativa, ovvero l'elemento 7, quindi la recensione presenta un difetto critico. Solo un elemento non critico ha ricevuto una risposta negativa, ovvero l'elemento 10, quindi presenta una debolezza non critica. Un difetto critico si colloca nella riga "Basso" del riquadro 2, indipendentemente dal numero di elementi che hanno ricevuto una risposta affermativa.

Nel documento non è specificato come venga conteggiato un "Sì parziale". In questo esempio, un "Sì parziale" non viene considerato un difetto, ma il valutatore lo segnala nel report, come nel caso della ricerca incompleta al punto 4. I team possono scegliere una convenzione più rigorosa, a condizione che venga messa per iscritto prima dell'inizio della valutazione e applicata a ogni revisione del gruppo.

Come un singolo cambiamento può influenzare il verdetto

Una tabella di simulazione mostra quanto la valutazione finale sia sensibile ad alcune modifiche, ed è proprio in questo modo che un autore dovrebbe leggere la relazione di un perito.

Ecco la vera lezione. Un singolo file supplementare mancante è costato a questa revisione ben due livelli di affidabilità, mentre correggere un elenco mancante è economico. Gli autori che effettuano questo controllo sul proprio manoscritto prima dell'invio possono vedere quali correzioni sono le più economiche.

AMSTAR 2 Esempio pratico: Valutazione di una recensione ad accesso aperto pubblicata, elemento per elemento

La revisione fittizia nell'esempio pratico illustra il meccanismo. Una revisione pubblicata mostra come appaiono le stesse sedici decisioni quando le prove sono presentate in un testo metodologico reale, tabelle reali e un'appendice supplementare reale. Questa sezione valuta una revisione ad accesso aperto con AMSTAR 2, un elemento alla volta, e indica il punto del documento in cui è possibile verificare ciascuna risposta. Si tratta di una valutazione Editverse a scopo didattico, non di un giudizio sugli autori o sull'efficacia dell'intervento, e le righe contrassegnate come "valutazioni soggettive" indicano i punti in cui un altro valutatore potrebbe ragionevolmente esprimere un giudizio diverso.

Il flusso di selezione degli studi alla base dei punti 4, 5 e 7

La Figura 3 è il diagramma di flusso della revisione stessa. Vale la pena leggerlo prima della tabella, perché i punti 4, 5 e 7 dipendono tutti da ciò che il rapporto dice sui documenti che sono stati esaminati, letti integralmente e esclusi.

Valutazione articolo per articolo

Ogni riga riporta l'elemento, il contenuto dell'articolo con un indicatore della sua posizione, la valutazione e la motivazione rispetto ai criteri "Sì" e "Parziale Sì" della checklist supplementare di Shea et al. Le citazioni sono brevi e testuali, con i trattini non divisibili della rivista scritti come normali trattini. I numeri di pagina dell'Appendice S1 corrispondono ai numeri stampati in quel file. Le righe ombreggiate rappresentano i sette elementi critici. Come nell'esempio precedente, un "Parziale Sì" viene segnalato ma non conteggiato come un difetto.

Dalle valutazioni dei singoli articoli alla valutazione finale di affidabilità.

La valutazione finale segue il riquadro 2 senza alcun punteggio. Le valutazioni sopra riportate contengono dodici Sì, due Parzialmente Sì e due No, e questi conteggi sono solo a scopo di lettura. La valutazione deriva dai due conteggi dei difetti riportati di seguito.

Quanto un singolo elemento influenza il verdetto

Poiché il verdetto si basa su un unico elemento critico, una tabella di ipotesi è il modo più onesto per mostrare quanto sia solido. Ogni scenario modifica un elemento e ricalcola i risultati.

Cosa dimostra questo esempio concreto

Dalla valutazione emergono tre punti. La revisione segue quasi tutte le pratiche premiate da AMSTAR 2, tuttavia la mancanza di un elenco la colloca nella riga "Bassa", e un file che elenca le esclusioni è una soluzione economica già in fase di stesura del manoscritto, come spiegato nella sezione sui difetti critici correggibili . I due elementi che non hanno superato la revisione, il 7 e il 10, sono gli stessi che non hanno superato la revisione fittizia menzionata in precedenza, quindi lo schema in quella tabella non è artificiale. Inoltre, le valutazioni GRADE della revisione stessa (da un livello di fiducia moderato a molto basso nei risultati) rispondono a una domanda diversa da quella posta da AMSTAR 2, ovvero quanto sia stata affidabile la revisione stessa.

Un lettore può ripetere l'esercizio su qualsiasi revisione ad accesso aperto. Aprire affiancati la sezione Metodi, il diagramma di flusso e l'appendice supplementare, contrassegnare prima ogni elemento critico e scrivere il puntatore accanto a ogni valutazione in modo che un secondo valutatore possa controllarla.

Tabella decisionale: AMSTAR 2, ROBIS, PRISMA 2020 e quando utilizzare ciascuno di essi.

Spesso i revisori confondono gli strumenti di valutazione con le checklist di rendicontazione. AMSTAR 2 valuta il livello di affidabilità di una revisione completata, PRISMA 2020 indica agli autori cosa riportare (la sua checklist comprende 27 elementi) e ROBIS valuta il rischio di bias in una revisione attraverso tre fasi: una verifica facoltativa della pertinenza, l'identificazione di eventuali criticità nel processo di revisione e una valutazione finale del rischio di bias.

Un confronto diretto condotto da Perry e colleghi , in cui tre revisori hanno valutato in modo indipendente 31 revisioni sistematiche con entrambi gli strumenti, rileva che, a rigor di termini, AMSTAR-2 valuta la qualità metodologica e ROBIS valuta il rischio di bias, sebbene le domande di segnalazione si sovrappongano considerevolmente.

Per classificare la forza delle prove tra i diversi disegni di studio, abbina questa guida ai livelli di evidenza nella ricerca clinica e, per un confronto più ampio degli strumenti di valutazione, consulta gli strumenti di valutazione della qualità nelle revisioni sistematiche . Quando il passo successivo è la classificazione del grado di certezza dei risultati, il calcolatore gratuito della tabella delle prove GRADE crea la tabella.

Quali difetti critici puoi correggere prima dell'invio?

Gli autori che valutano il proprio manoscritto possono utilizzare AMSTAR 2 come strumento di verifica preliminare all'invio. Gli elementi critici differiscono notevolmente in termini di possibilità di correzione, e tale differenza dovrebbe guidare l'ordine di intervento.

I team che pianificano una nuova revisione dovrebbero leggere le nostre note sugli errori comuni nella meta-analisi insieme a questa tabella, poiché i punti 11, 12 e 15 si sovrappongono agli errori ivi elencati. Anche i ricercatori che stanno realizzando una revisione generale basata sulle valutazioni AMSTAR 2 troveranno utile la guida alla revisione generale .

Errori comuni nella valutazione delle recensioni con AMSTAR 2

• Sommare i punteggi. Shea e colleghi lo sconsigliano vivamente, e una recensione con 14 valutazioni positive può comunque risultare criticamente negativa.
• Concedere il beneficio del dubbio. Non segnalato significa No.
• Trattare un protocollo dichiarato come se fosse registrato. Una dichiarazione contenuta nel rapporto si merita al massimo un "Sì parziale", mentre per essere considerati "Sì" è necessaria una verifica indipendente.
• Raggruppamento delle stime randomizzate e non randomizzate nel punto 11. Quando si includono entrambi i progetti, sono necessari preventivi riassuntivi separati.
• Utilizzo dello strumento su progetti non inclusi nell'ambito del progetto. Le meta-analisi di rete e le revisioni esplorative necessitano di altri strumenti.
• Saltando il confronto dei protocolli. Discrepanze inspiegabili tra la voce del registro e il report giustificano un declassamento.

Strumenti gratuiti per il tuo flusso di lavoro di revisione

AMSTAR 2 Domande frequenti

Quanti elementi e domini critici contiene AMSTAR 2?

AMSTAR 2 è composto da 16 elementi. Sette di essi (elementi 2, 4, 7, 9, 11, 13 e 15) sono designati come domini critici.

AMSTAR 2 produce un punteggio numerico?

No. Le valutazioni dei singoli elementi non vengono mai sommate in un punteggio secondo le raccomandazioni del documento, e viene assegnato uno dei quattro livelli di confidenza in base al conteggio dei difetti critici e delle debolezze non critiche.

AMSTAR 2 è in grado di valutare le revisioni di studi osservazionali?

Sì. L'aggiornamento del 2017 riguarda le revisioni sistematiche che includono studi randomizzati, studi non randomizzati sugli interventi o entrambi, e i punti 9 e 11 hanno criteri separati per ciascun tipo di studio.

Qual è la differenza tra AMSTAR 2 e ROBIS?

AMSTAR 2 valuta la qualità metodologica delle revisioni degli interventi sanitari attraverso 16 elementi, mentre ROBIS valuta il rischio di bias nelle revisioni attraverso un processo in tre fasi. La sovrapposizione tra i due è considerevole e alcuni team li utilizzano entrambi.

Supporto professionale per revisioni sistematiche che reggono secondo AMSTAR 2

La maggior parte degli aspetti critici viene definita durante le fasi di protocollo, ricerca e analisi, pertanto le correzioni successive all'invio risultano costose. Editverse elabora le revisioni sistematiche tenendo conto degli elementi critici, tra cui un protocollo pronto per PROSPERO per l'elemento 2, strategie di ricerca documentate per l'elemento 4, dati sul rischio di bias per l'elemento 9 e grafici a imbuto con test statistici per l'elemento 15. Il supporto alla revisione segue le linee guida PRISMA 2020 e Editverse allinea il proprio lavoro a COPE, ICMJE e GPP 2022.

Per la progettazione del protocollo, la strategia di ricerca e il supporto completo per la stesura del manoscritto, oltre a questi due pacchetti, si prega di consultare il servizio di redazione di revisioni sistematiche di Editverse.

Conclusione

AMSTAR 2 premia una routine disciplinata. Valuta ciascuno dei 16 elementi in base ai criteri pubblicati, conta i "No" nei sette domini critici e negli altri nove elementi come conteggi separati, e leggi il verdetto dal riquadro 2 senza sommare nulla. La nostra recensione immaginaria sul mal di schiena mostra come una singola lista mancante abbia fatto scendere un'ottima valutazione a "Bassa" e quanto velocemente una tabella supplementare possa ripristinarla.

Che si tratti di valutare le recensioni altrui o di verificare le proprie, è fondamentale documentare le procedure, utilizzare due valutatori e conservare il protocollo accanto al report. Queste abitudini trasformano una semplice lista di controllo in un giudizio fondato e difendibile.

Referenze

1. Shea BJ, Reeves BC, Wells G, et al. AMSTAR 2: uno strumento di valutazione critica per le revisioni sistematiche che includono studi randomizzati o non randomizzati di interventi sanitari, o entrambi. BMJ. 2017;358:j4008. doi:10.1136/bmj.j4008. PMID 28935701. Testo completo e appendici supplementari disponibili all'indirizzo PMC5833365.
2. Shea BJ, Grimshaw JM, Wells GA, et al. Sviluppo di AMSTAR: uno strumento di misurazione per valutare la qualità metodologica delle revisioni sistematiche. BMC Med Res Methodol. 2007;7:10. doi:10.1186/1471-2288-7-10. PMID 17302989.
3. Perry R, ​​Whitmarsh A, Leach V, Davies P. Un confronto tra due strumenti di valutazione utilizzati nelle revisioni sistematiche: ROBIS contro AMSTAR-2. Syst Rev. 2021;10:273. doi:10.1186/s13643-021-01819-x. PMID 34696810.
4. Whiting P, Savovic J, Higgins JPT, et al. ROBIS: è stato sviluppato un nuovo strumento per valutare il rischio di bias nelle revisioni sistematiche. J Clin Epidemiol. 2016;69:225-234. doi:10.1016/j.jclinepi.2015.06.005. PMID 26092286.
5. Page MJ, McKenzie JE, Bossuyt PM, et al. La dichiarazione PRISMA 2020: una linea guida aggiornata per la rendicontazione delle revisioni sistematiche. BMJ. 2021;372:n71. doi:10.1136/bmj.n71. PMID 33782057.
6. Galante J, Friedrich C, Dawson AF, Modrego-Alarcón M, Gebbing P, Delgado-Suárez I, et al. Programmi basati sulla mindfulness per la promozione della salute mentale negli adulti in contesti non clinici: una revisione sistematica e una meta-analisi di studi clinici randomizzati controllati. PLoS Med. 2021;18(1):e1003481. doi:10.1371/rivista.pmed.1003481. PMID 33428616.