Publisert | Sist oppdatert

.evrob-wrap{overflow-x:auto !important;margin:22px 0 !important;}.evrob-table{border-collapse:collapse !important;width:100% !important;min-width:520px !important;}.evrob-table th{background-color:#0d2137 !important;color:#ffffff !important;padding:10px 12px !important;text-align:left !important;border:1px solid #cddaea !important;font-size:0.92rem !important;}.evrob-table td{background-color:#ffffff !important;color:#1a1a1a !important;padding:9px 12px !important;border:1px solid #cddaea !important;vertical-align:top !important;font-size:0.92rem !important;}.evrob-table tr:nth-child(partall) td{bakgrunnsfarge:#f0f5fa !viktig;}.evrob-cap{margin:6px 0 0 0 !viktig;font-size:0.85rem !viktig;farge:#1a1a1a !viktig;}

RoB 2-verktøyet for risiko for skjevhet er det reviderte Cochrane-instrumentet for å bedømme om resultatet av en randomisert studie kan stoles på. Sterne og kolleger publiserte det i BMJ i 2019 ( BMJ 2019;366:l4898 ). Det ser på fem domener, stiller et fast sett med spørsmål i hvert domene, og konverterer svarene til én av tre vurderinger: Lav risiko for skjevhet, Noen bekymringer eller Høy risiko for skjevhet. Denne veiledningen forklarer RoB 2-signalspørsmålene domene for domene, viser hvordan algoritmene kommer frem til en vurdering, går gjennom ett hypotetisk studie fra første svar til totalvurdering, og beskriver hvordan man rapporterer resultatet i en systematisk oversikt.

Med enkle ord

RoB 2 gir ikke en studie en enkelt kvalitetspoengsum. For hvert resultat du henter fra en studie, svarer du på korte faktaspørsmål om fem deler av hvordan studien ble gjennomført og rapportert. Disse svarene gir en vurdering for hver del, og den dårligste vurderingen styrer den samlede vurderingen. Et resultat er Lavt bare når alle domener er Lave. Ett Høyt domene gjør hele resultatet Høyt.

Hva RoB 2-verktøyet for risiko for skjevhet vurderer

RoB 2 vurderer et enkelt studieresultat, ikke en hel studie. Cochrane-veiledningen definerer dette resultatet som et estimat av den relative effekten av to intervensjoner på et bestemt utfall. En studie som rapporterer smerte, funksjon og bivirkninger trenger derfor flere vurderinger. Veiledningen legger til at disse beslutningene sannsynligvis vil stemme overens med resultatene i tabellen «Summary of Finds», selv om det ennå ikke er gitt en formell regel for hvor mange resultater som skal vurderes ( riskofbias.info ).

Tre designfunksjoner er verdt å fikse før du åpner det første arket.

  • Domenene er obligatoriske. Veiledningen sier at de fem domenene dekker alle typer skjevhet som kan påvirke randomiserte studier, så hvert domen er obligatorisk og ingen ytterligere domener bør legges til.
  • Navnene beskriver årsaker. Forfatterne unngikk versjon 1-etikettene utvalgsskjevhet, ytelsesskjevhet, frafallsskjevhet og deteksjonsskjevhet fordi disse etikettene ikke beskrev de spesifikke problemstillingene som ble vurdert.
  • Virkningen av renter må deklareres. Du velger mellom effekten av tildeling til intervensjon (intention-to-treat-effekten) og effekten av å følge intervensjonen (per-protokoll-effekten). Bare domene 2 endres med dette valget, og valget er ikke relatert til om du slår sammen oddsratioer eller risikoforskjeller.

Kapittel 8 i håndboken advarer om at naive analyser per protokoll og «som behandlet» kan være svært skjevt innstilt, og gyldig estimering per protokoll krever spesialiserte metoder, så de fleste oversikter spesifiserer tildelingseffekten. Vår veiledning om intensjon-til-behandling versus per protokoll-analyse forklarer hvorfor dette skillet er viktig før du begynner å svare på spørsmål.

Bevisene bak domenene er empiriske. I den meta-epidemiologiske studien ROBES, som dekket 2,443 randomiserte studier i 228 Cochrane-metaanalyser, var estimatene for intervensjonseffekter i gjennomsnitt overdrevet i studier med høye eller uklare (versus lave) risiko-for-bias-vurderinger for sekvensgenerering, med en oddsratio på 0.91 (95 % troverdighetsintervall 0.86 til 0.98) ( Savović et al., Am J Epidemiol 2018 ). Den studien brukte de eldre vurderingene i stedet for RoB 2, men den illustrerer hvorfor verktøyet i det hele tatt spør om randomiseringsprosessen.

De fem domenene og deres RoB 2-signaliseringsspørsmål

Tabellen nedenfor viser de fem domenene for en individuelt randomisert parallellgruppestudie, kjerneproblemstillingen hver enkelt tester, og antall signalspørsmål i malen for effekten av tildeling til intervensjon.

DomeneNavn i verktøyetKjerneproblemet den testerspørsmål
D1Skjevhet som følge av randomiseringsprosessenVar allokeringssekvensen tilfeldig og skjult, og tyder grunnlinjeforskjeller på et problem?3 (1.1 til 1.3)
D2Skjevhet på grunn av avvik fra tiltenkte intervensjonerFørte bevissthet om tildelingen til avvik fra protokollen, og var analysen passende?7 (2.1 til 2.7)
D3Skjevhet på grunn av manglende utfallsdataEr utfallsdata tilgjengelige for nesten alle randomiserte deltakere, og kan manglende data avhenge av den sanne verdien?4 (3.1 til 3.4)
D4Skjevhet i måling av utfalletVar målingen passende og sammenlignbar på tvers av gruppene, og kunne vurderernes kunnskap ha påvirket den?5 (4.1 til 4.5)
D5Skjevhet i valget av det rapporterte resultatetBle det rapporterte resultatet valgt fra flere utfallsmålinger eller analyser?3 (5.1 til 5.3)

Tabell 1. RoB 2-domener og spørsmålsantall. Kilde: Cochrane RoB 2-veiledning, 22. august 2019. Effekten av å følge intervensjonen bruker et annet spørsmålssett i domene 2.

Hvordan RoB 2-signaliseringsspørsmål besvares

Hvert av RoB 2-signalspørsmålene er skrevet for å være rimelig faktabaserte. Du svarer med ett av fem alternativer: Ja, Sannsynligvis ja, Sannsynligvis nei, Nei eller Ingen informasjon. Ja og Sannsynligvis ja har samme implikasjon for risiko for skjevhet, som Nei og Sannsynligvis nei. Spørsmålene er formulert slik at et Ja kan peke på enten lav eller høy risiko for skjevhet, og det er derfor du må lese algoritmen og aldri anta at Ja er det gode svaret.

Fire regler forhindrer de fleste feilsvar.

  1. Bruk Ingen informasjon sparsomt. Veiledningen forbeholder seg dette for tilfeller der rapporten er for tynn til å støtte «Sannsynligvis ja» eller «Sannsynligvis nei», og der en gjetning ville være urimelig. En stor prøve utført av en erfaren forsøksenhet som ikke beskriver sekvensgenerering i en ordbegrenset artikkel, er mer sannsynlig et «Sannsynligvis ja».
  2. Vit hva en manglende detalj betyr. Hvis et spørsmål ser etter bevis på et problem, betyr ingen informasjon at det ikke finnes bevis på problemet. Hvis det gjelder noe som bør rapporteres, for eksempel tap av oppfølging, vekker taushet bekymring.
  3. Svar på hvert spørsmål uavhengig. En ubalanse i grunnlinjen må ikke endre svarene dine på spørsmålene om sekvensgenerering eller skjuling. Den registreres kun under spørsmål 1.3.
  4. Siter rapporten. Fritekstboksen ved siden av hvert spørsmål bør inneholde korte direkte sitater når det er mulig.

Algoritmene kartlegger deretter svarene til en foreslått domenevurdering. Behandle dette resultatet som et forslag. Veiledningen sier at brukere skal bekrefte det, kan endre det og må forklare eventuelle avvik. Den ber også vurderere om å lese «risiko for skjevhet» som «risiko for vesentlig skjevhet», slik at bekymringer bare hører hjemme der et problem sannsynligvis vil påvirke evnen til å trekke pålitelige konklusjoner.

Reliabilitet trenger oppmerksomhet i praksis. I en interrater-reliabilitetsstudie av Minozzi og kolleger, anvendte fire vurderere RoB 2 på 80 resultater som dekket syv utfall fra 16 forsøk i en Cochrane-oversikt. Under kalibreringsøvelsen kom de ikke til enighet om den overordnede vurderingen (Fleiss kappa på -0.15), og gjennomsnittlig tid for å anvende verktøyet var 168.5 minutter per studie. Teamet skrev deretter et emnespesifikt implementeringsdokument og målte enighet igjen, og artikkelen rapporterer at reliabiliteten ble bedre ( Minozzi et al., J Clin Epidemiol 2022 ). Den praktiske lærdommen er å bli enige om tolkningsregler, for eksempel hva som teller som «nesten alle» utfallsdata, før uttrekket starter.

Domene 1 RoB 2 Signalspørsmål, randomiseringsprosess

RoB 2-signaliseringsspørsmålene i domene 1 spør om allokeringssekvensen var tilfeldig (1.1), om den var skjult inntil deltakerne ble registrert og tildelt (1.2), og om grunnlinjeforskjeller tyder på et problem med randomisering (1.3). Forskjeller som er kompatible med tilfeldighet skaper ikke risiko, og et lite antall forskjeller signifikante på 0.05-nivået er vanligvis kompatible med tilfeldighet. Lav vurdering krever tilstrekkelig skjuling og ingen bekymring for sekvensgenerering.

1.1 Tilfeldig sekvens1.2 Skjult1.3 Ubalanse tyder på et problemUtebliven dom
Y / PY / NIY / PYN / PN / NILav
Y / PYY / PYY / PYNoen bekymringer
N / PN / NIY / PYY / PYNoen bekymringer
NoenNIN / PN / NINoen bekymringer
NoenNIY / PYHøyt
NoenN / PNNoenHøyt

Tabell 2. Signalspørsmål og standardkartlegging for domene 1 RoB 2. Y = Ja, PY = Sannsynligvis ja, N = Nei, PN = Sannsynligvis nei, NI = Ingen informasjon. Kilde: RoB 2-veiledning, tabell 4.

Domene 2 RoB 2 Signalspørsmål, avvik fra planlagte intervensjoner

RoB 2-signaliseringsspørsmålene i domene 2 er de mest komplekse, og de er delt inn i to deler for effekten av tildeling. Del 1 dekker spørsmål 2.1 til 2.5. Den spør om deltakerne (2.1) og omsorgspersoner eller personer som utførte intervensjonen (2.2) var klar over tildelingen, og i så fall om avvik oppsto på grunn av forsøkskonteksten (2.3), om de påvirket utfallet (2.4) og om de var balansert mellom gruppene (2.5). «Forsøkskontekst» betyr effekter av rekruttering og engasjement, for eksempel en deltaker som føler seg uheldig etter å ha blitt tildelt sammenligningsgruppen og søker den eksperimentelle behandlingen. Manglende etterlevelse som speiler hva som ville skjedd utenfor forsøket, besvares med Nei eller Sannsynligvis nei.

Del 2 dekker spørsmål 2.6 og 2.7 og spør om en passende analyse estimerte effekten av tildeling. Intention-to-treat-analyser og modifiserte intention-to-treat-analyser som kun ekskluderer deltakere med manglende utfallsdata er passende. Naive per-protokoll- og as-treated-analyser er upassende. Spørsmål 2.7 spør deretter om det å analysere personer i feil gruppe kunne ha hatt en betydelig innvirkning, og veiledningen bemerker at dette kan være sant selv når færre enn 5 % ble berørt hvis utfallet er sjeldent.

DelsvarDelvis dom
Del 1 (2.1 til 2.5)2.1 og 2.2 begge N / PNLav
Del 1Enten 2.1 eller 2.2 Y / PY / NI, og 2.3 N / PNLav
Del 1Enten bevisst, og 2.3 NINoen bekymringer
Del 1Enten klar over, 2.3 Y / PY, og 2.4 N / PNNoen bekymringer
Del 1Enten bevisst, 2.3 Y/PY, 2.4 Y/PY/NI og 2.5 Y/PYNoen bekymringer
Del 1Enten bevisst, 2.3 Y / PY, 2.4 Y / PY / NI og 2.5 N / PN / NIHøyt
Del 2 (2.6, 2.7)2.6 år / årLav
Del 22.6 N / PN / NI og 2.7 N / PNNoen bekymringer
Del 22.6 N / PN / NI og 2.7 Y / PY / NIHøyt
Domene 2Begge deler Lav, eller noen bekymringer i noen av delene, med verken høy eller høy i noen av deleneLav, Noen bekymringer, Høy henholdsvis

Tabell 3. Domene 2 RoB 2-signaliseringsspørsmål og standardkartlegging for effekten av tildeling. Kilde: RoB 2-veiledning, tabell 6.

Domene 3 RoB 2 Signalspørsmål, manglende resultatdata

RoB 2-signaliseringsspørsmålene i domene 3 begynner med en enkel test. Var data for dette utfallet tilgjengelig for alle, eller nesten alle, randomiserte deltakere (3.1)? Veiledningen sier at tilgjengelighet fra 95 % av deltakerne ofte vil være tilstrekkelig for et kontinuerlig utfall, mens for et dikotomt utfall avhenger terskelen av hendelsesrisiko. Imputerte verdier teller som manglende data. Hvis dataene er ufullstendige, spør du om det finnes bevis for at resultatet ikke var skjevt av manglende data (3.2), om manglende data kan avhenge av den sanne verdien (3.3), og om det er sannsynlig at det gjorde det (3.4). Årsaker til et Ja på 3.4 inkluderer forskjellige andeler manglende data mellom armer, forskjellige årsaker mellom armer og sensurering ved behandlingsseponering i tid-til-hendelsesanalyser.

3.1 Fullstendige data3.2 Bevis for at det ikke foreligger skjevhet3.3 Kan avhenge av sann verdi3.4 Avhenger sannsynligvisUtebliven dom
Y / PYNANANALav
N / PN / NIY / PYNANALav
N / PN / NIN / PNN / PNNALav
N / PN / NIN / PNY / PY / NIN / PNNoen bekymringer
N / PN / NIN / PNY / PY / NIY / PY / NIHøyt

Tabell 4. Signalspørsmål og standardkartlegging for domene 3 RoB 2. NA = Ikke aktuelt. Kilde: RoB 2-veiledning, tabell 10.

Domene 4 RoB 2 Signalspørsmål, Måling av utfall

RoB 2-signaliseringsspørsmålene i domene 4 spør om målemetoden var upassende (4.1), om måling eller konstatering kunne ha vært forskjellig mellom gruppene (4.2), om vurdererne kjente til intervensjonen som ble mottatt (4.3), om kunnskap kunne ha påvirket vurderingen (4.4), og om den sannsynligvis gjorde det (4.5). For deltakerrapporterte utfall er vurdereren deltakeren. Kunnskap om tildeling kan påvirke selvrapporterte symptomer og vurderingsbaserte vurderinger, men veiledningen bemerker at det er usannsynlig at det påvirker utfall som totaldødelighet.

svarUtebliven dom
4.1 N / PN / NI, 4.2 N / PN, og enten 4.3 N / PN eller 4.4 N / PNLav
4.1 N / PN / NI, 4.2 N / PN, 4.3 Y / PY / NI, 4.4 Y / PY / NI, 4.5 N / PNNoen bekymringer
4.1 N / PN / NI, 4.2 N / PN, 4.3 Y / PY / NI, 4.4 Y / PY / NI, 4.5 Y / PY / NIHøyt
4.2 svarte NI med ellers gode svarNoen bekymringer (Høy hvis 4.5 er Y / PY / NI)
4.1 Y / PY, eller 4.2 Y / PYHøyt

Tabell 5. Domene 4 RoB 2-signaliseringsspørsmål og standardkartlegging, forkortet. Kilde: RoB 2-veiledning, tabell 12.

Domene 5 RoB 2 Signalspørsmål, valg av rapportert resultat

RoB 2-signaliseringsspørsmålene i domene 5 spør om dataene ble analysert i tråd med en forhåndsdefinert plan som ble ferdigstilt før ublindede utfallsdata var tilgjengelige (5.1), og om resultatet sannsynligvis ble valgt fra flere kvalifiserte utfallsmålinger (5.2) eller flere kvalifiserte analyser (5.3). Eksempler på flere målinger inkluderer flere skalaer eller tidspunkter for ett utfall. Eksempler på flere analyser inkluderer justerte og ujusterte modeller eller forskjellige grenseverdier. Du trenger protokollen eller den statistiske analyseplanen for å kunne svare med sikkerhet.

5.1 Planen ble fulgt5.2 Utvalgt fra målinger5.3 Utvalgt fra analyserUtebliven dom
Y / PYN / PNN / PNLav
N / PN / NIN / PNN / PNNoen bekymringer
NoenN / PNNINoen bekymringer
NoenNIN / PN eller NINoen bekymringer
NoenY / PYNoenHøyt
NoenNoenY / PYHøyt

Tabell 6. Signalspørsmål og standardkartlegging for domene 5 RoB 2. Kilde: RoB 2-veiledning, tabell 14.

Fra domenevurderinger til en samlet vurdering

Den overordnede vurderingen bruker de samme tre etikettene som domenene. Et resultat er Lavt bare hvis alle domenene er Lave. Det er Noen bekymringer hvis minst ett domene gir noen grunner til bekymring og ingen er Høye. Det er Høyt hvis minst ett domene er Høyt, eller hvis det er Noen bekymringer i flere domener på en måte som reduserer tilliten til resultatet betydelig. Den siste setningen er en vurdering, så skriv ned resonnementet ditt når du bruker det.

RoB 2 risiko for skjevhetsverktøyets generelle vurderingsregel som viser kriterier for høy, noen bekymringer og lav
Figur 1. Regel for samlet vurdering. Røde merker Høy risiko for skjevhet, gule merker Noen bekymringer og grønne merker Lav risiko for skjevhet. Sjekk radene ovenfra og ned. Kilde: Cochrane RoB 2-veiledning, 22. august 2019.

Veiledningen sier også at en høy vurdering i et hvilket som helst domene bør ha samme implikasjon for resultatet som helhet, uansett hvilket domene det kommer fra. Den fraråder å stoppe når ett domene er høyt når du kjører en fullstendig systematisk oversikt, fordi transparente poster på domenenivå hjelper leserne og fremtidig studiedesign. Stoppregler er bare akseptable når protokollen din sier at høyrisikostudier ikke vil spille noen rolle i syntesen.

RoB 2 Signalspørsmål i praksis, et praktisert eksempel

Følgende studie er hypotetisk, og RoB 2-signaliseringsspørsmålene nedenfor er besvart i sin helhet. Den eksisterer kun for å vise mekanikken. Det er en åpen, toarmet, randomisert studie av et strukturert treningsprogram kontra vanlig behandling hos voksne med kroniske korsryggsmerter. Totalt 240 voksne ble randomisert, 120 per arm. Utfallet er smerteintensitet på en numerisk vurderingsskala fra 0 til 10 etter 12 uker, rapportert av deltakeren. Oversikten spør om effekten av tildeling til intervensjon.

DomeneSvar på signalspørsmåleneJudgement
D1-randomisering1.1 Y (datamaskingenerert sekvens). 1.2 Y (sentral nettallokering). 1.3 N (lignende smerteskårer ved baseline).Lav
D2-avvik2.1 Y og 2.2 Y (trening kan ikke blindes). 2.3 PN (noen deltakere i vanlig behandling søkte fysioterapi, noe som også ville skje utenfor en studie). 2.4 og 2.5 NA. 2.6 Y (alle randomiserte deltakere med data analysert som tildelt). 2.7 NA.Lav (Del 1 Lav, Del 2 Lav)
D3 Manglende dataData tilgjengelig for 212 av 240 (88 %), med 15 manglende i treningsarmen og 13 i vanlig behandling. 3.1 N. 3.2 N (ingen sensitivitetsanalyse). 3.3 Y (personer med verre smerter kan slutte). 3.4 PN (lignende andeler, 12.5 % versus 10.8 %, og lignende registrerte årsaker).Noen bekymringer
D4-måling4.1 N (en numerisk vurderingsskala er passende). 4.2 N (samme skala og tidspunkt). 4.3 Y (deltakeren er vurderer og kjenner armen). 4.4 Y. 4.5 PY (deltakere som forventer nytte av trening kan rapportere lavere smerte).Høyt
D5 Rapportert resultat5.1 Y (registrert protokoll og analyseplan ferdigstilt før avblinding). 5.2 N (én smerteskala på ett forhåndsspesifisert tidspunkt). 5.3 N (én forhåndsspesifisert analyse).Lav
Alt i altEtt høyt domene (D4).Høyt

Tabell 7. Utarbeidet eksempel på RoB 2-signaliseringsspørsmål for en hypotetisk studie. Alle studiedetaljer er oppfunnet for illustrasjon.

Den samlede vurderingen er Høy fordi domene 4 er Høy, uansett hva de andre fire domenene sier. Merk at dommen avhenger av ett svar, spørsmål 4.5. Vurderingspersoner bør notere hvorfor de valgte Sannsynligvis ja, og sitere rapporten der det er mulig. Den neste tabellen viser hvordan vurderingen endres når ett svar eller én designfunksjon endres.

ScenarioDomene 4Domene 3Totalvurdering
Som rapportert (åpen, selvrapportert smerte, 4.5 PY)Høyt Noen bekymringerHøyt
Anmeldernes svar 4.5 PN (ingen grunn til å tro at rapporteringen ble påvirket)Noen bekymringerNoen bekymringerNoen bekymringer, eller høy hvis de to sammen reduserer tilliten betydelig. Dokumenter valget.
Samme forsøk, men smerte erstattet av en gangtest tatt tid av en blindet vurderer (4.3 N)LavNoen bekymringerNoen bekymringer
Som rapportert, men frafallet er høyere i treningsarmen for smerteoppblussinger (3.4 år)Høyt Høyt Høyt

Tabell 8. Beslutningstabell som viser hvordan den samlede vurderingen reagerer på endringer i den hypotetiske studien. Domene 1, 2 og 5 forblir lave i alle scenarioer.

RoB 2 risiko for skjevhet trafikklysplott av seks illustrerende forsøk på tvers av fem domener med samlet vurdering
Figur 2. Trafikklyssammendrag for seks illustrerende forsøk. D1 til D5 er de fem RoB 2-domenene. Et grønt plusstegn betyr lav risiko for skjevhet, et gult spørsmålstegn betyr noen bekymringer og et rødt kryss betyr høy risiko for skjevhet. Forsøk D er det utarbeidede eksemplet ovenfor. Forsøk F har noen bekymringer på fire av fem domener og er vurdert som høy totalt sett gjennom klausulen om flere noen bekymringer, som er en vurdering fra anmelderen. Illustrative data. Utarbeidet av Editverse.

Plott som figur 2 er konvensjonelle i systematiske oversikter. McGuinness og Higgins bygde robvis R-pakken og Shiny-nettappen slik at vurderingsteam raskt kan produsere risiko-for-skjevhet-tall av publikasjonskvalitet ( Res Synth Methods 2021 ). For et bredere blikk på å tegne forsøks- og metaanalyseplott, se vår veiledning til kliniske forskningsgrafer.

Et reelt eksempel, RoB 2-signaliseringsspørsmål anvendt på ARTHROL-studien

Den oppfunnede studien ovenfor viser mekanikken, men den kan ikke vise hvordan RoB 2-signalspørsmålene oppfører seg mot en reell rapport. Denne delen anvender verktøyet på en publisert randomisert studie, ARTHROL, som testet oral resveratrol mot placebo hos voksne med smertefull kneartrose. Effekten av interesse er effekten av tildeling til intervensjon (intention-to-treat), og resultatet som vurderes er endringen i knesmerter på en numerisk vurderingsskala fra 0 til 100 etter 3 måneder. Tabell 9 til 11 og figur 3 viser vurderingen.

Illustrativ Editverse-vurdering for undervisning

Denne vurderingen er en undervisningsillustrasjon fra Editverse på hvordan signalspørsmålene besvares fra en publisert rapport. Den er ikke en vurdering av forfatterne eller kvaliteten på arbeidet deres. Anmeldere som vurderer den samme studien kan svare forskjellig på radene merket som vurderingsspørsmål, og veiledningen forventer det.

SakDetalj
Sitat (Vancouver)Nguyen C, Coudeyre E, Boutron I, Baron G, Daste C, Lefèvre-Colau MM, et al. Oral resveratrol hos voksne med kneartrose: en randomisert placebokontrollert studie (ARTHROL). PLoS Med. 2024;21(8):e1004440. DOI 10.1371/journal.pmed.1004440
IdentifikatorerPMID 39137167. PMCID PMC11321588.
Registrering og protokollClinicalTrials.gov NCT02905799, registrert før studien startet. Protokoll publisert før den første deltakeren ble registrert (Nguyen C, Boutron I, Baron G, et al. BMJ Open. 2017;7(9):e017652. DOI 10.1136 / bmjopen-2017-017652).
TillatelseÅpen tilgang under CC BY 4.0 (creativecommons.org/licenses/by/4.0Korte sitater og én figur er gjenbrukt her med kildehenvisning, og alt annet er parafrasert. © 2024 Nguyen et al.
Hvorfor denne rettssakenDet er en toarmet, parallellgruppe, dobbeltblind, placebokontrollert studie rapportert mot CONSORT, med en registrering, en publisert protokoll og en statistisk analyseplan. Flytdiagrammet viser alle nødvendige tellinger for domene 2 og 3, og det primære utfallet er deltakerrapportert, noe som gjør domene 4 verdt å studere.

Tabell 9. Forsøk valgt for det virkelige eksemplet, med identifikatorer og lisens.

CONSORT-flytdiagram for den randomiserte ARTHROL-studien brukt for et eksempel på RoB 2-risiko for skjevhet, 142 randomiserte deltakere
Figur 3. CONSORT-flytdiagram for ARTHROL-studien. Gjengitt fra Nguyen C, et al. PLoS Med 2024;21(8):e1004440 (figur 1), © 2024 Nguyen et al., under CC BY 4.0. Innholdet ble ikke redigert, og filen ble konvertert til WebP. Fotnoten i diagrammet sier at de fire deltakerne som ble flagget ved randomisering for kvalifikasjonsproblemer ble inkludert, fulgt opp og analysert, noe som er relevant for spørsmål 2.6.

Tabellen nedenfor følger forsøksrapporten, protokollen og analyseplanen i rekkefølge etter de fem domenene. Hver rad angir hvor bevisene befinner seg, slik at en annen anmelder kan sjekke svaret på et minutt. Domenevurderingene kommer fra algoritmetabellene i Cochrane-veiledningen av 22. august 2019, og algoritmen er kun et forslag som en vurderer kan overstyre med en oppgitt grunn.

SpørsmålBevis i avisen og hvor du finner detSvar
Domene 1, randomiseringsprosess. Lav vurderingsevne. Algoritme (veiledningstabell 4) med 1.1 Y, 1.2 Y og 1.3 PN gir lav.
1.1 Tilfeldig sekvens?En datagenerert liste fra en uavhengig statistiker, stratifisert etter senter, med permuterte blokker på 2, 4 eller 6 (metoder, randomisering og maskering).Y
1.2 Sekvens skjult?Allokeringen ble utført gjennom sikret randomiseringsprogramvare, og protokollen oppgir at sekvensen ble skjult av et datagrensesnitt i e-CRF. Kaplettene ble forhåndsmerket av leverandøren (Metoder; protokoll, S1-metode).Y
1.3 Antyder ubalanse i grunnlinjen et problem?Gruppene var 71 og 71 under 1:1-allokering, og gjennomsnittlig baseline knesmerter var 56.9 og 55.5 (tabell 1). Noen kovariater er forskjellige, for eksempel tidligere bruk av NSAID-er 46 % versus 31 % og gjennomsnittsalder 59.8 versus 63.0 år, men størrelsen er plausibel ved en tilfeldighet med 71 per arm og omtrent 25 sammenlignede karakteristikker. DOMSKALLPN
Domene 2, avvik fra tiltenkte intervensjoner (effekt av tildeling). Lav vurderingsevne. Del 1 Lav (2.1 og 2.2 begge PN eller N) og Del 2 Lav (2.6 Y), så domenet er Lavt (veiledningstabell 6).
2.1 Er deltakerne klar over oppgaven?Artikkelen oppgir at deltakerne var maskerte og at kaplettene hadde identisk størrelse, farge og smak (metoder). Ingen blindingstest er rapportert.PN
2.2 Er omsorgspersoner og fødselsforrettere bevisste?«Deltakere, etterforskere, statistikere og behandlende leger ble maskert til allokeringsgruppen» (Metoder, randomisering og maskering).N
2.3 til 2.5 Avvik i prøvekontekstIkke aktuelt fordi verken 2.1 eller 2.2 ble besvart med J, PY eller NI.NA
2.6 Passende analyse?Den begrensede longitudinelle modellen inkluderer alle randomiserte deltakere med minst én baseline- eller post-baseline-verdi, og flytdiagrammet viser 71 per arm analysert for det primære utfallet, inkludert fire deltakere flagget ved randomisering på grunn av kvalifikasjonsproblemer (figur 1 fotnote; Statistisk analyse). De 15 % som ikke fullførte den tildelte intervensjonen (120 av 142 gjorde det) analyseres som randomiserte.Y
2.7 Konsekvenser av å analysere i feil gruppe?Ikke aktuelt fordi 2.6 var Y.NA
Domene 3, manglende utfallsdata. Lav vurdering. 3.1 PY gir Lav uten ytterligere spørsmål (veiledningstabell 10).
3.1 Data for alle eller nesten alle?Tremåneders smertedata var tilgjengelige for 67 av 71 og 68 av 71, så 135 av 142 (95.1 %), med 4 og 3 manglende (tabell 2 fotnote; Diskusjon, begrensninger). Veiledningen sier at 95 % ofte vil være nok for et kontinuerlig utfall, så dette er tommelfingerregelen. DOMSKALLPY
3.2 til 3.4Ikke aktuelt. Hvis en vurderer foretrakk N for 3.1, ville spørsmål 3.2 påvirke sensitivitetsanalysene for verst tenkelig og best tenkelig i S5-vedlegget, som denne vurderingen ikke åpnet for.NA
Domene 4, måling av utfallet. Lav vurderingsevne. 4.1 PN, 4.2 PN og 4.3 PN følger den første raden i veiledningen i tabell 12, som er lav.
4.1 Metode upassende?En selvutfylt numerisk smertevurderingsskala fra 0 til 100, valgt for å følge OMERACT- og OARSI-anbefalingene for studier av kneartrose (metoder, resultater).PN
4.2 Var målingene forskjellige mellom gruppene?Begge armene fullførte det samme spørreskjemaet hjemme før det planlagte besøket, «for å minimere datainnsamlernes innflytelse på deltakernes svar» (Metoder, Resultater).PN
4.3 Er vurdererne klar over intervensjonen?For et deltakerrapportert utfall er vurdereren deltakeren, og deltakerne var maskert (se 2.1). Ingen blindingstest for suksess rapporteres.PN
4.4 og 4.5Ikke aktuelt fordi 4.3 var PN.NA
Domene 5, utvalg av rapportert resultat. Lav vurdering. 5.1 PY med 5.2 N og 5.3 PN gir Lav (veiledningstabell 14).
5.1 Forhåndsspesifisert plan ferdigstilt før avblindede data?Studien ble registrert før den startet (NCT02905799), og protokollversjon 1.1 av 14. desember 2016, fortsatt gjeldende i versjon 7.0 av 23. mars 2021, fastsatte det primære utfallet, 3-måneders tidspunktet og den begrensede longitudinale analysen (S1-metoden, avsnitt 7 og 8.2). Forfatterne skriver at «Alle utfall som var forhåndsspesifisert i protokollen, ble rapportert.» De separate analyseplanfilene er datert 3. og 4. oktober 2022, etter siste oppfølging 12. mai 2022, og artikkelen oppgir ikke når dataene ble avblindet, så dette svaret hviler på protokollen. DOMSKALLPY
5.2 Valgt fra flere målinger?Ett primært mål (numerisk vurderingsskala for smerte) på et forhåndsbestemt tidspunkt (3 måneder). Andre skalaer er merket som sekundære.N
5.3 Utvalgt fra flere analyser?Den rapporterte modellen er den begrensede longitudinelle modellen som er fastsatt i protokollen og analyseplanen. Protokollen listet senteret som en tilfeldig effekt, og analyseplanen og artikkelen bruker en fast effekt. Forfatterne oppgir at de ikke brukte den planlagte GEE-tilnærmingen for de dikotome utfallene fordi bare tre sentre deltok, en grunn som ikke er relatert til resultatene. Sensitivitetsanalyser (ANCOVA, to-tidspunktsmodell, verste og beste tilfelle) er merket som sådan (statistisk analyse). DOMSKALLPN
Samlet vurdering Lav. Alle fem domenene er Lave, som er den eneste veien til Lav i veiledningstabell 1.

Tabell 10. RoB 2-signaliseringsspørsmål for ARTHROL-primærresultatet (endring i knesmerter etter 3 måneder, resveratrol versus placebo, effekt av tildeling til intervensjon). Y er ja, PY sannsynligvis ja, PN sannsynligvis nei, N nei og NA ikke aktuelt. Seksjonspesialene refererer til Nguyen et al. 2024 med mindre annet er oppgitt. Rader merket som vurderingskall er de der rimelige vurderere kunne ha svart annerledes. Algoritmer følger Cochrane RoB 2-veiledningen av 22. august 2019 (tabell 1, 4, 6, 10, 12 og 14).

Sammendraget nedenfor samler dommene og svarene som avgjorde hver enkelt.

DomeneJudgementSvarene som avgjorde detAvgjørende bevis
D1-randomiseringLav1.1 Y, 1.2 Y, 1.3 PNDatamaskingenererte lagdelte blokker, programvarestyrt skjuling, balanserte armer
D2-avvikLavDel 1 Lav, Del 2 LavMaskerte deltakere og klinikere, alle randomiserte deltakere analysert som tildelt
D3 Manglende dataLav3.1 PY135 av 142 med 3-måneders data (95.1 %)
D4-målingLav4.1 PN, 4.2 PN, 4.3 PNSamme selvrapporterte skala i begge armer, utfylt av maskerte deltakere
D5 Rapportert resultatLav5.1 PY, 5.2 N, 5.3 PNRegistrert, protokollen fastsatte utfallet og modellen, ett primært mål
Alt i altLavLavt på alle fem domenerVeiledningstabell 1

Tabell 11. Domene- og overordnede vurderinger for ARTHROL-primærresultatet. Reglene kommer fra Cochrane RoB 2-veiledningen av 22. august 2019.

Hva en lav vurdering forteller deg og hva den ikke forteller deg

Primærresultatet var en gjennomsnittlig endring i knesmerter på -15.7 poeng med resveratrol og -15.2 med placebo, en forskjell på -0.6 (95 % KI -8.0 til 6.9). RoB 2 vurderer dette resultatet lavt fordi studien ble gjennomført og rapportert på en måte som beskytter mot skjevhet. Det sier ingenting om presisjon. Forfatterne randomiserte 142 av planlagte 164 deltakere og beskriver studien som underpowered, og den begrensningen tilhører upresisjonsvurderingen i en GRADE-vurdering, ikke et RoB 2-domene.

Hvorfor manglende etterlevelse ikke telte mot rettssaken

Bare 120 av 142 deltakere (85 %) fullførte den tildelte intervensjonen, noe som ser bekymringsfullt ut inntil man husker spørsmålet som ble stilt. For effekten av tildelingen har avvik fra protokollen bare betydning når de oppstår fra studiekonteksten, og en analyse av alle som randomisert er passende. En oversikt som spurte om effekten av å følge intervensjonen ville bruke et annet sett med spørsmål i domene 2 og ville trenge en mer spesialisert analyse enn den som er rapportert her.

Der to takstmenn kan være forskjellige

Fire rader har en merkelapp for vurdering. Rad 1.3 avhenger av hvor mye grunnlinjeforskjell du aksepterer som tilfeldighet, rad 3.1 ligger på 95 %-tommelfingerregelen, og rad 5.1 og 5.3 avhenger av hvordan du behandler en analyseplan datert etter oppfølging og en endring i sentertermen. Under algoritmen vil et mindre gunstig svar på 1.3 (PY), 5.1 (PN eller NI) eller 5.3 (NI) senke det domenet, og med det den samlede vurderingen, til Noen bekymringer, og en Y eller PY på 5.3 vil gi Høy. En N på 3.1 vil sende vurdereren til spørsmål 3.2 og sensitivitetsanalysene. Uansett hvordan du svarer, registrer sitatet og avsnittet som begrunnet valget ditt. Denne registreringen er det som gjør en RoB 2-vurdering kontrollerbar av en annen vurderer.

Sammenlign dette utfallet med den hypotetiske åpne studien tidligere i denne veiledningen. Der førte et deltakerrapportert utfall i en ublindet studie til at domene 4 ble satt til Høyt. Her er det samme utfallet plassert i en maskert, placebokontrollert design, slik at domene 4 forblir Lavt. Utfallstypen endret ikke vurderingen, det gjorde maskeringen. Hele settet med signalspørsmål finnes i Cochrane RoB 2-veiledningen , og studiedetaljene finnes i den opprinnelige artikkelen.

Klynge- og krysningsvarianter i korte trekk

Veiledningen fra 2019 inneholder tre maler, én for hver av dem: individuelt randomiserte parallellgruppestudier, klyngerandomiserte parallellgruppestudier (inkludert stepped-wedge-design) og randomiserte crossover-studier og andre matchede design. De fem domenene ovenfor gjelder for individuelt randomiserte studier, inkludert crossover-studier. Klyngerandomiserte studier får et ekstra domene, 1b, som dekker skjevhet som følge av identifisering eller rekruttering av individuelle deltakere innenfor klynger. Veiledningen sier at det ennå ikke finnes noen versjon for klynger-crossover-studier. Cochrane-håndboken oppsummerer begge variantene i kapittel 23, og de offisielle malene finnes på riskofbias.info . Hvis du støter på en crossover-studie, forklarer artikkelen vår om crossover-design og washout-perioder designfunksjonene du må bedømme.

Rapportering av RoB 2 Signalering av spørsmål og vurderinger

Rapporteringen bør la en leser gjengi dine vurderinger. Veiledningen anbefaler å presentere konsensusvurderinger på domenenivå i hovedgjennomgangen, som en tabell, en figur eller i et skogplott, og plassere signalsvarene med tilhørende støttetekst i et vedlegg. Individuelle vurderingsjournaler hører hjemme i et tillegg og bør ikke være fremtredende. Dekk følgende punkter i metodene dine.

  1. Navngi verktøyet og dets versjon, og oppgi hvilken designmal du brukte for hver prøveperiode.
  2. Angi effekten av interesse, og for etterlevelse, hvilke avvik du vurderte.
  3. List opp resultatene og tidspunktene som ble vurdert, og angi hvilket resultat fra hvert forsøk du valgte da flere ble rapportert.
  4. Beskriv hvordan vurdererne jobbet og hvordan uenigheter ble løst.
  5. Forklar alle overstyringer av et algoritmeforslag og enhver bruk av den multiple «Noen bekymringer»-klausulen.
  6. Siter kildene du brukte for hver studie, inkludert protokoller og registeroppføringer, fordi domene 5 er avhengig av dem.

Metodesetning du kan tilpasse

Risiko for skjevhet i hver inkluderte randomiserte studie ble vurdert for [utfall] på [tidspunkt] ved bruk av RoB 2 (veiledning av 22. august 2019) for effekten av tildeling til intervensjon. To anmeldere besvarte signalspørsmålene uavhengig av hverandre, avklarte uenigheter gjennom diskusjon og registrerte støttende sitater. Domenenivå- og overordnede vurderinger (Lav, Noen bekymringer, Høy) ble nådd ved bruk av de publiserte algoritmene, og eventuelle overstyringer er dokumentert i tillegget.

Rapporter selve gjennomgangen mot PRISMA 2020 , og plasser risikoen for skjevhet ved siden av skogplottet. Vår PRISMA 2020-flytdiagramgenerator håndterer flytdiagrammet, og GRADE-bevistabellkalkulatoren støtter trinnet som følger. Hvis du skriver denne delen i en avhandling, viser artikkelen om å matche rapporteringsretningslinjer med avhandlingskapitler hvor hvert element hører hjemme.

Vanlige feil ved bruk av RoB 2

  • Vurder forsøket i stedet for resultatet. Randomiseringsproblemer påvirker hele studien, men avvik, måling og utvalg av det rapporterte resultatet knytter seg til det spesifikke utfallet.
  • Å stole på merkelappen «intention-to-treat». Veiledningen bemerker at begrepet ikke har noen ensartet definisjon i studierapporter. Sjekk den faktiske analysen mot spørsmål 2.6.
  • Behandling av kovariatjustering som en løsning for ødelagt randomisering. Veiledningen sier at en studie som kontrollerte for baseline-ubalanser for å redusere randomiseringsfeil, bør vurderes med ROBINS-I i stedet (Sterne et al., BMJ 2016).
  • Å la ett svar drive et annet. Svar på hvert spørsmål basert på dets egne bevis.
  • Standardinnstillingen er Ingen informasjon. Bruk Sannsynligvis ja eller Sannsynligvis nei når omstendighetene støtter en rimelig vurdering.
  • Hopper over implementeringsnotatet. Reliabilitetsresultatene ovenfor viser hvorfor et kort, emnespesifikt regelark er verdt tiden.
  • Presentere algoritmeutdata uten resonnement. Et bart fargenett inviterer til tvil. Legg til forkortede begrunnelser.

Flere av disse feilene vises også i den bredere listen i vår veiledning til vanlige feil i metaanalyse. Hvis du er usikker på hvor mange studier syntesen din trenger når de med høy risiko er satt til side, les minimumsantallet studier for en metaanalyse. For studiedesignhierarkiet bak disse beslutningene, se evidensnivåer i klinisk forskning, og for neste trinn etter risiko for skjevhet, se vår GRADE-metodikkveiledning . Vår tidligere oversikt over Cochrane Risk of Bias Tool 2.0 gir en bredere introduksjon, og vår metaanalyse-mesterklasse dekker pooling, heterogenitet og publikasjonsskjevhet.

Verktøy og ressurser

Tre gratis Editverse-verktøy støtter arbeidet rundt en risikovurdering av skjevheter. Bruk dem til å tegne figurer, velge tester og bygge flytdiagrammer.

Gratis forskningsverktøy fra Editverse

  • GraphProLag publikasjonsklare diagrammer, 25 typer, med innebygd t-test, ANOVA, korrelasjon og kji-kvadrat p-verdier. Gratis, ingen registrering.
  • StatProGratis statistiske kalkulatorer og et testutvelgerverktøy som dekker gruppesammenligninger, kategoriske utfall, analyse av tid til hendelse og diagnostisk nøyaktighet.
  • Flytskjema ProGenerer flytdiagrammer for PRISMA 2020, PRISMA-ScR, CONSORT, STROBE, STARD, MOOSE og ARRIVE direkte i nettleseren din.

Faglig støtte for vurdering av risiko for skjevhet og systematiske oversikter

En forsvarlig RoB 2-vurdering starter med gjennomgangsprotokollen, fordi effekten av interesse, resultatene og regelarket alle bestemmes der. Editverse støtter systematiske gjennomganger fra protokoll til manuskript, med rapporteringsarbeid i samsvar med COPE, ICMJE og GPP 2022. Pakkene nedenfor passer best til arbeidsflyten for risiko for skjevhet i denne artikkelen.

Protokoll

$500

PROSPERO-klar protokoll med kvalifikasjonskriterier, søkestrategi, datautvinningsplan og veiledning om valg av verktøy for risiko for skjevhet. Standard leveringstid er 2 til 3 uker.

Se pakke →

Systematisk oversikt pluss metaanalyse

$1,800

Fullstendig gjennomgang og metaanalyse for opptil 15 kvalifiserte studier, med kvalitetsvurdering, tall for risiko for skjevhet, skogplott og PRISMA 2020-samsvar.

Se pakke →

Er du usikker på hvilken pakke som passer til spørsmålet ditt? Siden vår for systematiske oversiktsskrivingstjenester forklarer hvordan prosessen fungerer, og manuskriptskrivingstjenestene våre dekker skrivingen når vurderingene dine er fullført.

Konklusjon

RoB 2-verktøyet for risiko for skjevhet belønner en disiplinert rutine. Bestem effekten av interesse og resultatene som skal vurderes, skriv et kort regelark, svar på hvert av RoB 2-signaliseringsspørsmålene fra rapporten og protokollen, og la algoritmene foreslå domenevurderinger som du deretter verifiserer. Den samlede vurderingen følger det verste domenet, med ett vurderingsbasert unntak for flere bekymringer. Rapporter konsensusvurderinger i hovedteksten og de støttende svarene i et tillegg. På denne måten blir vurderingen en transparent oversikt som lesere, fagfellevurderinger og GRADE-paneler kan følge.

Referanser

  1. Sterne JAC, Savović J, Page MJ, et al. RoB 2: et revidert verktøy for å vurdere risiko for skjevhet i randomiserte studier. BMJ. 2019;366:l4898. DOI 10.1136/bmj.l4898. PMID 31462531. Åpen kilde
  2. Higgins JPT, Savović J, Page MJ, Elbers RG, Sterne JAC, redaktører. Revidert Cochrane-verktøy for risiko for skjevhet for randomiserte studier (RoB 2). Veiledningsdokument, 22. august 2019. Åpen kilde
  3. Cochrane-håndboken for systematiske oversikter over intervensjoner, kapittel 8, Vurdering av risiko for skjevhet i en randomisert studie. Åpen kilde
  4. Sterne JA, Hernán MA, Reeves BC, et al. ROBINS-I: et verktøy for å vurdere risiko for skjevhet i ikke-randomiserte studier av intervensjoner. BMJ. 2016;355:i4919. DOI 10.1136/bmj.i4919. PMID 27733354. Åpen kilde
  5. Savović J, Turner RM, Mawdsley D, et al. Sammenheng mellom risiko-for-bias-vurderinger og resultater av randomiserte studier i Cochrane-oversikter: ROBES meta-epidemiologiske studie. Am J Epidemiol. 2018;187(5):1113-1122. DOI 10.1093/aje/kwx344. PMID 29126260. Åpen kilde
  6. Minozzi S, Dwan K, Borrelli F, Filippini G. Påliteligheten til det reviderte Cochrane-verktøyet for risiko for skjevhet for randomiserte studier (RoB2) ble forbedret ved bruk av implementeringsinstruksjoner. J Clin Epidemiol. 2022;141:99-105. DOI 10.1016/j.jclinepi.2021.09.021. PMID 34537386. Åpen kilde
  7. McGuinness LA, Higgins JPT. Visualisering av risiko for skjevhet (robvis): en R-pakke og Shiny-webapp for visualisering av vurderinger av risiko for skjevhet. Res Synth Methods. 2021;12(1):55-61. DOI 10.1002/jrsm.1411. PMID 32336025. Åpen kilde
  8. Page MJ, McKenzie JE, Bossuyt PM, et al. PRISMA 2020-erklæringen: en oppdatert retningslinje for rapportering av systematiske oversikter. BMJ. 2021;372:n71. DOI 10.1136/bmj.n71. PMID 33782057. Åpen kilde
  9. Nguyen C, Coudeyre E, Boutron I, Baron G, Daste C, Lefèvre-Colau MM, et al. Oral resveratrol hos voksne med kneartrose: en randomisert placebokontrollert studie (ARTHROL). PLoS Med. 2024;21(8):e1004440. DOI 10.1371/journal.pmed.1004440. PMID 39137167. Åpen kilde
  10. Nguyen C, Boutron I, Baron G, Coudeyre E, Berenbaum F, Poiraudeau S, et al. Utvikling av smerte etter 3 måneder med oral resveratrol ved kneartrose (ARTHROL): protokoll for en multisenter randomisert dobbeltblind placebokontrollert studie. BMJ Open. 2017;7(9):e017652. DOI 10.1136/bmjopen-2017-017652. PMID 28965100. Åpen kilde