Veröffentlicht | Letzte Aktualisierung:

.evrob-wrap{overflow-x:auto !important;margin:22px 0 !important;}.evrob-table{border-collapse:collapse !important;width:100% !important;min-width:520px !important;}.evrob-table th{background-color:#0d2137 !important;color:#ffffff !important;padding:10px 12px !important;text-align:left !important;border:1px solid #cddaea !important;font-size:0.92rem !important;}.evrob-table td{background-color:#ffffff !important;color:#1a1a1a !important;padding:9px 12px !important;border:1px solid #cddaea !important;vertical-align:top !important;font-size:0.92rem !important;}.evrob-table tr:nth-child(even) td{background-color:#f0f5fa !important;}.evrob-cap{margin:6px 0 0 0 !important;font-size:0.85rem !important;color:#1a1a1a !important;}

Das RoB-2-Risikobewertungsinstrument ist das überarbeitete Cochrane-Instrument zur Beurteilung der Vertrauenswürdigkeit randomisierter Studienergebnisse. Sterne und Kollegen veröffentlichten es 2019 im BMJ ( BMJ 2019;366:l4898 ). Es betrachtet fünf Bereiche, stellt in jedem Bereich einen festgelegten Fragenkatalog und ordnet die Antworten einer von drei Bewertungen zu: Geringes Verzerrungsrisiko, Bedenken oder Hohes Verzerrungsrisiko. Dieser Leitfaden erläutert die RoB-2-Signalfragen für jeden Bereich, zeigt, wie die Algorithmen zu einer Bewertung gelangen, führt eine hypothetische Studie von der ersten Antwort bis zur Gesamtbewertung durch und beschreibt, wie die Ergebnisse in einem systematischen Review berichtet werden.

In einfachen Worten

RoB 2 vergibt keine einheitliche Qualitätsbewertung für Studien. Für jedes Ergebnis einer Studie beantworten Sie kurze Fragen zu fünf Aspekten der Durchführung und Berichterstattung. Die Antworten ergeben eine Bewertung für jeden Aspekt, wobei die niedrigste Bewertung die Gesamtbewertung bestimmt. Ein Ergebnis gilt nur dann als niedrig, wenn alle Bereiche niedrig bewertet sind. Ein hoher Wert in einem Bereich führt zu einem hohen Gesamtergebnis.

Was das RoB 2 Risikobewertungstool beurteilt

RoB 2 bewertet ein einzelnes Studienergebnis, nicht die gesamte Studie. Die Cochrane-Leitlinie definiert dieses Ergebnis als eine Schätzung der relativen Wirkung zweier Interventionen auf ein bestimmtes Ergebnis. Eine Studie, die Schmerzen, Funktion und unerwünschte Ereignisse erfasst, erfordert daher mehrere Bewertungen. Die Leitlinie ergänzt, dass diese Entscheidungen wahrscheinlich mit den Ergebnissen in Ihrer Ergebnisübersicht übereinstimmen, obwohl noch keine formale Regelung zur Anzahl der zu bewertenden Ergebnisse veröffentlicht wurde ( riskofbias.info ).

Drei Designmerkmale sollten verbessert werden, bevor Sie die erste Seite aufschlagen.

  • Die Domänen sind obligatorisch. In den Richtlinien heißt es, dass die fünf Bereiche alle Arten von Verzerrungen abdecken, die randomisierte Studien beeinflussen können, daher ist jeder Bereich erforderlich und es sollten keine weiteren Bereiche hinzugefügt werden.
  • Die Namen beschreiben Ursachen. Die Autoren vermieden die Bezeichnungen Selektionsbias, Leistungsbias, Ausfallbias und Detektionsbias der Version 1, da diese Bezeichnungen die spezifischen Probleme, die untersucht wurden, nicht beschrieben.
  • Der Zinseffekt muss angegeben werden. Sie wählen zwischen dem Effekt der Zuweisung zur Interventionsgruppe (Intention-to-Treat-Effekt) und dem Effekt der Einhaltung der Intervention (Per-Protocol-Effekt). Nur Domäne 2 ändert sich mit dieser Wahl, und die Wahl steht in keinem Zusammenhang damit, ob Sie Odds Ratios oder Risikodifferenzen poolen.

Kapitel 8 des Handbuchs warnt davor, dass naive Per-Protocol- und As-Treated-Analysen stark verzerrt sein können und für eine valide Per-Protocol-Schätzung spezielle Methoden erforderlich sind. Daher geben die meisten Reviews den Zuweisungseffekt an. Unser Leitfaden zur Intention-to-Treat- versus Per-Protocol-Analyse erläutert, warum diese Unterscheidung wichtig ist, bevor Sie mit der Beantwortung der Fragen beginnen.

Die Evidenz für die Domänen ist empirisch. In der meta-epidemiologischen Studie ROBES, die 2,443 randomisierte Studien aus 228 Cochrane-Metaanalysen umfasste, wurden die Interventionseffekte in Studien mit hohem oder unklarem (im Vergleich zu niedrigem) Risiko für Verzerrungen bei der Sequenzgenerierung im Durchschnitt überschätzt (Odds-Ratio-Verhältnis: 0.91; 95%-Konfidenzintervall: 0.86–0.98) ( Savović et al., Am J Epidemiol 2018 ). Diese Studie verwendete die älteren Risikobewertungen anstelle von RoB 2, verdeutlicht aber, warum das Instrument überhaupt nach dem Randomisierungsprozess fragt.

Die fünf Domänen und ihre RoB 2-Signalfragen

Die Tabelle unten gibt die fünf Domänen für eine individuell randomisierte Parallelgruppenstudie, die Kernfrage, die in jeder Domäne untersucht wird, und die Anzahl der Signalfragen im Fragebogen zur Wirkung der Zuweisung zur Intervention an.

DomainName im ToolKernproblem, das es testetFragen
D1Verzerrung, die sich aus dem Randomisierungsprozess ergibtWar die Zuteilungsreihenfolge zufällig und verdeckt, und deuten Unterschiede in den Ausgangswerten auf ein Problem hin?3 (1.1 bis 1.3)
D2Verzerrung durch Abweichungen von beabsichtigten InterventionenHat das Wissen um die Zuweisung zu Abweichungen vom Protokoll geführt, und war die Analyse angemessen?7 (2.1 bis 2.7)
D3Verzerrung aufgrund fehlender ErgebnisdatenSind Ergebnisdaten für nahezu alle randomisierten Teilnehmer verfügbar, und könnte das Fehlen von Daten vom wahren Wert abhängen?4 (3.1 bis 3.4)
D4Verzerrung bei der Messung des ErgebnissesWar die Messung angemessen und gruppenübergreifend vergleichbar, und könnte das Wissen der Beurteilenden sie beeinflusst haben?5 (4.1 bis 4.5)
D5Verzerrung bei der Auswahl der berichteten ErgebnisseWurde das gemeldete Ergebnis aus mehreren Ergebnismessungen oder -analysen ausgewählt?3 (5.1 bis 5.3)

Tabelle 1. RoB-2-Domänen und Anzahl der Fragen. Quelle: Cochrane RoB-2-Leitlinie, 22. August 2019. Die Wirkung der Einhaltung der Intervention wird in Domäne 2 anhand eines anderen Fragenkatalogs untersucht.

Wie Fragen zur RoB 2-Signalisierung beantwortet werden

Die Fragen zur RoB-2-Signalisierung sind so formuliert, dass sie möglichst sachlich sind. Sie antworten mit einer von fünf Optionen: Ja, Wahrscheinlich ja, Wahrscheinlich nein, Nein oder Keine Angabe. Ja und Wahrscheinlich ja haben dieselbe Bedeutung für das Verzerrungsrisiko wie Nein und Wahrscheinlich nein. Die Fragen sind so formuliert, dass ein Ja sowohl auf ein niedriges als auch auf ein hohes Verzerrungsrisiko hinweisen kann. Deshalb müssen Sie den Algorithmus lesen und niemals annehmen, dass Ja die richtige Antwort ist.

Vier Regeln verhindern die meisten Antwortfehler.

  1. Informationen sollten nicht sparsam verwendet werden. Die Richtlinie sieht diese Option für Fälle vor, in denen der Bericht zu dürftig ist, um „Wahrscheinlich ja“ oder „Wahrscheinlich nein“ zu begründen, und in denen eine Vermutung unangebracht wäre. Eine umfangreiche Studie, die von einer erfahrenen Studienzentrale durchgeführt wird und deren Sequenzgenerierung in einem kurzen Dokument nicht beschrieben wird, dürfte eher ein „Wahrscheinlich ja“ sein.
  2. Wissen, was ein fehlendes Detail bedeutet. Wenn eine Frage nach Hinweisen auf ein Problem sucht, bedeutet „Keine Angabe“ dass keine Hinweise auf dieses Problem vorliegen. Geht es hingegen um etwas, das gemeldet werden sollte, wie beispielsweise Ausfälle bei der Nachverfolgung, weckt Schweigen Besorgnis.
  3. Beantworten Sie jede Frage einzeln. Ein Ungleichgewicht in der Ausgangslage darf Ihre Antworten auf die Fragen zur Sequenzgenerierung oder -verschleierung nicht beeinflussen. Es wird nur unter Frage 1.3 erfasst.
  4. Zitieren Sie den Bericht. Im Freitextfeld neben jeder Frage sollten nach Möglichkeit kurze, direkte Zitate stehen.

Die Algorithmen ordnen die Antworten anschließend einer vorgeschlagenen Domänenbewertung zu. Dieses Ergebnis ist als Vorschlag zu verstehen. Laut Leitfaden sollten Nutzer es überprüfen, gegebenenfalls ändern und jede Abweichung begründen. Gutachter werden außerdem angewiesen, „Risiko der Voreingenommenheit“ als „Risiko einer wesentlichen Voreingenommenheit“ zu verstehen. Bedenken sind daher nur dann angebracht, wenn ein Problem die Fähigkeit, verlässliche Schlussfolgerungen zu ziehen, beeinträchtigen könnte.

Die Zuverlässigkeit bedarf in der Praxis besonderer Beachtung. In einer Studie zur Interrater-Reliabilität von Minozzi et al. wendeten vier Rater das RoB²-Tool auf 80 Ergebnisse aus 16 Studien eines Cochrane-Reviews an, die sieben Endpunkte umfassten. Während der Kalibrierungsphase erzielten sie keine Übereinstimmung in der Gesamtbeurteilung (Fleiss-Kappa = -0.15), und die durchschnittliche Anwendungszeit betrug 168.5 Minuten pro Studie. Das Team erstellte daraufhin ein themenspezifisches Implementierungsdokument und maß die Übereinstimmung erneut. Die Publikation berichtet von einer verbesserten Zuverlässigkeit ( Minozzi et al., J Clin Epidemiol 2022 ). Die praktische Lehre daraus: Die Interpretationsregeln, beispielsweise welche Daten als „nahezu alle“ Ergebnisdaten gelten, sollten vor Beginn der Datenextraktion festgelegt werden.

Domäne 1 RoB 2 Signalfragen, Randomisierungsprozess

Die RoB-2-Signalfragen in Bereich 1 beziehen sich darauf, ob die Zuteilungssequenz zufällig war (1.1), ob sie bis zur Rekrutierung und Zuteilung der Teilnehmenden verdeckt war (1.2) und ob Unterschiede in den Ausgangswerten auf ein Problem mit der Randomisierung hindeuten (1.3). Zufällige Unterschiede stellen kein Risiko dar, und eine geringe Anzahl von Unterschieden, die auf dem 0.05-Niveau signifikant sind, sind in der Regel zufällig. Eine Bewertung „Niedrig“ erfordert eine angemessene Verdeckung und keine Bedenken hinsichtlich der Sequenzgenerierung.

1.1 Zufallsfolge1.2 Verdeckt1.3 Ungleichgewicht deutet auf ein Problem hinVersäumnisurteil
Y / PY / NIY / PYN / PN / NINiedrig
Y / PYY / PYY / PYEinige Bedenken
N / PN / NIY / PYY / PYEinige Bedenken
JedesNIN / PN / NIEinige Bedenken
JedesNIY / PYHoch
JedesN / PNJedesHoch

Tabelle 2. Fragen und Standardzuordnung für die RoB-2-Signalisierung (Domäne 1). J = Ja, PY = Wahrscheinlich ja, N = Nein, PN = Wahrscheinlich nein, NI = Keine Angabe. Quelle: RoB-2-Leitfaden, Tabelle 4.

Domäne 2 RoB 2 Signalfragen, Abweichungen von den geplanten Interventionen

Die Fragen zur Risikobewertung (RoB 2) in Bereich 2 sind die komplexesten und gliedern sich hinsichtlich der Zuteilungseffekte in zwei Teile. Teil 1 umfasst die Fragen 2.1 bis 2.5. Hier wird erfragt, ob die Teilnehmenden (2.1) und ihre Betreuer bzw. die für die Intervention Verantwortlichen (2.2) über die Zuteilung informiert waren und, falls ja, ob Abweichungen aufgrund des Studienkontexts auftraten (2.3), ob diese das Ergebnis beeinflussten (2.4) und ob sie zwischen den Gruppen ausgeglichen waren (2.5). „Studienkontext“ bezieht sich auf Effekte der Rekrutierung und des Engagements, beispielsweise wenn sich ein/e Teilnehmende/r nach der Zuteilung zur Vergleichsgruppe benachteiligt fühlt und die experimentelle Behandlung anstrebt. Eine Nichteinhaltung der Vorgaben, die dem Verhalten außerhalb der Studie entspricht, wird mit „Nein“ oder „Wahrscheinlich nicht“ beantwortet.

Teil 2 behandelt die Fragen 2.6 und 2.7 und prüft, ob die Auswirkungen der Gruppenzuordnung durch eine geeignete Analyse abgeschätzt wurden. Intention-to-Treat-Analysen und modifizierte Intention-to-Treat-Analysen, die nur Teilnehmende mit fehlenden Ergebnisdaten ausschließen, sind zulässig. Einfache Per-Protocol- und As-Treated-Analysen sind ungeeignet. Frage 2.7 befasst sich anschließend damit, ob die Analyse von Personen in der falschen Gruppe erhebliche Auswirkungen gehabt haben könnte. Die Leitlinien weisen darauf hin, dass dies selbst dann der Fall sein kann, wenn weniger als 5 % der Teilnehmenden betroffen waren, sofern das Ergebnis selten ist.

TeilAntwortenTeilurteil
Teil 1 (2.1 bis 2.5)2.1 und 2.2 beide N / PNNiedrig
Teil 1Entweder 2.1 oder 2.2 Y / PY / NI und 2.3 N / PNNiedrig
Teil 1Entweder bewusst und 2.3 NIEinige Bedenken
Teil 1Entweder bewusst, 2.3 Y / PY und 2.4 N / PNEinige Bedenken
Teil 1Entweder bekannt, 2.3 Jahre/Jahr, 2.4 Jahre/Jahr/NI und 2.5 Jahre/JahrEinige Bedenken
Teil 1Entweder bewusst, 2.3 Y / PY, 2.4 Y / PY / NI und 2.5 N / PN / NIHoch
Teil 2 (2.6, 2.7)2.6 Jahre / JahrNiedrig
Teil 22.6 N/PN/NI und 2.7 N/PNEinige Bedenken
Teil 22.6 N / PN / NI und 2.7 Y / PY / NIHoch
Domäne 2Beide Bereiche niedrig, oder einige Bedenken in einem der Bereiche, wobei keiner hoch ist, oder hoch in einem der BereicheNiedrig, Einige Bedenken, Hoch

Tabelle 3. Domäne 2 RoB 2-Signalisierungsfragen und Standardzuordnung zur Auswirkung der Zuweisung. Quelle: RoB 2-Leitfaden, Tabelle 6.

Domäne 3 RoB 2 Signalfragen, fehlende Ergebnisdaten

Die RoB-2-Signalfragen in Bereich 3 beginnen mit einem einfachen Test. Waren Daten für dieses Ergebnis für alle oder nahezu alle randomisierten Teilnehmer verfügbar (3.1)? Laut Leitfaden ist die Verfügbarkeit von Daten von 95 % der Teilnehmer für ein kontinuierliches Ergebnis oft ausreichend, während der Schwellenwert für ein dichotomes Ergebnis vom Ereignisrisiko abhängt. Imputierte Werte gelten als fehlende Daten. Sind die Daten unvollständig, wird geprüft, ob es Hinweise darauf gibt, dass das Ergebnis nicht durch die fehlenden Werte verzerrt wurde (3.2), ob die fehlenden Werte vom wahren Wert abhängen könnten (3.3) und ob dies wahrscheinlich der Fall ist (3.4). Gründe für ein „Ja“ bei 3.4 sind beispielsweise unterschiedliche Anteile fehlender Werte zwischen den Studienarmen, unterschiedliche Gründe für fehlende Werte zwischen den Studienarmen und Zensierung bei Behandlungsabbruch in Zeit-bis-Ereignis-Analysen.

3.1 Vollständige Daten3.2 Nachweis der Unvoreingenommenheit3.3 Könnte vom wahren Wert abhängen3.4 Wahrscheinlich abhängig vonVersäumnisurteil
Y / PYNANANANiedrig
N / PN / NIY / PYNANANiedrig
N / PN / NIN / PNN / PNNANiedrig
N / PN / NIN / PNY / PY / NIN / PNEinige Bedenken
N / PN / NIN / PNY / PY / NIY / PY / NIHoch

Tabelle 4. Fragen und Standardzuordnung zu RoB 2 (Domäne 3). NA = Nicht zutreffend. Quelle: RoB 2-Leitfaden, Tabelle 10.

Domäne 4 RoB 2 Signalfragen, Messung des Ergebnisses

Die RoB-2-Signalfragen in Bereich 4 beziehen sich darauf, ob die Messmethode ungeeignet war (4.1), ob sich Messung oder Datenerhebung zwischen den Gruppen unterschieden haben könnten (4.2), ob die Beurteilenden die erhaltene Intervention kannten (4.3), ob dieses Wissen die Beurteilung beeinflusst haben könnte (4.4) und ob dies wahrscheinlich der Fall war (4.5). Bei teilnehmerberichteten Ergebnissen ist der Beurteilende der Teilnehmer selbst. Die Kenntnis der Gruppenzuordnung kann selbstberichtete Symptome und auf Beurteilungen basierende Bewertungen beeinflussen, jedoch ist es laut Leitfaden unwahrscheinlich, dass sie Ergebnisse wie die Gesamtmortalität beeinflusst.

AntwortenVersäumnisurteil
4.1 N / PN / NI, 4.2 N / PN und entweder 4.3 N / PN oder 4.4 N / PNNiedrig
4.1 N / PN / NI, 4.2 N / PN, 4.3 J / PJ / NI, 4.4 J / PJ / NI, 4.5 N / PNEinige Bedenken
4.1 N/PN/NI, 4.2 N/PN, 4.3 J/VJ/NI, 4.4 J/VJ/NI, 4.5 J/VJ/NIHoch
4.2 beantwortete NI mit ansonsten fundierten AntwortenEinige Bedenken (Hoch, wenn 4.5 Y / PY / NI ist)
4.1 Jahre / PY oder 4.2 Jahre / PYHoch

Tabelle 5. Domäne 4 RoB 2-Signalisierungsfragen und Standardzuordnung (Kurzfassung). Quelle: RoB 2-Leitfaden, Tabelle 12.

Domäne 5 RoB 2 Signalfragen, Auswahl des gemeldeten Ergebnisses

Die RoB-2-Signalfragen in Bereich 5 beziehen sich darauf, ob die Daten gemäß einem vorab festgelegten Plan analysiert wurden, der vor dem Vorliegen der nicht verblindeten Ergebnisdaten finalisiert wurde (5.1), und ob das Ergebnis wahrscheinlich aus mehreren geeigneten Ergebnismessungen (5.2) oder mehreren geeigneten Analysen (5.3) ausgewählt wurde. Beispiele für mehrere Messungen sind verschiedene Skalen oder Zeitpunkte für ein Ergebnis. Beispiele für mehrere Analysen sind adjustierte und unadjustierte Modelle oder unterschiedliche Cut-off-Werte. Um diese Fragen sicher beantworten zu können, benötigen Sie das Studienprotokoll oder den statistischen Analyseplan.

5.1 Plan eingehalten5.2 Aus Messungen ausgewählt5.3 Aus Analysen ausgewählte ErgebnisseVersäumnisurteil
Y / PYN / PNN / PNNiedrig
N / PN / NIN / PNN / PNEinige Bedenken
JedesN / PNNIEinige Bedenken
JedesNIN / PN oder NIEinige Bedenken
JedesY / PYJedesHoch
JedesJedesY / PYHoch

Tabelle 6. Domäne 5 RoB 2-Signalisierungsfragen und Standardzuordnung. Quelle: RoB 2-Leitfaden, Tabelle 14.

Von Domänenbewertungen bis hin zu einer Gesamtbewertung

Die Gesamtbewertung verwendet dieselben drei Kategorien wie die einzelnen Bereiche. Ein Ergebnis gilt nur dann als niedrig, wenn alle Bereiche als niedrig eingestuft werden. Es gilt als besorgniserregend, wenn mindestens ein Bereich Anlass zur Sorge gibt und keiner als hoch eingestuft wird. Es gilt als hoch, wenn mindestens ein Bereich als hoch eingestuft wird oder wenn in mehreren Bereichen Bedenken bestehen, die das Vertrauen in das Ergebnis erheblich mindern. Diese letzte Klausel ist eine Ermessensfrage; dokumentieren Sie daher Ihre Begründung, wann immer Sie sie verwenden.

RoB 2-Risikobewertungsinstrument: Gesamtbeurteilungsregel mit den Kriterien „Hoch“, „Bedenken“ und „Niedrig“.
Abbildung 1. Gesamtbeurteilungsregel. Rote Markierungen: Hohes Verzerrungsrisiko, gelbe Markierungen: Gewisse Bedenken, grüne Markierungen: Geringes Verzerrungsrisiko. Prüfen Sie die Zeilen von oben nach unten. Quelle: Cochrane RoB 2-Leitfaden, 22. August 2019.

Die Leitlinie besagt außerdem, dass eine hohe Risikobewertung in einem beliebigen Bereich unabhängig vom jeweiligen Bereich die gleiche Auswirkung auf das Gesamtergebnis haben sollte. Sie rät davon ab, eine systematische Übersichtsarbeit abzubrechen, sobald ein Bereich ein hohes Risiko aufweist, da transparente Daten auf Bereichsebene die Lesbarkeit verbessern und die Planung zukünftiger Studien erleichtern. Abbruchregeln sind nur dann zulässig, wenn im Studienprotokoll festgelegt ist, dass Studien mit hohem Risiko nicht in die Synthese einfließen.

RoB 2 Signalfragen in der Praxis, ein durchgerechnetes Beispiel

Die folgende Studie ist hypothetisch, und die unten stehenden Fragen zur Risikobewertung (RoB 2) werden für sie vollständig beantwortet. Sie dient lediglich der Veranschaulichung der Studienmechanik. Es handelt sich um eine offene, randomisierte Studie mit zwei Studienarmen, in der ein strukturiertes Übungsprogramm mit der Standardversorgung bei Erwachsenen mit chronischen Rückenschmerzen verglichen wird. Insgesamt wurden 240 Erwachsene randomisiert, 120 pro Studienarm. Der primäre Endpunkt ist die Schmerzintensität auf einer numerischen Skala von 0 bis 10 nach 12 Wochen, angegeben von den Teilnehmenden. Die Studie untersucht den Effekt der Zuteilung zur Interventionsgruppe.

DomainAntworten auf die SignalfragenBeurteilung
D1 Randomisierung1.1 J (computergenerierte Sequenz). 1.2 J (zentrale Webzuweisung). 1.3 N (ähnliche Schmerzwerte zu Beginn).Niedrig
D2-Abweichungen2.1 J und 2.2 J (die Übungen konnten nicht verblindet werden). 2.3 PN (einige Teilnehmer der Kontrollgruppe nahmen Physiotherapie in Anspruch, was auch außerhalb einer Studie vorkommen würde). 2.4 und 2.5 NA. 2.6 J (alle randomisierten Teilnehmer, deren Daten gemäß ihrer Zuteilung analysiert wurden). 2.7 NA.Niedrig (Teil 1 Niedrig, Teil 2 Niedrig)
D3 Fehlende DatenDaten lagen für 212 von 240 (88 %) vor, wobei 15 Daten in der Übungsgruppe und 13 in der Kontrollgruppe fehlten. 3.1 N. 3.2 N (keine Sensitivitätsanalyse). 3.3 Y (Teilnehmer mit stärkeren Schmerzen könnten ausscheiden). 3.4 PN (ähnliche Anteile, 12.5 % bzw. 10.8 %, und ähnliche dokumentierte Gründe).Einige Bedenken
D4-Messung4.1 N (eine numerische Bewertungsskala ist geeignet). 4.2 N (gleiche Skala und gleicher Zeitpunkt). 4.3 Y (der Teilnehmer ist der Beurteiler und kennt den Arm). 4.4 Y. 4.5 PY (Teilnehmer, die einen Nutzen von der Bewegung erwarten, berichten möglicherweise über geringere Schmerzen).Hoch
D5 Gemeldetes Ergebnis5.1 J (registriertes Protokoll und finalisierter Analyseplan vor Entblindung). 5.2 N (eine Schmerzskala zu einem vorab festgelegten Zeitpunkt). 5.3 N (eine vorab festgelegte Analyse).Niedrig
Insgesamt:Eine hohe Domäne (D4).Hoch

Tabelle 7. Beispielrechnung zu den RoB-2-Signalfragen für einen hypothetischen Versuch. Alle Versuchsdetails sind fiktiv und dienen nur der Veranschaulichung.

Die Gesamtbewertung ist hoch, da Bereich 4 unabhängig von den anderen vier Bereichen als hoch eingestuft wird. Beachten Sie, dass das Ergebnis von einer einzigen Antwort abhängt, nämlich Frage 4.5. Die Gutachter sollten ihre Antwort „Wahrscheinlich ja“ begründen und, wenn möglich, den Bericht zitieren. Die folgende Tabelle zeigt, wie sich die Bewertung verändert, wenn sich eine Antwort oder ein Designmerkmal ändert.

SzenarioDomäne 4Domäne 3Gesamtbewertung
Wie berichtet (offene Studie, selbstberichtete Schmerzen, 4.5 Personenjahre)HochEinige BedenkenHoch
Die Gutachter bewerten mit 4.5 PN (es gibt keinen Grund zur Annahme, dass die Berichterstattung beeinflusst wurde).Einige BedenkenEinige BedenkenEinige Bedenken, oder Hoch, wenn beide zusammen das Vertrauen erheblich mindern. Dokumentieren Sie die Wahl.
Gleiche Versuchsreihe, jedoch wurde der Schmerz durch einen Gehtest ersetzt, dessen Zeit von einem verblindeten Untersucher gemessen wurde (4.3 N).NiedrigEinige BedenkenEinige Bedenken
Wie berichtet, ist die Abbruchrate in der Trainingsgruppe bei akuten Schmerzschüben höher (3.4 Jahre).HochHochHoch

Tabelle 8. Entscheidungstabelle, die zeigt, wie die Gesamtbewertung auf Änderungen im hypothetischen Versuch reagiert. Die Bereiche 1, 2 und 5 bleiben in jedem Szenario niedrig.

RoB 2 Risiko-of-Bias-Ampeldiagramm von sechs beispielhaften Studien in fünf Bereichen mit Gesamtbewertung
Abbildung 2. Ampel-Übersicht für sechs beispielhafte Studien. D1 bis D5 bezeichnen die fünf RoB-2-Domänen. Ein grünes Pluszeichen bedeutet geringes Verzerrungsrisiko, ein gelbes Fragezeichen bedeutet gewisse Bedenken und ein rotes Kreuz bedeutet hohes Verzerrungsrisiko. Studie D ist das oben dargestellte Beispiel. Studie F weist in vier von fünf Domänen gewisse Bedenken auf und wird aufgrund der mehrfachen Klausel „Geringe Bedenken“ (eine Beurteilung der Gutachter) insgesamt als hoch eingestuft. Beispieldaten. Erstellt von Editverse.

Diagramme wie in Abbildung 2 sind in systematischen Reviews üblich. McGuinness und Higgins entwickelten das R-Paket robvis und die Shiny-Webanwendung, mit der Review-Teams schnell Diagramme zur Beurteilung des Verzerrungsrisikos in Publikationsqualität erstellen können ( Res Synth Methods 2021 ). Einen umfassenderen Überblick über die Erstellung von Diagrammen für Studien und Metaanalysen finden Sie in unserem Leitfaden zu Diagrammen in der klinischen Forschung.

Ein konkretes Beispiel: RoB 2-Signalisierungsfragen angewendet auf die ARTHROL-Studie

Die oben beschriebene fiktive Studie veranschaulicht die Vorgehensweise, kann aber nicht zeigen, wie sich die Fragen zur Risikobewertung (RoB 2) bei einem realen Bericht verhalten. In diesem Abschnitt wird das Tool auf die veröffentlichte randomisierte Studie ARTHROL angewendet, in der orales Resveratrol mit Placebo bei Erwachsenen mit schmerzhafter Kniearthrose verglichen wurde. Der interessierende Effekt ist der Effekt der Zuteilung zur Interventionsgruppe (Intention-to-Treat-Analyse). Als Ergebnis wird die Veränderung der Knieschmerzen auf einer numerischen Skala von 0 bis 100 nach 3 Monaten bewertet. Die Tabellen 9 bis 11 und Abbildung 3 zeigen die Auswertung.

Illustrative Editverse-Bewertung für den Unterricht

Diese Bewertung dient als Beispiel aus dem Editverse-Lehrprogramm und veranschaulicht, wie die Signalfragen anhand eines veröffentlichten Berichts beantwortet werden. Sie stellt keine Wertung der Autoren oder der Qualität ihrer Arbeit dar. Gutachter, die dieselbe Studie bewerten, können die als Beurteilungsfragen gekennzeichneten Zeilen unterschiedlich beantworten; dies ist in den Richtlinien vorgesehen.

ArtikelDetail
Zitat (Vancouver)Nguyen C, Coudeyre E, Boutron I, Baron G, Daste C, Lefèvre-Colau MM, et al. Orale Resveratrol-Gabe bei Erwachsenen mit Kniearthrose: eine randomisierte, placebokontrollierte Studie (ARTHROL). PLoS Med. 2024;21(8):e1004440. DOI 10.1371/journal.pmed.1004440
IdentifiersPMID 39137167. PMCID PMC11321588.
Registrierung und ProtokollClinicalTrials.gov NCT02905799, registriert vor Studienbeginn. Das Studienprotokoll wurde vor der Aufnahme des ersten Teilnehmers veröffentlicht (Nguyen C, Boutron I, Baron G, et al. BMJ Open. 2017;7(9):e017652. DOI). 10.1136 / bmjopen-2017-017652).
LizenzOffener Zugriff unter CC BY 4.0 (creativecommons.org/licenses/by/4.0Kurze Zitate und eine Abbildung werden hier unter Angabe der Quelle wiederverwendet, alles andere ist paraphrasiert. © 2024 Nguyen et al.
Warum dieser ProzessEs handelt sich um eine zweiarmige, parallelgruppige, doppelblinde, placebokontrollierte Studie, die gemäß CONSORT durchgeführt wurde und über eine Registrierung, ein veröffentlichtes Studienprotokoll sowie einen statistischen Auswertungsplan verfügt. Das Flussdiagramm enthält alle für die Bereiche 2 und 3 benötigten Daten, und der primäre Endpunkt wird von den Studienteilnehmern selbst berichtet, wodurch Bereich 4 von besonderem Interesse ist.

Tabelle 9. Für das reale Beispiel ausgewählte Testversion mit Kennungen und Lizenz.

ARTHROL-Studie (randomisierte Studie): CONSORT-Flussdiagramm für ein Beispiel mit einem Verzerrungsrisiko von RoB 2; 142 Teilnehmer randomisiert.
Abbildung 3. CONSORT-Flussdiagramm der ARTHROL-Studie. Reproduziert aus Nguyen C, et al. PLoS Med 2024;21(8):e1004440 (Abbildung 1), © 2024 Nguyen et al., unter CC BY 4.0. Der Inhalt wurde nicht bearbeitet und die Datei in WebP konvertiert. Die Fußnote des Diagramms besagt, dass die vier Teilnehmer, die bei der Randomisierung aufgrund von Eignungsproblemen als problematisch eingestuft wurden, eingeschlossen, nachbeobachtet und analysiert wurden, was für Frage 2.6 relevant ist.

Die folgende Tabelle folgt dem Studienbericht, dem Studienprotokoll und dem Analyseplan in der Reihenfolge der fünf Domänen. Jede Zeile gibt an, wo die Evidenz zu finden ist, sodass ein zweiter Gutachter die Antwort innerhalb einer Minute überprüfen kann. Die Domänenbewertungen basieren auf den Algorithmustabellen der Cochrane-Leitlinie vom 22. August 2019. Der Algorithmus stellt lediglich einen Vorschlag dar, der von einem Gutachter mit einer entsprechenden Begründung außer Kraft gesetzt werden kann.

FrageBelege in der Arbeit und wo man sie finden kannAntworten
Domäne 1, Randomisierungsprozess. Beurteilung: Niedrig. Der Algorithmus (siehe Tabelle 4) mit 1.1 Y, 1.2 Y und 1.3 PN ergibt Low.
1.1 Zufällige Sequenz?Eine computergenerierte Liste eines unabhängigen Statistikers, stratifiziert nach Zentrum, mit permutierten Blöcken von 2, 4 oder 6 (Methoden, Randomisierung und Maskierung).Y
1.2 Sequenz verborgen?Die Zuteilung erfolgte mittels gesicherter Randomisierungssoftware, und laut Protokoll wurde die Sequenz durch eine Computerschnittstelle im e-CRF verborgen. Die Kapseln wurden vom Lieferanten vorbeschriftet (Methoden; Protokoll, S1 Methode).Y
1.3 Deutet ein Ungleichgewicht in den Ausgangswerten auf ein Problem hin?Die Gruppen umfassten jeweils 71 Teilnehmer (1:1-Zuteilung), und der mittlere Ausgangswert der Knieschmerzen betrug 56.9 bzw. 55.5 (Tabelle 1). Einige Kovariablen unterschieden sich, beispielsweise die vorherige Einnahme von NSAR (46 % vs. 31 %) und das mittlere Alter (59.8 vs. 63.0 Jahre). Die Gruppengröße ist jedoch bei 71 Teilnehmern pro Gruppe und etwa 25 verglichenen Merkmalen plausibel. URTEILSANRUFPN
Bereich 2, Abweichungen von den geplanten Interventionen (Auswirkung der Aufgabenstellung). Beurteilung: Niedrig. Teil 1 Niedrig (2.1 und 2.2 beide PN oder N) und Teil 2 Niedrig (2.6 Y), daher ist der Definitionsbereich Niedrig (siehe Tabelle 6).
2.1 Sind die Teilnehmer über die Aufgabenstellung informiert?Die Studie gibt an, dass die Teilnehmer verblindet waren und die Kapseln hinsichtlich Größe, Farbe und Geschmack identisch waren (Methoden). Es wird kein Verblindungstest durchgeführt.PN
2.2 Sind Pflegekräfte und Lieferanten informiert?„Die Teilnehmer, die Prüfer, die Statistiker und die behandelnden Ärzte wussten nicht, welcher Gruppe die Teilnehmer zugeteilt waren“ (Methoden, Randomisierung und Verblindung).N
2.3 bis 2.5 Abweichungen vom VersuchskontextNicht anwendbar, da weder 2.1 noch 2.2 mit J, JJ oder N1 beantwortet wurde.NA
2.6 Angemessene Analyse?Das eingeschränkte Längsschnittmodell umfasst alle randomisierten Teilnehmer mit mindestens einem Ausgangs- oder Nachbeobachtungswert. Das Flussdiagramm zeigt 71 Teilnehmer pro Studienarm, die hinsichtlich des primären Endpunkts analysiert wurden, darunter vier Teilnehmer, die bei der Randomisierung aufgrund von Eignungsproblemen gekennzeichnet wurden (siehe Fußnote zu Abbildung 1; Statistische Analyse). Die 15 %, die die zugewiesene Intervention nicht abgeschlossen haben (120 von 142), werden als randomisiert analysiert.Y
2.7 Auswirkungen der Analyse in der falschen Gruppe?Nicht anwendbar, da 2.6 Y war.NA
Domäne 3, fehlende Ergebnisdaten. Beurteilung: Niedrig. 3.1 PY gibt ohne weitere Fragen „Niedrig“ an (siehe Tabelle 10).
3.1 Daten für alle oder nahezu alle?Schmerzdaten nach drei Monaten lagen für 67 von 71 bzw. 68 von 71 Patienten vor, insgesamt also für 135 von 142 (95.1 %), wobei 4 bzw. 3 Daten fehlten (siehe Fußnote zu Tabelle 2; Diskussion, Einschränkungen). Laut Leitlinie sind 95 % häufig ausreichend für ein kontinuierliches Ergebnis, was der Faustregel entspricht. URTEILSANRUFPY
3.2 bis 3.4Nicht zutreffend. Falls ein Gutachter für 3.1 „Nein“ bevorzugen würde, würde Frage 3.2 von den Worst-Case- und Best-Case-Sensitivitätsanalysen in Anhang S5 abhängen, die in dieser Bewertung nicht geöffnet wurden.NA
Bereich 4, Messung des Ergebnisses. Beurteilung: Niedrig. 4.1 PN, 4.2 PN und 4.3 PN folgen der ersten Zeile der Leitlinientabelle 12, die „Niedrig“ lautet.
4.1 Ist die Methode ungeeignet?Eine selbstausgefüllte numerische Schmerzskala von 0 bis 100, die in Anlehnung an die Empfehlungen von OMERACT und OARSI für Studien zu Kniearthrose ausgewählt wurde (Methoden, Ergebnisse).PN
4.2 Gab es Unterschiede in den Messwerten zwischen den Gruppen?Beide Gruppen füllten vor dem geplanten Besuch zu Hause denselben Fragebogen aus, „um den Einfluss der Datenerheber auf die Antworten der Teilnehmer zu minimieren“ (Methoden, Ergebnisse).PN
4.3 Sind die Gutachter über die Intervention informiert?Bei einem von den Teilnehmern selbst berichteten Ergebnis ist der Beurteiler der Teilnehmer, und die Teilnehmer waren verblindet (siehe 2.1). Es wird kein Test auf Verblindungserfolg berichtet.PN
4.4 und 4.5 zur VerfügungNicht anwendbar, da 4.3 PN war.NA
Bereich 5, Auswahl des gemeldeten Ergebnisses. Beurteilung: Niedrig. 5.1 PY mit 5.2 N und 5.3 PN ergibt Low (Richtlinie Tabelle 14).
5.1 Wurde der vorab festgelegte Plan vor der Entblindung der Daten finalisiert?Die Studie wurde vor Beginn registriert (NCT02905799). Das Protokoll (Version 1.1 vom 14. Dezember 2016, gültig bis Version 7.0 vom 23. März 2021) legte den primären Endpunkt, den 3-Monats-Zeitpunkt und die eingeschränkte Längsschnittanalyse fest (S1 Methode, Abschnitte 7 und 8.2). Die Autoren schreiben: „Alle im Protokoll vorab festgelegten Endpunkte wurden berichtet.“ Die separaten Analyseplandateien datieren vom 3. und 4. Oktober 2022, also nach der letzten Nachuntersuchung am 12. Mai 2022. Da die Publikation keine Angaben zum Zeitpunkt der Datenentblindung enthält, basiert diese Antwort auf dem Protokoll. URTEILSANRUFPY
5.2 Aus mehreren Messungen ausgewählt?Ein primäres Messinstrument (numerische Schmerzskala) wird zu einem festgelegten Zeitpunkt (nach 3 Monaten) erhoben. Andere Skalen werden als sekundär bezeichnet.N
5.3 Aus mehreren Analysen ausgewählt?Das beschriebene Modell ist das im Protokoll und Analyseplan festgelegte eingeschränkte Längsschnittmodell. Im Protokoll wurde das Zentrum als Zufallseffekt, im Analyseplan und in der Publikation hingegen als Fixeffekt definiert. Die Autoren geben an, den geplanten GEE-Ansatz für die dichotomen Ergebnisse nicht angewendet zu haben, da nur drei Zentren teilnahmen – ein Grund, der keinen Einfluss auf die Ergebnisse hat. Sensitivitätsanalysen (ANCOVA, Zwei-Zeitpunkt-Modell, Worst-Case- und Best-Case-Szenario) sind entsprechend gekennzeichnet (Statistische Analyse). URTEILSANRUFPN
Gesamtbewertung: Niedrig. Alle fünf Bereiche sind niedrig, was laut Tabelle 1 der einzige Weg zu einem niedrigen Wert ist.

Tabelle 10. RoB-2-Signalfragen für den primären Endpunkt der ARTHROL-Studie (Veränderung der Knieschmerzen nach 3 Monaten, Resveratrol versus Placebo, Effekt der Zuteilung zur Interventionsgruppe). Y = Ja, PY = Wahrscheinlich Ja, PN = Wahrscheinlich Nein, N = Nein und NA = Nicht anwendbar. Abschnittsverweise beziehen sich, sofern nicht anders angegeben, auf Nguyen et al. 2024. Als Ermessensfragen gekennzeichnete Zeilen sind solche, bei denen vernünftige Gutachter zu unterschiedlichen Ergebnissen kommen könnten. Die Algorithmen folgen den Cochrane-RoB-2-Leitlinien vom 22. August 2019 (Tabellen 1, 4, 6, 10, 12 und 14).

Die folgende Zusammenfassung enthält die Urteile und die Antworten, die jeweils zur Entscheidung geführt haben.

DomainBeurteilungDie Antworten, die darüber entschieden habenEntscheidende Beweise
D1 RandomisierungNiedrig1.1 Y, 1.2 Y, 1.3 PNComputergenerierte, geschichtete Blöcke, softwaregesteuerte Tarnung, ausgewogene Waffen
D2-AbweichungenNiedrigTeil 1 Niedrig, Teil 2 NiedrigVerblindete Teilnehmer und Kliniker, alle randomisierten Teilnehmer wurden gemäß ihrer Zuteilung analysiert.
D3 Fehlende DatenNiedrig3.1 PY135 von 142 mit 3-Monats-Daten (95.1 %)
D4-MessungNiedrig4.1 PN, 4.2 PN, 4.3 PNIn beiden Gruppen wurde dieselbe Selbsteinschätzungsskala verwendet, die von maskierten Teilnehmern ausgefüllt wurde.
D5 Gemeldetes ErgebnisNiedrig5.1 PY, 5.2 N, 5.3 PNRegistriert, Protokoll festgelegt, Ergebnis und Modell, ein primäres Maß
Insgesamt:NiedrigNiedrig in allen fünf BereichenLeitfaden Tabelle 1

Tabelle 11. Domänen- und Gesamtbeurteilungen für das primäre Ergebnis der ARTHROL-Studie. Die Regeln basieren auf der Cochrane RoB 2-Leitlinie vom 22. August 2019.

Was eine niedrige Bewertung aussagt und was nicht

Das primäre Ergebnis war eine mittlere Schmerzreduktion im Knie von -15.7 Punkten unter Resveratrol und -15.2 Punkten unter Placebo, eine Differenz von -0.6 (95%-KI -8.0 bis 6.9). Das Risiko (RoB 2) wird als niedrig eingestuft, da die Studie so durchgeführt und berichtet wurde, dass Verzerrungen vermieden werden. Die Aussagekraft der Ergebnisse ist jedoch begrenzt. Die Autoren randomisierten 142 der geplanten 164 Teilnehmer und bezeichnen die Studie als unterpowert. Diese Einschränkung fällt unter die Beurteilung der Präzision im Rahmen einer GRADE-Bewertung und nicht unter die Kategorie RoB 2.

Warum die Nichteinhaltung der Therapie nicht als Fehler im Prozess gewertet wurde

Nur 120 von 142 Teilnehmenden (85 %) schlossen die ihnen zugewiesene Intervention ab. Dies mag zunächst besorgniserregend erscheinen, doch die Fragestellung gibt Aufschluss darüber, wie die Zuteilung ausfällt. Für die Beurteilung des Zuteilungseffekts sind Abweichungen vom Studienprotokoll nur dann relevant, wenn sie im Kontext der Studie auftreten. Daher ist eine Analyse aller randomisierten Teilnehmenden angemessen. Eine Überprüfung der Auswirkungen der Einhaltung der Intervention würde in Bereich 2 einen anderen Fragenkatalog verwenden und eine spezialisiertere Analyse erfordern als die hier vorgestellte.

Wo zwei Gutachter unterschiedlicher Meinung sein könnten

Vier Zeilen enthalten eine Beurteilungsmöglichkeit. Zeile 1.3 hängt davon ab, wie viel Basislinienabweichung Sie als zufällig akzeptieren, Zeile 3.1 basiert auf der 95%-Faustregel, und die Zeilen 5.1 und 5.3 hängen davon ab, wie Sie einen Analyseplan behandeln, der nach der Nachbeobachtung und einer Änderung des zentralen Endpunkts datiert ist. Gemäß dem Algorithmus würde eine weniger günstige Antwort auf 1.3 (PY), 5.1 (PN oder NI) oder 5.3 (NI) den jeweiligen Bereich und damit die Gesamtbewertung auf „Einige Bedenken“ senken, während ein „Y“ oder „PY“ bei 5.3 zu „Hoch“ führen würde. Ein „N“ bei 3.1 würde den Gutachter zu Frage 3.2 und den Sensitivitätsanalysen führen. Unabhängig von Ihrer Antwort notieren Sie das Zitat und den Abschnitt, der Ihre Wahl begründet. Diese Dokumentation ermöglicht es einem zweiten Gutachter, eine RoB-2-Bewertung zu überprüfen.

Vergleichen Sie dieses Ergebnis mit der hypothetischen, offenen Studie weiter oben in diesem Leitfaden. Dort führte ein von den Teilnehmenden berichtetes Ergebnis in einer nicht verblindeten Studie zu einer hohen Bewertung von Domäne 4. Hier hingegen findet sich dieselbe Art von Ergebnis in einem verblindeten, placebokontrollierten Studiendesign, sodass Domäne 4 niedrig bleibt. Nicht die Art des Ergebnisses, sondern die Verblindung hat die Bewertung beeinflusst. Die vollständigen Fragen zur Risikobewertung finden Sie in der Cochrane RoB 2-Leitlinie , die Studiendetails im Originalartikel.

Cluster- und Crossover-Varianten im Überblick

Die Leitlinie von 2019 stellt drei Vorlagen bereit: je eine für individuell randomisierte Parallelgruppenstudien, Cluster-randomisierte Parallelgruppenstudien (einschließlich Stepped-Wedge-Designs) und randomisierte Crossover-Studien sowie andere angepasste Studiendesigns. Die fünf oben genannten Bereiche gelten für individuell randomisierte Studien, einschließlich Crossover-Studien. Cluster-randomisierte Studien erhalten einen zusätzlichen Bereich (1b), der Verzerrungen durch die Identifizierung oder Rekrutierung einzelner Teilnehmer innerhalb von Clustern behandelt. Laut Leitlinie existiert noch keine Version für Cluster-Crossover-Studien. Das Cochrane Handbook fasst beide Varianten in Kapitel 23 zusammen, und die offiziellen Vorlagen finden Sie auf riskofbias.info . Wenn Sie auf eine Crossover-Studie stoßen, erläutert unser Artikel zu Crossover-Design und Auswaschphasen die zu beurteilenden Designmerkmale.

Berichterstattung RoB 2 Signalfragen und Beurteilungen

Die Berichterstattung sollte es dem Leser ermöglichen, Ihre Beurteilungen nachzuvollziehen. Die Leitlinien empfehlen, Konsensbeurteilungen auf Domänenebene im Hauptteil der Begutachtung als Tabelle, Abbildung oder in einem Forest-Plot darzustellen und die Signalantworten mit ihren Erläuterungen in einem Anhang zu platzieren. Einzelne Gutachterberichte gehören in einen separaten Anhang und sollten nicht prominent dargestellt werden. Berücksichtigen Sie die folgenden Punkte in Ihrer Methodik.

  1. Nennen Sie das Tool und seine Version und geben Sie an, welche Designvorlage Sie für jeden Versuch verwendet haben.
  2. Nennen Sie den Effekt des Interesses und geben Sie im Hinblick auf die Einhaltung an, welche Abweichungen Sie festgestellt haben.
  3. Listen Sie die Ergebnisse und die bewerteten Zeitpunkte auf und geben Sie an, welches Ergebnis Sie aus den einzelnen Versuchen ausgewählt haben, wenn mehrere Ergebnisse berichtet wurden.
  4. Beschreiben Sie, wie die Gutachter vorgingen und wie Meinungsverschiedenheiten beigelegt wurden.
  5. Erläutern Sie jede Überschreibung eines Algorithmusvorschlags und jede Verwendung der mehrfachen „Some concerns“-Klausel.
  6. Geben Sie für jeden Versuch die verwendeten Quellen an, einschließlich Protokolle und Registereinträge, da Domäne 5 von diesen abhängt.

Methodensatz, den Sie anpassen können

Das Verzerrungsrisiko jeder eingeschlossenen randomisierten Studie wurde für [Ergebnis] zum [Zeitpunkt] mithilfe von RoB 2 (Leitfaden vom 22. August 2019) hinsichtlich des Effekts der Zuteilung zur Interventionsgruppe bewertet. Zwei Gutachter beantworteten die Signalfragen unabhängig voneinander, klärten Unstimmigkeiten im Gespräch und dokumentierten unterstützende Zitate. Die Beurteilungen auf Domänenebene und die Gesamtbewertung (niedrig, gewisse Bedenken, hoch) erfolgten anhand der veröffentlichten Algorithmen; etwaige Abweichungen sind im Anhang dokumentiert.

Erstellen Sie einen Bericht über die Studie gemäß PRISMA 2020 und fügen Sie die Risikobewertung neben dem Forest Plot ein. Unser PRISMA-2020-Flussdiagrammgenerator erstellt das Flussdiagramm automatisch, und der GRADE-Evidenztabellenrechner unterstützt den folgenden Schritt. Falls Sie diesen Abschnitt im Rahmen einer Dissertation verfassen, finden Sie im Artikel zur Zuordnung von Berichtsrichtlinien zu Dissertationskapiteln die entsprechenden Informationen.

Häufige Fehler bei der Anwendung von RoB 2

  • Bewertung des Prozesses anstatt des Ergebnisses. Randomisierungsprobleme betreffen die gesamte Studie, Abweichungen, Messungen und die Auswahl des berichteten Ergebnisses beziehen sich jedoch auf das spezifische Ergebnis.
  • Dem Label „Behandlungsabsicht“ vertrauen. Die Richtlinien weisen darauf hin, dass der Begriff in Studienberichten nicht einheitlich definiert ist. Vergleichen Sie die tatsächliche Analyse mit Frage 2.6.
  • Die Behandlung der Kovariatenanpassung als Korrektur für eine fehlerhafte Randomisierung. Die Leitlinien besagen, dass eine Studie, die Ungleichgewichte in den Ausgangswerten kontrollierte, um Randomisierungsfehler zu mindern, stattdessen mit ROBINS-I bewertet werden sollte (Sterne et al., BMJ 2016).
  • Eine Antwort führt zur nächsten. Beantworten Sie jede Frage anhand der jeweils vorliegenden Beweise.
  • Standardmäßig werden keine Informationen angezeigt. Verwenden Sie "Wahrscheinlich ja" oder "Wahrscheinlich nein", wenn die Umstände eine vernünftige Beurteilung zulassen.
  • Die Hinweise zur Implementierung werden übersprungen. Die oben genannten Zuverlässigkeitsergebnisse zeigen, warum sich die Mühe eines kurzen, themenspezifischen Regelblatts lohnt.
  • Die Ausgabe des Algorithmus wird ohne Begründung präsentiert. Ein schlichtes Farbraster weckt Zweifel. Fügen Sie kurze Begründungen hinzu.

Einige dieser Fehler finden sich auch in unserer ausführlicheren Liste häufiger Fehler in Metaanalysen. Wenn Sie sich unsicher sind, wie viele Studien Ihre Synthese benötigt, nachdem die Studien mit hohem Risiko ausgeschlossen wurden, lesen Sie die Angaben zur Mindestanzahl an Studien für eine Metaanalyse. Die Hierarchie der Studiendesigns, die diesen Entscheidungen zugrunde liegt, finden Sie unter Evidenzstufen in der klinischen Forschung. Den nächsten Schritt nach der Risikobewertung von Verzerrungen beschreiben wir in unserem GRADE-Methodenleitfaden . Unsere frühere Übersicht zum Cochrane Risk of Bias Tool 2.0 bietet eine umfassendere Einführung, und unser Metaanalyse-Masterclass behandelt Pooling, Heterogenität und Publikationsbias.

Werkzeuge und Ressourcen

Drei kostenlose Editverse-Tools unterstützen die Arbeit im Rahmen einer Risikobewertung für Verzerrungen. Nutzen Sie sie, um Grafiken zu erstellen, Tests auszuwählen und Flussdiagramme zu gestalten.

Kostenlose Recherchetools von Editverse

  • GraphProErstellen Sie publikationsreife Diagramme (25 Typen) mit integrierten t-Tests, ANOVA, Korrelations- und Chi-Quadrat-p-Werten. Kostenlos, keine Anmeldung erforderlich.
  • StatProKostenlose Statistikrechner und ein Testauswahltool für Gruppenvergleiche, kategoriale Ergebnisse, Zeit-bis-Ereignis-Analysen und diagnostische Genauigkeit.
  • Flowchart Pro: Generieren Sie PRISMA 2020-, PRISMA-ScR-, CONSORT-, STROBE-, STARD-, MOOSE- und ARRIVE-Flussdiagramme direkt in Ihrem Browser.

Professionelle Unterstützung bei der Beurteilung des Verzerrungsrisikos und bei systematischen Überprüfungen

Eine fundierte Bewertung des Verzerrungsrisikos (RoB 2) beginnt mit dem Review-Protokoll, da dort der relevante Effekt, die Ergebnisse und die Richtlinien festgelegt werden. Editverse unterstützt systematische Reviews vom Protokoll bis zum Manuskript und richtet die Berichterstattung nach den Standards von COPE, ICMJE und GPP 2022 aus. Die unten aufgeführten Pakete entsprechen am ehesten dem in diesem Artikel beschriebenen Workflow zur Bewertung des Verzerrungsrisikos.

Protokoll

$500

PROSPERO-konformes Protokoll mit Einschlusskriterien, Suchstrategie, Datenerfassungsplan und Hinweisen zur Auswahl des Risikobewertungsinstruments. Die Standardlieferzeit beträgt 2 bis 3 Wochen.

Paket ansehen →

Systematische Übersichtsarbeit plus Metaanalyse

$1,800

Vollständige Überprüfung und Metaanalyse von bis zu 15 geeigneten Studien mit Qualitätsbewertung, Risikobewertung, Waldplots und Einhaltung der PRISMA 2020-Richtlinien.

Paket ansehen →

Sie sind sich nicht sicher, welches Paket zu Ihrer Frage passt? Auf unserer Seite zum Verfassen systematischer Reviews wird der Ablauf erklärt, und unsere Dienstleistungen zum Verfassen von Manuskripten umfassen das Schreiben, sobald Ihre Bewertungen abgeschlossen sind.

Fazit

Das RoB-2-Risikobewertungstool belohnt eine strukturierte Vorgehensweise. Legen Sie den relevanten Effekt und die zu bewertenden Ergebnisse fest, erstellen Sie ein kurzes Regelblatt, beantworten Sie alle RoB-2-Signalfragen aus dem Bericht und dem Protokoll und lassen Sie die Algorithmen Domänenbewertungen vorschlagen, die Sie anschließend überprüfen. Die Gesamtbewertung orientiert sich an der schlechtesten Domäne, mit einer auf Einzelfallentscheidung basierenden Ausnahme bei bestimmten Bedenken. Berichten Sie die Konsensbewertungen im Haupttext und die Begründungen in einem Anhang. Auf diese Weise wird die Bewertung zu einem transparenten Dokument, das für Leser, Gutachter und GRADE-Gremien nachvollziehbar ist.

Referenzen

  1. Sterne JAC, Savović J, Page MJ, et al. RoB 2: ein überarbeitetes Instrument zur Beurteilung des Verzerrungsrisikos in randomisierten Studien. BMJ. 2019;366:l4898. DOI 10.1136/bmj.l4898. PMID 31462531. Open Source
  2. Higgins JPT, Savović J, Page MJ, Elbers RG, Sterne JAC (Hrsg.). Überarbeitetes Cochrane-Risiko-für-Verzerrungen-Tool für randomisierte Studien (RoB 2). Leitfaden, 22. August 2019. Open Source
  3. Cochrane Handbook for Systematic Reviews of Interventions, Kapitel 8, Beurteilung des Verzerrungsrisikos in einer randomisierten Studie. Open Source
  4. Sterne JA, Hernán MA, Reeves BC, et al. ROBINS-I: Ein Instrument zur Beurteilung des Verzerrungsrisikos in nicht-randomisierten Interventionsstudien. BMJ. 2016;355:i4919. DOI 10.1136/bmj.i4919. PMID 27733354. Open Source
  5. Savović J, Turner RM, Mawdsley D, et al. Zusammenhang zwischen Risikobewertungen und Ergebnissen randomisierter Studien in Cochrane Reviews: die meta-epidemiologische ROBES-Studie. Am J Epidemiol. 2018;187(5):1113-1122. DOI 10.1093/aje/kwx344. PMID 29126260. Open Source
  6. Minozzi S, Dwan K, Borrelli F, Filippini G. Die Zuverlässigkeit des überarbeiteten Cochrane-Risiko-für-Verzerrungen-Tools für randomisierte Studien (RoB2) konnte durch die Anwendung von Implementierungsanweisungen verbessert werden. J Clin Epidemiol. 2022;141:99-105. DOI 10.1016/j.jclinepi.2021.09.021. PMID 34537386. Open Source
  7. McGuinness LA, Higgins JPT. Risk-of-bias VISualization (robvis): ein R-Paket und eine Shiny-Webanwendung zur Visualisierung von Risikobewertungen. Res Synth Methods. 2021;12(1):55-61. DOI 10.1002/jrsm.1411. PMID 32336025. Open Source
  8. Page MJ, McKenzie JE, Bossuyt PM, et al. Die PRISMA-2020-Leitlinie: Eine aktualisierte Richtlinie für die Berichterstattung systematischer Reviews. BMJ. 2021;372:n71. DOI 10.1136/bmj.n71. PMID 33782057. Open Source
  9. Nguyen C, Coudeyre E, Boutron I, Baron G, Daste C, Lefèvre-Colau MM, et al. Orale Resveratrol-Gabe bei Erwachsenen mit Kniearthrose: eine randomisierte, placebokontrollierte Studie (ARTHROL). PLoS Med. 2024;21(8):e1004440. DOI 10.1371/journal.pmed.1004440. PMID 39137167. Open Source
  10. Nguyen C, Boutron I, Baron G, Coudeyre E, Berenbaum F, Poiraudeau S, et al. Schmerzentwicklung nach 3 Monaten durch orales Resveratrol bei Kniearthrose (ARTHROL): Protokoll einer multizentrischen, randomisierten, doppelblinden, placebokontrollierten Studie. BMJ Open. 2017;7(9):e017652. DOI 10.1136/bmjopen-2017-017652. PMID 28965100. Open Source