Veröffentlicht | Letzte Aktualisierung:
Eine einzelne Metaanalyse, die dreizehn Studien zur BCG-Impfung gegen Tuberkulose zusammenfasste, ergab ein gepooltes Risikoverhältnis von etwa 0.5. Dieses Ergebnis erscheint zunächst als eindeutiger Erfolg für die öffentliche Gesundheit, bis man die Ergebnisse der einzelnen Studien vergleicht. Eine Studie zeigte, dass die Impfung das Tuberkuloserisiko um fast 80 % senkte. Eine andere, in Äquatornähe durchgeführte Studie fand hingegen praktisch keine Schutzwirkung. Die Heterogenitätsanalyse liefert die Instrumente, um zu erklären, warum dreizehn Studien zum selben Impfstoff so weit auseinanderliegende Ergebnisse lieferten und ob die Zusammenfassung dieser Daten überhaupt gerechtfertigt war. Cochrans Q, I², Tau² und die neuere Praxis, ein Vorhersageintervall neben dem gepoolten Schätzwert anzugeben, beantworten jeweils einen anderen Aspekt dieser Frage, und keines dieser Instrumente ersetzt die anderen.
Dieser Leitfaden geht über die Einführung in I² und Cochrans Q aus Editverses Meta-Analyse-Masterclass hinaus und behandelt das Problem der geringen statistischen Aussagekraft von Cochrans Q, die Fehlinterpretation von I² als Maß für die Heterogenität anstatt für den erklärten Anteil der Gesamtvarianz, warum ein Vorhersageintervall oft aussagekräftiger ist als I² allein und wie Subgruppenanalysen und Meta-Regressionen zur Ermittlung der Ursachen für Diskrepanzen zwischen Studien eingesetzt werden. Alle nachfolgenden Statistiken werden direkt aus einem realen, veröffentlichten Datensatz neu berechnet und nicht als abstrakte Formel dargestellt.
Was Heterogenität in einer systematischen Übersichtsarbeit bedeutet und warum sie wichtig ist
Gutachter unterteilen Heterogenität üblicherweise in drei sich überschneidende Kategorien. Klinische Heterogenität beschreibt Unterschiede in den eingeschlossenen Patienten, der Dosis oder Version einer getesteten Intervention oder den in den Studien verwendeten Ergebnisdefinitionen. Methodische Heterogenität umfasst Unterschiede im Studiendesign, wie z. B. Verblindung, Zuteilungsmethode oder Nachbeobachtungsdauer – genau die Art von Variation, die ein Instrument wie ROBINS-I in nicht-randomisierten Studien aufzeigen soll. Statistische Heterogenität ist die beobachtbare Folge beider und zeigt sich als Variation in den berichteten Effektstärken, die über den durch den Stichprobenfehler allein zu erwartenden Wert hinausgeht. Higgins und Kollegen formulierten die praktische Frage, die ein Gutachter beantwortet haben muss, wie folgt: Sind die zusammengefassten Studien so ähnlich, dass eine einzelne Kennzahl überhaupt aussagekräftig ist? Statistische Tests können zwar Aufschluss geben, aber nie vollständig beantworten.<sup> 1</sup>
Heterogenität beschreibt die Uneinigkeit zwischen den tatsächlich gefundenen und einbezogenen Studien. Sie unterscheidet sich von Publikationsbias, der Studien betrifft, die gar nicht erst in die Metaanalyse aufgenommen wurden und in Editverses Leitfaden zur Erkennung von Publikationsbias in systematischen Reviews gesondert behandelt wird . Eine Metaanalyse eines einzelnen Medikaments, das in einer Dosierung an nahezu identischen Studienpopulationen getestet wurde, sollte nur geringe Heterogenität aufweisen. Eine hohe Heterogenität in diesem Kontext wäre ein Warnsignal, das vor der Veröffentlichung untersucht werden sollte. Eine Metaanalyse, die Studien aus verschiedenen Ländern, mit unterschiedlichen Dosierungsschemata und Patientenaltern zusammenfasst, sollte hingegen echte Heterogenität aufzeigen. Die interessante wissenschaftliche Frage ist dann, wodurch diese Heterogenität verursacht wird, anstatt zu hinterfragen, ob die zusammengefassten Daten überhaupt vertrauenswürdig sind. Die Entscheidung, ob ein bestimmter Evidenzbestand überhaupt eine systematische, protokollbasierte Suche erfordert, wird in Editverses Vergleich narrativer und systematischer Review-Ansätze behandelt.
Cochrans Q-Test und sein Problem der geringen Teststärke
Das Problem der geringen statistischen Aussagekraft ist einer der Gründe, warum die Anzahl der eingeschlossenen Studien die Aussagekraft von Heterogenitätsstatistiken beeinflusst. Unser Leitfaden zur Mindestanzahl an Studien für eine Metaanalyse legt die Fallzahlen fest, ab denen sich Tau² stabilisiert und ein Funnel-Plot-Test sinnvoll wird.
Cochrans Q ist der ältere der beiden wichtigsten Heterogenitätstests. Er geht auf eine Veröffentlichung aus dem Jahr 1954 zurück, in der Schätzwerte aus verschiedenen Experimenten kombiniert wurden. Der Test berechnet sich als gewichtete Summe der quadrierten Abweichungen der Effekte jeder einzelnen Studie vom gepoolten Schätzwert. Diese Abweichungen werden mit einer Chi-Quadrat-Verteilung mit k minus 1 Freiheitsgraden verglichen, wobei k die Anzahl der eingeschlossenen Studien ist.² Ein signifikanter Q-Wert deutet darauf hin, dass die beobachtete Streuung der Ergebnisse größer ist, als es der Zufall allein erwarten ließe.
Dieser Test weist eine spezifische statistische Schwäche auf, die man verstehen sollte, bevor man sich darauf verlässt. Der Q-Wert hat eine geringe Aussagekraft, um echte Heterogenität zu erkennen, wenn eine Metaanalyse nur wenige Studien umfasst. Dies trifft auf die meisten Metaanalysen in der Praxis zu, da die mediane Anzahl der in einem Cochrane Library Review zusammengefassten Studien sieben oder weniger beträgt.<sup> 3</sup> Eine Metaanalyse von vier oder fünf kleinen Studien kann eine echte, klinisch relevante Heterogenität aufweisen, die der Q-Wert nicht als statistisch signifikant erkennt, einfach weil der Test nicht genügend Studien umfasste, um sie zu erfassen. Ein gegenteiliges Problem zeigt sich am anderen Ende des Stichprobenumfangs: Eine Metaanalyse mit sechzig oder mehr Studien kann einen signifikanten Q-Wert für eine Heterogenität liefern, die klinisch zu gering ist, um relevant zu sein. Der Cochran-Q-Wert beantwortet eine engere Frage, als Forscher oft annehmen, nämlich ob die beobachtete Streuung mit dem Zufall vereinbar ist, nicht wie groß oder wie wichtig diese Streuung tatsächlich ist.
Die I²-Statistik: Ein Maß für den Anteil der Heterogenität, nicht für deren Ausmaß
Higgins und Thompson führten I² speziell ein, um die Abhängigkeit von Q von der Anzahl der einbezogenen Studien zu beheben. Sie drücken Heterogenität als den prozentualen Anteil der Gesamtvarianz zwischen den Studien aus, der auf tatsächliche Unterschiede zwischen ihnen und nicht auf Stichprobenfehler zurückzuführen ist. Berechnet wird I² als 100 % multipliziert mit der Größe Q minus ihren Freiheitsgraden, dividiert durch Q.¹ Dieselbe Arbeit aus dem Jahr 2003 schlug Werte um 25 %, 50 % und 75 % als grobe Richtwerte für geringe, moderate und erhebliche Heterogenität vor, warnte jedoch ausdrücklich davor, diese Bereiche als mechanische Bestehens-/Nichtbestehens-Kriterien zu verwenden – ein Hinweis, der in späteren Zitaten der Arbeit weitaus häufiger übersehen wird als die Schwellenwerte selbst.
Ein spezifisches Missverständnis des I²-Wertes tritt häufig genug auf, um es hier explizit zu benennen. Der I²-Wert gibt an, welcher Anteil der Gesamtvarianz auf Heterogenität zurückzuführen ist, nicht wie groß diese Heterogenität absolut gesehen tatsächlich ist. Die beiden Größen sind nicht austauschbar. Rücker et al. demonstrierten dies, indem sie die Stichprobengröße jeder Studie in einer realen Metaanalyse künstlich erhöhten, während sie die tatsächliche Varianz zwischen den Studien konstant hielten. Sie beobachteten, wie der I²-Wert auf fast 100 % anstieg, obwohl sich an der tatsächlichen Heterogenität nichts geändert hatte. Dies liegt allein daran, dass größere Studien den Stichprobenfehler verringern und der I²-Wert die Heterogenität relativ zu diesem kleineren Nenner misst.⁴ Zwei Metaanalysen können einen identischen I²-Wert von 80 % aufweisen, während die eine einen Tau²-Wert nahe null auf einer klinisch unbedeutenden Skala aufweist und die andere einen so hohen Tau²-Wert, dass sich die Wirkungsrichtung zwischen den Studien umkehrt – eine Unterscheidung, die der I²-Wert allein nicht darstellen kann.
Kleine Metaanalysen verkomplizieren das Bild zusätzlich. Von Hippel berechnete, dass der I²-Wert bei Metaanalysen mit wenigen Studien – was angesichts des oben erwähnten Medians von sieben Studien pro Cochrane-Review der gängigen Praxis entspricht – eine erhebliche Verzerrung aufweist.<sup> 3 </sup> Bei sieben Studien und tatsächlicher Heterogenität von null überschätzt der I²-Wert die Heterogenität um durchschnittlich 12 Prozentpunkte, während er sie bei sieben Studien und einer tatsächlichen Heterogenität von 80 % um durchschnittlich 28 Prozentpunkte unterschätzt.<sup> 3 </sup> Studien zu Prävalenzdaten zeigen in der Praxis das umgekehrte Muster. Migliavaca et al. untersuchten 134 veröffentlichte Metaanalysen zur Prävalenz und fanden einen Median des I²-Werts von 96.9 % (Interquartilsabstand: 90.5 % bis 98.7 %). Diese Werte spiegeln die tatsächliche Variation der Prävalenzschätzungen zwischen Populationen ebenso wider wie etwaige Mängel der zugrunde liegenden Studien.<sup> 5 </sup> Beide Beispiele führen zu derselben Erkenntnis. Für I² müssen das Konfidenzintervall, die Anzahl der gepoolten Studien und das zugrunde liegende Tau² zusammen gelesen werden; es darf nicht als einzelner, eigenständiger Prozentsatz angegeben werden.
Tau² und die Skalenheterogenität bleiben bestehen
Tau² misst dieselbe zugrundeliegende Uneinigkeit wie I², jedoch auf der Ebene der Effektstärke selbst und nicht als Prozentsatz der Gesamtvarianz. Dieser Wert fließt in die Berechnung des Random-Effects-Modells ein. Der Momentenschätzer von DerSimonian und Laird aus dem Jahr 1986 ist nach wie vor die am weitesten verbreitete Methode zur Berechnung von Tau². Dabei wird Tau² zur jeweiligen Stichprobenvarianz jeder Studie addiert, bevor die inversen Varianzgewichte berechnet werden. Aus diesem Grund ist ein Random-Effects-Konfidenzintervall typischerweise breiter als das entsprechende Fixed-Effects-Intervall, das auf denselben Daten basiert.⁶ Die Wahl zwischen den beiden Modellen ist in der Praxis eine Entscheidung hinsichtlich der Heterogenität. Ein Fixed-Effects-Modell geht davon aus, dass Tau² null ist und jede Studie einen gemeinsamen wahren Effekt schätzt – eine Annahme, die nur auf nahezu identische Studien zutrifft. Ein Random-Effects-Modell hingegen behandelt den wahren Effekt als von Studie zu Studie variierend, aus Gründen, die die Daten erklären können oder auch nicht.
Tau² birgt ein eigenes Schätzproblem, das I² allein nicht vollständig aufzeigt. Ioannidis et al. zeigten, dass Heterogenitätsschätzungen mit erheblicher Unsicherheit behaftet sind, die so groß ist, dass das Konfidenzintervall um einen einzelnen Tau²- oder I²-Wert aus einer kleinen Metaanalyse einen Bereich umfassen kann, den ein Leser je nach Auslegung sowohl als geringe als auch als erhebliche Heterogenität einstufen würde.<sup> 7</sup> Ein Tau²-Wert ohne Angabe seines Konfidenzintervalls oder ohne Angabe der Anzahl der zur Schätzung beigetragenen Studien unterschätzt die tatsächliche Unsicherheit dieses einzelnen Wertes, insbesondere wenn die gepoolte Analyse weniger als etwa zehn eingeschlossene Studien umfasst.
Warum Vorhersageintervalle für die praktische Interpretation besser geeignet sind als I²
Ein 95%-Konfidenzintervall um einen gepoolten Schätzwert beantwortet eine eng gefasste Frage, nämlich wie präzise der durchschnittliche Effekt über die tatsächlich einbezogenen Studien geschätzt wurde. Dieses Intervall sagt nichts darüber aus, wie stark die tatsächlichen Effekte variieren könnten, wenn die Intervention in einem neuen Kontext erneut getestet würde – die Frage, die ein Kliniker oder ein politischer Entscheidungsträger beantwortet haben muss, um auf Grundlage des gepoolten Ergebnisses Maßnahmen zu ergreifen. Ein Vorhersageintervall beantwortet diese zweite Frage direkt, indem es Tau² mit der Anzahl der einbezogenen Studien kombiniert, um den Bereich zu schätzen, in dem der tatsächliche Effekt einer neuen, ähnlichen Studie voraussichtlich liegen würde.⁸
IntHout und Kollegen argumentierten , dass Vorhersageintervalle routinemäßig berichtet werden sollten, gerade weil I² und τ² für einen klinisch tätigen Leser schwer in eine praktische Beurteilung umzurechnen sind, während ein auf der ursprünglichen Effektstärkenskala ausgedrücktes Vorhersageintervall keinerlei Umrechnung erfordert.⁸ Eine Metaanalyse kann ein enges, statistisch signifikantes Konfidenzintervall um ihre gepoolte Schätzung berichten, während ihr Vorhersageintervall die Grenze für keinen Effekt überschreitet, was keinen Widerspruch darstellt. Zusammengenommen bedeuten die beiden Intervalle, dass der durchschnittliche Effekt über alle Studien hinweg gut geschätzt wird, obwohl eine zukünftige Studie in einer neuen Population plausiblerweise auf beiden Seiten dieser Grenze liegen könnte – eine Information, die einem Leser, der sich allein auf I² und das Konfidenzintervall verlässt, verborgen bleibt. Die direkte Nachberechnung einer realen, veröffentlichten Metaanalyse, die im Folgenden erläutert wird, zeigt genau dieses Muster anhand der tatsächlichen Studiendaten anstelle hypothetischer Daten.
Ein praktisches Beispiel: Neuberechnung der Heterogenität aus den ursprünglichen Daten der BCG-Impfstoffstudie
Colditz und Kollegen veröffentlichten 1994 eine Metaanalyse von dreizehn Studien zur BCG-Impfung gegen Tuberkulose. Dieser Datensatz gilt seither als Standardbeispiel in der Metaanalyse-Methodik, da er eine erhebliche Heterogenität zwischen Studien mit exakt derselben Intervention aufzeigt.<sup> 9</sup> Eine direkte Neuberechnung der Analyse anhand der in dieser Publikation veröffentlichten Fallzahlen der geimpften und der Kontrollgruppen auf Studienebene unter Verwendung eines Random-Effects-Modells mit eingeschränkter Maximum-Likelihood-Schätzung ergibt ein gepooltes Risikoverhältnis von 0.49 (95%-KI: 0.34–0.70). Dies bedeutet, dass die geimpften Gruppen im Durchschnitt etwa das halbe Tuberkuloserisiko der ungeimpften Gruppen aufwiesen.
Die Heterogenitätsstatistik liefert ein deutlicheres Bild als die zusammengefasste Zahl vermuten lässt: Cochrans Q erreicht 152.2 bei 12 Freiheitsgraden (p < 0001), und I² liegt bei 92.2 %. Beide Werte deuten darauf hin, dass die dreizehn Studien deutlich stärker voneinander abweichen, als es der Stichprobenfehler erklären könnte. Die individuellen Risikoverhältnisse reichten von 0.20 in einer Studie von Ferguson und Simes aus dem Jahr 1949 bis zu 1.56 in einer Studie von Comstock und Webster aus dem Jahr 1969, die keinerlei Schutzeffekt feststellte. Tau² für diesen Datensatz beträgt 0.313 auf der Skala des logarithmischen Risikoverhältnisses.
| statistisch | Wert | Was es zeigt |
|---|---|---|
| Gepooltes Risikoverhältnis (Random Effects, REML) | 0.49 (95% KI, 0.34-0.70) | Durchschnittliche Schutzwirkung über alle 13 Studien hinweg |
| Cochrans Q | 152.2 (df = 12, P < .0001) | Die beobachtete Streuung übersteigt den Zufall bei weitem. |
| I² | 92.2% | Anteil der Gesamtvarianz, der auf tatsächliche Heterogenität zurückzuführen ist |
| Tau² (log RR-Skala) | 0.313 (tau = 0.560) | Varianz zwischen den Studien als Grundlage für die Gewichtung der Zufallseffekte |
| 95%-Vorhersageintervall | 0.15 bis 1.55 | Plausibler Bereich für den tatsächlichen Effekt einer neuen Studie, überschreitet 1.0 |
| Meta-Regression auf Breitengrad, R² | 75.6 % (P < 0001) | Anteil der Heterogenität in Abhängigkeit von der Entfernung des Studienstandorts vom Äquator |
Die Berechnungen wurden von Editverse direkt aus den in Colditz et al. 1994 veröffentlichten Fallzahlen auf Studienebene unter Verwendung des R-Pakets metafor und eines REML-Varianzschätzers durchgeführt.<sup> 9 </sup> Leser können dieselben Statistiken mit ihren eigenen Datensätzen mithilfe des kostenlosen Heterogenitätsrechners von Editverse berechnen.
Die Diskrepanz zwischen Konfidenzintervall und Vorhersageintervall macht dieses Beispiel als Lehrmittel besonders aussagekräftig. Die Konfidenzgrenzen von 0.34 bis 0.70 liegen vollständig auf der schützenden Seite eines Risikoverhältnisses von 1.0 und stützen somit die Aussage, dass die BCG-Impfung das Tuberkuloserisiko im Durchschnitt über die dreizehn Studien hinweg senkt. Das zugehörige Vorhersageintervall hingegen reicht von 0.15 bis 1.55, schließt also 1.0 ein. Dies bedeutet, dass eine neue Studie unter ähnlich heterogenen Bedingungen möglicherweise keinen Schutz durch den Impfstoff oder sogar ein leicht erhöhtes Risiko feststellen könnte. Beide Intervalle sind gleichzeitig korrekt, und ein Leser, der lediglich das Konfidenzintervall und den I²-Wert betrachtet, könnte fälschlicherweise annehmen, dass die Schutzwirkung der BCG-Impfung in verschiedenen Kontexten tatsächlich konsistent ist.
Subgruppenanalyse zur Untersuchung von Heterogenitätsquellen
Die Subgruppenanalyse unterteilt die eingeschlossenen Studien anhand eines vor der Datenzusammenführung festgelegten Merkmals und vergleicht anschließend den gepoolten Effekt innerhalb jeder Gruppe mit den anderen. Dabei wird nach einem Subgruppenunterschied gesucht, der so groß ist, dass die Zusammenfassung aller Studien zu einem einzigen gepoolten Wert keinen Sinn mehr ergibt. Angewendet auf den oben genannten BCG-Datensatz, ergibt die Unterteilung der dreizehn Studien nach Zuteilungsmethode – sieben Studien verwendeten eine randomisierte Zuteilung zu Impfstoff- und Kontrollgruppen, sechs Studien hingegen eine alternative oder systematische Methode – gepoolte Risikoverhältnisse von 0.38 in den randomisierten und 0.62 in den nicht-randomisierten Studien. Diese Unterteilung erscheint zunächst sinnvoll, bis der eigentliche Test auf Subgruppenunterschiede durchgeführt wird. Dieser ergibt einen p-Wert von 0,18, was bedeutet, dass die Zuteilungsmethode allein angesichts der verfügbaren Stichprobe die Diskrepanz zwischen den Studien nicht über den Zufall hinaus erklären kann.
Negative Ergebnisse dieser Art sind genauso wichtig wie positive. Ein Protokoll, das Zuteilungsmethode, Patientenaltersgruppe oder Dosierungsschema als mögliche Subgruppen vorab festlegt und alle signifikanten und nicht signifikanten Untergruppen berichtet, liefert ein wesentlich ehrlicheres Bild der tatsächlichen Ursachen der Heterogenität als ein Bericht, der lediglich den zufällig signifikanten Subgruppenvergleich präsentiert. Einen Subgruppenvergleich nach Vorliegen des Gesamtergebnisses durchzuführen und dann nur die Untergruppe darzustellen, die eine bevorzugte Schlussfolgerung stützt, ist eine Form selektiver Berichterstattung, die eine Übersichtsarbeit genauso effektiv untergräbt wie der vollständige Ausschluss einer unliebsamen Studie. Der Leitfaden von Editverse zur Cochrane-Risiko-für-Verzerrungen-Bewertung behandelt eine verwandte Methode zur Vorabfestlegung der Qualität einzelner Studien, bevor diese Beurteilungen in eine Subgruppen- oder Sensitivitätsanalyse einfließen.
Meta-Regression: Modellierung von Variationsquellen auf Studienebene
Die Meta-Regression erweitert die Subgruppenanalyse auf kontinuierliche Variablen auf Studienebene. Sie prüft, ob eine numerisch gemessene Variable, wie beispielsweise das mittlere Patientenalter, das Publikationsjahr oder der geografische Standort eines Studienzentrums, die Effektstärke über verschiedene Studien hinweg vorhersagt, anstatt die Studien lediglich in diskrete Gruppen einzuteilen. Berkey und Kollegen formalisierten 1995 einen Random-Effects-Regressionsansatz genau zu diesem Zweck. Sie nutzten den BCG-Impfstoffdatensatz selbst als Beispiel und argumentierten, dass eine Kovariate, die die tatsächliche Varianz zwischen den Studien erklärt, das Residual τ² reduzieren sollte, sobald sie in das Modell aufgenommen wird.<sup> 10</sup>
Führt man diese Regression erneut mit denselben dreizehn Studien durch und verwendet dabei die absolute geografische Breite jedes Studienzentrums als einzige Kovariate, sinkt das Rest-I² von 92.2 % auf 68.4 % und erklärt 75.6 % des ursprünglichen Tau² (p < 0001 für den Breitenkoeffizienten). Dies bedeutet, dass allein die Entfernung vom Äquator den größten Teil der Diskrepanz zwischen den Studien erklärt. Wilson et al. untersuchten eine Teilmenge derselben Studienliteratur, beschränkt auf prospektive Studien, und berichteten, dass die geografische Breite 41 % der Varianz zwischen den Studien erklärte. Dabei verwendeten sie eine andere Teilmenge von Studien und eine andere Methode zur Varianzschätzung. Dies verdeutlicht, dass das Ergebnis einer Meta-Regression nicht nur von der getesteten Kovariate, sondern auch von den verwendeten Studien und dem Schätzer abhängt.<sup> 11</sup> Für den Breiteneffekt wurden verschiedene umweltbedingte und immunologische Erklärungen vorgeschlagen, darunter die Exposition gegenüber Umweltmykobakterien, die mit dem Klima variiert. Die Regression selbst stellt jedoch lediglich eine Assoziation her, nicht den zugrunde liegenden Mechanismus.
Die Stichprobengröße begrenzt die Aussagekraft von Meta-Regressionen. Häufig wird ein Schwellenwert von etwa zehn einbezogenen Studien pro getesteter Kovariate genannt, da eine Regression mit nur wenigen Studien und mehreren potenziellen Kovariaten zu wenig statistische Aussagekraft besitzt, um einen echten Moderator von Rauschen zu unterscheiden. Eine gut gewählte Kovariate, die aufgrund einer plausiblen klinischen oder biologischen Begründung vor der Datenanalyse getestet wurde, unterscheidet die Meta-Regression von der Suche nach einer beliebigen Variable, die zufällig mit den Ergebnissen in einem bestimmten Datensatz korreliert. Der kostenlose Meta-Analyse-Rechner von Editverse generiert aus den Daten auf Studienebene eine gepoolte Schätzung und ein Forest-Plot. Dies ist hilfreich, um eine manuell erstellte Analyse vor der Veröffentlichung im Manuskript auf Plausibilität zu prüfen.
Berichtsstandards, die es einem Prüfer ermöglichen, die Arbeit zu überprüfen
PRISMA 2020 integriert die Berichterstattung über Heterogenität in spezifische Checklistenpunkte, anstatt sie als optionalen Diskussionspunkt zu behandeln. Der Punkt „Synthesemethoden“, unterteilt in die Unterpunkte 13a bis 13f, fordert die Autoren auf, darzulegen, wie die Heterogenität untersucht wurde, sei es durch Subgruppenanalyse, Meta-Regression oder Sensitivitätsanalyse. Der Punkt „Ergebnisse der Synthese“, unterteilt in 20a bis 20d, verlangt, dass die Heterogenitätsstatistiken selbst im Ergebnisteil aufgeführt werden und nicht implizit bleiben oder nur in der Diskussion erwähnt werden.<sup> 12</sup> Editverse bietet eine vollständige Anleitung zur PRISMA-2020-Checkliste, die alle Punkte der aktuellen 27-Punkte-Version abdeckt, einschließlich des Flussdiagramms und der Anforderungen an die Suchstrategie, die neben den Synthesepunkten stehen. Editverses Einführung zu Evidenzstufen in der klinischen Forschung erläutert, wie das Design jeder eingeschlossenen Studie die Gewichtung ihres Beitrags zu einem heterogenen Studienpool beeinflussen sollte.
Die praktische Umsetzung dieser Vorgaben bedeutet die Angabe von Cochrans Q mit dem zugehörigen p-Wert, I² mit einem Konfidenzintervall anstelle eines reinen Prozentsatzes, Tau² auf seiner ursprünglichen Skala und, sofern die Anzahl der eingeschlossenen Studien dies zulässt, ein Vorhersageintervall sowie eine Begründung für die durchgeführten Subgruppen- oder Meta-Regressionsanalysen. Wird in einem Methodenteil I² genannt, ohne anzugeben, wie viele Studien zu dieser Schätzung beigetragen haben, oder wird eine Subgruppenanalyse berichtet, ohne offenzulegen, ob diese im Studienprotokoll vorgesehen war oder erst nach Auswertung der Ergebnisse hinzugefügt wurde, kann der Gutachter nicht beurteilen, welches Gewicht der Heterogenitätsbewertung tatsächlich zukommt.
Häufige Fehler, die eine Heterogenitätsanalyse untergraben
Eine Handvoll wiederkehrender Fehler ist für einen Großteil der Frustration verantwortlich, die die Heterogenitätsbewertung während des Peer-Review-Verfahrens hervorruft.
- Die 25/50/75 I²-Bänder werden als Bestanden/Nicht bestanden-Test behandelt. Higgins und Kollegen schlugen diese Zahlen als grobe Richtlinie vor, nicht als Schwellenwert, der die Zusammenführung von Daten automatisch bestätigt oder widerlegt, und ein substanzielles I² in einer klinisch kohärenten Reihe von Studien ist nicht automatisch ein Grund, die Analyse aufzugeben.1
- Angabe des I²-Werts ohne Konfidenzintervall oder Angabe der Anzahl der zusammengefassten Studien. Ein einzelner Prozentsatz aus einer Metaanalyse mit fünf Studien birgt eine weitaus größere Unsicherheit als der gleiche Prozentsatz aus einer Metaanalyse mit fünfzig Studien, und die Bias-Schätzungen von von Hippel zeigen, warum dieser Kontext die Interpretation der Zahl verändert.3
- Nach Auswertung des Gesamtergebnisses werden Subgruppenvergleiche durchgeführt. Eine Aufspaltung, die im Protokoll nicht spezifiziert war und nur deshalb gemeldet wird, weil sie zufällig Signifikanz erreicht hat, ist eine Form der selektiven Berichterstattung und keine echte Untersuchung der Heterogenitätsquellen.
- Das Vorhersageintervall wird vollständig übersprungen. Migliavaca und Kollegen stellten fest, dass nur drei der 134 von ihnen untersuchten Prävalenz-Metaanalysen, also etwa 2 %, überhaupt ein Vorhersageintervall angaben, obwohl der Median des I² in dieser Stichprobe über 95 % lag – also genau in dem Umfeld, in dem ein Vorhersageintervall über den I²-Wert hinaus die meisten zusätzlichen Informationen liefert.5
- Eine Meta-Regression auf Basis von zu wenigen Studien erzwungen. Ein Modell, das über sechs oder sieben Versuche mit zwei oder drei potenziellen Kovariablen angepasst wurde, hat zu wenig Aussagekraft, um einen echten Moderator vom Rauschen zu trennen, egal wie groß das berichtete R² auch erscheinen mag.
Wie Editverse die Heterogenitätsbewertung in systematischen Übersichtsarbeiten unterstützt
Die korrekte Durchführung einer Heterogenitätsanalyse und deren verständliche Ausarbeitung für Gutachter erfordern zwei unterschiedliche Kompetenzen. Manuskripte scheitern oft an der zweiten Aufgabe, selbst wenn die zugrundeliegenden statistischen Daten fundiert sind. Das Team für systematische Reviews und Metaanalysen von Editverse deckt beide Bereiche ab – von der Auswahl zwischen Fixed-Effects- und Random-Effects-Modellen über die Planung von Subgruppen- und Meta-Regressionen bis hin zur vollständigen Prüfung der PRISMA-2020-Konformität vor der Einreichung.
- Heterogenitätsbewertung mittels Cochran-Q, I², Tau² und Vorhersageintervallen für den vorliegenden Datensatz
- Subgruppen- und Meta-Regressionsdesign, vor der Analyse festgelegt, um nachträgliche selektive Berichterstattung zu vermeiden.
- Waldplot und Visualisierung des Vorhersageintervalls für die Einreichung bei einer Fachzeitschrift erstellt
- Vollständige Überprüfung der Einhaltung der PRISMA 2020-Checkliste, einschließlich der Punkte für Synthese und Heterogenitätsberichterstattung
- Umfassendere Unterstützung für Manuskripte unter Einbeziehung des Editverse-Leitfadens häufige Fehler in Metaanalysen und wie Rezensenten sie tendenziell aufspüren
Sie arbeiten an einer Metaanalyse mit Heterogenität – werden Ihre Gutachter Fragen stellen?
Editverse hilft Forschern dabei, das richtige Modell auszuwählen, Subgruppen- und Meta-Regressionsanalysen korrekt durchzuführen und darüber zu berichten sowie Heterogenität so zu interpretieren, dass sie einer Peer-Review standhält.
Häufig gestellte Fragen zur Heterogenität in Metaanalysen
Worin besteht der Unterschied zwischen klinischer, methodischer und statistischer Heterogenität?
Klinische Heterogenität bezeichnet Unterschiede in den Patienten, Interventionen oder Ergebnisdefinitionen der eingeschlossenen Studien. Methodische Heterogenität umfasst Unterschiede im Studiendesign und in der Durchführung. Statistische Heterogenität ist die messbare Variation der berichteten Effekte, die durch diese zugrunde liegenden Unterschiede hervorgerufen wird, und genau diese wird durch Cochran's Q, I² und Tau² quantifiziert.
Ist ein hoher I²-Wert ein Grund, Studien in einer Metaanalyse nicht zusammenzufassen?
Nicht automatisch. Higgins und Kollegen schlugen die 25%-, 50%- und 75%-Bereiche eher als beschreibende Richtlinie denn als strikten Grenzwert vor. Ein hoher I²-Wert in einer klinisch kohärenten Studiengruppe spiegelt oft eine echte, erklärbare Variation wider und ist kein Grund, die gepoolte Schätzung zu verwerfen. Die Untersuchung der Ursache mittels Subgruppenanalyse oder Meta-Regression ist in der Regel aufschlussreicher, als einen hohen I²-Wert allein als Ausschlusskriterium zu betrachten.
Warum gelingt es Cochrans Q manchmal nicht, echte Heterogenität zu erkennen?
Der Q-Test hat eine geringe statistische Aussagekraft, wenn eine Metaanalyse nur wenige Studien umfasst. Dies trifft auf die meisten veröffentlichten Metaanalysen zu, da die mediane Anzahl der in einem Cochrane Library Review zusammengefassten Studien sieben oder weniger beträgt. Echte Heterogenität in einer kleinen Metaanalyse kann zu einem nicht signifikanten Q-Wert führen, einfach weil der Test nicht genügend Studien umfasste, um sie nachzuweisen.
Was bedeutet es, wenn ein Vorhersageintervall die Linie der Nicht-Wirkung überschreitet?
Ein Vorhersageintervall, das die Linie ohne Effekt (Risikoverhältnis 1.0 oder mittlere Differenz null) schneidet, bedeutet, dass eine neue Studie in einem ähnlichen, aber nicht identischen Setting plausiblerweise keinen Effekt oder sogar einen gegenteiligen Effekt feststellen könnte, selbst wenn das Konfidenzintervall um die gepoolte Schätzung vollständig auf einer Seite dieser Linie liegt. Beide Aussagen können gleichzeitig zutreffen, da sie unterschiedliche Fragen zur Präzision und Variabilität beantworten.
Wie viele Studien sind für eine zuverlässige Meta-Regression erforderlich?
Üblicherweise werden etwa zehn Studien pro untersuchter Kovariate als Minimum genannt. Eine Meta-Regression mit weniger Studien sollte als explorativ betrachtet werden. Eine Regression über sechs oder sieben Studien mit mehreren potenziellen Kovariaten hat zu geringe statistische Aussagekraft, um einen echten Moderator zuverlässig vom Zufall zu unterscheiden.
Sollten Subgruppenanalysen vor oder nach der Auswertung der Gesamtergebnisse geplant werden?
Ein Protokoll, das im Voraus Kandidaten-Subgruppen festlegt und für jede eine klinische oder biologische Begründung liefert, ermöglicht eine glaubwürdige Untersuchung der Heterogenitätsquellen. Die Auswahl einer Subgruppenaufteilung erst, nachdem man festgestellt hat, dass sie das Ergebnis stärkt oder erklärt, stellt eine Form selektiver Berichterstattung dar, die von einem aufmerksamen Gutachter in der Regel erkannt wird.
Referenzen
- Higgins JPT, Thompson SG, Deeks JJ, Altman DG. Messung der Inkonsistenz in Metaanalysen. BMJ. 2003;327(7414):557-560. PMID: 12958120
- Cochran WG. Die Kombination von Schätzungen aus verschiedenen Experimenten. Biometrie. 1954;10(1):101-129. DOI: 10.2307 / 3001666
- von Hippel PT. Die Heterogenitätsstatistik I² kann in kleinen Metaanalysen verzerrt sein. BMC Med Res Methodol. 2015, 15: 35. PMID: 25880989
- Rücker G, Schwarzer G, Carpenter JR, Schumacher M. Unangemessene Abhängigkeit von I² bei der Beurteilung der Heterogenität kann irreführend sein. BMC Med Res Methodol. 2008, 8: 79. PMID: 19036172
- Migliavaca CB, Stein C, Colpani V, Barker TH, Ziegelmann PK, et al. Metaanalyse der Prävalenz: I2-Statistik und Umgang mit Heterogenität. Res Synth Methods. 2022;13(3):363-367. PMID: 35088937
- DerSimonian R, Laird N. Meta-Analyse in klinischen Studien. Kontroll-Clin Trials. 1986;7(3):177-188. PMID: 3802833
- Ioannidis JPA, Patsopoulos NA, Evangelou E. Unsicherheit bei Heterogenitätsschätzungen in Metaanalysen. BMJ. 2007;335(7626):914-916. PMID: 17974687
- IntHout J, Ioannidis JPA, Rovers MM, Goeman JJ. Plädoyer für die routinemäßige Angabe von Vorhersageintervallen in Metaanalysen. BMJ öffnen. 2016; 6 (7): e010247. PMID: 27406637
- Colditz GA, Brewer TF, Berkey CS, Wilson ME, Burdick E, et al. Wirksamkeit der BCG-Impfung zur Prävention von Tuberkulose. Metaanalyse der veröffentlichten Literatur. JAMA. 1994;271(9):698-702. PMID: 8309034
- Berkey CS, Hoaglin DC, Mosteller F, Colditz GA. Ein Regressionsmodell mit Zufallseffekten für die Metaanalyse. Statistik Med. 1995;14(4):395-411. PMID: 7746979
- Wilson ME, Fineberg HV, Colditz GA. Geographische Breite und die Wirksamkeit des Bacillus Calmette-Guérin-Impfstoffs. Clin-Infektionskrankheit. 1995;20(4):982-991. PMID: 7795103
- Page MJ, McKenzie JE, Bossuyt PM, Boutron I, Hoffmann TC, et al. Die PRISMA 2020-Leitlinie: ein aktualisierter Leitfaden für die Berichterstattung über systematische Reviews. BMJ. 2021;372:n71. PMID: 33782057
Editverse-Forschungsteam | Aktualisiert im August 2026
