Veröffentlicht
Das PROBAST-Tool (Prediction model Risk Of Bias ASsessment Tool) ist das Standardinstrument zur Beurteilung der Vertrauenswürdigkeit eines veröffentlichten Vorhersagemodells und seiner Eignung für die jeweiligen Patienten. Wolff und Kollegen veröffentlichten es 2019 in den Annals of Internal Medicine [1]. Ein begleitender Artikel erläutert die Begründung für jede Frage [2]. Dieser Beitrag erklärt den Aufbau des PROBAST-Tools und wendet anschließend alle 20 Signalfragen zeilenweise auf ein reales Open-Access-Modell an, das QUIDS-Modell zur Frühgeburt, veröffentlicht in PLOS Medicine [3]. Jede Zeile verweist auf den entsprechenden Abschnitt der Publikation, und jede Zeile, die auf einer Beurteilung beruht, ist entsprechend gekennzeichnet.
In einfachen Worten
Ein Vorhersagemodell wandelt wenige Patientendaten in ein Risiko um. Das PROBAST-Tool stellt 20 gezielte Fragen zur Entwicklung und zum Test des Modells, gruppiert in vier Bereiche (Teilnehmer, Prädiktoren, Ergebnis und Analyse), um zu entscheiden, ob die angegebene Genauigkeit möglicherweise überhöht ist. Anschließend wird geprüft, ob das Modell für Ihre Patienten geeignet ist. Selbst ein sorgfältig entwickeltes Modell kann für Ihre Klinik ungeeignet sein.
Was das PROBAST-Tool bewertet
Das PROBAST-Tool wurde für systematische Reviews von Vorhersagemodellen entwickelt und eignet sich gleichermaßen für Kliniker oder Herausgeber, die einzelne Publikationen bewerten. Es umfasst diagnostische Modelle (liegt die Erkrankung aktuell vor?) und prognostische Modelle (wird ein Ereignis später eintreten?) und ist auf Studien anwendbar, die ein Modell entwickeln, validieren oder aktualisieren [1,2]. Es liefert zwei separate Beurteilungen. Die erste betrifft das Verzerrungsrisiko, definiert als Mängel im Studiendesign, in der Durchführung oder in der Analyse, die die Schätzungen der Vorhersagegenauigkeit des Modells verfälschen. Die zweite Beurteilung betrifft die Anwendbarkeit, d. h. ob die Population, die Prädiktoren und das Ergebnis der Studie mit der Fragestellung übereinstimmen.
Verzerrungen sind hier aufgrund von Optimismus relevant. Ein Modell, das flexibel genug ist, um seine Entwicklungsdaten zu genau abzubilden, erscheint in diesen Daten hervorragend, schneidet aber bei neuen Patienten schlechter ab. De Jong et al. beschreiben dies als systematische Diskrepanz zwischen der in der Entwicklung behaupteten und der in der Validierung erreichten Leistung [4]. Ihre Metaanalyse von 50 systematischen Reviews, die das PROBAST-Tool verwendeten, umfasste 1,510 Studien und 2,104 Modelle, und in allen Bereichen zeigte sich ein unklares oder hohes Verzerrungsrisiko [4]. Die Bewertung ist daher ein routinemäßiger Schritt und keine Ausnahme.
Jede Signalisierungsfrage kann mit einer von fünf Antworten beantwortet werden: Ja, wahrscheinlich ja, wahrscheinlich nein, nein oder keine Angabe. Die Antworten fließen in eine Bereichsbewertung ein: niedrig, hoch oder unklar. Gemäß der PROBAST-Richtlinien gilt ein Bereich als niedrig, wenn alle Fragen mit Ja oder wahrscheinlich ja beantwortet werden; als potenziell hoch, wenn mindestens eine Frage mit Nein oder wahrscheinlich nein beantwortet wird; und als unklar, wenn Informationen fehlen und keine Frage mit Nein beantwortet wurde [1,2]. Die Bewertungen werden nicht zu einer Gesamtpunktzahl addiert; die endgültige Entscheidung liegt beim Gutachter.
Wo das PROBAST-Tool im Vergleich zu verwandten Tools einzuordnen ist
Das PROBAST-Tool bewertet Methoden, nicht die Berichterstattung. Die Vollständigkeit der Berichterstattung wird von TRIPOD beurteilt, das in unserem Leitfaden zur Berichterstattung über Vorhersagemodelle mit TRIPOD+AI behandelt wird. Die Datenextraktion für Reviews von Vorhersagemodellen folgt der CHARMS-Checkliste [5], und die Stichprobengröße für die Modellentwicklung richtet sich nach den Kriterien von Riley et al. [6], die die ältere Regel der festen Anzahl von Ereignissen pro Variable ersetzen. Für andere Studiendesigns eignen sich die folgenden Tools: RoB 2 für Studien (siehe unsere RoB 2-Anleitung ), ROBINS-I für nicht-randomisierte Interventionen (siehe den ROBINS-I-Leitfaden ) und QUADAS-2 für Studien zur diagnostischen Genauigkeit (siehe QUADAS-2 in der Praxis ). Unser Leitfaden zur Risikobewertung von Verzerrungen beschreibt das Tool für Studien ausführlich.
PROBAST+AI, das Update von 2025
Im Jahr 2025 veröffentlichten Moons und Kollegen PROBAST+AI im BMJ [7]. Das Instrument besteht aus zwei Teilen. Der Teil zur Modellentwicklung verwendet 16 Signalfragen zur Beurteilung von Qualität und Anwendbarkeit, der Teil zur Modellevaluierung 18 Signalfragen zur Beurteilung des Verzerrungsrisikos und der Anwendbarkeit. Beide Teile umfassen weiterhin vier Domänen: Teilnehmer und Datenquellen, Prädiktoren, Ergebnis und Analyse. Die Anwendbarkeit wird nach wie vor für die ersten drei Domänen bewertet. Die Autoren geben an, dass PROBAST+AI das ursprüngliche Instrument ersetzen könnte [7]. Dieser Beitrag verwendet die ursprüngliche Version von 2019, da deren 20 Fragen feststehen und in der bestehenden Literatur zu Übersichtsarbeiten verwendet werden [4]. Falls Ihr Protokoll, Ihr Betreuer oder die Zielzeitschrift PROBAST+AI erwähnt, verwenden Sie bitte den Fragenkatalog von 2025 und befolgen Sie die unten beschriebene Vorgehensweise zur Kennzeichnung von Evidenz.
Das PROBAST-Tool im Überblick: 4 Domänen und 20 Signalisierungsfragen
Die Tabelle fasst die 20 Fragen in einfachen Worten zusammen und gibt an, wo im Dokument die entsprechenden Belege üblicherweise zu finden sind. Einige Analysefragen, beispielsweise 4.5 und 4.9, beziehen sich ausschließlich auf die Modellentwicklung, während andere an den zu bewertenden Abschnitt angepasst sind.
| Frage | Was es fragt, in einfachen Worten | Wo soll man suchen? |
|---|---|---|
| 1.1 | Ist die Datenquelle geeignet, beispielsweise eine Kohortenstudie oder eine klinische Studie, anstatt eines Studiendesigns, das das absolute Risiko verzerrt? | Zusammenfassung, Absatz zum Studiendesign |
| 1.2 | Sind die Ein- und Ausschlusskriterien für die Zielpopulation angemessen? | Teilnahmevoraussetzungen, Teilnehmerflussdiagramm |
| 2.1 | Werden die Prädiktoren für alle Teilnehmer auf die gleiche Weise definiert und gemessen? | Prädiktordefinitionen, Messprotokolle |
| 2.2 | Wurden die Prädiktoren gemessen, ohne das Ergebnis zu kennen? | Studiendesign, Verblindungsaussagen |
| 2.3 | Werden alle Prädiktoren verfügbar sein, wenn das Modell verwendet werden soll? | Vorhersageliste im Vergleich zur beabsichtigten Verwendung |
| 3.1 | Wurde das Ergebnis mit einer geeigneten Methode ermittelt? | Ergebnisdefinition und Datenquelle |
| 3.2 | Wurde eine vorab festgelegte oder standardisierte Ergebnisdefinition verwendet? | Protokoll, Registrierung, Methoden |
| 3.3 | Wird das Ergebnis ohne Verwendung eines Prädiktors definiert? | Ergebnisdefinition im Vergleich zur Prädiktorliste |
| 3.4 | Wurde das Ergebnis für alle Teilnehmer auf die gleiche Weise definiert und ermittelt? | Multizentrische Verfahren, Ergänzung |
| 3.5 | Wurde das Ergebnis ohne Kenntnis der Prädiktorwerte ermittelt? | Verblindung, Beschreibung des Gutachters |
| 3.6 | Ist der Zeitraum zwischen der Messung des Prädiktors und dem Auftreten des Ergebnisses angemessen? | Nachfolgefenster, vorgesehene Verwendung |
| 4.1 | Gibt es genügend Ergebnisereignisse für die Aufgabe? | Ereignisse und Kandidatenprädiktoren, Abschnitt zur Stichprobengröße |
| 4.2 | Wurden kontinuierliche und kategoriale Prädiktoren angemessen behandelt? | Statistische Methoden, Transformationen |
| 4.3 | Wurden alle eingeschriebenen Teilnehmer in die Analyse einbezogen? | Flussdiagramm, Analysepopulation |
| 4.4 | Wurden fehlende Daten angemessen behandelt? | Abschnitt „Fehlende Daten“, Tabelle 1 |
| 4.5 | Wurde bei der Auswahl der Prädiktoren kein univariables Screening durchgeführt? (nur Entwicklungsphase) | Absatz zum Modellbau |
| 4.6 | Wurden Zensierung, konkurrierende Risiken und Stichproben von Kontrollgruppen gegebenenfalls berücksichtigt? | Modelltyp, Folgebeschreibung |
| 4.7 | Wurden geeignete Leistungskennzahlen, einschließlich Kalibrierung und Diskriminierung, angegeben? | Leistungsabschnitt, Kalibrierungsdiagramm |
| 4.8 | Wurden Überanpassung, Unteranpassung und Optimismus berücksichtigt? | Interne Validierung, Schrumpfung |
| 4.9 | Stimmen die endgültigen Prädiktoren und Gewichtungen mit der berichteten multivariablen Analyse überein? (Nur Entwicklungsphase) | Modelltabelle, Gleichung |
Die Anwendbarkeit wird anhand von drei weiteren Beurteilungen anstelle von Leitfragen ermittelt. Teilnehmer und Setting, Prädiktoren und Ergebnis werden jeweils hinsichtlich ihrer Relevanz für die Forschungsfrage als gering, hoch oder unklar bewertet. Die Anwendbarkeit erklärt, warum ein und dieselbe Studie für eine Forschungsarbeit gut, für eine andere jedoch ungeeignet sein kann.
So führen Sie eine PROBAST-Tool-Bewertung in fünf Schritten durch
- Formulieren Sie die Prüfungsfrage. Bevor Sie ein Dokument öffnen, geben Sie bitte die Population, die Prädiktoren, das Ergebnis, den Zeitpunkt, den Kontext und den Verwendungszweck des Modells an. Ohne diese Angaben kann die Anwendbarkeit nicht bewertet werden.
- Klassifizieren Sie das Papier. Kennzeichnen Sie jedes Dokument als Entwicklung, Validierung oder beides und bewerten Sie die einzelnen Teile separat. Ein Dokument, das beides beinhaltet, kann für jeden Teil unterschiedliche Bewertungen erhalten.
- Beantworten Sie die Signalfragen mit einem Hinweis auf einen Beweis. Notieren Sie den Abschnitt, die Tabelle oder die Abbildung, die jede Antwort stützt, und zitieren Sie sparsam.
- Bewerten Sie jede Domäne. Wende die Regel an, dass jedes Nein oder wahrscheinlich Nein einen Bereich potenziell hoch macht, und entscheide dann, ob der Grund eine tatsächliche Verzerrungsquelle darstellt.
- Geben Sie das Gesamturteil ab. Das Risiko einer Verzerrung ist bei diesem Papier nur dann gering, wenn alle vier Bereiche niedrig sind; die gleiche Logik gilt auch für die Anwendbarkeit.
Es empfiehlt sich, zwei Gutachter einzusetzen, die unabhängig voneinander arbeiten und deren Ergebnisse anschließend abgeglichen werden. Eine Metaanalyse aus dem Jahr 2023 zur Anwendung von PROBAST berichtete über stabile Tendenzen in Bezug auf Verzerrungen im Zeitverlauf und eine geringe Übereinstimmung zwischen den Gutachtern [8]. Aus diesem Grund ist es ratsam, die Fragestellung, die Ereignisschwelle und den Umgang mit fehlenden Informationen vor Beginn des Screenings abzustimmen.
Die von uns bewertete Open-Access-Publikation
Die Studie von Stock et al., „ Development and validation of a risk prediction model of preterm birth for women with preterm labour symptoms (the QUIDS study)“ , wurde 2021 in PLOS Medicine veröffentlicht [3]. Sie eignet sich aus drei Gründen hervorragend als Lehrbeispiel: Sie umfasst sowohl einen Entwicklungs- als auch einen externen Validierungsteil, beschreibt die Methoden so detailliert, dass die meisten Fragen aus dem Haupttext beantwortet werden, und die Autoren legen die Schwächen ihres Studiendesigns offen, wodurch die Beurteilungsentscheidungen nachvollziehbar werden. Die Lizenz ist CC BY 4.0, bestätigt durch die Lizenzangaben in Crossref, Europe PMC und JATS im Volltext. Die Studie ist in PubMed unter der PMID 34228732 (PMCID PMC8259998) indexiert.
Das Modell schätzt das Risiko einer spontanen Frühgeburt innerhalb von sieben Tagen bei Frauen mit Anzeichen und Symptomen vorzeitiger Wehen. Es wurde in einer Metaanalyse individueller Teilnehmerdaten aus fünf prospektiven Kohortenstudien (1,783 Frauen, 139 Ereignisse) entwickelt und in einer neuen prospektiven Kohorte in 26 britischen Kliniken (2,924 Frauen, 85 Ereignisse) validiert. Das finale Modell kombiniert quantitatives fetales Fibronektin (qfFN) mit Rauchen, ethnischer Zugehörigkeit, Erstgebärenden und Mehrlingsschwangerschaften.
| Element der Überprüfungsfrage | Formulierung für diese Bewertung |
|---|---|
| Bevölkerung und Umgebung | Schwangere Frauen in der 22+0 bis 34+6 Schwangerschaftswoche mit Anzeichen und Symptomen vorzeitiger Wehen und intakten Fruchtblasen, die in geburtshilflichen Abteilungen von Krankenhäusern mit einem quantitativen fFN-Analysator untersucht wurden. |
| Prädiktoren | Quantitative fFN-Werte plus routinemäßige klinische Faktoren, die bei der ersten Beurteilung verfügbar sind |
| Ergebnis und Zeitpunkt | Spontane Frühgeburt innerhalb von 7 Tagen nach dem Test |
| Verwendungszweck | Unterstützung bei Entscheidungen über Aufnahme und Behandlung bei symptomatischen Frauen |
Dies sind unsere Entscheidungen für die Übung, keine Aussagen aus dem Artikel. Ein Gutachter mit einer anderen Fragestellung, beispielsweise einer Überprüfung von Modellen für den Einsatz in Gebieten ohne Analysator, würde die Anwendbarkeit anders bewerten. Die Bewertung bezieht sich ausschließlich auf den Hauptartikel einschließlich seiner Tabellen und Abbildungen. Die ergänzenden Tabellen im Anhang S1 wurden nicht begutachtet; die entsprechenden Zeilen weisen daher darauf hin.
Anwendung des PROBAST-Tools auf QUIDS, Domänen 1 bis 3
Domäne 1, Teilnehmer
| Q | Antworten | Beweise und Hinweise | Label |
|---|---|---|---|
| 1.1 | Ja | Die Entwicklung basierte auf einer Metaanalyse individueller Patientendaten (IPD) aus fünf europäischen prospektiven Kohortenstudien (Stock et al., Abstract). Die Validierung erfolgte anhand einer prospektiven Kohorte in 26 britischen, von Fachärzten geleiteten Einrichtungen (Methoden, Externe Validierung). Prospektive Kohorten erhalten das absolute Risiko. | |
| 1.2 | Wahrscheinlich ja | Die Einschlusskriterien waren Schwangerschaftswoche, Symptome, intakte Fruchtblasen und das Fehlen von Kontraindikationen für den fFN-Test (Methoden, Modellergebnis, Zielpopulation und potenzielle Prädiktoren). Vier frühe Datensätze, bei denen die fFN-Konzentration mittels ELISA bestimmt wurde, wurden ausgeschlossen (Methoden, Modellentwicklung). 27 von 2,968 Frauen erfüllten die Einschlusskriterien bei der Spekulumuntersuchung nicht (Ergebnisse, Externe Validierung; Abb. 1). Die Symptome wurden von den jeweiligen Prüfärzten definiert. | Ermessensentscheidung |
Bewertung im Bereich 1: geringes Verzerrungsrisiko. Anwendbarkeit: geringe Bedenken , da die angegebene Population der Fragestellung entspricht.
Domäne 2, Prädiktoren
| Q | Antworten | Beweise und Hinweise | Label |
|---|---|---|---|
| 2.1 | Wahrscheinlich ja | In den Entwicklungsstudien wurden „quantitative fFN-Ergebnisse, ermittelt mit dem 10Q-Schnellanalysesystem für fFN“, verwendet (Methoden, Modellentwicklung). Die Validierung erfolgte mit einem angepassten Analysegerät an jedem Standort unter Einhaltung der Qualitätskontrollen (Methoden, Externe Validierung; Details zur Qualitätskontrolle siehe Anhang S1, nicht geprüft). Die Harmonisierung von Raucherstatus und ethnischer Zugehörigkeit in den fünf Kohorten wird im Haupttext nicht beschrieben. | Ermessensentscheidung |
| 2.2 | Ja | Da es sich um prospektive Kohortenstudien handelte, war der Behandlungserfolg zum Zeitpunkt der Messung unbekannt. Im Rahmen der Validierung wurde das quantitative fFN-Ergebnis den Klinikern nicht zugänglich gemacht und als dreistelliger Code gespeichert (Methoden, Externe Validierung). | |
| 2.3 | Ja | „Alle einbezogenen Kandidatenprädiktoren sind etwa zum Zeitpunkt der ersten Beurteilung auf Anzeichen und Symptome einer Frühgeburt verfügbar.“ (Methoden, Modellergebnis, Zielpopulation und Kandidatenprädiktoren). |
Bewertung in Domäne 2: geringes Verzerrungsrisiko. Anwendbarkeit: geringe Bedenken für Einrichtungen mit Analysegerät. In der Einleitung wird darauf hingewiesen, dass die quantitative Bestimmung von fFN in den USA keine FDA-Zulassung besitzt und das NICE die Evidenz für eine Empfehlung als unzureichend einstufte. Daher sollte eine Überprüfung, die sich an Einrichtungen ohne Analysegerät richtet, dieses Risiko als hoch einstufen.
Domäne 3, Ergebnis
| Q | Antworten | Beweise und Hinweise | Label |
|---|---|---|---|
| 3.1 | Wahrscheinlich ja | Geburtsdatum und die Information, ob es sich um eine Spontangeburt handelte, wurden den Akten entnommen. „Alle anderen Daten wurden aus den Teilnehmerakten erhoben und in der Studiendatenbank erfasst.“ (Methoden, Externe Validierung). Der Geburtszeitpunkt ist objektiv, die unabhängige Beurteilung, ob es sich um eine Spontangeburt oder eine medizinisch indizierte Geburt handelte, wird im Haupttext jedoch nicht beschrieben. | Ermessensentscheidung |
| 3.2 | Ja | Der primäre Endpunkt war eine spontane Frühgeburt innerhalb von 7 Tagen nach dem quantitativen fFN-Test (Methoden, Modellergebnis, Zielpopulation und potenzielle Prädiktoren), wie in den veröffentlichten Protokollen festgelegt (Methoden, Studienleitung). Analysen mit allen Frühgeburten wurden als nicht präspezifiziert gekennzeichnet (Methoden, Zusätzliche Modelle und Subgruppenanalysen). | |
| 3.3 | Ja | Das Ergebnis ist eine Geburt innerhalb eines bestimmten Zeitfensters. Keiner der fünf finalen Prädiktoren ist Teil dieser Definition (Ergebnisse, Modellentwicklung und interne Validierung). | |
| 3.4 | Wahrscheinlich ja | Für alle Kohorten wurde eine einheitliche Definition angewendet, und die Validierungsstandorte wurden anhand verschiedener Niveaus der Neugeborenenversorgung beschrieben (Methoden, Externe Validierung). Das Ergebnis ist unabhängig von der lokalen Neugeborenenversorgung. | |
| 3.5 | Wahrscheinlich ja | Der qfFN-Wert wurde maskiert, sodass er die Ergebnisermittlung nicht beeinflussen konnte. Die Kliniker kannten das qualitative fFN-Ergebnis, und eine Tokolyse konnte die Geburt verzögern. Die Autoren geben an: „Die Tokolyse wurde in die Sensitivitätsanalyse einbezogen, um einen möglichen Behandlungseffekt auf die Geburtsverzögerung zu untersuchen.“ (Methoden, Modellergebnis, Zielpopulation und potenzielle Prädiktoren). | Ermessensentscheidung |
| 3.6 | Ja | „Die Wahl dieses Ergebnisses basierte auf unserer vorangegangenen qualitativen Studie mit Frauen und Klinikern“ (Methoden, gleicher Unterabschnitt). In der Einleitung wird der Nutzen pränataler Kortikosteroide mit der Verabreichung innerhalb von 7 Tagen nach der Geburt in Verbindung gebracht. |
Bewertung in Domäne 3: geringes Verzerrungsrisiko. Anwendbarkeit: geringe Bedenken , da das Ergebnis nach 7 Tagen der Fragestellung entspricht.
Anwendung des PROBAST-Tools auf QUIDS, Domänenanalyse 4
In Domäne 4 verlieren die meisten Prognosepapiere ihre Bewertung, und es ist die einzige Domäne, in der die Entwicklungs- und Validierungsteile von QUIDS voneinander abweichen. Die beiden Teile sind mit „Dev“ und „Val“ gekennzeichnet. Zwei kleine Berechnungen aus den eigenen Zahlen des Papiers befinden sich hinter den Zeilen 4.1 und 4.9.
- Ereignisse pro Kandidatenprädiktor. Die Entwicklungsanalyse umfasste 139 Ereignisse und 10 potenzielle Prädiktoren. 139 geteilt durch 10 ergibt 13.9, was die Autoren auf etwa 14 runden (Methoden, Stichprobenberechnung). Dieser Wert liegt innerhalb des älteren Bereichs von 10 bis 20 [4], aber unter den 20 Ereignissen pro potenziellem Prädiktor, die häufig bei der Verwendung des PROBAST-Tools angewendet werden. Wir akzeptieren „wahrscheinlich ja“, da die Autoren angeben, dass die Daten die modernen Mindestkriterien für die Stichprobengröße erfüllen. Ein strengerer Gutachter könnte daher „wahrscheinlich nein“ antworten und den Bereich der Entwicklungsanalyse als unklar oder hoch einstufen.
- Validierungsereignisse. Bei 2,924 Frauen (2.9 Prozent) wurden 85 Ereignisse beobachtet, was unter den rund 100 Ereignissen liegt, die die Autoren selbst als Minimum für die Validierung angeben (Ergebnisse, Externe Validierung; Methoden, Berechnung der Stichprobengröße).
- Schwundprüfung für 4.9. Teilt man jeden um den Optimismus bereinigten Koeffizienten in Tabelle 2 durch seinen ursprünglichen Wert, erhält man für alle fünf Prädiktoren Werte zwischen 0.943 und 0.946, was mit dem einheitlichen Schrumpfungsfaktor von 0.94 übereinstimmt, den die Studie angibt.
| Q | Antworten | Beweise und Hinweise | Label |
|---|---|---|---|
| 4.1 | Dev wahrscheinlich ja, Val wahrscheinlich nein | Das Dev-Verhältnis beträgt 13.9 Ereignisse pro Kandidatenprädiktor (siehe oben). Val: „Eine mögliche Einschränkung ist die Anzahl der Ereignisse in unserer externen Validierung (85).“ (Diskussion). Die Autoren schreiben außerdem, dass „für die Validierung des Risikoprädiktionsmodells mindestens etwa 100 Ereignisse und 100 Nicht-Ereignisse erforderlich waren“ (Methoden, Berechnung des Stichprobenumfangs). | Ermessensentscheidung (beide Teile) |
| 4.2 | Ja | Kontinuierliche Prädiktoren wurden auf ihrer kontinuierlichen Skala analysiert. Nichtlinearität wurde mithilfe fraktionaler Polynome behandelt, was zu einer Quadratwurzelform für qfFN führte (Methoden, Modellentwicklung; Ergebnisse). Die ethnische Zugehörigkeit wurde aufgrund der geringen Fallzahl in „Weiß“ und „Nicht-Weiß“ zusammengefasst (Diskussion). | |
| 4.3 | Wahrscheinlich ja | Bei der Validierung waren 27 Frauen aufgrund der Spekulumuntersuchung nicht teilnahmeberechtigt und 17 Tests ungültig. Daher wurden 2,924 von 2,968 Frauen analysiert, was einem Verlust von 44 Frauen bzw. 1.5 Prozent entspricht (Ergebnisse, Externe Validierung; Abb. 1). Die Ausschlüsse erfolgten aufgrund der Testteilnahmeberechtigung, nicht aufgrund des Testergebnisses. | Ermessensentscheidung |
| 4.4 | Ja | „Die fehlenden Werte wurden in jeder Originalstudie separat mittels multipler Imputation durch verkettete Gleichungen imputiert“, mit 60 Imputationen in der Entwicklungsphase und 8 in der Validierungsphase (Methoden, Modellentwicklung; Externe Validierung). Eine Sensitivitätsanalyse mit vollständigen Datensätzen ergab eine vergleichbare Performance (Ergebnisse, Externe Validierung). Der BMI fehlte in der Entwicklungsphase bei 29.7 % der Datensätze (Tabelle 1), ist aber im finalen Modell nicht enthalten. | |
| 4.5 | Ja (Entwickler) | Zehn potenzielle Prädiktoren wurden vorab festgelegt und anschließend mittels schrittweiser Rückwärtsselektion innerhalb eines multivariablen logistischen Modells unter Verwendung des Akaike-Informationskriteriums reduziert (Methoden, Modellentwicklung). Dies ist kein univariables Screening. | |
| 4.6 | Wahrscheinlich ja | Die Clusterung nach Studien erfolgte mittels eines einstufigen IPD-Modells mit einem separaten Achsenabschnitt pro Studie und einer zweistufigen Überprüfung der Prädiktorheterogenität mit Zufallseffekten (Methoden, Modellentwicklung). Die Validierung nutzte einen gepoolten Achsenabschnitt aus einer Metaanalyse mit Zufallseffekten der Achsenabschnitte der fünf Studien (Methoden, Externe Validierung). Das binäre Ergebnis nach 7 Tagen vermeidet Zensierungsprobleme, sofern die Nachbeobachtung vollständig war. | Ermessensentscheidung |
| 4.7 | Ja | Die Studie berichtet über die AUC, die Kalibrierungssteigung, die Kalibrierung im großen Maßstab, das Verhältnis von erwarteten zu beobachteten Werten, ein Kalibrierungsdiagramm und das Nagelkerke-R² (Methoden, Vorhersageleistungsmaße; Tabelle 3; Abb. 2) sowie den Nettogewinn (Abb. 3). Die Validierungs-AUC betrug 0.89 (95 %-KI 0.84 bis 0.94), das Verhältnis von erwarteten zu beobachteten Werten 0.80 vor der Rekalibrierung und die Kalibrierungssteigung 1.24. | |
| 4.8 | Dev ja, Val wahrscheinlich ja | Die interne Bootstrap-Validierung umfasste 100 Stichproben, die alle Schritte der Modellentwicklung nachbildeten (Methoden, Interne Validierung). Dies führte zu einem einheitlichen Schrumpfungsfaktor von 0.94. Anschließend wurden die studienspezifischen Achsenabschnitte neu geschätzt (Ergebnisse, Modellentwicklung und interne Validierung). In der Validierung wurde lediglich der Achsenabschnitt aktualisiert (Tabelle 3, Spalte B). Die Ergebnisse vor der Neukalibrierung werden ebenfalls angegeben (Spalte A). | |
| 4.9 | Ja (Entwickler) | Die Gleichung im Ergebnisteil des QUIDS-Risikoprädiktionsmodells verwendet 1.915 für die Quadratwurzel von qfFN plus 0.370, 0.834, minus 0.687 und minus 0.139 für die klinischen Faktoren, mit einem Achsenabschnitt von minus 5.002. Diese Werte stimmen mit der optimismusbereinigten Spalte in Tabelle 2 und dem rekalibrierten Achsenabschnitt in Tabelle 3 überein. |
Bewertung von Domäne 4. Der Entwicklungsteil weist ein geringes Verzerrungsrisiko auf . Der Validierungsteil birgt bei strenger Auslegung ein hohes Verzerrungsrisiko , bedingt durch einen einzelnen Punkt in Zeile 4.1. Alle anderen Fragen in Domäne 4 werden mit „Ja“ oder „Wahrscheinlich Ja“ beantwortet.
Gesamtbewertungen und Kalibrierungsdiagramm

Lesen Sie die Abbildung als Orientierungshilfe für weitere Untersuchungen, nicht als Bewertung der Studie. Der Entwicklungsteil weist in allen Bereichen Schwächen auf. Im Validierungsteil gibt es einen roten Punkt, der auf einer Ereignisanzahl von 85 gegenüber einem Schwellenwert von etwa 100 beruht – eine Diskrepanz, die die Autoren selbst offenlegen. Ein Gutachter könnte stattdessen eine unklare Bewertung vorschlagen, doch sollte der Grund in jedem Fall im Gutachterprotokoll festgehalten werden, da die Bewertung die Gewichtung des Modells in jeder Synthese beeinflusst.
Die Kalibrierungskurve verdeutlicht die praktische Relevanz der Ereignisanzahl. Fast alle gruppierten Beobachtungen liegen unterhalb eines vorhergesagten Risikos von 0.03, wo Ereignisse selten sind. Eine Gruppe nahe einem vorhergesagten Risiko von 0.17 weist ein beobachtetes Risiko von etwa 0.22 mit einer großen Spanne auf. Die Autoren berichten von einer gewissen Unterschätzung bei höheren Risiken und einer Kalibrierungssteigung von 1.24 nach der Achsenabschnitts-Rekalibrierung (Ergebnisse, Externe Validierung). Da in den oberen Gruppen nur wenige Ereignisse auftreten, kann bereits eine einzelne Gruppe das Bild verändern – genau die Instabilität, die Punkt 4.1 aufzeigen soll.

Zeile 4.7 fragt nach Kalibrierung und Diskriminierung; die Abbildung liefert die Kalibrierungsnachweise. Die Netto-Nutzen-Analyse der Studie (Abb. 3) befasst sich mit einer anderen Fragestellung: Hilft das Modell bei Entscheidungen? Wenn Sie eine Netto-Nutzen-Analyse für Ihr eigenes Modell durchführen möchten, können Sie dies mit unserem kostenlosen Entscheidungskurven-Rechner anhand Ihrer prognostizierten Risiken tun.
Ermessensfragen und Meinungsverschiedenheiten zwischen Gutachtern
Sieben Zeilen dieser Beurteilung beruhen auf subjektiven Einschätzungen. Diese zu benennen ist sinnvoller, als so zu tun, als sei das Instrument rein mechanisch, und diese Vorgehensweise fördert die Übereinstimmung zwischen zwei Gutachtern.
- 1.2 Es kommt darauf an, ob der Ausschluss von vier frühen ELISA-Datensätzen ein Selektionsproblem darstellt. Da dies methodenabhängig ist, haben wir es als wahrscheinlich ja bewertet.
- 2.1 hängt von den Harmonisierungsdetails ab, die im Anhang enthalten sind.
- 3.1 und 3.5 Bedenken hinsichtlich der Klassifizierung des Ergebnisses und der Frage, ob eine Behandlung dieses hätte verändern können.
- 4.1 Diese Zeile ist für die Validierung entscheidend und stellt eine Beurteilungsfrage für die Weiterentwicklung dar. Ein Gutachter, der 85 Ereignisse aufgrund der kurzen Intervalle akzeptiert, müsste dies dennoch im Protokoll vermerken.
- 4.3 und 4.6 Es handelt sich wahrscheinlich um Ja-Antworten, bei denen ein zweiter Gutachter möglicherweise nach näheren Angaben zum Verlust von Nachbeobachtungsdaten fragen würde.
Eine Metaanalyse aus dem Jahr 2023 brachte die Anwendung von PROBAST mit einer geringen Übereinstimmung zwischen den Beurteilern in Zusammenhang [8]. Daher lohnt sich eine kurze Kalibrierungsübung anhand von zwei oder drei Studien vor der vollständigen Bewertung. Legen Sie die Ereignisschwelle, die Vorgehensweise bei fehlenden Informationen und die Kriterien für eine unabhängige Ergebnisbeurteilung fest.
Häufige Fehler bei der Verwendung des PROBAST-Tools
- Verwendung als Checkliste für die Berichterstattung. Eine Studie mit mangelhafter Berichterstattung liefert keine aussagekräftigen Ergebnisse, was sich von einer methodischen Schwäche unterscheidet. Nutzen Sie für die Berichterstattung das PROBAST-Tool in Kombination mit TRIPOD.
- Anwendbarkeit der Bewertung ohne schriftliche Bewertungsfrage. Anwendbarkeit ist relativ, daher muss die Frage zunächst einmal gestellt werden.
- Die Signalfragen werden zu einer Punktzahl zusammengefasst. Das Tool ist für strukturierte Beurteilungen konzipiert, und die Anzahl der Ja-Antworten verschleiert, in welchem Bereich das Problem aufgetreten ist.
- Zusammenführung von Entwicklung und Validierung. Bewerten Sie jeden Teil. QUIDS zeigt, wie ein einzelnes Dokument sowohl eine niedrige als auch eine hohe Bewertung erhalten kann.
- Verwechslung von Rückwärtsselektion und univariatem Screening. Frage 4.5 zielt darauf ab, Prädiktoren einzeln vor der Modellierung zu prüfen. Die Rückwärtsselektion innerhalb eines multivariablen Modells ist ein separates Thema, das in Frage 4.8 mittels Optimismuskorrektur überprüft wird [4].
- Ein hohes Verzerrungsrisiko wird mit einem schlechten Modell gleichgesetzt. Die Bewertung besagt, dass die Leistungsschätzung möglicherweise unzuverlässig ist, nicht, dass das Modell falsch ist.
- Die Behauptungen des Autors als Beweismittel nehmen. Ein Satz, der besagt, dass die Studie dem TRIPOD-Modell folgte, beantwortet keine der Fragen. Verweisen Sie auf die Tabelle oder den Absatz, der dies belegt.
Berichterstattung über PROBAST-Ergebnisse in einer systematischen Übersicht
Berichten Sie die Fragestellung der Überprüfung, die Version des Tools (Originalversion 2019 oder PROBAST+AI), die Anzahl der Gutachter und die Regel zur Beilegung von Meinungsverschiedenheiten. Stellen Sie für jedes einbezogene Modell ein Ampeldiagramm wie in Abbildung 1 dar, mit den Domänenbewertungen und der Begründung für jede hohe Bewertung in einer separaten Tabelle. Nutzen Sie die Bewertungen anschließend für die Synthese, beispielsweise durch eine Sensitivitätsanalyse, die Modelle mit hohem Verzerrungsrisiko in der Analysedomäne ausschließt. Der Datenfluss in Ihrer Überprüfung sollte in einem PRISMA-Diagramm dargestellt werden. Das kostenlose Tool Flowchart Pro (siehe unten) erstellt ein solches Diagramm direkt in Ihrem Browser.
Wenn Ihre Überprüfung auch Studien oder Kohortenstudien zu Behandlungen umfasst, kombinieren Sie das PROBAST-Tool mit den entsprechenden Instrumenten in den oben genannten Leitfäden RoB 2, ROBINS-I und QUADAS-2, damit jedes einbezogene Design mit dem dafür entwickelten Tool bewertet wird.
Kostenlose Tools für die Forschung an Vorhersagemodellen
Kostenlose Recherchetools von Editverse
- GraphProErstellen Sie publikationsreife Diagramme (25 Typen) mit integrierten t-Tests, ANOVA, Korrelations- und Chi-Quadrat-p-Werten. Kostenlos, keine Anmeldung erforderlich.
- StatProKostenlose Statistikrechner und ein Testauswahltool für Gruppenvergleiche, kategoriale Ergebnisse, Zeit-bis-Ereignis-Analysen und diagnostische Genauigkeit.
- Flowchart Pro: Generieren Sie PRISMA 2020-, PRISMA-ScR-, CONSORT-, STROBE-, STARD-, MOOSE- und ARRIVE-Flussdiagramme direkt in Ihrem Browser.
Professionelle Unterstützung bei der Beurteilung des Voreingenommenheitsrisikos
Die Bewertung von 20 oder 200 Studien durch zwei unabhängige Gutachter ist zeitaufwendig, und die Bewertungen sind nur dann hilfreich, wenn sie konsistent und dokumentiert sind. Editverse unterstützt die Bewertungs- und Extraktionsphasen systematischer Reviews mit festgelegten Ergebnissen. Senden Sie uns Ihre eingeschlossenen Studien und deren Studiendesigns und fragen Sie vor Ihrer Bestellung an, welches Bewertungsinstrument für welches Design geeignet ist.
Beurteilung des Risikos einer Verzerrung
$350
Müssen alle einbezogenen Studien in einer Form bewertet werden, die ein Gutachter akzeptiert?
Sie senden Ihre beigefügten Studien und deren Entwürfe.
Sie erhalten ausgefüllte Bewertungsformulare, Tabellen zur Beurteilung des Verzerrungsrisikos, Ampelvisualisierungen und einen beschreibenden Methodenteil.
Bearbeitungszeit in der Regel 4 bis 6 Werktage.
Datenextraktion für systematische Reviews
$500
Ist das Extraktionsblatt der Engpass, bevor die Bewertung beginnen kann?
Sie senden Ihre beigefügten Studien und Ihre Fragestellung zur Überprüfung ein.
Sie erhalten ein individuell angepasstes Extraktionsformular, eine doppelte Extraktion mit Abgleich sowie Daten zur Qualitätsbewertung, die zusammen mit den Studienmerkmalen erfasst werden.
Die Bearbeitungszeit beträgt in der Regel 5 bis 7 Werktage, abhängig von der Anzahl der Studien.
Für eine vollständige Übersicht vom Studienprotokoll bis zum Manuskript nutzen Sie bitte unseren Service zur Erstellung systematischer Reviews . Dieser deckt alle Phasen ab, in die die beiden oben genannten Services einfließen. Unsere Arbeit orientiert sich an den Empfehlungen von COPE, ICMJE und GPP 2022; institutionelle und länderspezifische Ethikrichtlinien werden eingehalten.
Fazit
Das PROBAST-Tool formuliert die vage Frage nach der Qualität eines Vorhersagemodells anhand von 20 Fragen mit entsprechenden Belegen. Angewendet auf QUIDS, ergibt sich ein geringes Verzerrungsrisiko für die Modellentwicklung, ein hohes Verzerrungsrisiko bei strenger Auslegung der externen Validierung aufgrund von 85 Ereignissen und geringe Bedenken hinsichtlich der Anwendbarkeit für die hier formulierte Fragestellung. Der Fokus liegt auf der Methode, nicht auf der Farbgebung. Formulieren Sie zuerst die Fragestellung, bewerten Sie Entwicklung und Validierung separat, verweisen Sie auf den Abschnitt, der jeder Antwort zugrunde liegt, und benennen Sie die Beurteilungsentscheidungen. Falls Ihr Protokoll stattdessen auf PROBAST+AI 2025 verweist, bleiben die Vorgehensweisen unverändert.
Referenzen
- Wolff RF, Moons KGM, Riley RD, Whiting PF, Westwood M, Collins GS, et al. PROBAST: ein Instrument zur Beurteilung des Verzerrungsrisikos und der Anwendbarkeit von Vorhersagemodellstudien. Ann Intern Med. 2019;170(1):51-8. doi:10.7326/M18-1376PMID 30596875.
- Moons KGM, Wolff RF, Riley RD, Whiting PF, Westwood M, Collins GS, et al. PROBAST: ein Instrument zur Beurteilung des Verzerrungsrisikos und der Anwendbarkeit von Vorhersagemodellstudien, Erläuterung und Ausarbeitung. Ann Intern Med. 2019;170(1):W1-33. doi:10.7326/M18-1377PMID 30596876.
- Stock SJ, Horne M, Bruijn M, White H, Boyd KA, Heggie R, et al. Entwicklung und Validierung eines Risikoprädiktionsmodells für Frühgeburten bei Frauen mit vorzeitigen Wehensymptomen (die QUIDS-Studie): eine prospektive Kohortenstudie und Metaanalyse individueller Teilnehmerdaten. PLoS Med. 2021;18(7):e1003686. doi:10.1371/journal.pmed.1003686PMID 34228732. PMCID PMC8259998. CC BY 4.0.
- de Jong Y, Ramspek CL, Zoccali C, Jager KJ, Dekker FW, van Diepen M. Bewertung von Vorhersageforschung: Ein Leitfaden und eine Meta-Übersicht zur Beurteilung von Verzerrungen und Anwendbarkeit mithilfe des PROBAST-Tools (Prediction model Risk Of Bias ASsessment Tool). Nephrology (Carlton). 2021;26(12):939-47. doi:10.1111/nep.13913PMID 34138495.
- Moons KGM, de Groot JAH, Bouwmeester W, Vergouwe Y, Mallett S, Altman DG, et al. Kritische Bewertung und Datenextraktion für systematische Reviews von Studien zur Vorhersagemodellierung: die CHARMS-Checkliste. PLoS Med. 2014;11(10):e1001744. doi:10.1371/journal.pmed.1001744PMID 25314315.
- Riley RD, Ensor J, Snell KIE, Harrell FE Jr, Martin GP, Reitsma JB, et al. Berechnung des erforderlichen Stichprobenumfangs für die Entwicklung eines klinischen Vorhersagemodells. BMJ. 2020;368:m441. doi:10.1136/bmj.m441PMID 32188600.
- Moons KGM, Damen JAA, Kaul T, Hooft L, Andaur Navarro C, Dhiman P, et al. PROBAST+AI: ein aktualisiertes Werkzeug zur Bewertung von Qualität, Verzerrungsrisiko und Anwendbarkeit von Vorhersagemodellen mittels Regressions- oder KI-Methoden. BMJ. 2025;388:e082505. doi:10.1136/bmj-2024-082505PMID 40127903.
- Langenhuijsen LFS, Janse RJ, Venema E, Kent DM, van Diepen M, Dekker FW, et al. Die systematische Metaüberprüfung von Vorhersagestudien zeigt stabile Tendenzen bei der Verzerrung und eine geringe PROBAST-Übereinstimmung zwischen den Bewertern. J Clin Epidemiol. 2023;159:159-73. doi:10.1016/j.jclinepi.2023.04.012PMID 37142166.
