Veröffentlicht
Die TRIPOD+AI-Checkliste ist der Berichtsstandard, den Fachzeitschriften mittlerweile erwarten, wenn ein Manuskript ein klinisches Vorhersagemodell entwickelt oder evaluiert, unabhängig davon, ob das Modell auf logistischer Regression oder Random Forest basiert. Sie wurde im April 2024 von Collins und Kollegen im BMJ veröffentlicht, umfasst 27 nummerierte Punkte, ersetzt die TRIPOD-Checkliste von 2015 und fordert Details an, die in älteren Arbeiten fehlten, wie Fairness, Zugang zum Quellcode sowie die Einbeziehung von Patienten und der Öffentlichkeit.<sup> 1</sup>
Die meisten Leitfäden beschränken sich auf die Auflistung der Punkte. Dieser Leitfaden geht darüber hinaus. Nach der Checkliste selbst bewerten wir eine echte Open-Access-Publikation zum Thema maschinelles Lernen Punkt für Punkt. Die jeweilige Textstelle wird neben jedem Ergebnis angegeben, sodass Sie sehen können, wie eine vollständig ausgefüllte Checkliste aussieht und wo Autoren üblicherweise Punkte verlieren.
In einfachen Worten
TRIPOD+AI ist eine Liste mit 27 Punkten, die Ihre Arbeit enthalten muss, wenn Sie ein Tool zur Vorhersage von Patientenergebnissen entwickelt oder getestet haben. Sie gibt vor, was Sie berichten sollen, nicht wie Sie das Modell erstellen. Tragen Sie für jeden Punkt die entsprechende Seiten- oder Zeilennummer ein, reichen Sie die Liste zusammen mit Ihrem Manuskript ein, und ein Gutachter kann Ihre Arbeit innerhalb weniger Minuten prüfen, anstatt raten zu müssen, was fehlt.
Was die TRIPOD+AI-Checkliste beinhaltet und was sich gegenüber TRIPOD 2015 geändert hat
TRIPOD steht für „Transparent Reporting of a multivariable prediction model for Individual Prognosis Or Diagnosis“ (Transparente Berichterstattung über ein multivariables Vorhersagemodell für die individuelle Prognose oder Diagnose). Die Version von 2015 umfasste 37 Einträge (einschließlich Unterpunkten) und entstand zu einer Zeit, als die meisten Vorhersagemodelle Regressionsgleichungen waren.<sup> 1 </sup> Seitdem hat sich maschinelles Lernen in der Vorhersageforschung etabliert, und die Aktualisierung von 2024 wurde entwickelt, um beide Ansätze in einem Dokument zu vereinen. Die Autoren nutzten systematische Literaturrecherchen, eine zweistufige Delphi-Studie und ein Online-Konsenstreffen. Die erste Delphi-Runde wurde an 292 Personen versandt, von denen 170 sie beantworteten. An der zweiten Runde nahmen 200 Personen aus 27 Ländern teil.<sup> 1</sup>
Drei Punkte sind für Ihre Einreichung wichtig. Erstens: Die Richtlinie besagt eindeutig, dass die neue Checkliste die Version von 2015 ersetzt, die nicht mehr verwendet werden sollte.¹ Falls Ihre Zielzeitschrift noch die alte Checkliste verlinkt, verwenden Sie bitte die Version von 2024 und geben Sie dies im Anschreiben an. Zweitens: TRIPOD+AI ist eine Berichtsrichtlinie und kein Instrument zur Qualitätsbewertung. Es prüft, ob Sie Ihre Vorgehensweise beschrieben haben, nicht deren Validität. Zur Bewertung veröffentlichte dieselbe Forschungsgemeinschaft PROBAST+AI im Jahr 2025, ein aktualisiertes Instrument zur Beurteilung des Verzerrungsrisikos und der Anwendbarkeit in Studien zu Vorhersagemodellen.³ Drittens : Die Richtlinie enthält eine 13-Punkte-Checkliste für Abstracts, sodass auch das Abstract selbst bewertet wird.
Wenn Sie sich noch zwischen einer Leitlinie zur diagnostischen Genauigkeit und einer Leitlinie zu einem Vorhersagemodell entscheiden müssen, lesen Sie bitte zuerst unseren Vergleich von STARD und TRIPOD . Darin wird erläutert, welche Leitlinie zu welcher Forschungsfrage passt. Dieser Artikel geht davon aus, dass Sie sich bereits für TRIPOD+AI entschieden haben. Unser Entscheidungsbaum zur Auswahl einer Leitlinie deckt alle verfügbaren Optionen ab.
Die 27 Punkte der TRIPOD+AI-Checkliste auf einen Blick
Die folgende Tabelle fasst die vollständige Checkliste in ihren 27 nummerierten Punkten zusammen. Wir haben die Formulierungen vereinfacht, um sie kurz zu halten. Verwenden Sie daher bitte die offizielle Checkliste von der TRIPOD-Website für den genauen Wortlaut Ihrer Einreichung. Die letzte Spalte gibt an, wer für den jeweiligen Punkt verantwortlich ist. D steht für eine Modellentwicklungsstudie, E für eine Modellbewertungsstudie (Validierungsstudie) und D;E für beides.
Tabelle 1. Die 27 Punkte der TRIPOD+AI-Checkliste (Kurzfassung). Quellenstruktur aus Collins et al., BMJ 2024.
| Artikel | Topic | Gilt für | Was zu melden ist (sinngemäß) |
|---|---|---|---|
| 1 | Titel | D;E | Benennen Sie die Studie als Entwicklung oder Bewertung eines Vorhersagemodells und geben Sie die Zielpopulation und das Ergebnis an. |
| 2 | Abstract | D;E | Beachten Sie die separate 13-Punkte-Liste TRIPOD+AI für Abstracts. |
| 3a bis 3c | Hintergrund | D;E | Gesundheitskontext und Begründung, bestehende Modelle, Zielpopulation und beabsichtigte Verwendung im Behandlungspfad, beabsichtigte Nutzer und bekannte gesundheitliche Ungleichheiten zwischen sozioökonomischen Gruppen. |
| 4 | Objectives | D;E | Geben Sie an, ob die Studie ein Modell entwickelt, ein Modell validiert oder beides. |
| 5a, 5b | Datum | D;E | Datenquellen für Entwicklungs- und Evaluierungsdaten getrennt, Gründe für deren Auswahl, Repräsentativität der Daten sowie Beginn und Ende der Teilnehmerrekrutierung. |
| 6a bis 6c | Teilnehmer | D;E | Einrichtung, Anzahl und Lage der Zentren, Zulassungskriterien sowie alle erhaltenen Behandlungen und deren Durchführung. |
| 7 | Datenaufbereitung | D;E | Vorverarbeitung und Qualitätskontrollen, einschließlich der Prüfung, ob die Daten über verschiedene sozio-demografische Gruppen hinweg vergleichbar waren. |
| 8a bis 8c | Ergebnis | D;E | Genaue Definition des Ergebnisses und des Zeithorizonts, Art und Zeitpunkt der Bewertung, wer die Bewertung vorgenommen hat, falls eine Beurteilung erforderlich war, und etwaige Verblindung. |
| 9a bis 9c | Prädiktoren | D (9a), D;E (9b, 9c) | Wie die ersten Prädiktoren ausgewählt wurden, genaue Definitionen und Zeitpunkte der einzelnen Prädiktoren sowie wer die zu beurteilenden Werte gemessen hat. |
| 10 | Stichprobenumfang | D;E | Wie die Studiengröße ermittelt wurde, einschließlich der Berechnung für Entwicklung und Evaluation. |
| 11 | Fehlende Daten | D;E | Wie mit fehlenden Daten umgegangen wurde und warum Daten ausgelassen wurden. |
| 12a bis 12g | analytische Methoden | D, E oder beides nach Unterpunkt | Datenpartitionierung, Umgang mit Prädiktoren, Modelltyp und -optimierung, Heterogenität zwischen Clustern, Leistungsmaße, Modellaktualisierung und Berechnung der Vorhersagen bei der Evaluierung. |
| 13 | Klasse Ungleichgewicht | D;E | Falls Methoden zur Kompensation von Ungleichgewichten eingesetzt wurden, warum und wie, und wie wurden die Vorhersagen anschließend neu kalibriert? |
| 14 | Fairness | D;E | Jeglicher Ansatz zur Gewährleistung der Modellfairness und dessen Begründung. |
| 15 | Modellausgabe | D | Die Form des Ergebnisses (Wahrscheinlichkeit oder Klasse) und wie etwaige Schwellenwerte festgelegt wurden. |
| 16 | Training versus Evaluation | D;E | Unterschiede zwischen Entwicklungs- und Evaluationsdaten hinsichtlich Setting, Teilnahmeberechtigung, Ergebnis und Prädiktoren. |
| 17 | Ethische Genehmigung | D;E | Der genehmigende Ausschuss und die Einverständniserklärung oder der Verzicht. |
| 18a bis 18f | Offene Wissenschaft | D;E | Finanzierung und Rolle des Geldgebers, Interessenkonflikte, Protokollzugang, Registrierung, Datenverfügbarkeit und Codeverfügbarkeit. |
| 19 | Patienten- und Öffentlichkeitsbeteiligung | D;E | Welche Beteiligung fand statt, oder gab es eine Erklärung, dass keine stattfand? |
| 20a bis 20c | Teilnehmer (Ergebnisse) | D;E (20c ist nur E) | Teilnehmerfluss mit Ergebniszählungen, Merkmalen nach Datenquelle und zum Zweck der Auswertung ein Vergleich mit den Entwicklungsdaten. |
| 21 | Modellentwicklung | D;E | Anzahl der Teilnehmer und der Ergebnisse in jeder Analyse. |
| 22 | Modellspezifikation | D | Vollständige Modelldetails, damit Dritte Vorhersagen treffen und das Modell bewerten können, gegebenenfalls unter Berücksichtigung von Zugriffsbeschränkungen. |
| 23a, 23b | Modellleistung | D;E | Leistungsschätzungen mit Konfidenzintervallen, einschließlich wichtiger Untergruppen und, falls untersucht, Heterogenität zwischen Clustern. |
| 24 | Modellaktualisierung | E | Ergebnisse jeglicher Aktualisierungen, wie z. B. Neukalibrierungen, und die anschließende Leistung. |
| 25 | Dolmetschen | D;E | Gesamtinterpretation der Hauptergebnisse, einschließlich der Fairness. |
| 26 | Einschränkungen | D;E | Einschränkungen wie beispielsweise eine nicht repräsentative Stichprobe, Stichprobengröße, Überanpassung und fehlende Daten sowie deren Auswirkungen auf Verzerrungen und Generalisierbarkeit. |
| 27a bis 27c | Anwendbarkeit in der aktuellen Pflege | D (27a, 27b), D;E (27c) | Umgang mit mangelhaften oder nicht verfügbaren Eingaben, die erforderliche Benutzerinteraktion und Expertise sowie die nächsten Schritte für die Forschung. |
Entwicklung, Bewertung oder beides? Welche Posten schulden Sie?
Die Checkliste umfasst 52 Zeilen, wobei alle mit Buchstaben gekennzeichneten Einträge gezählt werden. Vierzig Zeilen gelten sowohl für Entwicklungs- als auch für Evaluationsstudien, acht nur für Entwicklungsstudien und vier nur für Evaluationsstudien. Die Zeilen für Entwicklungsstudien lauten 9a, 12a, 12b, 12c, 15, 22, 27a und 27b. Die Zeilen für Evaluationsstudien lauten 12f, 12g, 20c und 24.
Diese Aufteilung beeinflusst die einzureichenden Unterlagen. Ein Team, das ein Modell entwickelt und es an einer separaten Stichprobe sowie an einem externen Datensatz testet, muss die gesamte Liste einreichen. Ein Team, das lediglich ein bereits veröffentlichtes Modell testet, muss die Auswertungszeilen einreichen und beschreiben, wie es die Vorhersagen dieses Modells berechnet hat (12g) und wie sich seine Daten von den ursprünglichen Entwicklungsdaten unterscheiden (20c, 16). Wird 12g ausgelassen, ist für die Leser nicht ersichtlich, ob die ursprüngliche Gleichung oder eine angepasste Version getestet wurde.
Dieselbe Logik ist auch bei der Planung der Analyse hilfreich. Falls Sie erwarten, dass ein Gutachter nach einer Entscheidungskurve fragt, integrieren Sie diese von Anfang an und berichten Sie darüber gemäß Abschnitt 12e. Unsere kurze Erläuterung zur Entscheidungskurvenanalyse zeigt den zusätzlichen Nutzen über die reine Diskriminierung hinaus, und unser Leitfaden zu ROC-Kurven und prädiktiven Werten behandelt die Diskriminierungsseite.
Drei Gruppen neuer Artikel, die Autoren überraschen
Die Autoren von TRIPOD+AI geben an, dass die Version von 2015 mehrere Entwicklungen nicht berücksichtigte, darunter Fairness, Open-Science-Praktiken sowie die Einbeziehung von Patienten und der Öffentlichkeit.¹ Diese drei Bereiche entsprechen den Punkten 14, 18 und 19, und die Checkliste von 2015 bot den Autoren keine Hinweise zu diesen Punkten, sodass leicht Lücken entstehen können.
Fairness (Punkte 3c, 7, 8a, 14, 23a und 25)
Fairness zieht sich durch sechs Punkte, nicht nur durch einen. Sie werden gebeten, bekannte gesundheitliche Ungleichheiten zu beschreiben (3c), anzugeben, ob die Datenaufbereitung und Ergebnisbewertung über alle soziodemografischen Gruppen hinweg einheitlich waren (7, 8a), etwaige Fairness-Ansätze zu beschreiben (14), die Ergebnisse für wichtige Untergruppen zu berichten (23a) und die Fairness bei der Interpretation zu erörtern (25). Falls Ihre Daten keine Aufschlüsselung nach ethnischer Zugehörigkeit, Geschlecht oder Alter enthalten, geben Sie dies bitte an und erläutern Sie, welche Auswirkungen dies auf die Gruppen hat, über die Sie sprechen können bzw. nicht sprechen können.
Open Science (Punkte 18a bis 18f)
Punkt 18 fasst sechs zuvor verstreute Angaben zusammen. Eine Protokollerklärung, eine Registrierungserklärung, eine Erklärung zur Datenverfügbarkeit und eine Erklärung zur Codeverfügbarkeit erfordern jeweils eine Antwort, selbst wenn diese lautet, dass kein Protokoll erstellt oder die Studie nicht registriert wurde. Die Checkliste akzeptiert eine negative Antwort. Schweigen wird nicht toleriert.
Patienten- und Öffentlichkeitsbeteiligung (Punkt 19)
Punkt 19 fragt nach der Beteiligung während der Konzeption, Durchführung, Berichterstattung oder Verbreitung bzw. danach, ob keine Beteiligung stattfand. Im Leitfadenartikel ist vermerkt, dass dieser Punkt in der zweiten Delphi-Runde eine Zustimmung von 69 % erreichte, knapp unter der Schwelle von 70 %, und dass die Steuerungsgruppe ihn für die Konsenssitzung beibehielt. 1 Behandeln Sie ihn als echte Anforderung. Ein Satz genügt, wenn keine Beteiligung stattfand.
Durchgearbeitetes Beispiel: Anwendung der TRIPOD+AI-Checkliste auf ein reales Open-Access-Modell
Um die Anwendung der Checkliste zu veranschaulichen, haben wir eine veröffentlichte Studie ausgewertet. Lei et al. entwickelten ein Stacking-Ensemble zur Vorhersage von Sepsis-assoziierter Leberschädigung (SALI) bei Intensivpatienten. Sie nutzten MIMIC-IV für das Training und die interne Validierung sowie eICU-CRD für die externe Validierung. Die Studie wurde 2025 im Journal of Medical Internet Research unter einer CC-BY-4.0-Lizenz veröffentlicht, weshalb wir sie zitieren dürfen. Sie gibt an, dass sie dem TRIPOD+AI-Ansatz folgte und stellt die vollständige Checkliste bereit.²
Wir haben diese Aufgabe aus praktischen Gründen gewählt. Die Autoren haben vieles richtig gemacht, daher zeigt die Übung, wie eine überzeugende Einreichung aussieht, und die wenigen verbleibenden Fragen sind typisch für einen sorgfältigen Gutachter. Wir haben den Volltext gelesen. Wo eine Beurteilung auf Ermessen beruht, steht in der Zeile „Ermessensentscheidung“. Die Zitate sind kurz und wörtlich aus dem frei zugänglichen Volltext übernommen.
Wie man die Urteile liest
„Gemeldet“ bedeutet, dass die Frage im Text beantwortet wird. „Teilweise gemeldet“ bedeutet, dass einige Elemente vorhanden sind, andere jedoch fehlen. „Nicht gefunden“ bedeutet, dass wir die Antwort im vollständigen Text und den lesbaren Anhängen nicht finden konnten. „Ermessensentscheidung“ bedeutet, dass ein unvoreingenommener Prüfer die Zeile unterschiedlich bewerten könnte; die Anmerkung erläutert die Gründe. Dies ist eine Interpretation des Textes durch Editverse und keine offizielle Bewertung von TRIPOD+AI.
Tabelle 2. TRIPOD+AI-Items bewertet anhand von Lei et al., J Med Internet Res 2025 (CC BY 4.0). Editverse-Lesung des Volltextes.
| Artikel | Wo man in der Zeitung suchen sollte | Was der Artikel berichtet | Urteil |
|---|---|---|---|
| 1 | Titel | Die Entwicklung und Validierung der Studie, die Population (Patienten mit Sepsis) und der Endpunkt (SALI) werden genannt. Der Titel endet mit „Entwicklungs- und Validierungsstudie basierend auf einer multizentrischen Kohortenstudie“. | Berichtet |
| 2 | Abstract | Staatliche Datenquellen, Ergebnisdefinition, Modelle, Metriken und AUC-Werte. Wir haben es nicht anhand der 13 Punkte des Abstracts bewertet. | Ermessensentscheidung |
| 3a | Einleitung, Absätze 1 bis 3 | Erläutert den klinischen Kontext und die Argumente für erklärbares maschinelles Lernen. Frühere SALI-Vorhersagemodelle werden in der Einleitung nicht erwähnt. | Teilweise berichtet |
| 3b | Einleitung, Schlussabsatz | Die Zielgruppe wird lediglich als „medizinisches Fachpersonal“ bezeichnet. Die Position im Behandlungspfad wird nicht beschrieben. | Ermessensentscheidung |
| 3c | Vollständiger Text | Keine Aussage zu gesundheitlichen Ungleichheiten zwischen sozioökonomischen Gruppen. | Nicht gefunden |
| 4 | Einleitung, Schlussparagraph und Zusammenfassung | Ziel ist die Entwicklung eines nachvollziehbaren Stapelungsmodells zur Vorhersage von SALI. Die Validierung wird im Methodenteil beschrieben. | Berichtet |
| 5a | Methoden, Datenquellen | MIMIC-IV für die Entwicklung und interne Validierung, eICU-CRD für die externe Validierung, jeweils separat beschrieben. | Berichtet |
| 5b | Methoden, Datenquellen | Es werden die Datenbankversionen und die Datenjahre (2008 bis 2019 für MIMIC-IV, 2014 bis 2015 für eICU-CRD) angegeben. Genaue Start- und Enddaten der Datenerfassung werden nicht genannt. | Teilweise berichtet |
| 6a | Methoden, Datenquellen | MIMIC-IV stammt von einem US-amerikanischen Krankenhaus. eICU-CRD wird als multizentrisches Projekt in den USA beschrieben. Die Anzahl der eICU-Zentren wird nicht angegeben. | Teilweise berichtet |
| 6b | Methoden, Teilnehmer | Es werden fünf Einschlusskriterien und drei Ausschlusskriterien aufgeführt. | Berichtet |
| 6c | Methoden, Prädiktoren | Nierenersatztherapie, Beatmung und Vasopressoren werden als Prädiktoren einbezogen. Wie die spätere Behandlung im Verhältnis zum Vorhersagezeitpunkt erfolgte, wird nicht angegeben. | Ermessensentscheidung |
| 7 | Methoden, Datenaufbereitung | Bereinigung, Imputation, Normalisierung und Dummy-Codierung werden beschrieben. Es wird kein Vergleich über soziodemografische Gruppen hinweg berichtet. | Teilweise berichtet |
| 8a | Methoden, Ergebnis | SALI ist definiert durch einen INR-Wert über 1.5 und einen Gesamtbilirubinwert über 2 innerhalb eines festgelegten Zeitraums. Die Begründung lautet: „Da es keinen Goldstandard für die Diagnose von SALI gibt, haben wir die Diagnose anhand von Kriterien aus früheren Studien definiert.“ | Berichtet |
| 8b, 8c | Methoden, Ergebnis | Das Ergebnis basiert auf Laborwerten, daher sind subjektive Beurteilungen und eine Verblindung möglicherweise nicht anwendbar. Im Text wird dies jedoch nicht erwähnt. | Ermessensentscheidung |
| 9a | Methoden, Ergebnisse und Resultate, Teilnehmer | Ein anfänglicher Variablenpool wurde durch Fachwissen und einen datengesteuerten Schritt auf 42 Variablen reduziert, und hochkorrelierte kontinuierliche Variablen wurden aussortiert. | Berichtet |
| 9b | Methoden, Prädiktoren und Ergebnisse | Die Laborparameter umfassen „Labordaten innerhalb der ersten 72 Stunden nach Aufnahme auf die Intensivstation“, während der Beobachtungszeitraum von 24 Stunden bis zu einer Woche reicht. Gesamtbilirubin und INR werden sowohl als Prädiktoren als auch in der Definition des Behandlungsergebnisses aufgeführt. Dies bedarf einer Erläuterung. | Ermessensentscheidung |
| 10 | Methoden, Stichprobengröße | Es wird eine Berechnungsmethode angegeben, die auf der Regel basiert, dass „die Modellentwicklung dem Prinzip von mindestens 10 Ereignissen pro Variable folgen muss“. Im nächsten Abschnitt wird erläutert, warum diese Methode überholt ist. | Berichtet |
| 11 | Methoden, fehlende Daten | Variablen mit einem Anteil von über 30 % fehlenden Werten wurden ausgeschlossen. Die multiple Imputation mit fünf imputierten Datensätzen und den Rubin-Regeln wird beschrieben. | Berichtet |
| 12a, 12b | Methoden, Datenaufbereitung | Eine 70/30-Aufteilung von MIMIC-IV mit eICU-CRD wurde für die externe Validierung und Standardisierung sowie die Dummy-Codierung zurückgehalten. | Berichtet |
| 12c | Methoden, Analysemethoden und Ergebnisse | Es werden neun Algorithmen und ein Stacking-Ensemble beschrieben. Im Methodenteil wird zunächst die logistische Regression als Metamodell genannt, später wurde Lasso als Metamodell ausgewählt. Die Optimierung wird im Methodenteil als Gittersuche und im Ergebnisteil als zufällige Gittersuche in Kombination mit Bayes'scher Optimierung beschrieben. | Ermessensentscheidung |
| 12d | Vollständiger Text | eICU-CRD fasst Daten vieler Krankenhäuser zusammen, beschreibt aber nicht, wie mit der Heterogenität zwischen den Krankenhäusern umgegangen wird. | Nicht gefunden |
| 12e | Methoden, Bewertung der Modellleistung | ROC-AUC, PR-AUC, Brier-Score, Kalibrierungsdiagramme und Entscheidungskurvenanalyse werden spezifiziert, jede mit ihrem jeweiligen Zweck. | Berichtet |
| 12f und 24 | Ergebnisse, Modellaktualisierung und Tabelle 2 | Tabelle 2 zeigt die beobachteten und erwarteten Ereignisse vor und nach der Kalibrierung. Ob dies im Sinne von TRIPOD+AI als Modellaktualisierung gilt, ist noch unklar. | Ermessensentscheidung |
| 12 g | Datenverfügbarkeit | Der Code befindet sich auf GitHub, wo die Vorhersagen reproduziert werden können. Im Text wird nicht erläutert, wie die Vorhersagen des gestapelten Modells für die Evaluierung berechnet wurden. | Ermessensentscheidung |
| 13 | Methoden, Diskriminierung | Die Autoren geben an, dass PR-AUC „besonders wertvoll ist, wenn die Klassen unausgewogen sind, wie es bei der SALI-Vorhersage der Fall ist“. Es wird in keinem Fall eine Resampling-Aussage gemacht. | Ermessensentscheidung |
| 14 | Vollständiger Text | Es wird kein Fairnessansatz beschrieben. | Nicht gefunden |
| 15 | Methoden, klinischer Nutzen | Die Entscheidungskurven decken einen Bereich von Schwellenwerten ab. Es wird nicht erläutert, wie ein einzelner Betriebsschwellenwert ausgewählt wurde. | Teilweise berichtet |
| 16 | Ergebnisse, Stärken und Schwächen | Die Ereignisraten unterscheiden sich zwischen den Entwicklungsdaten und den externen Daten, und die Autoren führen die niedrigere externe AUC auf die Variabilität zwischen den Krankenhäusern zurück. | Teilweise berichtet |
| 17 | Methoden, ethische Überlegungen | Zitiert das Ethikprotokoll des MIT für MIMIC-IV und erklärt, warum auf die Einwilligung verzichtet wurde. | Berichtet |
| 18a | Anerkennungen | Drei Förderprojekte werden genannt. Die Rolle der Förderer wird nicht beschrieben. | Teilweise berichtet |
| 18b | Endmaterial | Angaben zu Interessenkonflikten: Keine angegeben. | Berichtet |
| 18c, 18d | Vollständiger Text | Kein Protokoll oder Registrierungsantrag. | Nicht gefunden |
| 18e, 18f | Datenverfügbarkeit | Es heißt darin: „Alle Zwischenergebnisse können auf angemessene Anfrage von den Autoren bezogen werden, und der zugehörige Code ist auf GitHub verfügbar.“ | Berichtet |
| 19 | Vollständiger Text | Keine Stellungnahme zur Einbeziehung von Patienten und Öffentlichkeit. | Nicht gefunden |
| 20a, 20b, 20c | Abbildung 1, Stichprobengröße, und Tabelle 1 | Ein Flussdiagramm mit Ausschlusszahlen, eine Basistabelle mit Trainings-, internen und externen Datensätzen sowie Ereigniszahlen für jeden Datensatz. | Berichtet |
| 21 | Methoden, Stichprobengröße und Ergebnisse, Teilnehmer | Die Anzahl und die prozentualen Anteile der Ereignisse unterscheiden sich zwischen den Abschnitten (siehe unten), und die externe Patientenzahl wird in den Methoden und in Tabelle 1 mit 4236 angegeben, in einem Satz der Ergebnisse jedoch mit 4358. | Ermessensentscheidung |
| 22 | Methoden, Analysemethoden und GitHub | Die Stapelstruktur wird beschrieben. Die angepassten Metamodellkoeffizienten werden im Text nicht angegeben, daher ist ein Drittanbieter vom Repository abhängig. | Teilweise berichtet |
| 23a | Ergebnisse | Die AUC-Werte werden als Punktschätzungen wie 0.8401 und 0.7077 angegeben. Wir haben keine Konfidenzintervalle gefunden. | Nicht gefunden |
| 23b | Vollständiger Text | Keine Leistungsbewertung durch Krankenhausverbünde. | Nicht gefunden |
| 25 | Diskussion, Hauptergebnisse | Die Hauptergebnisse werden im Lichte der klinischen Literatur interpretiert. Die Frage der Fairness wird nicht diskutiert. | Teilweise berichtet |
| 26 | Diskussion, Stärken und Schwächen | Nennt das retrospektive Studiendesign, die geringere externe Leistungsfähigkeit, die laborbasierte Ergebnisdefinition, die ausschließliche Verwendung von US-Daten und das Fehlen dynamischer Variablen, einschließlich der Tatsache, dass „die Definition von SALI auf der Grundlage von Laborschwellenwerten anstatt einer histologischen Bestätigung möglicherweise zu einer Fehlklassifizierung subklinischer Leberschäden geführt hat“. | Berichtet |
| 27a, 27b | Vollständiger Text | Es gibt keine Hinweise zu mangelhaften oder fehlenden Eingaben bei der Implementierung oder zu den erforderlichen Benutzerkenntnissen. | Nicht gefunden |
| 27c | Diskussion, Stärken und Schwächen | Zukünftige Arbeiten und Echtzeit-Datenströme werden vorgeschlagen. | Berichtet |
In den 43 gruppierten Zeilen wurden 16 als „Gemeldet“, 9 als „Teilweise gemeldet“, 10 als „Ermessensfrage“ und 8 als „Nicht gefunden“ bewertet. Die „Nicht gefundenen“ Zeilen konzentrieren sich genau auf die Bereiche, die durch das Update von 2024 ergänzt oder präzisiert wurden: Fairness, Protokoll und Registrierung, Bürgerbeteiligung, Leistung von Untergruppen und Einsatzleitfaden. Die Modellbeschreibung im Dokument ist umfassend, die Lücken betreffen die neueren Punkte.
Was das kommentierte Beispiel lehrt
Eine Faustregel ist keine Berechnung der Stichprobengröße.
Das Beispiel begründet seine Stichprobe mit der Regel von zehn Ereignissen pro Variable. Laut den eigenen Zahlen ergeben 428 Trainingsereignisse über 42 Prädiktoren 10.2 Ereignisse pro Prädiktor, womit die Regel knapp erfüllt wird. TRIPOD+AI-Punkt 10 fordert Sie auf, die Berechnung des Stichprobenumfangs zu erläutern. Im Hintergrund der Leitlinie werden neuere Methoden zur Bestimmung des Stichprobenumfangs für die Entwicklung und Bewertung von Modellen erwähnt.<sup> 1</sup> Eine dieser Methoden, von Riley et al. im BMJ, ersetzt die einfache Regel durch Kriterien, die von der Anzahl der Kandidatenparameter, dem Anteil der Ergebnisse und der erwarteten Modellgüte abhängen.<sup> 4</sup> Wenn Ihr Modell flexibles maschinelles Lernen verwendet, ist die Anzahl der Parameter größer als die Anzahl der Prädiktoren, wodurch die Zehn-Ereignisse-Regel weniger aussagekräftig ist. Geben Sie die verwendete Berechnung an und begründen Sie, warum sie zu Ihrem Modelltyp passt.
Die Zahlen müssen in allen Abschnitten übereinstimmen.
Punkt 21 erfragt die Teilnehmer und Ereignisse jeder Analyse. Im Beispiel werden im Methodenteil zur Stichprobengröße 428 Trainingsereignisse (10.10 %) und 165 interne Validierungsereignisse (3.90 %) angegeben. Im Ergebnisteil werden dieselben Werte mit 6.92 % bzw. 6.22 % genannt. Die Berechnung bestätigt diese Zahlen, da 428 von 6183 6.92 % und 165 von 2651 6.22 % entsprechen. Der externe Datensatz umfasst laut Methodenteil und Tabelle 1 4236 Patienten, wobei 648 von 4236 15.30 % entsprechen. Im Ergebnisteil wird jedoch 4358 angegeben. Dies ändert nichts an den Ergebnissen. Es handelt sich um eine Diskrepanz, die ein Gutachter schnell erkennen kann und die durch eine interne Konsistenzprüfung vor der Einreichung behoben wird.
Erkläre, wozu eine Methode dient, und sage es einmal.
Punkt 12c fragt nach dem Modelltyp, allen Schritten der Modellerstellung und der Optimierung. Wenn die Optimierung in den Methoden und den Ergebnissen unterschiedlich beschrieben oder zwei verschiedene Metamodelle genannt werden, kann der Leser nicht erkennen, welche Beschreibung zutrifft. Schreiben Sie den Absatz zur Modellerstellung einmalig in die Methoden und lassen Sie die Ergebnisse darauf verweisen.
Der Zeitpunkt der Prädiktoren ist kein Detail
Punkt 9b fragt, wie und wann die einzelnen Prädiktoren gemessen wurden. Ein Vorhersagemodell ist nur dann sinnvoll, wenn seine Eingangsdaten vor dem Eintreten des Ergebnisses vorliegen. Wenn sich die Zeiträume für die Vorhersage und das Ergebnis überschneiden oder ein Prädiktor Teil der Ergebnisdefinition ist, benötigt der Leser einen expliziten Satz, der den Vorhersagezeitpunkt erläutert. Dies ist eine Frage zur Verständlichkeit und kein Vorwurf; die Behebung ist kostengünstig.
Konfidenzintervalle werden erwartet, sie sind nicht optional.
Punkt 23a fragt nach Leistungsschätzungen mit Konfidenzintervallen. Ein einzelner AUC-Wert aus einem Validierungsdatensatz von einigen Tausend Patienten ist mit Unsicherheiten behaftet, und der externe AUC-Wert im Beispiel ist der Wert, dem der Leser am ehesten vertrauen möchte. Bootstrap-Intervalle lassen sich kostengünstig hinzufügen. Eine Auffrischung zum Aufbau und zur Berichterstattung regressionsbasierter Modelle finden Sie in unserer Übersicht zu Regressionsmodellen in der medizinischen Forschung.
So füllen Sie die TRIPOD+AI-Checkliste vor dem Absenden aus
Die Richtlinie empfiehlt, dass Autoren eine ausgefüllte Checkliste einreichen, die auf die Seite oder Zeile verweist, auf der sich jeder Punkt befindet.<sup> 1</sup> Die folgende Vorgehensweise eignet sich für ein fertiges Manuskript.
- Laden Sie die ausfüllbare Checkliste herunter von der TRIPOD-Website und behalten Sie das Versionsdatum im Dateinamen bei.
- Entscheide dich für D, E oder beides Streichen Sie anschließend die Zeilen, die nicht zutreffen, und geben Sie gegebenenfalls eine Begründung an, falls dies nicht offensichtlich ist.
- Füllen Sie jede Zeile mit einem Standort aus.unter Verwendung der Seiten- und Zeilennummern aus der Einreichungsdatei, nicht nur der Abschnittsnamen.
- Schreibe die negativen Antworten auf Für die Punkte 18c, 18d, 19 und 3c ist eine Erklärung erforderlich, dass kein Protokoll erstellt wurde. Diese Erklärung genügt.
- Führe einen Konsistenztest durch Vergleich aller Zählungen, Prozentsätze und Modellbeschreibungen in Abstract, Methoden, Ergebnissen, Tabellen und Abbildungen.
- Füge Konfidenzintervalle hinzu. auf jede einzelne Leistungsschätzung und auf die wichtigsten Untergruppenschätzungen.
- Siehe die Zusammenfassung. im Vergleich zur 13-teiligen Liste TRIPOD+AI für Abstracts.
- Lesen Sie die Anweisungen der Zeitschrift.Da einige die Checkliste als Ergänzung und andere als Teil des Einreichungsformulars anfordern.
Auch auf Routinedaten basierende Vorhersagemodelle benötigen einen soliden Datenaufbereitungsplan. Unsere Anleitung zur Aufbereitung von Patientenwiederaufnahmendaten für die prädiktive Modellierung zeigt die Schritte, die die Punkte 7 und 11 speisen. Unser Leitfaden zum Einsatz von maschinellem Lernen in der Forschung hilft Ihnen zu entscheiden, ob ein flexibles Modell überhaupt gerechtfertigt ist. Weitere Informationen zu klinischen Anwendungen finden Sie unter „KI in der Gesundheitsversorgung“.
Zukünftige Projekte sollten das Protokoll zuerst verfassen, da in Punkt 18c nach dessen Fundort gefragt wird. Unser Leitfaden zur Entwicklung von Studienprotokollen bietet eine anpassbare Struktur, und Studierende können mithilfe des Leitfadens für die Berichterstattung medizinischer Dissertationen ihre Kapitel den passenden Berichtsrichtlinien zuordnen.
Nach der Einreichung können Gutachter Ihr Modell mit PROBAST+AI bewerten. Dieses Tool beurteilt die Qualität, das Verzerrungsrisiko und die Anwendbarkeit von Vorhersagemodellen.<sup> 3 </sup> Die Nutzung dieses Tools vor dem Schreiben ist eine kostengünstige Möglichkeit, Ihre Arbeit kritisch zu prüfen. Die Richtlinien und Checklisten finden Sie auf der TRIPOD-Website und der TRIPOD-Seite des EQUATOR-Netzwerks.
Kostenlose Recherchetools von Editverse
- GraphProErstellen Sie publikationsreife Diagramme (25 Typen) mit integrierten t-Tests, ANOVA, Korrelations- und Chi-Quadrat-p-Werten. Kostenlos, keine Anmeldung erforderlich.
- StatProKostenlose Statistikrechner und ein Testauswahltool für Gruppenvergleiche, kategoriale Ergebnisse, Zeit-bis-Ereignis-Analysen und diagnostische Genauigkeit.
- Flowchart Pro: Generieren Sie PRISMA 2020-, PRISMA-ScR-, CONSORT-, STROBE-, STARD-, MOOSE- und ARRIVE-Flussdiagramme direkt in Ihrem Browser.
Professioneller Support für TRIPOD+AI Reporting
Das Schreiben anhand einer 27-Punkte-Checkliste wird einfacher, wenn die Analyse und das Manuskript von Anfang an darauf abgestimmt sind. Zwei Editverse-Dienste decken genau die Punkte ab, die Autoren am meisten Zeit kosten. Der erste Dienst umfasst Modellbildung und -interpretation mit dokumentiertem Code für Projekte, die auf offenen Daten basieren und die Punkte 12c, 12g und 18f abdecken. Der zweite Dienst beinhaltet die inhaltliche Bearbeitung und sprachliche Überarbeitung des Manuskripts. Die Unterstützung von Editverse beim Lektorieren und Schreiben entspricht den Richtlinien von COPE, ICMJE und GPP 2022 sowie den Ethikrichtlinien Ihrer Institution und Ihres Landes.
Analyse des maschinellen Lernens
$1,700
Erweiterte maschinelle Lernanalyse öffentlicher Daten mit Multi-Source-Konstruktion, erweitertem Algorithmenvergleich, SHAP und R/Python-Code. 4 Wochen.
Erweiterte Bearbeitung
$550
Inhaltliches Lektorat, sprachliche Überarbeitung (wissenschaftliche Formulierungen), Bearbeitung nach APA-, AMA- oder Vancouver-Richtlinien sowie Überprüfung des Literaturverzeichnisses. 7–10 Werktage, eine kostenlose Korrekturrunde.
Wenn Sie für Ihr Projekt eher Statistiken als maschinelles Lernen benötigen, umfasst unser Service für statistische Analysen die Testauswahl, formatierte Ausgabe und eine Ergebnisdarstellung.
Fazit
Die TRIPOD+AI-Checkliste umfasst 27 Punkte, verteilt auf 52 Zeilen. Besonders wichtig sind dabei diejenigen, die in der Version von 2015 nicht abgefragt wurden. Unser Beispiel verdeutlicht dies. Eine wissenschaftliche Arbeit kann ihre Modellierung detailliert beschreiben und dennoch Konfidenzintervalle, ein Protokoll, Hinweise zur Fairness und zur Implementierung auslassen. Nutzen Sie die Checkliste bereits bei der Planung Ihrer Analyse, ordnen Sie jeder Zeile beim Verfassen des Manuskripts einen Kontext zu und prüfen Sie die Konsistenz vor der Einreichung. Ein Gutachter, der alle Punkte innerhalb weniger Minuten findet, konzentriert sich in der Begutachtung auf Ihre wissenschaftliche Arbeit.
Häufig gestellte Fragen
Ersetzt TRIPOD+AI TRIPOD 2015?
Ja. Die Autoren von TRIPOD+AI geben an, dass die neue Checkliste die Checkliste von 2015 ersetzt, die nicht mehr verwendet werden sollte. Für alle neuen Einreichungen ist die Version von 2024 zu verwenden.
Wie viele Punkte umfasst die Checkliste TRIPOD+AI?
Die Checkliste umfasst 27 nummerierte Punkte. Mit den alphabetisch gekennzeichneten Unterpunkten ergeben sich 52 Zeilen. Vierzig Punkte gelten sowohl für Entwicklungs- als auch für Evaluationsstudien, acht nur für Entwicklungsstudien und vier nur für Evaluationsstudien. Eine separate Liste mit 13 Punkten behandelt Abstracts.
Benötige ich TRIPOD+AI, wenn ich logistische Regression und nicht maschinelles Lernen verwendet habe?
Ja. TRIPOD+AI umfasst Studien zu Vorhersagemodellen, die Regressions- oder maschinelle Lernverfahren verwenden, sodass auch ein logistisches Regressionsrisikomodell darunter fällt.
Ist TRIPOD+AI dasselbe wie PROBAST+AI?
Nein. TRIPOD+AI ist eine Berichtsrichtlinie, die prüft, ob eine Publikation die durchgeführten Arbeiten beschreibt. PROBAST+AI ist ein Bewertungsinstrument, das das Risiko von Verzerrungen und die Anwendbarkeit beurteilt. Gutachter und systematische Gutachter verwenden beide, jedoch für unterschiedliche Zwecke.
Soll ich die ausgefüllte Checkliste zusammen mit meinem Manuskript einreichen?
Die Richtlinie empfiehlt die Einreichung einer ausgefüllten Checkliste, die die Seitenzahl bzw. Zeile angibt, in der jeder Punkt zu finden ist. Viele Fachzeitschriften fordern diese als Ergänzung an; bitte beachten Sie daher die Autorenrichtlinien.
Was ist, wenn ein Punkt für meine Studie nicht relevant ist?
Markieren Sie es als „nicht zutreffend“ und geben Sie eine kurze Begründung an, beispielsweise, dass das Ergebnis auf einem Laborwert beruht und keine subjektiven Beurteilungen beinhaltet. Eine Begründung ist besser als eine leere Zeile.
Wo finde ich die offizielle TRIPOD+AI-Checkliste?
Die offizielle, ausfüllbare Checkliste finden Sie auf der TRIPOD-Website, und der vollständige Leitfadenartikel ist im BMJ unter einer CC BY-Lizenz frei zugänglich.
Referenzen
- Collins GS, Moons KGM, Dhiman P, Riley RD, Beam AL, Van Calster B, et al. TRIPOD+AI-Statement: Aktualisierte Leitlinien für die Berichterstattung über klinische Vorhersagemodelle, die Regressions- oder maschinelle Lernverfahren verwenden. BMJ. 2024;385:e078378. doi:10.1136/bmj-2023-078378. PMID: 38626948. PubMed, PMC.
- Lei J, Zhai J, Zhang Y, Qi J, Sun C. Überwachte maschinelle Lernmodelle zur Vorhersage sepsisbedingter Leberschäden bei Patienten mit Sepsis: Entwicklung und Validierungsstudie basierend auf einer multizentrischen Kohortenstudie. J Med Internet Res. 2025;27:e66733. doi:10.2196/66733. PMID: 40418571. PMCID: PMC12149780. CC BY 4.0. PubMed, PMC.
- Moons KGM, Damen JAA, Kaul T, Hooft L, Andaur Navarro C, Dhiman P, et al. PROBAST+AI: ein aktualisiertes Werkzeug zur Bewertung von Qualität, Verzerrungsrisiko und Anwendbarkeit von Vorhersagemodellen mittels Regressions- oder KI-Methoden. BMJ. 2025;388:e082505. doi:10.1136/bmj-2024-082505. PMID: 40127903. PMC.
- Riley RD, Ensor J, Snell KIE, Harrell FE Jr, Martin GP, Reitsma JB, et al. Berechnung des erforderlichen Stichprobenumfangs für die Entwicklung eines klinischen Vorhersagemodells. BMJ. 2020;368:m441. doi:10.1136/bmj.m441. PMID: 32188600. PubMed.
