Fehlende physiologische Daten in NTDB und TQP: Inwieweit verzerrt die vollständige Fallanalyse tatsächlich die Traumamortalität?

Die vollständige Fallanalyse ist in der Traumaregisterforschung die gängige Praxis. Dabei werden Zeilen mit fehlenden GCS-Werten, Blutdruck- oder Atemfrequenzwerten entfernt, das Modell mit den verbleibenden Daten angepasst und das Ergebnis berichtet. Eine systematische Übersichtsarbeit aus dem Jahr 2018, die 539 Manuskripte aus Traumaregisterstudien umfasste, ergab, dass mehr als die Hälfte entweder die Datenvollständigkeit gar nicht erwähnte oder fehlende Daten zwar erwähnte, aber nicht erläuterte, wie damit umgegangen wurde. Dies bedeutet, dass die standardmäßige, undokumentierte vollständige Fallanalyse eher die Regel als die Ausnahme darstellt. Wir haben eine unabhängige Simulation entwickelt und diese mit zwei statistischen Modellen durchgeführt, um die tatsächlichen Kosten dieser Standardvorgehensweise genau zu beziffern.

Warum dieses Fehlen nicht zufällig ist

In der Notaufnahme fehlen häufig Glasgow Coma Scale (GCS), systolischer Blutdruck und Atemfrequenz, weil der Patient nicht vollständig untersucht werden konnte. Besonders schwer zu beurteilende Patienten sind überproportional häufig diejenigen, die intubiert, sediert oder in lebensbedrohlichem Zustand eingeliefert wurden. Eine Analyse von 2,520 Fällen aus dem Traumaregister des Bundesstaates Victoria bestätigte dieses Muster. Dabei zeigte sich, dass Atemfrequenz, GCS, ein Indikator für eine Intubation und der systolische Blutdruck den größten Anteil fehlender Messwerte aller Variablen aufwiesen, die für die standardmäßige Risikoadjustierung bei Traumata benötigt werden. Klinische Logik, nicht Zufall, bestimmte, bei welchen Patienten die Daten fehlten. Statistiker bezeichnen dies als nicht zufällig fehlende Werte, da die Wahrscheinlichkeit für das Fehlen eines Wertes vom Wert selbst abhängt. Niedrige GCS-Werte und instabile Vitalparameter werden genau in dem Maße aus der Dokumentation entfernt, wie schwere Verletzungen Sedierung und Intubation erforderlich machen. Die vollständige Fallanalyse geht stillschweigend vom Gegenteil aus.

Die Simulation

Wir erstellten eine synthetische Kohorte von 10,000 Traumapatienten pro Replikation. Diese Kohorte enthielt zwei teilweise korrelierte latente Schweregradkomponenten: eine, die den Schweregrad der anatomischen Verletzung und den hämodynamischen Status (ISS, systolischer Blutdruck, Atemfrequenz) beeinflusste, und eine weitere, die den neurologischen Status (GCS) abbildete. Dies entsprach der moderaten, nicht perfekten Korrelation zwischen anatomischen und neurologischen Verletzungen, die bei realen Polytrauma-Patienten beobachtet wird. Die tatsächliche Mortalität wurde mithilfe eines logistischen Modells berechnet, das Alter, Unfallmechanismus, ISS, GCS, systolischen Blutdruck und Atemfrequenz berücksichtigte. Fehlende Werte für GCS, systolischen Blutdruck und Atemfrequenz wurden, wie in der Literatur beschrieben, als Funktion des individuellen physiologischen Wertes des Patienten zuzüglich eines Intubationsindikators berücksichtigt. Dadurch ergaben sich realistische Werte von etwa 30 % für GCS, 24 % für systolischen Blutdruck und 16 % für Atemfrequenz. Diese Werte sind vergleichbar mit den in veröffentlichten Traumaregister-Audits für dieselben drei Variablen berichteten Anteilen fehlender Werte.

Anschließend wurden vier Analyseverfahren auf jede Replikation angewendet. Ein Oracle-Modell, das auf den tatsächlichen, vollständig beobachteten physiologischen Werten basierte, repräsentierte die Analyse, die ein Forscher durchführen würde, wenn keine Daten fehlten. Ein Complete-Case-Modell, bei dem alle Patienten mit fehlenden Werten in einer der drei Variablen ausgeschlossen wurden, spiegelte die gängige, aber nicht dokumentierte Praxis wider. Ein einfaches Modell mit einfacher Mittelwertimputation ersetzte jeden fehlenden Wert durch den Gesamtmittelwert der jeweiligen Variablen – eine in eingereichten Manuskripten immer noch anzutreffende Abkürzung. Schließlich wurde ein korrektes Modell mit multipler Imputation angewendet, das dem in der NTDB-spezifischen Literatur empfohlenen Ansatz folgte. Dabei wurde das Mortalitätsergebnis selbst in das Imputationsmodell einbezogen und die Ergebnisse der verschiedenen Imputationen nach Rubins Regeln zusammengeführt. Die gesamte Pipeline wurde unabhängig in Python und R unter Verwendung unterschiedlicher Imputationsimplementierungen (iterativer Imputator von scikit-learn im Vergleich zu dem von R) implementiert. mice package) und wurde 300 Mal in Python und 100 Mal in R wiederholt. Die Übereinstimmung zwischen den beiden Skripten hinsichtlich Richtung und ungefährer Größe jedes einzelnen Effekts bestätigt das Ergebnis, nicht etwa die Eigenheiten eines einzelnen Skripts.

Einen Fall finden: Die Analyse vollständiger Fälle halbiert annähernd die gemeldete Sterblichkeitsrate.

Die tatsächliche Mortalität in der simulierten Kohorte lag im Durchschnitt bei 5.50 % . Beschränkte man die Analyse auf Patienten mit vollständigen GCS-Werten, systolischem Blutdruck und Atemfrequenz – genau wie es eine undokumentierte Analyse vollständiger Fälle tut –, sank die beobachtete Mortalitätsrate auf 2.68 % , eine Reduktion um mehr als die Hälfte. Diese Diskrepanz ist auf einen mechanischen, nicht auf einen statistischen Prozess zurückzuführen. Der Ausschluss eines Patienten aus der Analyse aufgrund zu instabilen Zustands für eine vollständige physiologische Untersuchung entspricht exakt dem Ausschluss der Patienten mit dem höchsten Sterberisiko. Selbst ausgefeilte Modellierungsmethoden können eine Mortalitätsrate, die auf einer systematisch gesünderen Subgruppe als der tatsächlich behandelten basiert, nicht korrigieren. Eine Benchmark-Studie oder ein Qualitätsbericht, der eine rohe oder nur geringfügig angepasste Mortalitätsrate einer vollständigen Trauma-Kohorte angibt, berichtet daher – diesen Erkenntnissen zufolge – von einer Zahl, die die tatsächliche Mortalität deutlich unterschätzt und nicht nur eine geringfügige Abweichung darstellt.

Unser Ergebnis deckt sich mit den Erkenntnissen einer Monte-Carlo-Simulation, die auf Daten von 63,020 realen NTDB-Patienten aus 68 Krankenhäusern basierte und eine verwandte, aber dennoch eigenständige Fragestellung untersuchte: Beeinflusst die Wahl der Methode zum Umgang mit fehlenden Daten, welche Krankenhäuser hinsichtlich der beobachteten im Vergleich zur erwarteten Mortalität als Qualitätsausreißer eingestuft werden? In der früheren Studie wurde die Analysemethode variiert, während die zugrunde liegende Kohorte konstant gehalten wurde. Unsere Studie hingegen variiert den zugrunde liegenden Mechanismus zum Umgang mit fehlenden Daten selbst – synthetisch –, sodass der zu schätzende wahre Wert stets bekannt ist. Dies ermöglicht es, eine exakte Verzerrung und nicht nur eine Rangfolgeabweichung zwischen den Methoden anzugeben.

Zweiter Befund: Der adjustierte Effekt übersteht die Einschränkung auf vollständige Fälle besser als erwartet.

Der risikoadjustierte Effekt des Glasgow Coma Scale (GCS) auf die Mortalität, ausgedrückt als Log-Odds-Koeffizient des Modells, betrug im Oracle-Modell durchschnittlich -0.300 . Im Complete-Case-Modell, beschränkt auf die etwa Hälfte der Patienten, bei denen alle drei Variablen beobachtet wurden, lag der Koeffizient im Durchschnitt bei -0.301 . Dieser Wert liegt so nahe am Oracle-Wert, dass der Verlust eher durch eine geringere Präzision aufgrund einer kleineren, homogeneren Stichprobe als durch eine systematische Verzerrung erklärt werden kann. Hinter diesem Ergebnis verbirgt sich eine spezifische, nützliche Asymmetrie. Der Schaden durch die Complete-Case-Analyse konzentriert sich in diesem Kontext auf die Randgröße, die berichtete Mortalitätsrate und den Fallmix, und nicht auf den bedingten, risikoadjustierten Koeffizienten, den die meisten Trauma-Studien als Hauptergebnis präsentieren. Die adjustierte Odds Ratio einer Studie für den GCS kann annähernd korrekt sein, selbst wenn die angegebene Kohortenmortalitätsrate deutlich zu niedrig ist. Genau diese Art von selektiver Verzerrung übersieht ein Gutachter, der lediglich die Hauptstatistik des Abstracts betrachtet.

Ergebnis drei: Naive Mittelwertimputation schwächt den adjustierten Effekt ab, den die vollständige Fallanalyse erhält.

Das Ersetzen fehlender Werte für GCS, systolischen Blutdruck und Atemfrequenz durch den jeweiligen Mittelwert – eine vereinfachte Methode, die zumindest alle Patienten in die Analyse einbezieht – ergab einen GCS-Koeffizienten von durchschnittlich -0.165 , was einer Abschwächung um etwa die Hälfte gegenüber dem Sollwert entspricht. Dies lässt sich durch einen direkten, nicht subtilen Mechanismus erklären. Das Ersetzen aller fehlenden GCS-Werte durch denselben konstanten Wert zerstört genau die Variation des GCS, die die Regression benötigt, um ihren Effekt auf die Mortalität zu schätzen. Dies trifft insbesondere die Patienten mit den extremsten tatsächlichen GCS-Werten, da bei ihnen die Wahrscheinlichkeit für fehlende Werte am höchsten ist. Die Mittelwertimputation tauscht die Verzerrung der Mortalitätsrate bei der vollständigen Fallanalyse gegen eine andere, in dieser Simulation größere Verzerrung des adjustierten Effekts, den die Studie eigentlich schätzen soll.

Vier Ergebnisse: Multiple Imputation unter Einbeziehung des Ergebnisses gleicht den größten Teil des Verlusts aus.

Die multiple Imputation, bei der die Mortalität in das Imputationsmodell einbezogen und die Ergebnisse nach Rubins Regeln über alle Imputationen gepoolt wurden, ergab einen GCS-Koeffizienten von durchschnittlich -0.263 . Dadurch konnte der Großteil der Lücke geschlossen werden, die die einfache Mittelwertimputation hinterlassen hatte. Gleichzeitig wurden alle Patienten in die Berechnung der Mortalitätsrate einbezogen, anstatt wie bei der vollständigen Fallanalyse die schwerstkranken Patienten auszuschließen. Diese Vorgehensweise – die multiple Imputation unter Einbeziehung des Ergebnisses – wird in der methodischen Literatur zum NTDB seit mindestens 2009 empfohlen. Die hier durchgeführte Simulation reproduziert die Gültigkeit dieser Empfehlung unabhängig von einzelnen Datensätzen, indem sie vollständig synthetische Daten verwendet, die speziell zur Isolierung des Mechanismus und nicht der Besonderheiten eines realen Registers erstellt wurden.

Anwendung auf Ihren eigenen Registry-Auszug

Vier Prüfungen übertragen diese Simulation in die Praxis anhand einer realen Teilnehmerdatei. Die Ausfallrate für GCS, systolischen Blutdruck und Atemfrequenz wird separat quantifiziert, anstatt eine kombinierte Vollständigkeitsrate anzugeben, die die ursächliche Variable verschleiert. Es wird geprüft, ob der Ausfall jeder Variable mit anderen, vollständig erfassten Schweregradindikatoren (Intubation, Hubschraubertransport, ISS) korreliert, da eine klare Korrelation ein praktisches Indiz für den informativen Ausfall ist, den diese Simulation modelliert. Es wird eine multiple Imputation durchgeführt, bei der die Mortalität und alle anderen in der Studie berichteten Ergebnisse als Prädiktoren in das Imputationsmodell einbezogen werden. Ergebnisse dürfen nicht aufgrund der Annahme, sie gehörten nur in die Analysephase, unberücksichtigt bleiben. Das Ergebnis der vollständigen Datensätze wird zusammen mit dem Ergebnis der multiplen Imputation berichtet, nicht anstelle dessen, damit der Gutachter die Korrektur direkt nachvollziehen kann.

Kostenlose Tools für diese Art von Überprüfung

• Sechs Techniken zur Bereinigung klinischer Registerdatenfür die Prüfung fehlender Daten, die jeder Imputationsentscheidung vorausgehen sollte.
• STROBE-Meldecheckliste – Tutorial, wie ein Datenfluss bei fehlenden Daten im Manuskript selbst dokumentiert werden sollte
• Erklärung der NTDB- und TQP-Datenbanken, für die umfassenderen Designfragen, die über fehlende Aspekte hinausgehen und die eine TQP-Studie behandeln muss.

Was dies für ein Manuskript bedeutet

Drei praktische Schlussfolgerungen ergeben sich unmittelbar. Eine angegebene Mortalitätsrate oder Letalitätsrate aus einer Traumaregister-Kohorte erfordert eine genaue Prüfung der Berechnung des Nenners, da eine Beschränkung auf vollständige Fälle die berichtete Rate plausiblerweise halbieren kann, ohne dass eine Fehlermeldung oder ein offensichtlicher Warnhinweis im Ergebnis erscheint. Eine adjustierte Odds Ratio für eine physiologische Kovariate ist im Vergleich zur Rohrate deutlich robuster gegenüber der Behandlung vollständiger Fälle, obwohl eine reduzierte Stichprobengröße dennoch die Präzision beeinträchtigt und die Konfidenzintervalle erweitert. Von den beiden gängigen Abkürzungen – dem Weglassen unvollständiger Fälle oder dem Auffüllen von Lücken mit dem Stichprobenmittelwert – ist die multiple Imputation unter Einbeziehung der Ergebnisvariablen beiden überlegen. Genau diese Vorgehensweise wendet Editverse in seiner Methodik für die NTDB- und TQP-Traumaregisterstudie bei jedem Projekt an.

Zusammenfassung der Ergebnisse aus 300 Python- und 100 R-Replikaten

Nur die vollständige Fallanalyse verändert die berichtete Mortalitätsrate, da sie als einzige Methode die analysierten Patienten verändert, anstatt fehlende Daten zu ergänzen. Lediglich die beiden imputationsbasierten Methoden beziehen die gesamte Kohorte in die Mortalitätsberechnung ein, und von diesen beiden schützt die ergebnisintegrierende multiple Imputation auch die risikoadjustierte Effektstärke.

Grenzen dieser Simulation

Dies ist eine synthetische Illustration, die einen Mechanismus klar isolieren soll, keine Reanalyse realer TQP-Daten, da Editverse keine TQP-Teilnehmervereinbarung besitzt und die Datensätze nicht im Auftrag eines Kunden beschafft. Die Ausfallraten, die Korrelationsstruktur und das Mortalitätsmodell wurden anhand der zitierten Fachliteratur in einem realistischen Bereich gewählt und nicht an ein bestimmtes Registerjahr angepasst. Ein Kundenauftrag basiert auf dem Datenauszug des Kunden, charakterisiert dessen tatsächliches Ausfallmuster direkt und berichtet über eine Sensitivitätsanalyse mit vollständigen Datensätzen zusammen mit dem primären Ergebnis der multiplen Imputation, genau wie in unserer NTDB- und TQP-Erklärung beschrieben.

Professional Services

Editverse erstellt NTDB- und TQP-Trauma-Outcome-Studien, wobei physiologische fehlende Werte durch ergebnisinklusive multiple Imputation behandelt werden und eine vollständige Fall-Sensitivitätsanalyse parallel dazu berichtet wird, genau wie hier validiert.

Referenzen

1. Shivasabesan G, Mitra B, O'Reilly GM. Fehlende Daten in Traumaregistern: Eine systematische Übersicht. Verletzung. 2018;49(9):1641-1647. doi: 10.1016/j.injury.2018.03.035
2. O'Reilly GM, Cameron PA, Jolley DJ. Bei welchen Patienten fehlen Daten? Eine Analyse fehlender Daten in einem Traumaregister. Verletzung. 2013;43(11):1917-1923. doi: 10.1016/j.injury.2012.07.185
3. Moore L, Hanley JA, Turgeon AF, Lavoie A, Emond M. Ein multiples Imputationsmodell zur Imputation fehlender physiologischer Daten in der nationalen Traumadatenbank. Zeitschrift des American College of Surgeons. 2009;209(5):572-579. doi: 10.1016/j.jamcollsurg.2009.07.004
4. Glance LG, Osler TM, Mukamel DB, Meredith W, Dick AW. Einfluss statistischer Ansätze zum Umgang mit fehlenden Daten auf die Qualität von Traumazentren. Annalen der Chirurgie. 2009;249(1):143-148. doi: 10.1097/SLA.0b013e31818e544b
5. Newgard CD. Die Validität der Verwendung von multipler Imputation für fehlende Daten außerhalb des Krankenhauses in einem staatlichen Traumaregister. Akademische Notfallmedizin. 2006;13(3):314-324. doi: 10.1197/j.aem.2005.09.011
6. O'Reilly GM, Jolley DJ, Cameron PA, Gabbe B. Missing in action: a case study of the application of methods for handling with missing data to trauma system benchmarking. Akademische Notfallmedizin. 2011;17(10):1122-1129. doi: 10.1111 / j.1553-2712.2010.00887.x