Veröffentlicht | Letzte Aktualisierung:
Was versteht man unter Reproduzierbarkeit von Diagnosetests?
Ein diagnostisches Ergebnis ist nur dann aussagekräftig, wenn es unabhängig vom Ort der Probenentnahme ist. Die Reproduzierbarkeit untersucht, ob zwei Labore, Geräte oder Anwender für dieselbe Probe dasselbe Ergebnis liefern. Sie unterscheidet sich von der Wiederholbarkeit, die dieselbe Frage bei einer erneuten Messung derselben Probe durch ein Labor stellt.⁶ Solche Studien werden als Zuverlässigkeits- und Übereinstimmungsstudien bezeichnet: Sie sollen das Fehlerpotenzial jeder Diagnose, Bewertung oder Messung aufzeigen. Die Autoren der GRRAS-Leitlinie weisen darauf hin, dass die Berichterstattung darüber häufig unvollständig ist.¹
Dieser Beitrag behandelt nicht, wie gut ein Test Kranke von Gesunden unterscheidet. Das ist die diagnostische Genauigkeit, die mit dem STARD-Index angegeben wird.<sup> 7 </sup> Hier ist die Frage enger gefasst: Würde ein anderes Labor zum gleichen Ergebnis kommen?
Warum Labore bei derselben Probe unterschiedliche Ergebnisse liefern
Abweichungen in Laborergebnissen können in jeder Testphase auftreten, und eine Übersichtsarbeit im Journal of the Nepal Medical Association unterteilt die verbleibenden Ergebnisse nach Bereinigung um Laborfehler in drei Kategorien.⁶
Wischen Sie seitlich, um alle Spalten anzuzeigen.
| Quelle der Variation | Was die Quelle sagt | Quelle |
|---|---|---|
| Präanalytisch | Die Vorbereitung des Patienten ist der häufigste Faktor: Ernährung, körperliche Aktivität und der Zeitpunkt der Probenentnahme können die Ergebnisse beeinflussen, und einiges davon liegt außerhalb der Kontrolle des Labors. | 6 |
| Biological | Physiologische Schwankung eines Analyten um den individuellen Sollwert, mit zyklischen und zufälligen Komponenten. | 6 |
| Analytische | Unterschiede in den Methoden und Geräten sowie die jeder Analysetechnik inhärente zufällige Ungenauigkeit, selbst bei einer einzelnen Probe und einem einzelnen Gerät. | 6 |
Diese Übersichtsarbeit bietet auch eine Möglichkeit, zu beurteilen, ob zwei Ergebnisse stärker als erwartet voneinander abweichen: den Referenzänderungswert (RCV) = 2<sup> 1/2</sup> × Z × (CVA <sup>2</sup> + CVI<sup> 2 </sup> ) <sup>1/2</sup> , wobei CVA die analytische und CVI die intraindividuelle biologische Variation darstellt. <sup> 6</sup> Im zugehörigen Glukosebeispiel werden ein CVA von 2.7 % und ein CVI von 5.6 % mit Z = 1.96 verwendet. Editverse hat dieses Beispiel in R neu berechnet und 17.2 % erhalten. Eine Änderung von weniger als etwa 17 % liegt somit innerhalb der erwarteten Variationsbreite.
Zwei weitere Ursachen zeigen sich in den nachfolgenden Fallstudien. Wenn kein anerkannter internationaler Referenzstandard existiert, können verschiedene Plattformen unterschiedliche Werte für dieselbe Probe liefern, wie die Autoren der Studie zu freien leichten Ketten hervorheben.⁵ Und wenn kein standardisiertes Protokoll vorliegt, kann jedes Labor seinen eigenen Grenzwert festlegen, wie es in der Anti-FGFR3-ELISA-Studie der Fall war.⁸
Wie man Übereinstimmung misst: ICC, Kappa und Bland-Altman
Wählen Sie die Statistik anhand der Ergebnisart. Tabelle 1 zeigt, wie die Quellen die einzelnen Ergebnisse interpretieren. Beachten Sie, dass derselbe Kappa-Wert unterschiedliche Bezeichnungen erhalten kann: 0.77 gilt in den Cohen-Bändern als substanziell und in McHughs Tabelle als moderat.³
Wischen Sie seitlich, um alle Spalten anzuzeigen.
| Messen | Wie die Quellen den Wert lesen | Quelle |
|---|---|---|
| ICC | Unter 0.5 schlecht, 0.5 bis 0.75 mittelmäßig, 0.75 bis 0.9 gut, über 0.90 ausgezeichnet, beurteilt anhand des 95%-Konfidenzintervalls der Schätzung. | 2 |
| Kappa, Cohen Bands | 0.41 bis 0.60 mäßig, 0.61 bis 0.80 beträchtlich, 0.81 bis 1.00 nahezu perfekt, wie von McHugh zitiert. | 3 |
| Kappa, McHugh-Tabelle | 0.60 bis 0.79 mäßig, 0.80 bis 0.90 stark, über 0.90 nahezu perfekt; jeder Kappa-Wert unter 0.60 deutet auf unzureichende Übereinstimmung hin. | 3 |
| Prozentuale Übereinstimmung | McHugh merkt an, dass viele Lehrbücher eine Übereinstimmung von 80 % als Mindestanforderung für eine akzeptable Interrater-Übereinstimmung empfehlen. | 3 |
| Bland-Altman | Die Grafik stellt die Differenz zwischen gepaarten Messwerten gegen ihren Mittelwert dar; die Übereinstimmungsgrenzen entsprechen der mittleren Differenz plus/minus 1.96 Standardabweichungen der Differenzen. Die Grafik gibt keine Auskunft darüber, ob die Übereinstimmung ausreichend ist; dies hängt von den analytischen, biologischen oder klinischen Zielen ab. | 4 |
Tabelle 1. Interpretationsschwellenwerte gemäß den zitierten Arbeiten. Es handelt sich um Konventionen, nicht um Gesetze, und jede Quelle weist auf ihre eigenen Grenzen hin.
In diesen Arbeiten finden sich zwei wichtige Hinweise. Koo und Li weisen darauf hin, dass der ICC in verschiedenen Formen vorliegt und daher die verwendete Form angegeben werden muss.² McHugh merkt an, dass ein Kappa-Intervall bei einer kleinen Stichprobe so breit sein kann, dass es auch fehlende Übereinstimmung einschließt.³
Durchgerechnetes Beispiel 1: Acht Labore, fünfzehn Proben
Natali und Kollegen baten acht Labore, den Kappa-freien Leichtketten-Index (KFLC-Index) in 15 gepoolten Liquor- und Serumproben zu bestimmen. Der K-Index berechnet sich aus dem Verhältnis von KFLC im Liquor zum Serum im Verhältnis von Albumin im Liquor zum Serum. Ein Wert von 5.8 oder höher wurde als positiv gewertet. Vier Labore verwendeten Geräte und Assays von Binding Site, drei von Siemens und eines ein Siemens-Gerät mit einem Binding-Site-Assay. Die Proben stammten von 37 Patienten und umfassten hohe, sehr niedrige und Werte nahe dem Grenzwert.<sup> 5</sup> Die Publikation ist unter CC BY 4.0 frei zugänglich und gibt den K-Index jedes Labors für jede Probe an. Daher haben wir ihn in R neu berechnet.

Elf Proben erhielten in allen acht Laboren die gleiche Bewertung. In den übrigen vier Laboren lagen sieben der 120 laborbezogenen Bewertungen unterhalb der von den meisten Laboren abgegebenen Bewertung, was laut Editverse 5.8 % entspricht. Drei Proben wiesen Messwerte zwischen 4.6 und 5.5 auf, die 0.3 bis 1.2 unter dem Grenzwert lagen. Eine Probe (Nummer 10) wurde vom Labor mit gemischter Analyseplattform mit 9.8 bewertet, während die anderen sieben Werte zwischen 0.4 und 3.2 ergaben.
Das gemischte Labor ist in dieser Tabelle kein Einzelfall: In 14 von 15 Proben lag sein Wert auf oder über dem aller anderen Labore. Abbildung 2 vergleicht ihn mit dem geometrischen Mittel der übrigen sieben Labore auf einer Verhältnisskala; Giavarina beschreibt die Darstellung von Differenzen als Prozentsätze oder Verhältnisse und die logarithmische Transformation der Daten, wenn die Differenzen nicht normalverteilt sind.⁴

Im Durchschnitt lag der Messwert des gemischten Labors 2.27-mal höher als der geometrische Mittelwert der anderen sieben Labore (95%-KI 1.83 bis 2.83), mit 95%-Übereinstimmungsgrenzen von 1.05 bis 4.94. Bei nur 15 Proben ist jede Grenze selbst unsicher: Die untere Grenze hat ein 95%-Intervall von 0.72 bis 1.53 und die obere von 3.38 bis 7.23, gemäß der von Giavarina beschriebenen Intervallmethode.<sup> 4</sup> Die Autoren der Studie merken an, dass dieses Labor die Serum-KFLC anscheinend unterschätzt, was den K-Index erhöht, und dass noch keine endgültige Schlussfolgerung gezogen werden kann.<sup> 5</sup>
Papier gegen Neuberechnung
Tabelle 2 stellt die veröffentlichten Statistiken unseren gegenüber. Zwei davon stimmen überein: die Zählung von 11 von 15 und der laborübergreifende Kappa-Wert von 0.77, berechnet als Fleiss-Kappa über alle acht Labore. Der ICC-Wert für die Bindungsstelle stimmt exakt überein, wenn er als ICC-Wert mit absoluter Übereinstimmung und Mittelwertbildung berechnet wird.
Wischen Sie seitlich, um alle Spalten anzuzeigen.
| Die Menge | Papierberichte | Editverse-Ergebnis (R) |
|---|---|---|
| Proben mit demselben positiven oder negativen Ergebnis in allen 8 Laboren | 11 von 15 | 11 von 15 |
| Kappa für einen positiven K-Index (5.8 oder höher), alle Labore | 0.77 | 0.77 (Fleiss-Kappa); 0.78 (Mittelwert aus 28 paarweisen Cohen-Kappa-Werten) |
| K-Index ICC, 4 Bindungsstellen-Labore | 0.97 (0.94 bis 0.99) | 0.97 (0.94 bis 0.99) als ICC-Mittelwert; 0.89 (0.79 bis 0.96) als Einzelmessung |
| K-Index ICC, 3 Siemens-Labore | 0.95 (0.89 bis 0.98) | 0.99 (0.98 bis 1.00) Einzelmessung |
| K-Index ICC, 7 Labore ohne die gemischte | 0.91 (0.82 bis 0.96) | 0.94 (0.89 bis 0.98) Einzelmessung |
| K-Index ICC, alle 8 Labore | 0.65 (0.43 bis 0.84) | 0.77 (0.61 bis 0.90) Einzelmessung |
| Kappa innerhalb des Bindungsstandorts und innerhalb der Siemens-Gruppen | 0.89 und 0.71 zur Verfügung | 0.75 und 0.79 (Fleiss) |
Tabelle 2. Veröffentlichte Werte von Natali et al.; Editverse-Werte, berechnet in R mit dem irr-Paket aus der 15x8-Tabelle. Getestete Varianten: Einweg- und Zweiwegmodelle, Einzel- und Mittelwerte, Übereinstimmung und Konsistenz, logarithmische Skala, strikte Regel „größer als 5.8“ und paarweiser Cohen-Kappa-Koeffizient (Fleiss vs. Mittelwert). Die Tabellenüberschriften geben B1 zweimal an; die Spalten werden von links nach rechts als B1 bis B4, gemischt, S1 bis S3 gelesen.
Die übrigen Zeilen ließen sich mit keiner der von uns getesteten Konventionen reproduzieren, und wir können nicht sagen, ob die Ursache in einer Spaltenbezeichnung, einer ICC-Konvention oder der Art der Gruppenbildung liegt. Dies ist für das Verständnis, nicht aber für die Schlussfolgerung relevant: Kappa und ICC hängen vom gewählten Modell ab, daher muss im Methodenteil das verwendete Modell angegeben werden. 2 Durch das Entfernen des gemischten Labors erhöht sich das Fleiss-Kappa von 0.77 auf 0.80.
Dieser Fall zeigt: wie ein Multi-Labor-Design analysiert wird, dass sich Abweichungen in der Nähe des Grenzwerts häufen und dass eine einzige Plattformabweichung einen abgeleiteten Index verändern kann. Er zeigt nicht: wie sich der K-Index bei Patienten verhält, welche Plattform korrekt ist oder wie sich andere Tests verhalten. Die Stichprobe besteht aus 15 gepoolten Proben von 37 Patienten, die um den Grenzwert herum ausgewählt wurden, aus einer Studie aus dem Jahr 2022. Daher hängt die Angabe von 11 von 15 von dieser Auswahl ab.⁵
Beispiel 2: Ein ELISA in zwei Laboren
Appeltshauser und Kollegen führten einen Anti-FGFR3-Antikörper-ELISA an 42 Seren in einem französischen und einem deutschen Labor mit identischen Protokollen durch: 18 Patienten mit sensorischer Neuropathie, 18 mit Small-Fiber-Neuropathie und 6 gesunde Kontrollpersonen. Die Seren wurden so ausgewählt, dass sie alle seropositiven Proben aus dem deutschen Screening sowie die entsprechenden seronegativen Proben umfassten, wodurch die Stichprobe mit Grenzfällen angereichert ist.<sup> 8</sup> Die Publikation ist unter CC BY 4.0 frei zugänglich.

Die beiden Labore stimmten bei 34 von 42 Seren überein (13 in beiden Laboren positiv, 21 in beiden Laboren negativ), was 81.0 % entspricht. Das Wilson-95%-Konfidenzintervall liegt laut Editverse zwischen 66.7 % und 90.0 %. Die Publikation gibt einen Cohen-Kappa-Wert von 0.61 an und bezeichnet diesen als substanziell. Da die Verteilung der 8 abweichenden Seren auf die beiden Labore nicht erläutert wird, berechneten wir den Kappa-Wert für jede mögliche Aufteilung: Er liegt nur zwischen 0.605 und 0.613, wenn jede abweichende Richtung mindestens ein Serum aufweist, wie die separaten Mediane der Publikation für Seren, die nur in Labor 1 bzw. nur in Labor 2 positiv waren, nahelegen. Der angegebene Wert von 0.61 liegt somit innerhalb dieses Bereichs. Nach McHughs strengerer Tabelle gilt derselbe Wert als moderat. <sup> 8,3 </sup>
Die Grenzwerte unterscheiden sich stärker als die Ergebnisse. Jedes Labor legte seinen eigenen Grenzwert anhand von Seren gesunder Kontrollpersonen fest: 65 für Labor 1 und 50 für Labor 2. Die optische Dichte betrug 0.371 in Labor 1 und 0.122 in Labor 2, ein Verhältnis von 3.04 (berechnet mit Editverse), bei einer medianen optischen Dichte von 0.293 gegenüber 0.076. Die Autoren schlussfolgern, dass die Grenzwerte für jedes Labor separat bestimmt werden müssen. Sieben der acht abweichenden Seren waren nur schwach positiv.
Ein zweiter Befund betrifft Details des Protokolls. Labor 2 entwickelte den Test zunächst ausschließlich anhand veröffentlichter Informationen und wiederholte ihn anschließend mit dem detaillierten Protokoll von Labor 1.⁸
Wischen Sie seitlich, um alle Spalten anzuzeigen.
| Laborprotokoll 2 | Abschaltpunkt (OD440) | Positiv: sensorische Neuropathie | Positiv: Neuropathie der kleinen Nervenfasern | Positiv: gesunde Kontrollgruppe |
|---|---|---|---|---|
| Nur veröffentlichte Informationen | 0.102 | 1 von 17 | 1 von 60 | 1 von 50 |
| Detailliertes Protokoll aus Labor 1 | 0.122 | 1 von 17 | 5 von 60 | 2 von 50 |
Tabelle 3. Zählwerte und Grenzwerte, wie sie von Appeltshauser et al. für Labor 2 berichtet wurden. Die Autoren kommen zu dem Schluss, dass kleine Protokolländerungen die Grenzwerte und Ergebnisse verändern können.
Was dieser Fall zeigt: Ein Forschungs-ELISA kann bei einem Panel mit grenzwertigen Werten einen hohen Kappa-Wert erreichen, obwohl sich der Grenzwert zwischen verschiedenen Standorten um etwa das Dreifache unterscheidet, und ein Detail im Protokoll kann darüber entscheiden, wer als positiv eingestuft wird. Was er nicht zeigt: Welches Labor korrekt ist. Die Autoren geben an, dass kein unabhängiger Goldstandard existiert, weshalb unklar ist, ob diskordante Seren falsch-positive oder falsch-negative Ergebnisse darstellen, und ein positives Ergebnis im klinischen Kontext interpretiert werden sollte.<sup> 8 </sup>
Wie man eine Studie im Rahmen einer Laborvereinbarung konzipiert und darüber berichtet
Die beiden Beispiele und die zitierten Hinweise verweisen auf dieselbe Checkliste.
- 1Senden Sie identische Muster und geben Sie an, wie diese ausgewählt wurden. Die Studie zu freien leichten Ketten fasste gelagerte Proben zusammen, um hohe, sehr niedrige und nahe am Grenzwert liegende Werte einzuschließen; die FGFR3-Studie wählte Seren mit grenzwertig hohen Werten aus. Dies ist wichtig, da es die Übereinstimmungsberechnung beeinflusst.5,8
- 2Schreiben Sie das Protokoll so auf, dass ein anderes Labor es wiederholen kann. STARD 2015 verlangt, dass der Index-Test so detailliert beschrieben wird, dass eine Replikation möglich ist (Punkt 10a). Aus diesem Grund haben die Autoren von FGFR3 ein detailliertes ELISA-Protokoll veröffentlicht.7,8
- 3Geben Sie für jeden Laborgrenzwert an, ob dieser vorab festgelegt wurde. STARD 2015, Punkt 12a, fordert die Definition und Begründung von Grenzwerten für Testpositivität, wobei zwischen vordefinierten und explorativen Grenzwerten unterschieden wird. Diese sind, wie im FGFR3-Papier, laborbezogen anzugeben.7,8
- 4Ordnen Sie die Statistik den Daten zu und benennen Sie ihre Form. ICC für numerische Ergebnisse in der angegebenen Form, Kappa für kategorische Zuordnungen, Bland-Altman-Übereinstimmungsgrenzen für zwei Methoden.2,3,4
- 5Geben Sie Intervalle an, nicht nur Punktschätzungen. Koo und Li beurteilen die Zuverlässigkeit anhand des Konfidenzintervalls des ICC, McHugh erklärt, dass Kappa eine Schätzung ist, für die ein Konfidenzintervall von Interesse ist, und Giavarina gibt Intervalle für die Grenzen der Übereinstimmung an.2,3,4
- 6Betrachten Sie die Proben in der Nähe des Grenzwerts separat. In beiden durchgerechneten Beispielen konzentrierte sich die Diskordanz auf diesen Bereich; zeigen Sie daher diese Beispiele, wie in Abbildung 1 dargestellt.5,8
- 7Meldung an GRRAS. Die GRRAS-Leitlinie schlägt 15 Punkte vor, die bei der Berichterstattung über Reliabilität und Übereinstimmung zu berücksichtigen sind und den üblichen Überschriften eines wissenschaftlichen Artikels entsprechen. Wir haben die Zusammenfassung und den Eintrag im EQUATOR-Netzwerk gelesen; da uns die Verlagsseite nicht zugänglich war, haben wir die Formulierungen direkt aus dem Artikel übernommen.1
Verifizierung und Eignungsprüfung
Vergleichsstudien ergänzen die üblichen Qualitätsrichtlinien. In den USA legen die CLIA-Bestimmungen fest, welche Schritte ein Labor durchführen muss, bevor es Patientenergebnisse mit einem neuen Testsystem meldet, und schreiben die Teilnahme an Eignungsprüfungen vor. Tabelle 4 fasst den Text des elektronischen Bundesgesetzbuches (Electronic Code of Federal Regulations) vom 30. Oktober 2026 zusammen; andere Länder haben ihre eigenen Regelungen.
Wischen Sie seitlich, um alle Spalten anzuzeigen.
| Situation (Vereinigte Staaten) | Erforderlich vor der Meldung von Patientenergebnissen | Quelle |
|---|---|---|
| Unverändertes, von der FDA freigegebenes oder zugelassenes Testsystem | Weisen Sie eine mit den Herstellerangaben vergleichbare Leistung hinsichtlich Genauigkeit, Präzision und messbarem Bereich nach und vergewissern Sie sich, dass die Referenzintervalle des Herstellers für die Patientenpopulation geeignet sind. | 9 |
| Modifizierter, von der FDA zugelassener Test, interne Methode oder keine Herstellervorgaben | Bestimmung von Genauigkeit, Präzision, analytischer Empfindlichkeit, analytischer Spezifität (einschließlich Störsubstanzen), Messbereich und Referenzintervallen sowie aller weiteren erforderlichen Merkmale. | 9 |
| Eignungsprüfungen | Melden Sie sich für jedes Fachgebiet und jede Unterspezialisierung bei einem vom US-Gesundheitsministerium (HHS) genehmigten Eignungsprüfungsprogramm an und testen Sie die Proben auf die gleiche Weise wie Patientenproben. | 10 |
Tabelle 4. Nur US-amerikanische Vorschriften, gemäß 42 CFR 493.1253 und 493.801, veröffentlicht im eCFR mit Stand vom 30. Oktober 2026. Vorschriften können sich ändern, daher überprüfen Sie bitte den aktuellen Text.
Eine Übersicht zur Methodenverifizierung listet die Merkmale auf, die ein Labor bei der Einführung einer neuen Methode bewertet: Präzision, Richtigkeit, analytische Empfindlichkeit, Nachweisgrenzen, analytische Spezifität, Interferenzen, Messbereich, Linearität und Messunsicherheit.<sup> 11</sup> Dieselbe Übersicht besagt, dass die Richtigkeit anhand zertifizierter Referenzmaterialien oder Eignungsprüfungsmaterialien bewertet werden kann, wobei der Konsensmittelwert und die Standardabweichung von Eignungsprüfungsmaterialien nur dann verwendet werden, wenn sie von mindestens zehn anderen Prüfern ermittelt wurden. Die Vergleichbarkeit zwischen zwei Methoden oder Geräten kann mit 40 bis 100 Proben, die mit beiden analysiert werden, bewertet werden; die Bland-Altman-Analyse wird als eine der möglichen Methoden genannt.<sup> 11</sup>
Soll die Analyse ausgeführt oder überprüft werden? Wenden Sie sich an Editverse.
Die Fachexperten von Editverse arbeiten gemäß den Richtlinien von COPE, ICMJE und GPP 2022 und beachten dabei institutionelle und länderspezifische Ethikrichtlinien.
Editverse
SPSS-, R- und Stata-Analyse
Übereinstimmungsdaten aus mehreren Laboren, aber die Analyse wurde nicht durchgeführt oder überprüft?
Sie senden: Ihre Daten, Forschungsfragen und die bevorzugte Software (SPSS, R oder STATA; SAS auf Anfrage).
Sie erhalten: kommentierten Code bzw. Syntax, vollständige Ausgabedateien, eine Anleitung zur Interpretation der Ausgabedateien und Tabellen in Publikationsqualität.
Wann: Sie verfügen über die Labordaten und benötigen die Durchführung oder Überprüfung der Analyse.
Statistische Analyse mit SPSS/R/STATA · 400 $
Editverse
Manuskript schreiben
Die Studie zur Übereinstimmung wurde analysiert, aber das Papier ist noch immer nicht geschrieben?
Sie senden: Ihre Daten, Ergebnisse und die Zielzeitschrift.
Sie erhalten: ein Manuskript, verfasst von promovierten Fachexperten, inklusive Lektorat, statistischer Überprüfung, Auswahl der Zeitschrift und Unterstützung bei der Einreichung.
Zeitpunkt: Die Analyse ist abgeschlossen, die Arbeit aber noch nicht.
Manuskripterstellungsdienste · 1,500 $
Editverse
Zeitschriftenauswahl
Sie sind sich nicht sicher, wo eine Studie zu Labormethoden einzuordnen ist?
Sie senden: Ihr Manuskript oder Abstract und Ihre Publikationsziele.
Sie erhalten: eine Rangliste von 5-10 empfohlenen Fachzeitschriften mit Begründung, basierend auf thematischer Übereinstimmung, Impact-Faktor und Annahmequoten.
Wann: Sie haben Ergebnisse und suchen den richtigen Ort, um diese zu veröffentlichen.
Dienstleistungen zur Auswahl wissenschaftlicher Zeitschriften · 115 $
Kostenlose Recherchetools von Editverse
- Bland-Altman-DiagrammrechnerMittlere Abweichung und 95%-Übereinstimmungsgrenzen für zwei Messmethoden, mit dem R-Befehl hinter dem Ergebnis.
- ICC-Rechner (Intraklassenkorrelationskoeffizient): der einseitige Zufallseffekt-ICC(1,1)-Einzelmaß-ICC mit Formel und R-Code.
- Cohens Kappa-Rechner (Übereinstimmung zwischen Beurteilern): beobachtete und erwartete Übereinstimmung und Kappa für zwei Beurteiler.
Häufig gestellte Fragen
Worin besteht der Unterschied zwischen Wiederholbarkeit und Reproduzierbarkeit bei diagnostischen Tests?
Wiederholbarkeit beschreibt die Abweichungen, die auftreten, wenn dasselbe Labor dieselbe Probe erneut misst. Reproduzierbarkeit beschreibt die Abweichungen zwischen verschiedenen Laboren, Geräten oder Anwendern, die dieselbe Probe messen. Pradhan und Kollegen verwenden diese Definitionen: Reproduzierbarkeit bezieht sich auf Ergebnisse, die von zwei Laboren veröffentlicht wurden, und Wiederholbarkeit auf Ergebnisse, die von nur einem Labor veröffentlicht wurden.
Welche statistische Kennzahl sollte ich verwenden, um Labore zu vergleichen?
Ordnen Sie die Statistik den Daten zu. Bei numerischen Ergebnissen verschiedener Beurteiler oder Labore beschreiben Koo und Li den Intraclass-Korrelationskoeffizienten (ICC) und bitten die Autoren, die verwendete ICC-Form anzugeben. Für zwei Methoden auf derselben numerischen Skala beschreibt Giavarina die Bland-Altman-Übereinstimmungsgrenzen. Bei positiven oder negativen Beurteilungen beschreibt McHugh die Kappa-Statistik und erörtert deren Konfidenzintervall.
Welcher ICC-Wert gilt als Indikator für gute Zuverlässigkeit?
Koo und Li bewerten Werte unter 0.5 als schlecht, 0.5 bis 0.75 als mittelmäßig, 0.75 bis 0.9 als gut und über 0.90 als exzellent. Die Beurteilung erfolgt anhand des 95%-Konfidenzintervalls und nicht anhand des Punktschätzers. Im Beispiel mit acht Laboren lag der ICC-Wert für Serum von 0.81 im Bereich von 0.53 bis 0.93 und umfasst somit den Bereich von mittelmäßig bis exzellent.
Ist ein Kappa-Wert von 0.61 eine gute Übereinstimmung?
Es kommt auf die Skala an. Laut Cohen-Bändern, wie von McHugh zitiert, gelten Werte zwischen 0.61 und 0.80 als substanziell. McHugh schlägt eine strengere Tabelle vor, die Werte zwischen 0.60 und 0.79 als moderat einstuft und angibt, dass jeder Kappa-Wert unter 0.60 eine unzureichende Übereinstimmung anzeigt. Im Beispiel der FGFR3-Untersuchung mit zwei Laboren gibt die Publikation einen Wert von 0.61 an. Editverse ermittelte jedoch, dass der berechnete Wert unabhängig von der Aufteilung der acht diskordanten Seren zwischen 0.605 und 0.613 liegt, da die Publikation Seren angibt, die in jeder Richtung nur in einem Labor positiv waren.
Warum sind die Abweichungen zwischen den Laboren in der Nähe des Grenzwerts am größten?
Ein Ergebnis nahe dem Schwellenwert kann je nach Labor geringfügig abweichen. Im Beispiel der freien Kappa-Leichtketten lagen die Messwerte dreier diskordanter Proben 0.3 bis 1.2 unter dem Grenzwert von 5.8, und im Beispiel des FGFR3-Gens waren 7 der 8 diskordanten Seren nur schwach positiv. Die Autoren des FGFR3-Gens nennen die Handhabung der Sonde, die Labortemperatur, die Reagenzienvorbereitung, die verwendeten Geräte und das Pipettieren als mögliche Ursachen.
Müssen Labore einen von der FDA zugelassenen Test vor dessen Anwendung verifizieren?
Gemäß der US-amerikanischen CLIA-Regelung (42 CFR 493.1253) muss ein Labor, das ein unverändertes, von der FDA zugelassenes Testsystem einführt, vor der Übermittlung von Patientenergebnissen vergleichbare Genauigkeit, Präzision und Messbereich nachweisen und bestätigen, dass die Referenzintervalle des Herstellers für seine Patienten geeignet sind. Für einen modifizierten oder intern entwickelten Test muss das Labor eine umfangreichere Liste von Leistungsspezifikationen erstellen. Diese Beschreibung bezieht sich auf den eCFR-Text vom 30. Oktober 2026 und gilt ausschließlich für die Vereinigten Staaten.
Können zwei Labore für denselben Test unterschiedliche Grenzwerte verwenden?
In der FGFR3-ELISA-Studie lag der Grenzwert in einem Labor bei 0.371 und im anderen bei 0.122. Die Autoren schlussfolgerten, dass die Grenzwerte für jedes Labor individuell bestimmt werden müssen, da die mittleren optischen Dichten je nach Labor variieren. Dies ist das Ergebnis einer einzelnen Studie und keine allgemeingültige Regel für alle Tests.
Wie viele Stichproben benötigt eine Übereinstimmungsstudie?
Keines der beiden Beispiele legt eine Regel fest. Die Autoren der Kappa-freien Leichtkettenanalyse nennen die geringe Stichprobenanzahl als Grenze, und McHugh merkt an, dass das Kappa-Intervall bei sehr kleinen Stichproben so breit sein kann, dass keine Übereinstimmung vorliegt. Bei 15 Stichproben waren die Bland-Altman-Übereinstimmungsgrenzen des Editverse selbst unsicher, mit einem 95%-Intervall für die untere Grenze von 0.72 bis 1.53.
Referenzen
- Kottner J, Audigé L, Brorson S, et al. Es wurden Richtlinien für die Berichterstattung über Zuverlässigkeits- und Übereinstimmungsstudien (GRRAS) vorgeschlagen. J Clin Epidemiol. 2011;64(1):96-106. doi:10.1016/j.jclinepi.2010.03.002. Zusammenfassung und Eintrag im EQUATOR-Netzwerk gelesen; der vollständige Text des Verlags war uns nicht zugänglich. pubmed.ncbi.nlm.nih.gov/21130355/
- Koo TK, Li MY. Ein Leitfaden zur Auswahl und Berichterstattung von Intraclass-Korrelationskoeffizienten für die Zuverlässigkeitsforschung. J Chiropr Med. 2016;15(2):155-163. doi:10.1016/j.jcm.2016.02.012. pmc.ncbi.nlm.nih.gov/articles/PMC4913118/
- McHugh ML. Interrater-Reliabilität: die Kappa-Statistik. Biochem Med (Zagreb). 2012;22(3):276-282. pmc.ncbi.nlm.nih.gov/articles/PMC3900052/
- Giavarina D. Verständnis der Bland-Altman-Analyse. Biochem Med (Zagreb). 2015;25(2):141-151. doi:10.11613/BM.2015.015. pmc.ncbi.nlm.nih.gov/articles/PMC4470095/
- Natali P, Bedin R, Bernardi G, et al. Interlaboratorische Übereinstimmung der Kappa-freien Leichtkettenmessungen in Liquor und Serum. Biomoleküle. 2022;12(5):677. doi:10.3390/biom12050677. Open Access, CC BY 4.0; K-Index-Werte aus Tabelle 2 der Autoren, alle Statistiken neu berechnet und Abbildungen mit Editverse in R erstellt. pmc.ncbi.nlm.nih.gov/articles/PMC9138559/
- Pradhan S, Gautam K, Pant V. Abweichungen in Laborberichten: Ursachen außerhalb von Laborfehlern. JNMA J Nepal Med Assoc. 2022;60(246):222-224. doi:10.31729/jnma.6022. pmc.ncbi.nlm.nih.gov/articles/PMC9200014/
- Bossuyt PM, Reitsma JB, Bruns DE, et al. STARD 2015: eine aktualisierte Liste der wesentlichen Elemente für die Berichterstattung über Studien zur diagnostischen Genauigkeit. BMJ. 2015;351:h5527. doi:10.1136/bmj.h5527. pmc.ncbi.nlm.nih.gov/articles/PMC4623764/
- Appeltshauser L, Moritz CP, Reinhardt L, et al. Interlaborvergleich eines Serum-Fibroblastenwachstumsfaktor-Rezeptor-3 (FGFR3)-Antikörpertests bei sensorischen Neuropathien. Vorderseite Immunol. 2025;16:1604456. doi:10.3389/fimmu.2025.1604456. Open Access, CC BY 4.0; Zählungen und Schwellenwerte aus dem Text entnommen, abgeleitete Werte mit Editverse in R berechnet. pmc.ncbi.nlm.nih.gov/articles/PMC12549695/
- 42 CFR 493.1253, Standard: Festlegung und Überprüfung von Leistungsspezifikationen. Elektronischer Code of Federal Regulations, Text vom 30. Oktober 2026 (Vereinigte Staaten). www.ecfr.gov/current/title-42/section-493.1253
- 42 CFR 493.801, Bedingung: Registrierung und Prüfung von Proben (Eignungsprüfung). Elektronischer Code of Federal Regulations, Text vom 30. Oktober 2026 (Vereinigte Staaten). www.ecfr.gov/current/title-42/section-493.801
- Abdel Ghafar MT, El-Masry MI. Verifizierung quantitativer Analysemethoden in medizinischen Laboratorien. J Med Biochem. 2021;40(3):225-236. doi:10.5937/jomb0-24764. pmc.ncbi.nlm.nih.gov/articles/PMC8199534/
Weiterführende Literatur
Editverse-Forschungsteam | Aktualisiert im November 2026
