Veröffentlicht

Eine CASP-Checkliste bietet Ihnen einen festen Fragenkatalog, mit dem Sie beurteilen können, ob eine veröffentlichte Studie valide ist, welche Ergebnisse sie liefert und ob diese Ergebnisse für Ihre eigene Praxis relevant sind. Das Critical Appraisal Skills Programme (CASP) veröffentlicht elf aktuelle Checklisten, die jeweils auf ein bestimmtes Studiendesign abgestimmt sind – von randomisierten Studien bis hin zu qualitativer Forschung. Wählt man die falsche Checkliste, ist die Bewertung bei der Prüfung durch Gutachter oder Prüfer nicht haltbar. Wird sie mangelhaft dargestellt, wirkt die Arbeit nachlässig, selbst wenn die Bewertung an sich fundiert war.

Dieser Leitfaden ordnet jedes Design seiner Checkliste zu, erläutert die Abschnittsstruktur, beschreibt die Bewertungskriterien von CASP und führt anhand einer hypothetischen qualitativen Studie durch alle drei Abschnitte. Die Checklisten sind unter CC BY-NC-SA 4.0 lizenziert, und Editverse ist ein kommerzieller Dienst. Daher paraphrasiert dieser Leitfaden die Themen der Fragen, anstatt den Fragentext zu kopieren. Jede Checkliste ist auf der offiziellen CASP-Checklistenseite verlinkt . Die Entscheidungstabelle zur Zuordnung von Design und Checkliste sowie das untenstehende Beispiel sind nicht auf der CASP-Website zu finden, da sie von Editverse auf Basis der PDFs von 2024 erstellt wurden.

In einfachen Worten

Eine CASP-Checkliste ist ein Arbeitsblatt zur kritischen Lektüre von Forschungsarbeiten. Sie wählen das Arbeitsblatt, das dem Studiendesign entspricht, beantworten jede Frage mit Ja, Nein oder Kann ich nicht beurteilen, begründen Ihre Antwort und entscheiden dann, wie viel Gewicht die Arbeit haben sollte. Es gibt keine Gesamtpunktzahl. Der Wert liegt in den von Ihnen dokumentierten Gründen.

Was eine CASP-Checkliste ist und was sie nicht leistet

CASP erklärt auf seiner Anleitungsseite, warum es überhaupt Checklisten verwendet. Sie helfen Nutzern, komplexe Aufgaben mit vielen Schritten zu bewältigen, systematisch vorzugehen, durch ein vorgegebenes Rahmenwerk konsistentere Entscheidungen zu treffen und eine transparente Dokumentation der getroffenen Entscheidungen zu erstellen, die später nachvollziehbar ist. Jede Frage wird mit Ja, Nein oder Kann ich nicht sagen beantwortet, und die Nutzer notieren die Gründe im dafür vorgesehenen Feld. Kurze Hinweise unter jeder Frage weisen auf die zu berücksichtigenden Aspekte hin.

Eine CASP-Checkliste ist ein Bewertungsinstrument. Sie ist keine Berichtsrichtlinie und auch kein domänenbasiertes Instrument zur Beurteilung des Verzerrungsrisikos. Berichtsrichtlinien wie COREQ, das von Tong, Sainsbury und Craig als 32-Punkte-Checkliste für Interviews und Fokusgruppen entwickelt wurde, geben Autoren vor, was sie in einem Manuskript schreiben sollen. CASP hingegen hilft Lesern, ein Manuskript zu beurteilen. Domänenbasierte Instrumente wie RoB 2 für randomisierte Studien oder QUADAS-2, das von Whiting und Kollegen anhand von vier Domänen – Patientenauswahl, Index-Test, Referenzstandard sowie Studienablauf und -zeitpunkt – strukturiert wurde, ermöglichen eine strukturierte Beurteilung pro Domäne. Eine CASP-Checkliste ist ein Instrument zwischen Lehrmittel und Screening-Instrument und eignet sich daher sowohl für die Lehre als auch für qualitative Evidenzsynthesen.

Es gibt keinen einheitlichen Standard für die Bewertung qualitativer Arbeiten. Majid und Vanstone untersuchten die verfügbaren Bewertungsinstrumente für qualitative Evidenzsynthesen und stellten fest, dass über 100 Instrumente mit unterschiedlichen Methoden und Zielsetzungen entwickelt wurden und kein Konsens über die anzuwendenden Qualitätskriterien besteht. Diese Erkenntnis erklärt, warum ein Review-Protokoll das verwendete Instrument benennen, die Wahl begründen und die Verwendung der Bewertungsergebnisse darlegen sollte. Einen umfassenderen Vergleich der Instrumente für verschiedene Studiendesigns finden Sie in unserem Leitfaden zu Qualitätsbewertungsinstrumenten in systematischen Reviews.

Eine Anweisung bildet den Auftakt der Checklisten für 2024 und sollte als Kernregel betrachtet werden: Gehen Sie niemals davon aus, was die Forschenden getan haben. Wenn die Studie dazu keine Angaben macht, kreuzen Sie „Kann ich nicht sagen“ an. Wenn die Studie keine Angaben macht, kann dieser Schritt bei der Bewertung nicht berücksichtigt werden. Eine hohe Anzahl von „Kann ich nicht sagen“-Antworten ist an sich schon ein Befund und sollte Ihr Vertrauen in die Studie mindern.

Die 11 aktuellen Versionen der CASP-Checkliste und ihre Anzahl an Fragen

Die CASP-Checklistenseite listet elf aktuelle Checklisten sowie ein Archiv älterer Versionen auf. Wir haben alle PDFs von 2024 heruntergeladen und die nummerierten Fragen sowie die Abschnittsüberschriften gezählt. Bei einigen Checklisten ist eine nummerierte Frage in mehrere alphabetisch gekennzeichnete Teile unterteilt, die jeweils unter der entsprechenden Nummer gezählt werden.

CASP-ChecklisteStudiendesign passtNummerierte FragenAbschnittsüberschriften im PDF von 2024
Systematische ÜberprüfungÜbersichtsarbeit, die Studien suchte, auswählte und zusammenfasste103 (A gültig, B Ergebnisse, C lokale Verwendung)
Systematische Übersichtsarbeit mit Metaanalyse von RCTsZusammengefasste Analyse randomisierter Studien104 (A bis D)
Systematische Übersichtsarbeit mit Metaanalyse von BeobachtungsstudienZusammengefasste Analyse von Kohorten-, Fall-Kontroll- oder ähnlichen Studien104 (A bis D)
Randomisierte kontrollierte StudieDie Teilnehmer wurden per Zufallsprinzip Gruppen zugeteilt.114 (A bis D)
KohortenstudieGruppen wurden im Zeitverlauf von der Exposition bis zum Ergebnis beobachtet.123
FallkontrollstudieFälle mit einem bestimmten Ergebnis im Vergleich zu Kontrollfällen ohne dieses Ergebnis113
Qualitative ForschungInterviews, Fokusgruppen, Beobachtungen und ähnliche Methoden103
Diagnostische TeststudieGenauigkeit eines Tests im Vergleich zu einem Referenzstandard123
Wirtschaftliche BewertungKosten und Folgen von Alternativen im Vergleich123 (Die Formulierung weicht ab, siehe unten)
Klinische VorhersageregelRegel erstellt oder getestet, um ein Ergebnis vorherzusagen113
Querschnittstudie (deskriptive Studie)Zu einem bestimmten Zeitpunkt erhobene Daten111 Überschrift (Abschnitt A) im PDF
Anzahl der Fragen der CASP-Checkliste nach Studiendesign, dargestellt als Balkendiagramm mit 11 Checklisten.
Abbildung 1. Die Fragen in den CASP-Checklisten-PDFs 2024 sind nummeriert. Die Balkenlänge entspricht der Anzahl der Fragen, die jeweils am Ende des Balkens angegeben ist. Dunkelblaue Balken enthalten drei Abschnittsüberschriften, grüne Balken vier und orange Balken eine. Quelle: CASP-Checklisten-PDFs auf casp-uk.net, gezählt von Editverse.

Zwei Muster fallen besonders auf. Jede Checkliste umfasst zehn bis zwölf Fragen, sodass die Bewertung einer einzelnen Studie, sobald man das Studiendesign kennt, nur wenige Minuten dauert. Die Checklisten für randomisierte Studien und Metaanalysen enthalten einen vierten Abschnitt, der im älteren dreiteiligen Format fehlte. Die Anleitung erklärt dies damit, dass CASP bei jeder Aktualisierung der Checklisten einen Abschnitt hinzufügt, der die methodische Korrektheit der Studie prüft.

Auswahl einer CASP-Checkliste nach Studiendesign

Die Befragungsfragen bereiten Gutachtern selten Schwierigkeiten. Problematisch wird es eher bei der ersten Entscheidung: Welches Studiendesign wurde in der Studie tatsächlich verwendet? Autoren verwenden oft ungenaue Bezeichnungen für Studiendesigns, und eine als prospektive Studie bezeichnete Arbeit kann beispielsweise eine Kohortenstudie, eine Registeranalyse oder eine einarmige Studie sein. Lesen Sie den Methodenteil und stellen Sie sich drei Fragen: Wer hat entschieden, welche Teilnehmenden die Intervention oder Exposition erhielten? In welche Richtung verlief die Studie – von der Exposition zum Ergebnis oder vom Ergebnis zurück zur Exposition? Welche Vergleichsgruppe wurde gegebenenfalls verwendet? Die Tabelle wandelt diese Antworten in eine Checkliste um und nennt anschließend das Instrument, das Sie üblicherweise für die Berichterstattung oder die Beurteilung von Verzerrungen auf Domänenebene verwenden würden.

Was der Methodenteil zeigtCASP-ChecklisteOft gepaart mitVerwechslungen vermeiden
Die Forscher teilten die Teilnehmer nach dem Zufallsprinzip den Interventionsgruppen zu.Randomisierte kontrollierte StudieRoB 2 für Domänenbeurteilungen, CONSORT für die BerichterstattungEine nicht randomisierte Vergleichsstudie als Studie zu bezeichnen, nur weil der Titel es so vorgibt, ist fragwürdig.
Die Arbeit durchsuchte Datenbanken, sichtete Datensätze und fasste Studien zusammen.Systematische Übersichtsarbeit oder die Metaanalyse-Variante für randomisierte kontrollierte Studien (RCTs) oder für Beobachtungsstudien, wenn die Ergebnisse zusammengefasst wurden.PRISMA 2020 für die BerichterstattungDie Verwendung für eine narrative oder Scoping-Review, die keine Studien bewertete
Die exponierten und nicht exponierten Gruppen wurden im Zeitverlauf weiterverfolgt.KohortenstudieSTROBEVerwendung der Fall-Kontroll-Liste für eine retrospektive Kohorte
Die Studie begann mit Personen, bei denen das betreffende Ergebnis auftrat, und es wurden Kontrollpersonen ohne dieses Ergebnis ausgewählt.FallkontrollstudieSTROBEDas Versäumnis, eine Kontrollgruppe auszuwählen, stellt die größte Bedrohung für die Validität dar.
Interviews, Fokusgruppen oder Beobachtungen erforschten Erfahrungen und Bedeutungen.Qualitative ForschungCOREQ oder SRQR für die BerichterstattungAnwendung auf eine Umfrage mit Freitextfeldern, die nur gezählt wurden
Ein Test wurde mit einem Referenzstandard an denselben Patienten verglichen.Diagnostische TeststudieQUADAS-2, STARDDie Kohortenliste wurde verwendet, da die Patienten nachbeobachtet wurden.
Die Kosten und Folgen von zwei oder mehr Optionen wurden verglichen.Wirtschaftliche BewertungPROSTEine Kostenbeschreibung als vollständige Bewertung bewerten
Die Prädiktoren wurden zu einer Regel zusammengefasst und auf ihre Leistungsfähigkeit getestet.Klinische VorhersageregelTRIPODVerwendung der diagnostischen Testliste für ein multivariates Modell
Die Daten wurden zu einem einzigen Zeitpunkt erhoben, um eine Population zu beschreiben.QuerschnittsstudieSTROBEKausale Aussagen aus einer einzelnen Momentaufnahme ableiten
Gemischte Methoden, Scoping Reviews oder TierstudienKeine direkte CASP-Übereinstimmung unter den elfDesignspezifisches Werkzeug für jede KomponenteEine schlechte Passform erzwingen, anstatt jeden Strang einzeln zu prüfen

Wenn Sie eine diagnostische Studie anstreben, zeigt Ihnen unsere praktische Anwendung von QUADAS-2, wie ein domänenbasiertes Tool dieselbe Bewertung durchführt. Beide Tools können parallel eingesetzt werden. Bei einer qualitativen Synthese ist die Bewertung nur der erste Schritt, da die Vertrauenswürdigkeit jedes synthetisierten Ergebnisses anschließend mit GRADE-CERQual bewertet wird.

Die dreiteilige Struktur einer CASP-Checkliste

CASP gibt an, dass die meisten seiner Checklisten drei Abschnitte umfassen. Abschnitt A fragt nach der Validität der Studienergebnisse. Abschnitt B fragt nach den Ergebnissen selbst. Abschnitt C fragt, ob die Ergebnisse lokal hilfreich sind. Die Reihenfolge ist wichtig, denn eine Studie, die in Abschnitt A durchfällt, lässt wenig Anlass, den Ergebnissen in Abschnitt B zu vertrauen. Selbst ein an sich vertrauenswürdiges Ergebnis ist nutzlos, wenn Abschnitt C zeigt, dass sich Ihre Population von der untersuchten unterscheidet.

Abschnitt A: Sind die Ergebnisse gültig?

Dieser Abschnitt enthält die Fragen zu Studiendesign und -durchführung. Die Checkliste für qualitative Studien umfasst eine klare Zielformulierung, die Eignung eines qualitativen Ansatzes für das Ziel, die Übereinstimmung von Studiendesign und Rekrutierung mit den Zielen, die Datenerhebungsmethoden und deren Rechtfertigung sowie die Überprüfung des eigenen Einflusses der Forschenden auf die Daten. Die Checkliste für klinische Studien beinhaltet im Abschnitt „Grundlagen des Studiendesigns“ die zentrale Fragestellung, die Randomisierung und die Erfassung aller Studienteilnehmenden, während ein separater Abschnitt zur methodischen Strenge die Verblindung und die Vergleichbarkeit der Ausgangswerte behandelt. Die meisten Bewertungen werden in diesen frühen Abschnitten getroffen.

Abschnitt B, was sind die Ergebnisse?

In den dreiteiligen Checklisten fragt Abschnitt B bei quantitativen Studien nach der Effektstärke und -genauigkeit. Bei der Checkliste für qualitative Studien umfasst er die ethische Fragestellung, die methodische Strenge und die Verständlichkeit der Ergebnisse. Diese veränderte Fokussierung ist bewusst gewählt. In quantitativen Studien werden Effektstärke und Konfidenzintervall abgefragt. In qualitativen Studien wird geprüft, ob der Analyseprozess beschrieben wird, ob die präsentierten Daten die Thesen stützen und ob widersprüchliche Daten berücksichtigt wurden.

Abschnitt C: Werden die Ergebnisse lokal helfen?

Abschnitt C wendet sich von der wissenschaftlichen Arbeit Ihrem eigenen Umfeld zu. Die qualitative Checkliste schließt mit einer einzigen Frage zur Aussagekraft der Forschung. Sie regt dazu an, deren Beitrag zum bestehenden Wissen, die identifizierten neuen Forschungsbereiche und die Übertragbarkeit der Ergebnisse auf andere Bevölkerungsgruppen zu bewerten. Weitere Checklisten fragen, ob die Ergebnisse auf die lokale Bevölkerung anwendbar sind, ob alle wichtigen Ergebnisse berücksichtigt wurden und ob der Nutzen die Risiken oder Kosten überwiegt.

Wo sich die Struktur ändert

Die Checkliste für die Studie und beide Checklisten für die Metaanalyse verwenden in den PDFs von 2024 vier Überschriften. Für die Studie sind dies das Studiendesign, die methodische Strenge, die Ergebnisse und die lokale Relevanz. Die Checkliste für die ökonomische Evaluation behält drei Abschnitte bei, benennt diese jedoch um und fragt nach der Validität der Evaluation, der Bewertung und dem Vergleich von Folgen und Kosten sowie der Frage, ob die Ergebnisse die Kaufentscheidungen der lokalen Bevölkerung unterstützen. Das PDF für Querschnittstudien enthält eine einzelne Überschrift „Abschnitt A“ mit elf Fragen. Geben Sie in Ihrer Methodenbeschreibung die verwendete Version und deren Datum an, da sich die Struktur der Checklisten unterscheidet.

Jede Checkliste schließt mit einer zusammenfassenden Bewertung ab. Diese enthält drei Spalten: positive oder methodisch fundierte Punkte, negative oder methodisch mangelhafte Aspekte und Unbekanntes. Diese Zusammenfassung kommt einer Gesamtbewertung im Rahmen des CASP-Programms am nächsten und wird in Worten, nicht in Zahlen, formuliert.

Warum eine CASP-Checkliste keine numerische Punktzahl hat

Eine häufig gestellte Frage ist, ob CASP eine Punktzahl vergibt. Die ehrliche Antwort lautet: Nein. Die Anleitung beschreibt die Erfassung von „Ja“, „Nein“ oder „Kann ich nicht sagen“ mit Begründung, erwähnt aber kein Punktesystem. Eine Textsuche in allen elf Checklisten-PDFs von 2024 nach den Wörtern „Punktzahl“ und „Bewertung“ ergab keine Ergebnisse. Die einleitende Anweisung in den PDFs deutet jedoch in die entgegengesetzte Richtung und rät Nutzern, die Anzahl der „Kann ich nicht sagen“-Antworten zu beachten und Ergebnisse bei einer hohen Anzahl mit Vorsicht zu interpretieren.

Es gibt auch einen methodischen Grund, die „Ja“-Antworten nicht zusammenzufassen. Jüni und Kollegen wandten 25 verschiedene Qualitätsbewertungsskalen auf dieselben 17 Studien an, die niedermolekulares Heparin mit Standardheparin verglichen, und stellten fest, dass die gewählte Skala die Schlussfolgerungen der Metaanalyse veränderte. Das Cochrane Handbook zitiert diese Arbeit in Abschnitt 7.1.2, um zu erklären, warum sich das Fachgebiet von Qualitätsskalen hin zu domänenbasierten Beurteilungen entwickelt hat. Es merkt an, dass ein zusammenfassender Wert, der mehrere Merkmale kombiniert, schwer zu interpretieren ist und dass das Cochrane-Risiko-für-Verzerrungen-Tool von 2011 bewusst kein Bewertungssystem enthielt.

Wenn ein Betreuer oder eine Fachzeitschrift eine kompakte Darstellung wünscht, erfassen Sie die Anzahl der Ja-, Nein- und „Kann ich nicht beurteilen“-Antworten pro Studie tabellarisch und fügen Sie die schriftlichen Begründungen hinzu. Eine Zählung ist eine Beschreibung. Eine Gesamtbewertung, die Studien als qualitativ hochwertig, mittel oder niedrig einstuft, ist eine versteckte Punktzahl und führt genau zu dem Problem, das die Studie mit der 25-Punkte-Skala aufgezeigt hat. Wenn ein Bewertungsergebnis in eine Analyse einfließen muss, führen Sie eine Sensitivitätsanalyse durch, in der Sie Studien mit schwerwiegenden Bedenken in einem bestimmten Abschnitt ausschließen. Geben Sie an, welche Bedenken zum Ausschluss geführt haben, bevor Sie die Ergebnisse betrachten.

Beispielrechnung zur Bewertung einer qualitativen Studie anhand der drei Abschnitte

Das folgende Beispiel ist hypothetisch und wurde von Editverse zu Lehrzwecken verfasst. Stellen Sie sich eine wissenschaftliche Arbeit vor, die halbstrukturierte Interviews mit 14 Stationsschwestern eines regionalen Krankenhauses zum Thema Nachtschichtübergabe beschreibt. Die Autoren verwendeten eine thematische Analyse und präsentieren vier Themen mit illustrativen Zitaten. Die Hauptinterviewerin war die Stationsleitung der Schwestern. Die Arbeit weist auf die Genehmigung der Ethikkommission und die schriftliche Einwilligung der Teilnehmer hin. Sie beschreibt jedoch nicht, wie die Schwestern kontaktiert wurden, warum einige die Teilnahme ablehnten, ob die Interviews bis zum Ausbleiben neuer Erkenntnisse fortgesetzt wurden oder wie die Themen von einer zweiten Person überprüft wurden. Wir verwenden die qualitative Checkliste mit zehn Fragen und paraphrasieren jedes Thema.

Qualitative CASP-Checkliste: Beispiel mit Antworten aus den Abschnitten A, B und C
Abbildung 2. Antworten für die hypothetische Übergabestudie im Nachtschichtbetrieb. Die dunkelblauen Balken stellen die drei CASP-Abschnitte dar, wobei jedes Feld eine Antwortmöglichkeit bietet. Grün bedeutet „Ja“, Orange „Kann ich nicht sagen“ und Rot „Nein“. Es wird keine Gesamtpunktzahl berechnet. Erstellt von Editverse.
AbschnittFragethema (sinngemäß wiedergegeben)AntwortGrund aufgezeichnet
A1. Ziele klar formuliertJaDas Ziel, zu untersuchen, wie Pflegekräfte die nächtliche Schichtübergabe erleben, wird formuliert und mit der Patientensicherheit verknüpft.
A2. Qualitativer Ansatz angemessenJaIm Mittelpunkt steht die Erfahrung, die durch Interviews verdeutlicht werden kann.
A3. Das Design entspricht den ZielenJaDie Autoren rechtfertigen die Wahl eines Interviewdesigns gegenüber der Beobachtung der Übergabe.
A4. Die Rekrutierung entspricht den ZielenKann ich nicht sagenDie Auswahlmethode wird zwar angegeben, es wird aber nicht erläutert, wer abgelehnt hat oder warum gerade diese Gruppe für die Fragestellung geeignet ist.
A5. Die Datenerhebung befasste sich mit dem Problem.Kann ich nicht sagenDer Themenleitfaden wird beschrieben, die Sättigung wird jedoch nicht thematisiert und etwaige Änderungen während der Feldarbeit werden nicht gemeldet.
A6. Die Beziehung zwischen Forscher und Teilnehmer wird berücksichtigtNeinDer Interviewer hatte die Kontrolle über die Teilnehmer, und die Studie untersucht nicht, wie dieses Machtverhältnis die Antworten beeinflussen könnte.
B7 betrachtete ethische FragenJaDie Genehmigung und Einwilligung werden unter Wahrung der Vertraulichkeit gemeldet.
B8. Die Analyse ist ausreichend streng.Kann ich nicht sagenDie Themen werden anhand von Zitaten veranschaulicht, die Herleitung ist jedoch dürftig, widersprüchliche Fälle werden nicht besprochen und es wird kein zweiter Analytiker erwähnt.
B9. Klare Darstellung der ErgebnisseJaVier Themen werden explizit genannt und stehen in engem Zusammenhang mit der Forschungsfrage.
C10. Wert der ForschungJaDie Studie stellt Befunde in Bezug zu bestehender Literatur zum Thema Übergabe dar und benennt Übertragbarkeitsgrenzen für andere Krankenhäuser.

Die Bewertungszusammenfassung wird anschließend in Worten wiedergegeben. Positiv hervorzuheben sind ein klares Ziel, ein begründetes Studiendesign und explizite, auf die Fragestellung bezogene Ergebnisse. Negativ wird die unreflektierte Beziehung zwischen Vorgesetztem und Interviewer genannt, die die Aussagebereitschaft der Pflegekräfte unmittelbar beeinträchtigt. Unbekannt sind Rekrutierung, Datensättigung und die analytische Dokumentation. Sechs positive Antworten von zehn Befragten bedeuten nicht, dass die Studie zu 60 Prozent gut ist. Ein einzelnes „Nein“ im Abschnitt zum Einfluss der Forschenden kann bedeutsamer sein als fünf positive Antworten an anderer Stelle. Genau deshalb verschleiert eine Gesamtzahl die für die Lesenden relevanten Informationen.

Wie Sie weiter vorgehen, hängt vom Zweck ab. Bei einer qualitativen Evidenzsynthese beziehen Sie die Studie ein, berücksichtigen die darin geäußerten Bedenken bei Ihrer Bewertung der Aussagekraft und prüfen, ob die darin enthaltenen Themen auch in methodisch besser durchgeführten Studien auftreten. In einer Literaturübersicht für eine Dissertation zitieren Sie die Studie mit einem Hinweis auf die Durchführung von Interviews an einem einzelnen Standort durch Manager. In beiden Fällen sind die schriftlichen Begründungen das Ergebnis, nicht die Bewertung selbst.

CASP-Checkliste – Praxisbeispiel: Bewertung einer veröffentlichten Open-Access-Qualitativen Studie

Eine hypothetische Studie verdeutlicht die Mechanismen, eine reale Studie hingegen zeigt, wie ein gutes Ergebnis aussieht – einschließlich der Punkte, an denen selbst ein sorgfältiger Gutachter noch zögern mag. Hier ist eine aktuelle, gut dokumentierte qualitative Studie: eine 2023 durchgeführte Interviewstudie mit Allgemeinmedizinern in Irland, die anhand aller drei Abschnitte der CASP-Checkliste für qualitative Forschung bewertet wurde.

Beispiel einer realen Arbeit

O'Leary H, Robinson K, Glynn L, Lenehan B, McCreesh K. „Sie stecken hier in der Mitte fest“ – eine qualitative Studie zu den Erfahrungen von Hausärzten im Umgang mit Knieschmerzen aufgrund eines degenerativen Meniskusrisses. BMC Primary Care . 2023;24(1):127. doi:10.1186/s12875-023-02075-9 . PMID 37344762. PMC10286499.

Lizenz. Creative Commons Namensnennung 4.0 International ( CC BY 4.0 ), bestätigt anhand des Crossref-Eintrags und der Open-Access-Metadaten von PubMed Central. Kurze Zitate im Folgenden sind gekennzeichnet und den Autoren zugeordnet; Abbildungen und Tabellen wurden nicht kopiert.

Warum diese Arbeit? Die Autoren geben an, dass COREQ die Durchführung und Berichterstattung leitete, der Interviewleitfaden ist tabellarisch dargestellt, und die Analysemethode sowie die verwendete Software werden genannt. Sättigung und ein Validierungsschritt werden beschrieben, und ein Abschnitt zur Reflexivität erläutert den klinischen Hintergrund des Interviewers. Dank des Open Access unter einer CC-BY-Lizenz können Sie den Volltext öffnen und jede Zeile mit der Quelle vergleichen.

Betrachten Sie dies als beispielhafte Editverse-Bewertung für den Unterricht, nicht als Urteil über die Autoren. Ein anderer Gutachter könnte die als Beurteilungsfragen gekennzeichneten Zeilen durchaus anders beantworten. Genau deshalb bittet CASP Sie, neben jeder Antwort eine Begründung anzugeben. Die Fragenthemen sind paraphrasiert; den offiziellen Wortlaut finden Sie auf der CASP-Checkliste.

AbschnittFragethema (sinngemäß wiedergegeben)Was die Zeitung berichtet und woAntwortBegründung in einem Satz
A1. Ziele klar formuliertIm Abstract und am Ende der Einleitung wird das Ziel der Studie dargelegt: die Ansichten und Erfahrungen von Hausärzten im Umgang mit Knieschmerzen aufgrund eines degenerativen Meniskusrisses zu untersuchen. Die Einleitung erläutert die Forschungslücke, da die Perspektive der Hausärzte bisher nicht erforscht wurde.JaZiel, Bedeutung und Praxisrelevanz werden alle dargelegt.
A2. Eignung eines qualitativen AnsatzesEinleitung und Methoden, Studiendesign. Gegenstand der Untersuchung sind die Erfahrungen, Überzeugungen und Belastungen von Hausärzten, nicht ein messbares Ergebnis.JaEin qualitativer Ansatz zielt darauf ab, Erfahrungen und Überzeugungen zu beleuchten, und das Ziel verlangt nichts, was eine Zählung beantworten könnte.
A3. Das Forschungsdesign entspricht den ZielenMethoden, Studiendesign und Datenerhebung. Halbstrukturierte Interviews, basierend auf einem vorab getesteten Leitfaden mit sechs Fragen und einer kurzen Fallvignette (Tabelle 1), mit induktiver thematischer Analyse.Kann ich nicht sagen
Ermessensentscheidung
Das Interviewdesign erfüllt den Zweck, aber in der Arbeit wird nie erklärt, warum Interviews und nicht Fokusgruppen oder eine andere Methode gewählt wurden, was aber genau die Frage ist, nach der hier gefragt wird.
A4. Die Rekrutierungsstrategie passt zu den ZielenMethoden, Setting, Teilnehmer und Rekrutierung. E-Mails über berufliche und Forschungsnetzwerke, Selbstmeldungen, Schneeballverfahren, anschließend gezielte Stichprobenziehung nach Praxisstandort, privater Krankenversicherung, Geschlecht und Berufserfahrung. Die Stichprobe ist in Tabelle 2 beschrieben (17 Hausärzte).Ja
Ermessensentscheidung
Wie die Hausärzte ausgewählt wurden und warum man nach Variationen suchte, wird erläutert, die Anzahl der kontaktierten oder abgelehnten Hausärzte wird jedoch nicht angegeben, und die Autoren weisen selbst auf die Selbstselektion hin.
A5. Die Datenerhebung befasste sich mit dem Problem.Methoden, Datenerhebung und Ergebnisse (Einleitung). Aufgrund der COVID-19-Beschränkungen wurden von September 2021 bis Februar 2022 Online- oder Telefoninterviews mit einer Dauer von 35 bis 62 Minuten (im Mittel 46 Minuten) durchgeführt. Die Interviews wurden aufgezeichnet, transkribiert und geprüft; zusätzlich wurden Feldnotizen angefertigt. Nach Erreichen der Datensättigung wurden zwei weitere Interviews geführt.JaSetting, Methode, Themenleitfaden, Datenform und Sättigung sind alle explizit festgelegt, und es wird über keine Änderungen der Methoden während der Feldarbeit berichtet.
A6. Die Beziehung zwischen Forscher und Teilnehmer wird berücksichtigtMethoden, Datenerhebung und Datenanalyse sowie Stärken und Schwächen. Der Interviewer war gleichzeitig praktizierender Physiotherapeut mit Schwerpunkt auf dem Bewegungsapparat, was den Teilnehmenden bekannt war. Ein Abschnitt zur Selbstreflexion beschreibt den Umgang damit.JaDie klinische Rolle des Interviewers wird offengelegt und hinsichtlich ihrer wahrscheinlichen Auswirkungen sowohl auf die Interviews als auch auf die Analyse untersucht; eine Teamdiskussion dient dabei als Kontrollmechanismus.
B7 betrachtete ethische FragenZusammenfassung, Methoden, Studiendesign und Erklärungen. Genehmigung durch die Ethikkommission des Irish College of General Practitioners mit Referenznummer, Einverständniserklärung per E-Mail mit mündlicher Bestätigung, Verwendung von Pseudonymen und Löschung personenbezogener Daten.Ja
Ermessensentscheidung
Die Schritte zur Genehmigung, Einwilligung und Vertraulichkeit werden zwar genannt, aber es wird nicht erwähnt, was den Teilnehmern gesagt wurde, und es werden keine ethischen Fragen erörtert, die die Studie aufgeworfen hat – eine geringfügige Lücke bei einer Stichprobe von Fachleuten mit niedrigem Risiko.
B8. Strenge der AnalyseMethoden, Datenanalyse und die Zitate in den Ergebnissen. Sechs Schritte nach Braun und Clarke, NVivo 12, unabhängige Kodierung und Abgleich einer Transkriptstichprobe durch zwei Forscher, regelmäßige Teamsitzungen, Themenüberprüfung durch das gesamte Team.Ja
Ermessensentscheidung
Der Prozess wird beschrieben und gegensätzliche Ansichten werden wiedergegeben (zum Beispiel zur MRT und zur privaten Krankenversicherung), aber der Anteil der doppelt kodierten Transkripte und der Arbeitsweg von den Codes zu den Themen werden nicht dargestellt.
B9. Klarheit der ErgebnisseErgebnisse (drei Themen mit Unterthemen), Diskussion, Zusammenfassung der wichtigsten Ergebnisse und Methoden, Datenanalyse zur Überprüfung der Glaubwürdigkeit. Validierung durch drei Teilnehmende, unabhängige Kodierung, Nachbesprechung und Sättigung.JaDie Ergebnisse sind explizit und auf das Ziel ausgerichtet, mit Argumenten dafür und dagegen, und die Schritte zur Glaubwürdigkeitsprüfung werden benannt, obwohl die Überprüfung durch die Mitglieder nur einen kleinen Teilbereich umfasste.
C10. Wert der ForschungDiskussion, Vergleich mit der bestehenden Literatur und praktische Implikationen, Stärken und Schwächen sowie Schlussfolgerungen. Links zu Forschungsergebnissen zu Rückenschmerzen und Arthrose sowie zu Fortbildungen, Physiotherapieangeboten und Online-Ressourcen für Allgemeinmediziner.JaDer Beitrag, die praktischen Auswirkungen und die Grenzen des Transfers auf andere Gesundheitssysteme werden alle diskutiert, wobei über die aufgeführten Punkte hinausgehende weitere Forschung impliziert wird.

Drei Details aus der Studie erleichtern das Verständnis der Tabelle. Zur Datensättigung berichten die Autoren: „Im Anschluss daran wurden zwei weitere Interviews durchgeführt“ (O’Leary et al., 2023, Methoden). Zur Überprüfung ihrer Interpretation mit den Teilnehmenden geben sie an: „Es wurde eine Überprüfung durch die Teilnehmenden“ mit einer Untergruppe von drei Hausärzten durchgeführt. Zur Reflexivität schreiben sie, dass die Forscherin „mögliche Einflüsse ihres physiotherapeutischen Hintergrunds auf die Datenanalyse und die Erstellung des Berichts berücksichtigte“.

Gesamtbewertung im CASP-Zusammenfassungsformat

Positive Aspekte: Die Ziele sind klar definiert und das Studiendesign ist darauf abgestimmt. Die Stichprobe wurde bewusst erweitert, um ländliche und städtische Praktiken, öffentliche und private Akteure, beide Geschlechter und unterschiedliche Erfahrungsniveaus einzubeziehen. Tabelle 1 und 2 zeigen den Interviewleitfaden und die Stichprobe, sodass die Leser nachvollziehen können, welche Fragen gestellt und wer geantwortet hat. Reflexivität wird explizit thematisiert, und die Autoren greifen dieses Thema erneut auf, wenn sie die soziale Erwünschtheit diskutieren. Zwei Forscher haben die Daten unabhängig voneinander kodiert, und in den Zitaten werden neben den dominanten Ansichten auch kontrastierende Perspektiven dargestellt.

Unsicherheiten. Vier Zeilen geben den größten Anlass zur Sorge. Es wird nicht argumentiert, ob Interviews anderen Methoden vorzuziehen sind, die Anzahl der kontaktierten bzw. ablehnenden Hausärzte wird nicht angegeben, die Inhalte der Studie und etwaige ethische Bedenken werden nicht beschrieben, und der Anteil doppelt kodierter Daten sowie der Weg von den Codes zu den Themen werden nicht dargestellt. Die Überprüfung durch die Teilnehmenden erreichte 3 von 17 Personen, was die Glaubwürdigkeit zwar stützt, aber nicht endgültig belegt. Da der Datensatz aufgrund der an die Ethikkommission geknüpften Auflagen nicht öffentlich zugänglich ist, kann ein externer Leser die Transkripte nicht im Hinblick auf die Themen erneut prüfen.

Was dies bedeutet und was nicht. Neun Antworten lauten „Ja“, eine „Kann ich nicht beurteilen“. Dies ist jedoch keine Bewertung und bedeutet nicht, dass die Studie fehlerfrei ist. COREQ gibt den Autoren vor, was sie berichten sollen, und die Autoren geben an, dass dies die Grundlage für diese Arbeit bildete. CASP stellt eine andere Frage: Stützen die berichteten Informationen die Ergebnisse? Hier lautet die Antwort überwiegend „Ja“ mit guten Belegen, wobei vier Beurteilungen als problematisch gekennzeichnet sind.

Die Ergebnisse werden in eine Synthese eingebunden. In einer qualitativen Evidenzsynthese würden Sie diese Studie berücksichtigen und die vier markierten Zeilen den von ihr beigesteuerten Themen zuordnen, sodass die Aussagekraft der einzelnen Themen entsprechend bewertet wird. Stimmen die Themen zu Patientenerwartungen und Zugang zu Gesundheitsleistungen mit denen anderer Studien überein, spielen die Zweifel eine untergeordnete Rolle. Ist diese Studie jedoch die einzige Quelle für ein Thema, sind sie von größerer Bedeutung. In einer Dissertation zitieren Sie die Studie mit einem kurzen Hinweis auf den begrenzten Studienumfang (einzelnes Land) und die selbstselektierte Stichprobe von Hausärzten – beides Punkte, die die Autoren selbst ansprechen.

Wie man eine CASP-Checklistenbewertung in einer wissenschaftlichen Arbeit oder Dissertation darstellt

Der Leser sollte erkennen können, welche Checkliste Sie verwendet haben, wer sie angewendet hat, wie Meinungsverschiedenheiten beigelegt wurden und was Sie mit den Ergebnissen gemacht haben. Ein Methodenabschnitt, der diese Punkte abdeckt, kann kurz sein.

Methodensatzvorlage

Zwei Gutachter bewerteten unabhängig voneinander jede eingeschlossene qualitative Studie anhand der CASP-Checkliste für qualitative Forschung (Critical Appraisal Skills Programme, 2024). Zu jeder Frage notierten die Gutachter „Ja“, „Nein“ oder „Kann ich nicht sagen“ mit einer schriftlichen Begründung. Meinungsverschiedenheiten wurden in einer Diskussion mit einem dritten Gutachter geklärt. Es wurde keine numerische Punktzahl berechnet. Die Bewertungsergebnisse dienten dazu, die methodischen Stärken und Schwächen jeder Studie zu beschreiben und die Aussagekraft der zusammengefassten Ergebnisse zu beurteilen.

Fügen Sie in den Ergebnissen eine Tabelle mit einer Zeile pro Studie und einer Spalte pro Frage hinzu, kodiert mit „Ja“, „Nein“ oder „Kann nicht beurteilt werden“, sowie einen kurzen erläuternden Absatz zu den Mustern. Muster sind aussagekräftiger als die Beurteilung einzelner Studien. Wenn beispielsweise sechs von acht Studien im Hinblick auf die Rekrutierung „Kann nicht beurteilt werden“ ergeben, ist dies ein Befund, der die Forschungslage betrifft und in Ihre Diskussion einfließen sollte.

Für das Literaturverzeichnis empfiehlt CASP den Harvard-Stil mit Angabe der Organisation als Autor, des Jahres, des Namens der Checkliste, der Webadresse und des Zugriffsdatums. Die entsprechende Seite zum Literaturverzeichnis enthält die genauen Referenzen für jede der elf Checklisten. Für die Checkliste zur qualitativen Forschung lautet das Format: Critical Appraisal Skills Programme (2024), CASP-Checkliste für qualitative Forschung, online, gefolgt von der PDF-Adresse und dem Zugriffsdatum.

Bezüglich der Nutzungsbedingungen gibt CASP an, dass die Checklisten unter der Creative Commons Attribution-NonCommercial-ShareAlike- Lizenz stehen . In der CASP-Zusammenfassung heißt es, dass Sie das Material teilen und anpassen dürfen, die Urheberschaft angemessen angeben und Änderungen kennzeichnen müssen, die kommerzielle Nutzung untersagt ist und jegliche darauf aufbauende Arbeit unter derselben Lizenz stehen muss. Wenn Sie eine vollständige Checkliste in einem Anhang oder eine angepasste Version in einem kommerziellen Produkt verwenden möchten, lesen Sie bitte zuerst die Nutzungsbedingungen und wenden Sie sich im Zweifelsfall an CASP. Das Zitieren des Themas einer Frage, wie es in diesem Leitfaden geschieht, und die Verlinkung zur offiziellen PDF-Datei vermeiden dieses Problem.

Abschließend sollten Sie die Bewertung an Ihren Berichtsstandard anpassen. Eine systematische Übersichtsarbeit, die gemäß PRISMA 2020 erstellt wurde, sollte das verwendete Bewertungsinstrument benennen und erläutern, wie dessen Ergebnisse genutzt wurden. Für Ihre eigenen qualitativen Studien ist eine Berichtsrichtlinie wie COREQ die richtige Ergänzung, da sie festlegt, welche Informationen Ihr Manuskript offenlegen soll.

Häufige Fehler bei der CASP-Checkliste

Die Ja-Antworten zusammenzählen

Die Gesamtsummen sehen zwar übersichtlich aus, sind aber irreführend. Wie oben dargestellt, haben unterschiedliche Bewertungskriterien die Schlussfolgerungen der Beurteilungen über 25 Skalen hinweg verändert, und CASP selbst vergibt keine Punktzahl. Stattdessen sollten die Anzahl und die Begründungen im Bericht aufgeführt werden.

Auswahl der Checkliste anhand des Titels

Die Studiendesigns sind oft ungenau beschrieben. Ermitteln Sie anhand des Methodenteils, wer die Exposition zugeteilt hat, in welche Richtung die Studie durchgeführt wurde und womit sie verglichen wurde, und verwenden Sie anschließend die obige Entscheidungstabelle.

Alleine arbeiten und Gründe leer lassen

Ein einzelner Gutachter, der lediglich Häkchen setzt, ohne die Sachverhalte zu begründen, liefert keine Grundlage für eine Überprüfung. Zwei unabhängige Gutachter hingegen, die zu jeder Frage eine Begründung verfassen, erstellen einen Bericht, der von einem Vorgesetzten oder Prüfer nachvollzogen werden kann.

„Kann ich nicht sagen“ wird als höfliches Nein behandelt.

„Kann ich nicht sagen“ bedeutet, dass die Arbeit keine Angaben dazu macht. Spekulieren Sie nicht zugunsten der Autoren und wandeln Sie dies nicht in „Nein“ um. Zählen, erklären und gewichten Sie es, wie es die Checkliste selbst vorschreibt.

Verwechslung von Bewertung und Berichterstattung

Die Bewertung einer veröffentlichten Studie mit CASP zeigt nicht, ob Ihr eigenes Manuskript den Berichtsstandards entspricht. Verwenden Sie beim Schreiben die Berichtsleitlinie für Ihr Studiendesign und beim Lesen die CASP-Checkliste.

Halt bei Abschnitt B

Abschnitt C stellt die Verbindung zwischen der Bewertung und Ihrer Fragestellung her. Ein valides, präzises Ergebnis aus einer Population, die sich von Ihrer unterscheidet, kann dennoch die falsche Evidenz für Ihre Überprüfung oder Ihre Klinik darstellen.

Kostenlose Tools für Ihren Bewertungsworkflow

Kostenlose Recherchetools von Editverse

  • GraphProErstellen Sie publikationsreife Diagramme (25 Typen) mit integrierten t-Tests, ANOVA, Korrelations- und Chi-Quadrat-p-Werten. Kostenlos, keine Anmeldung erforderlich.
  • StatProKostenlose Statistikrechner und ein Testauswahltool für Gruppenvergleiche, kategoriale Ergebnisse, Zeit-bis-Ereignis-Analysen und diagnostische Genauigkeit.
  • Flowchart Pro: Generieren Sie PRISMA 2020-, PRISMA-ScR-, CONSORT-, STROBE-, STARD-, MOOSE- und ARRIVE-Flussdiagramme direkt in Ihrem Browser.

Professionelle Unterstützung bei der kritischen Bewertung und der Synthese von Evidenz

Die Bewertung ist ein arbeitsintensiver Schritt, da jede einbezogene Studie von zwei Gutachtern und einer schriftlichen Begründung für jede Bewertung profitiert. Die Spezialisten von Editverse übernehmen diesen Schritt im Rahmen einer umfassenden Evidenzsynthese oder als Grundlage für ein Kapitel einer Dissertation. Die Arbeit orientiert sich an den Standards von COPE, ICMJE und GPP 2022. Zwei Pakete eignen sich direkt für dieses Thema.

Literaturische Rezension

$500

Recherchestrategie-Dokument, Literaturmatrix, Lückenanalyse und annotierte Bibliografie für ein Dissertationskapitel. 7 bis 10 Werktage.

Paket ansehen →

Systematische Überprüfung und Metaanalyse

$1,800

Protokoll, Suche, Screening, Datenextraktion und Qualitätsbewertung, Forest-Plots und Manuskript für bis zu 15 geeignete Studien. 10 bis 14 Wochen nach Protokollgenehmigung.

Paket ansehen →

Für umfangreichere Synthesen, Netzwerk-Metaanalysen und zeitschriftenspezifische Berichterstattung siehe den vollständigen Service für die Erstellung systematischer Reviews.

Fazit

Eine CASP-Checkliste ist dann effektiv, wenn drei Entscheidungen gut getroffen werden. Ordnen Sie die Checkliste dem Studiendesign anhand des Methodenteils zu, nicht anhand des Titels. Beantworten Sie jede der zehn bis zwölf Fragen mit Ja, Nein oder Kann ich nicht sagen und begründen Sie Ihre Antwort. Geben Sie das verwendete Tool, die Version, die Anzahl der Gutachter und die Verwendung der Ergebnisse an – ohne fiktive Punktzahl. Das Beispiel verdeutlicht, wie eine unberücksichtigte Beziehung zwischen Forschern mehrere Ja-Antworten überwiegen kann und warum die Begründung wichtiger ist als die reine Punktzahl.

Laden Sie die passende PDF-Datei aus dem CASP-Checklisten-Hub herunter , notieren Sie sich die Gründe, und falls Ihre Bewertung Teil einer größeren Überprüfung ist, kann unser Team für systematische Überprüfungen sie zu einem einreichungsfertigen Manuskript weiterführen.

Referenzen

  1. Critical Appraisal Skills Programme. CASP-Checklisten. casp-uk.net/casp-tools-checklists/ (abgerufen am 29. Oktober 2026).
  2. Programm zur Förderung kritischer Beurteilungsfähigkeiten. Anleitung zur Verwendung der CASP-Checklisten. casp-uk.net/how-to-use-checklist/ (abgerufen am 29. Oktober 2026).
  3. Programm zur Förderung kritischer Beurteilungsfähigkeiten. Zitieren und Creative Commons. casp-uk.net/referencing/ (abgerufen am 29. Oktober 2026).
  4. Critical Appraisal Skills Programme (2024). CASP-Checkliste für qualitative Forschung. casp-uk.net/casp-checklists/CASP-checklist-qualitative-2024.pdf. Die zehn weiteren Checklisten-PDFs von 2024 wurden anhand der Dateinamen auf der Referenzseite gefunden.
  5. Creative Commons. Namensnennung – Nicht kommerziell – Weitergabe unter gleichen Bedingungen 4.0 International. creativecommons.org/licenses/by-nc-sa/4.0/
  6. Majid U, Vanstone M. Bewertung qualitativer Forschung für Evidenzsynthesen: Ein Kompendium von Instrumenten zur Qualitätsbewertung. Qualitative Health Research. 2018;28(13):2115-2131. PMID 30047306. doi 10.1177/1049732318785358.
  7. Jüni P, Witschi A, Bloch R, Egger M. Die Gefahren der Bewertung der Qualität klinischer Studien für Metaanalysen. JAMA. 1999;282(11):1054-1060. PMID 10493204. doi 10.1001/jama.282.11.1054.
  8. Cochrane Handbook for Systematic Reviews of Interventions, Kapitel 7, Abschnitt 7.1.2. cochrane.org/authors/handbooks-and-manuals/handbook/current/chapter-07
  9. Tong A, Sainsbury P, Craig J. Konsolidierte Kriterien für die Berichterstattung qualitativer Forschung (COREQ), eine 32-Punkte-Checkliste für Interviews und Fokusgruppen. International Journal for Quality in Health Care. 2007;19(6):349-357. PMID 17872937. doi 10.1093/intqhc/mzm042.
  10. Whiting PF, Rutjes AWS, Westwood ME, et al. QUADAS-2, ein überarbeitetes Instrument zur Qualitätsbewertung von Studien zur diagnostischen Genauigkeit. Annals of Internal Medicine. 2011;155(8):529-536. PMID 22007046. doi 10.7326/0003-4819-155-8-201110180-00009.
  11. Sterne JAC, Savović J, Page MJ, et al. RoB 2, ein überarbeitetes Instrument zur Beurteilung des Verzerrungsrisikos in randomisierten Studien. BMJ. 2019;366:l4898. PMID 31462531. doi 10.1136/bmj.l4898.
  12. O’Leary H, Robinson K, Glynn L, Lenehan B, McCreesh K. „Sie stecken hier in der Zwickmühle“: Eine qualitative Studie zu den Erfahrungen von Hausärzten im Umgang mit Knieschmerzen aufgrund eines degenerativen Meniskusrisses. BMC Prim Care. 2023;24(1):127. PMID 37344762. doi:10.1186/s12875-023-02075-9Lizenziert unter CC BY 4.0.