Veröffentlicht | Letzte Aktualisierung:

Eine Studie, die nichts findet, ist nicht automatisch gescheitert, und eine Studie, die etwas findet, ist nicht automatisch wahr. Was ein verlässliches Nullergebnis von einem vergeudeten Ergebnis und eine echte Entdeckung von einem zufälligen p-Wert unterscheidet, hängt in der Regel von einer Berechnung ab, die die meisten Forschenden durchführen, bevor sie auch nur einen einzigen Datenpunkt erheben. Die Poweranalyse beantwortet eine spezifische Frage: Wie viele Teilnehmende, Proben oder Beobachtungen benötigt eine Studie, um den kleinsten relevanten Effekt mit hoher Wahrscheinlichkeit nachzuweisen? Wird diese Berechnung ausgelassen, kann eine Studie zu klein ausfallen, um einen tatsächlich existierenden Effekt zu finden, oder – seltener – zu groß sein, wodurch Budget und Zeit der Teilnehmenden ohne wirklichen Nutzen verschwendet werden.

Ethikkommissionen, Gutachter von Fachzeitschriften und Fördergremien fordern diese Kennzahl mittlerweile aus gutem Grund. Jahrzehntelang wurden veröffentlichte Studien mit Stichprobengrößen durchgeführt, die eher aus Gewohnheit, aufgrund des Budgets oder aufgrund von Schätzungen als durch Berechnung bestimmt wurden – und die Forschungsliteratur zu diesem Thema ist wenig schmeichelhaft. Dieser Leitfaden erläutert die vier Kennzahlen, auf denen eine Poweranalyse basiert, führt eine vollständige Berechnung mit korrekter Arithmetik durch, behandelt die Poweranalyse für die vier am häufigsten verwendeten Studiendesigns und zeigt auf, wo Studien am häufigsten mathematische Fehler machen.

In einfachen Worten

Eine Poweranalyse ist eine Berechnung, die vor Beginn einer Studie durchgeführt wird, nicht danach. Sie beantwortet eine zentrale Frage: Wie viele Personen, Tiere oder Proben sind nötig, damit die Studie einen tatsächlichen Effekt mit hoher Wahrscheinlichkeit nachweisen kann? Für die Berechnung müssen vier Faktoren berücksichtigt werden: Wie groß der Effekt sein soll, wie hoch das akzeptable Risiko eines Fehlalarms ist, wie zuverlässig der Nachweis eines tatsächlichen Effekts erfolgen soll und die Stichprobengröße, die die anderen drei Faktoren miteinander in Einklang bringt. Werden diese Faktoren richtig berechnet, hat ein Nullergebnis Aussagekraft. Wird die Poweranalyse ausgelassen, bedeutet ein Nullergebnis möglicherweise lediglich, dass die Studie von vornherein keine faire Chance hatte.

Was eine Leistungsanalyse tatsächlich entscheidet

Jeder Hypothesentest birgt zwei Fehlerquellen. Eine Studie kann eine wahre Nullhypothese verwerfen (ein Fehlalarm, den Statistiker als Fehler 1. Art bezeichnen) oder eine falsche Nullhypothese nicht verwerfen (ein Fehler 2. Art). Alpha ist das Risiko eines Fehlers 1. Art, das ein Forscher akzeptiert und das fast immer auf 0.05 festgelegt wird. Die Teststärke betrachtet denselben Test aus dem umgekehrten Blickwinkel. Sie entspricht eins minus Beta, wobei Beta die Fehlerwahrscheinlichkeit 2. Art ist. Sie gibt die Wahrscheinlichkeit an, einen tatsächlich vorhandenen Effekt korrekt zu erkennen.

TestentscheidungDie Nullhypothese ist tatsächlich wahr.Die Nullhypothese ist tatsächlich falsch.
Verwerfe den Nullwert.Fehler 1. Art, Fehlerrate = α (üblicherweise 0.05)Korrekte Erkennungsrate = Leistung = 1 − β
Die Nullhypothese wird nicht zurückgewiesen.Korrekte Nichterkennung, Rate = 1 − αFehler 2. Art, Rate = β

Die Stichprobengröße ist der entscheidende Faktor. Bei gleichbleibender Effektstärke und konstantem Alpha erhöht eine größere Stichprobe die Teststärke, da mehr Daten das Rauschen um die Schätzung verringern und einen tatsächlichen Unterschied leichter vom Zufall trennen lassen. Eine Poweranalyse geht diesen Zusammenhang rückwärts an, indem sie von der gewünschten Teststärke und Effektstärke ausgeht und die Stichprobengröße berechnet, die diese Ziele erreicht.

Die vier Kennzahlen hinter einer Leistungsanalyse

In einer Poweranalyse beeinflussen sich vier Größen gegenseitig, und die Festlegung von dreien bestimmt die vierte. Die Effektstärke beschreibt, wie groß ein Unterschied oder eine Assoziation sein muss, um als bedeutsam zu gelten. Sie wird auf einer standardisierten Skala ausgedrückt, um Vergleiche zwischen verschiedenen Ergebnissen und Studien zu ermöglichen. Alpha legt die Toleranz für ein falsch positives Ergebnis fest, in der angewandten Forschung fast immer 0.05, manchmal auf 0.01 reduziert, wenn ein Fehlalarm kostspielig oder gefährlich wäre. Die Power legt die Toleranz für das Übersehen eines tatsächlichen Effekts fest, üblicherweise 0.80 und zunehmend 0.90 für konfirmatorische oder risikoreiche Studien. Die Stichprobengröße ergibt sich, sobald die anderen drei Größen festgelegt sind.

Achtzig Prozent wurden aufgrund der einflussreichen Arbeiten von Jacob Cohen zu Effektstärke und Stichprobengröße zum gängigen Zielwert für statistische Power und werden in den meisten Fachzeitschriften und Förderrichtlinien weiterhin als Standardwert verwendet. Angesichts der Tatsache, dass sich ein tatsächlicher Effekt häufig als geringer erweist als ursprünglich erhofft, plädieren mittlerweile immer mehr Methodiker für 90 Prozent.

Cohen schlug außerdem Richtwerte für kleine, mittlere und große Effekte vor, auf die Forschende aus Psychologie, Medizin und Epidemiologie noch immer zurückgreifen, wenn keine bessere Schätzung aus früheren Daten vorliegt. Dies sind Konventionen, keine Naturgesetze. Eine Pilotstudie oder eine veröffentlichte Effektstärke aus eng verwandter Forschung ist einer allgemeinen Schätzung stets überlegen.

TestEffektstärkemaßSmallMediumLarge
Zwei-Gruppen-VergleichCohens d0.20.50.8
Zusammenhang zwischen zwei stetigen VariablenKorrelation r0.10.30.5
Vergleich von drei oder mehr GruppenmittelwertenCohens f0.100.250.40
Multiple RegressionCohens f²0.020.150.35
Kategorische AssoziationCohens w0.100.300.50

Die falsche Zeile in der Tabelle auszuwählen, ist einer der häufigsten Fehler bei einer Poweranalyse. Ein mittlerer Effekt in einem Bereich kann in einem anderen optimistisch oder pessimistisch sein, und die Annahme eines „mittleren“ Effekts ohne Überprüfung, ob dies mit den Ergebnissen ähnlicher Studien übereinstimmt, ist eine als Berechnung getarnte Vermutung. Es ist ratsam , das Verhältnis zwischen Alpha und statistischer Signifikanz zu verstehen, bevor man diese Werte festlegt, da die beiden Entscheidungen voneinander abhängen.

Unterdimensionierte Studien sind kein hypothetisches Problem

Die Folgen des Auslassens dieses Schrittes sind belegt, nicht nur theoretisch. Eine erneute Untersuchung von 71 klinischen Studien, die zuvor als negativ veröffentlicht worden waren, ergab, dass bei 67 dieser Studien (94 % der Stichprobe) ein Risiko von über 10 % bestand, eine tatsächliche Behandlungsverbesserung von 25 % übersehen zu haben, schlichtweg weil nicht genügend Patienten eingeschlossen wurden, um dies nachzuweisen. Fünfzig dieser 71 Studien (70 %) hätten sogar eine Verbesserung von bis zu 50 % übersehen können (Freiman et al., 1978, New England Journal of Medicine ).

Eine Folgeanalyse von Moher, Dulberg und Wells untersuchte 383 Studien, die in JAMA , The Lancet und dem New England Journal of Medicine in den Jahren 1975, 1980, 1985 und 1990 veröffentlicht wurden. Von den 70 negativen Zwei-Gruppen-Studien mit verwertbaren Ergebnisdaten wiesen nur 16 % die statistische Aussagekraft auf, um einen relativen Unterschied von 25 % nachzuweisen, und nur 36 % konnten einen relativen Unterschied von 50 % nachweisen – Werte, die sich über fünfzehn Jahre des Publikationszeitraums kaum veränderten. Die Berichterstattung verbesserte sich jedoch in diesem Zeitraum. Die Berechnung der Stichprobengröße stieg von 0 % in den Publikationen im Jahr 1975 auf 43 % im Jahr 1990 – ein deutlicher Fortschritt. Dennoch bedeutet dieser Anteil von 43 %, dass die meisten Studien mit negativen Ergebnissen ihre Wirksamkeit nicht offenlegten (Moher et al., 1994, JAMA ).

Schlüsselergebnis: Dieses Muster beschränkt sich nicht auf klinische Studien oder das 20. Jahrhundert. Eine vielzitierte Analyse ergab, dass die durchschnittliche statistische Aussagekraft neurowissenschaftlicher Studien so gering ist, dass die publizierten Effektstärken überhöht dargestellt werden und die Reproduzierbarkeit der Ergebnisse eingeschränkt wird (Button et al., 2013). Nature Reviews NeuroscienceEine 2021 durchgeführte Überprüfung orthopädischer Studien kam zwei Jahrzehnte, nachdem dasselbe Problem in diesem Fachgebiet erstmals festgestellt worden war, zu einem ähnlichen Schluss und beschrieb unzureichende statistische Aussagekraft als einen Hauptgrund dafür, dass veröffentlichte Ergebnisse bei der Replikation nicht standhalten (Reito et al., 2021). JBJS-Rezensionen).

In vier Jahrzehnten Metaforschung taucht immer wieder derselbe Fehler auf. Studien werden so konzipiert, dass die Stichprobengröße durch Budget oder Rekrutierungszeitraum vorgegeben ist, und anschließend so analysiert, als sei diese Zahl gezielt gewählt worden, um einen spezifischen, vorab definierten Effekt nachzuweisen. Das ist in der Regel nicht der Fall. Die Planung und Analyse randomisierter kontrollierter Studien hängt davon ab, diesen Aspekt korrekt zu berücksichtigen, bevor auch nur ein einziger Teilnehmer eingeschlossen wird, da eine Studie statistisch nicht mehr gerettet werden kann, sobald sie unterpowert ist und läuft.

Auswahl der Methode zur Durchführung Ihrer Leistungsanalyse

Drei praktische Wege führen zur Bestimmung der Stichprobengröße, wobei der richtige vom Standard des Studiendesigns abhängt. Für typische Lehrbuchstudien eignen sich beispielsweise Zwei-Gruppen-Vergleiche, einfaktorielle Varianzanalysen (ANOVA), Korrelations- oder Standardregressionsanalysen. Für diese existieren geschlossene Formeln, die von kostenloser Software sofort angewendet werden können. G*Power, entwickelt von einem Team der Heinrich-Heine-Universität Düsseldorf und dokumentiert in einem viel zitierten Methodenartikel, deckt die meisten dieser Tests über eine Point-and-Click-Oberfläche ab und ist nach wie vor die am häufigsten empfohlene kostenlose Option in Methodenkursen und Zeitschriftenleitfäden (Faul et al., 2007, VerhaltensforschungsmethodenR-Nutzer erhalten äquivalente Berechnungen über die pwr Paket, das die Ausgabe von G*Power widerspiegelt und sich nahtlos in ein reproduzierbares Analyseskript einfügt.

Pro Tip: Führen Sie die Berechnung in beide Richtungen durch, bevor Sie ein Protokoll festlegen. Ermitteln Sie zunächst die benötigte Stichprobengröße für die angestrebte statistische Power und anschließend die tatsächlich erreichbare Power bei einer Stichprobengröße, die Ihr Budget oder Rekrutierungszeitraum realistisch zulässt. Die Differenz zwischen den beiden Werten sollte vor Beginn der Datenerhebung bekannt sein, nicht erst danach.

Formeln und G*Power setzen beide ein relativ standardisiertes Studiendesign voraus. Sobald eine Studie Clustering, beispielsweise in Kliniken gruppierte Patienten, wiederholte Messungen an derselben Person, geplante fehlende Daten oder ein nicht-standardisiertes Modell wie eine Mixed-Effects- oder Bayes'sche Analyse beinhaltet, sind geschlossene Formeln nicht mehr zuverlässig, und eine Simulation wird zur sichereren Wahl. Eine simulationsbasierte Poweranalyse generiert Tausende synthetischer Datensätze unter einer angenommenen Effektstärke und einem angenommenen Analysemodell, führt den geplanten statistischen Test für jeden Datensatz durch und gibt den Anteil der Läufe an, die Signifikanz erreichen. Die Einrichtung dauert zwar länger als die manuelle Eingabe von Zahlen in G*Power, aber sie bewältigt Komplexitäten, die geschlossene Formeln nicht abdecken können.

Leistungsanalyse für die vier Designs, die Sie tatsächlich ausführen werden

Nachfolgend sind die vier Studiendesigns aufgeführt, die den Großteil der angewandten Forschung abdecken. Jedem Design liegt die zugrundeliegende Formellogik zugrunde, und es wird ein konkretes Berechnungsbeispiel mit mittlerer Effektstärke, einem Alpha-Fehler von 0.05 und einer Teststärke von 80 % dargestellt. Alle Abbildungen stammen aus derselben Statistiksoftware, die Forschende auch für ihre eigenen Studienprotokolle verwenden, und basieren nicht auf Faustregeln.

Zwei unabhängige Gruppen (t-Test)

Der Vergleich der Mittelwerte zweier unabhängiger Gruppen – beispielsweise einer Behandlungsgruppe mit einer Kontrollgruppe oder einer exponierten mit einer nicht exponierten Gruppe – ist das Studiendesign, das in den meisten Diskussionen zur Stichprobengröße standardmäßig verwendet wird. Die statistische Power hängt hier von Cohens d ab, der Differenz der Gruppenmittelwerte, ausgedrückt in Standardabweichungen. Die logistische Regression ermöglicht einen ähnlichen Vergleich zweier Gruppen, wenn das Ergebnis binär statt kontinuierlich ist . Die Berechnungsmethode ist verwandt, aber anders und wird weiter unten erläutert.

Einfaktorielle Varianzanalyse (Mittelwerte von drei oder mehr Gruppen)

Sobald ein Vergleich mehr als zwei Gruppen umfasst, wird der t-Test durch eine ANOVA ersetzt und die Effektstärke durch Cohens f beschrieben. Dieses Maß fasst zusammen, wie stark die Gruppenmittelwerte im Verhältnis zur Variabilität innerhalb der einzelnen Gruppen streuen. Studiendesigns, die zusätzlich zu mehreren Gruppen auch Clustering berücksichtigen, wie beispielsweise eine Studie, in der Kliniken anstatt einzelner Patienten randomisiert werden , erfordern eine weitere Anpassung, den sogenannten Designeffekt. Dieser erhöht die erforderliche Stichprobengröße, da Patienten innerhalb desselben Clusters einander ähnlicher sind als Patienten in verschiedenen Clustern.

Korrelation (Zusammenhang zwischen zwei stetigen Variablen)

Um zu prüfen, ob zwei stetige Variablen – beispielsweise Blutdruck und Alter oder ein Fragebogenergebnis und ein Ergebnisparameter – korrelieren, wird der Pearson-Korrelationskoeffizient r direkt als Effektstärke verwendet. Die Wahl des richtigen Tests ist hier wichtiger als es zunächst scheinen mag, da eine Beziehung, die theoretisch linear erscheint, in den tatsächlichen Daten jedoch nicht linear ist, einen anderen, oft weniger aussagekräftigen, nichtparametrischen Ansatz erfordert.

Multiple Regression (Testen von Prädiktoren eines Ergebnisses)

Regressionsmodelle, die mehrere Prädiktoren gleichzeitig oder einen einzelnen Prädiktor unter Berücksichtigung von Kovariaten testen, verwenden Cohens f², ein Verhältnis, das die durch die interessierenden Prädiktoren erklärte Varianz mit der verbleibenden Varianz vergleicht. Multivariable Regressionen in der klinischen Forschung benötigen üblicherweise mehr Teilnehmer als ein einfacher Vergleich zweier Gruppen, sobald mehrere Kovariaten in das Modell aufgenommen werden. Logistische Regressionen für ein binäres Ergebnis erfordern zusätzlich zur Standardberechnung der Teststärke eine weitere Faustregel, die oft mit etwa zehn beobachteten Ereignissen pro Prädiktorvariable angegeben wird.

Technologie Mittlere EffektgrößeErforderliche Stichprobengröße
Zwei unabhängige Gruppen (t-Test)d = 0.564 pro Gruppe (N = 128)
Einfaktorielle ANOVA, 3 Gruppenf = 0.2553 pro Gruppe (N = 159)
Korrelation (Pearson r)r = 0.3N = 85
Multiple Regression, 5 Prädiktorenf² = 0.15N = 92
Chi-Quadrat, 2×2-Tabellew = 0.3N = 88

Alle Werte wurden bei α = 0.05, zweiseitig und einer Teststärke von 80 % unter Verwendung von R² berechnet. stats und pwr Pakete, die bei gleichen Eingaben die gleiche Leistung wie G*Power erbringen.

Ein ausgearbeitetes Beispiel, das Sie wiederverwenden können

Hier ist die vollständige Berechnung hinter der ersten Zeile dieser Tabelle, die von Hand durchgeführt wurde, damit die Logik sichtbar ist und nicht in der Software versteckt wird.

Stellen Sie sich eine zweigruppige Studie vor, in der eine neue Intervention mit der Standardbehandlung hinsichtlich eines kontinuierlichen Endpunkts verglichen wird. Laut bisheriger Literatur ist eine standardisierte Differenz von Cohen's d = 0.5 der kleinste Effekt, der relevant ist – ein üblicher mittlerer Effekt. Das Signifikanzniveau (Alpha) wird zweiseitig auf 0.05 festgelegt, der Standardwert, mit einer Teststärke von 80 %, d. h. einer Wahrscheinlichkeit von 80 %, den Effekt nachzuweisen, falls er tatsächlich existiert.

Die Normalverteilungsapproximationsformel für einen Vergleich zweier Gruppen lautet: n pro Gruppe = 2 × (z² für α/2 + z² für die Teststärke), dividiert durch d². Die Standardwerte sind 1.96 für z bei 0.025 und 0.84 für z bei 80 % Teststärke.

n pro Gruppe = 2 × (1.96 + 0.84)² ÷ 0.5²
    = 2 × (2.80)² ÷ 0.25
    = 2 × 7.84 ÷ 0.25
    = 15.68 ÷ 0.25
    = 62.8, aufgerundet auf 63 Teilnehmer pro Gruppe

Die Normalapproximation liefert ein gutes Ergebnis, entspricht aber nicht exakt den Berechnungen von G*Power oder R. Beide verwenden die exakte nichtzentrale t-Verteilung anstelle der oben genannten, etwas konservativeren Methode. Die Ausführung der gleichen Eingabewerte (d = 0.5, α = 0.05, zweiseitig, 80 % Teststärke) in R zeigt Folgendes: power.t.test Die Funktion gibt 63.8 pro Gruppe zurück, aufgerundet auf 64 Teilnehmer pro Gruppe, insgesamt 128, die Zahl, die ein Methodenteil tatsächlich melden würde, und die gleiche Zahl, die G*Power für dieses Design ermittelt.

Die Diskrepanz zwischen Näherungs- und exaktem Ergebnis ist aus einem Grund relevant: Verlässt man sich auf eine grobe Abkürzung anstatt auf die exakte Methode, die die Software tatsächlich verwendet, so führt dies zu einem kleinen, aber sich summierenden Fehler. Rekrutiert man beispielsweise nur 40 statt 64 Teilnehmer pro Gruppe – ein Mangel, der in einer Budgettabelle unbedeutend erscheinen mag –, sinkt die statistische Power für denselben Effekt (d = 0.5) auf knapp 60 % statt der im Studiendesign angestrebten 80 %. Das entspricht nahezu dem Zufall, einen realen, moderaten Effekt vollständig zu übersehen, und genau dieses Fehlermuster haben Freiman und Moher über Jahrzehnte hinweg in veröffentlichten Studien dokumentiert.

Stichprobengröße pro GruppeErreichte Power (d = 0.5, α = 0.05)
4059.8%
6480.2%
8690.0%

Für ein Design, das einer der Zeilen in der vorherigen Tabelle entspricht, führt der kostenlose Stichprobenrechner von Editverse genau diese Berechnung durch, ohne dass R oder G*Power lokal installiert sein müssen. Die Schritt-für-Schritt-Anleitung zur Verwendung des Rechners führt durch jedes Eingabefeld.

Fehler, die eine Leistungsanalyse unbemerkt zum Scheitern bringen

  • Berechnung der nachträglichen Aussagekraft aus dem eigenen Ergebnis. Die nachträglich aus dem p-Wert einer Studie berechnete statistische Power ist mathematisch gesehen lediglich eine reskalierte Version dieses p-Werts. Sie liefert keine zusätzlichen Informationen, und die meisten Methodiker raten von ihrer Angabe ab.
  • Die Effektstärke ohne Pilotdaten oder Literaturgrundlage schätzen. Die Standardeinstellung „mittel“, weil sie vernünftig klingt, macht aus einer Berechnung eine bloße Vermutung im Laborkittel.
  • Erwartete Ausfälle oder fehlende Daten werden ignoriert. Eine Poweranalyse liefert die benötigte Stichprobengröße für die Analyse, nicht die tatsächliche Teilnehmerzahl. Der erwartete Studienabbruch muss zur berechneten Zahl hinzugerechnet werden und darf nicht nachträglich eingerechnet werden.
  • Es werden keine Anpassungen für Clustering, wiederholte Messungen oder multiple Vergleiche vorgenommen. Jede dieser Anpassungen verändert die effektive Stichprobengröße oder das tatsächlich eingesetzte Alpha, und das Auslassen der Anpassung mindert stillschweigend die Aussagekraft einer Studie.
  • Die Analyse der statistischen Aussagekraft wird von einem Ethikausschuss als reine Formalität betrachtet, die man einmal abhakt. Das Hinzufügen eines Studienarms, die Änderung des primären Endpunkts oder die Überarbeitung des Analyseplans während der Studie sollten eine neue Berechnung auslösen, und dieser Schritt wird häufiger übersprungen, als er sollte.
  • Statistische Signifikanz wird mit praktischer Relevanz verwechselt. Eine sehr große Stichprobe kann so aussagekräftig sein, dass sie einen Unterschied erkennt, der zu klein ist, um klinisch oder praktisch relevant zu sein – was wiederum eine Art Konstruktionsfehler darstellt.

Verfassen Ihrer Leistungsanalyse für ein Manuskript oder einen Förderantrag

Der Methodenteil muss ausreichend Informationen enthalten, damit ein Gutachter oder der Statistiker des Fördergremiums die Poweranalyse tatsächlich überprüfen kann und nicht einfach darauf vertrauen kann, dass eine solche durchgeführt wurde. Das bedeutet, dass die Herkunft der angenommenen Effektstärke – beispielsweise eine Pilotstudie, eine veröffentlichte Metaanalyse oder eine definierte minimal klinisch relevante Differenz – zusammen mit den Zielwerten für Alpha und Power sowie der verwendeten Software oder Formel genau angegeben werden muss.

  • Geben Sie die Effektstärke und deren Ursache an. „Wir gingen aufgrund einer früheren Studie von einem mittleren Effekt (d = 0.5) aus“ ist überprüfbar. „Wir gingen von einem angemessenen Effekt aus“ ist nicht überprüfbar.
  • Alpha und Teststärke explizit angeben. Der Leser sollte diese Schlüsse nicht allein aus der endgültigen Stichprobengröße ziehen.
  • Nennen Sie die Software und testen Sie sie. G*Power, R's pwr package, PASS und nQuery können an den Rändern leicht unterschiedliche Zahlen erzeugen, daher ermöglicht die Benennung des Tools, dass jemand anderes die Abbildung reproduzieren kann.
  • Geben Sie die endgültige Zahl wahrheitsgemäß an, einschließlich etwaiger Inflation aufgrund von Studienabbrüchen oder Häufungen. Falls weniger Teilnehmer eingeschrieben wurden als in der Berechnung vorgesehen, geben Sie dies an und diskutieren Sie die daraus resultierende statistische Aussagekraft direkt, anstatt es einem Gutachter zu überlassen, dies festzustellen.

Gutachter lesen diesen Abschnitt aus gutem Grund sehr genau. Ein unschlüssiger Abschnitt zur statistischen Methodik ist einer der häufigsten und vermeidbaren Gründe für eine schwache Bewertung der methodischen Strenge eines Antrags. Eine auf die Einhaltung der Richtlinien ausgerichtete Begutachtung deckt solche Lücken lange vor der Einreichung auf, anstatt sie dem Zufall zu überlassen.

Praktische Unterstützung bei Ihrer Leistungsanalyse

Manche Poweranalysen sind Routine. Andere beinhalten Clustering, fehlende Daten oder ein so komplexes Modell, dass eine Standardberechnung einer Überprüfung nicht standhält. Die Statistiker von Editverse decken beide Enden dieses Spektrums ab.

Statistische Analyse von Dissertationen und Manuskripten

$600

Statistiker mit Doktortitel übernehmen die Poweranalyse, die Begründung des Stichprobenumfangs und den vollständigen Analyseplan in SPSS, R oder STATA.

Details anzeigen →

Bearbeitung und Überprüfung der Einhaltung von Förderrichtlinien

$1,190

Bevor Sie Ihre Analyse einreichen, sollten Sie überprüfen, ob diese tatsächlich Ihren Zielen, Ihrem Analyseplan und den Anforderungen Ihres Geldgebers entspricht.

Details anzeigen →

Häufig gestellte Fragen zur Leistungsanalyse

Welche Stichprobengröße benötige ich für eine mittlere Effektstärke?

Es hängt vom Studiendesign ab, aber als Richtwert: Um einen mittleren Effekt (Cohens d = 0.5) zwischen zwei unabhängigen Gruppen bei einer Teststärke von 80 % und einem Signifikanzniveau von 0.05 nachzuweisen, werden 64 Teilnehmer pro Gruppe, insgesamt also 128, benötigt. Eine einfaktorielle Varianzanalyse (ANOVA) mit drei Gruppen und einem vergleichbaren mittleren Effekt benötigt etwa 53 Teilnehmer pro Gruppe. Größere Effekte erfordern deutlich weniger Teilnehmer, kleinere Effekte hingegen wesentlich mehr. Daher ist die falsche Einschätzung der Effektstärke ein so kostspieliger Fehler.

Soll ich 80 % oder 90 % Leistung verwenden?

Achtzig Prozent gelten in den meisten veröffentlichten Studien und den Vorlagen der Förderinstitutionen weiterhin als Standard, doch wird dabei eine Wahrscheinlichkeit von 20 % in Kauf genommen, einen tatsächlichen Effekt zu übersehen. Konfirmatorische Studien und Zulassungsstudien fordern daher zunehmend eine Teststärke von 90 %, was den erforderlichen Stichprobenumfang erheblich erhöht – um etwa 30 bis 40 % im Vergleich zur entsprechenden Berechnung mit 80 % für einen t-Test für zwei Gruppen.

Worin besteht der Unterschied zwischen a priori und post hoc Teststärke?

Die A-priori-Poweranalyse findet vor der Datenerhebung statt und beantwortet die Frage, die ein Studiendesign beantworten sollte: Wie groß muss die Stichprobe sein, um einen bestimmten Effekt nachzuweisen? Die Post-hoc-Power, auch beobachtete Power genannt, wird im Nachhinein anhand der Studienergebnisse und des zugehörigen p-Werts berechnet. Die meisten Methodiker betrachten sie als wenig aussagekräftig, da sie mathematisch lediglich eine Transformation des bereits vorliegenden p-Werts darstellt und keine neuen Erkenntnisse liefert.

Kann ich eine Poweranalyse für eine Studie durchführen, die ich bereits abgeschlossen habe?

Nur in begrenztem, rückwärtsgewandtem Sinne. Es ist zwar möglich zu berechnen, welche Stichprobengröße für eine bestimmte Effektstärke erforderlich gewesen wäre, was für die Planung einer Folge- oder Replikationsstudie hilfreich ist, doch die Berechnung der Teststärke anhand eines bereits beobachteten Effekts und p-Werts liefert dem Gutachter keine überzeugenden Erkenntnisse über die abgeschlossene Studie.

Ist die Poweranalyse auf qualitative Forschung anwendbar?

Nein. Die Poweranalyse ist ein frequentistisches statistisches Konzept, das auf Hypothesentests, p-Werten und Stichprobenverteilungen basiert. Diese Konzepte sind jedoch nicht auf qualitative Methoden anwendbar. Qualitative Forscher begründen die Stichprobengröße anders, üblicherweise durch thematische Sättigung, also den Punkt, an dem zusätzliche Interviews oder Datenquellen keine neuen Codes oder Themen mehr liefern.

Welche Effektstärke sollte ich verwenden, wenn ich keine Pilotdaten habe?

Eine publizierte Effektstärke aus einer eng verwandten Studie oder einer Metaanalyse zum gleichen Ergebnis ist stets einer allgemeinen Schätzung vorzuziehen. Liegt keine solche Angabe vor, ist Cohens konventioneller mittlerer Effekt eine vertretbare Alternative. Im Methodenteil sollte jedoch klar darauf hingewiesen werden, dass es sich um eine Konvention und nicht um eine auf der spezifischen Studienpopulation basierende Schätzung handelt, da Gutachter wahrscheinlich danach fragen werden.

Wie wirkt sich Studienabbruch oder Studienabbruch auf die Berechnung aus?

Eine Poweranalyse liefert die benötigte Stichprobengröße für die Analyse, nicht die tatsächliche Teilnehmerzahl. Geht man von einem Ausfall oder Verlust von 15 % der Teilnehmenden aus, muss die angestrebte Stichprobengröße durch 0.85 geteilt werden, um die Zielteilnehmerzahl zu ermitteln. Eine Studie, die 128 analysierte Teilnehmende benötigt und bei der ein Ausfall von 15 % erwartet wird, sollte etwa 151 Teilnehmende rekrutieren.

Ist G*Power kostenlos?

Ja. G*Power ist kostenlos, wird von Forschern der Heinrich-Heine-Universität Düsseldorf entwickelt und gepflegt und deckt t-Tests, ANOVA, Korrelation, Regression, Chi-Quadrat-Tests und einige weniger gebräuchliche Testverfahren über eine herunterladbare Desktop-Anwendung für Windows und Mac ab.

Was ist, wenn mein Entwurf keiner Standardformel entspricht?

Simulationsbasierte Poweranalysen sind die Standardlösung für alle Fälle, die sich nicht einfach mit einer geschlossenen Formel lösen lassen, darunter Mixed-Effects-Modelle, Cluster- oder Mehrebenendesigns und Bayes'sche Analysen. Die Einrichtung ist zwar aufwendiger als bei G*Power, aber sie eignet sich für praktisch jedes Design, das sich in R oder einer ähnlichen Umgebung programmieren und analysieren lässt.

Wichtige Erkenntnisse

  • ✓ Sind drei der Faktoren Effektstärke, Alpha, Teststärke und Stichprobengröße festgelegt, berechnet eine Poweranalyse den vierten Faktor.
  • ✓ 0.05 Alpha und 80 % Teststärke sind übliche Ausgangspunkte, keine festen Regeln.
  • ✓ Jahrzehntelange veröffentlichte Studien, von einer Überprüfung im Jahr 1978 bis zu einer erneuten Analyse im Jahr 2021, decken immer wieder dasselbe Problem der unzureichenden statistischen Aussagekraft auf.
  • ✓ Das Leistungspaket von G*Power und R deckt Standarddesigns kostenlos ab; die Simulation deckt den Rest ab.
  • ✓ Eine durchgerechnete Rechnung sollte die Rechenschritte und nicht nur das Endergebnis enthalten.
  • ✓ Erhöhen Sie die Zielzahl für die Einschreibungen aufgrund der erwarteten Abbruchquote, bevor Sie einen Rekrutierungsplan festlegen.
  • ✓ Geben Sie jedes Mal die Effektstärke, ihre Quelle, den Alpha-Wert, die Stärke und die verwendete Software an.

Soll Ihre Leistungsanalyse vor der Einreichung geprüft werden?

Die Statistiker von Editverse prüfen die Begründungen für die Stichprobengröße, die Abschnitte zum Förderansatz und die vollständigen Analysepläne für Forscher aller Fachrichtungen.

Statistische Unterstützung erhalten
kostenlose Beratung

Referenzen

  1. Freiman JA, Chalmers TC, Smith H Jr, Kuebler RR. Die Bedeutung von Beta, Fehler 2. Art und Stichprobengröße für die Planung und Interpretation randomisierter kontrollierter Studien. Untersuchung von 71 „negativen“ Studien. N Engl J Med. 1978;299(13):690-694. https://pubmed.ncbi.nlm.nih.gov/355881/
  2. Moher D, Dulberg CS, Wells GA. Statistische Aussagekraft, Stichprobengröße und deren Berichterstattung in randomisierten kontrollierten Studien. JAMA. 1994;272(2):122-124. https://pubmed.ncbi.nlm.nih.gov/8015121/
  3. Button KS, Ioannidis JPA, Mokrysz C, et al. Power failure: why small sample size undermines the reliability of neuroscience. Nat Rev Neurosci. 2013;14(5):365-376. https://pubmed.ncbi.nlm.nih.gov/23571845/
  4. Faul F, Erdfelder E, Lang AG, Buchner A. G*Power 3: ein flexibles statistisches Poweranalyseprogramm für die Sozial-, Verhaltens- und Biomedizinwissenschaften. Verhaltens-Res-Methoden. 2007;39(2):175-191. https://pubmed.ncbi.nlm.nih.gov/17695343/
  5. Reito A, Raittio L, Helminen O. Eine erneute Betrachtung der Stichprobengröße und der statistischen Aussagekraft randomisierter kontrollierter Studien in der Orthopädie nach zwei Jahrzehnten. JBJS Rev. 2021; 9 (3). https://pubmed.ncbi.nlm.nih.gov/32224628/
  6. Heinrich-Heine-Universität Düsseldorf. G*Power: Software zur statistischen Poweranalyse. https://www.psychologie.hhu.de/arbeitsgruppen/allgemeine-psychologie-und-arbeitspsychologie/gpower
  7. Champely S, et al. pwr: Grundfunktionen für die Poweranalyse. Das umfassende R-Archivnetzwerk. https://cran.r-project.org/package=pwr
  8. Boston University School of Public Health. Power- und Stichprobenumfangsbestimmung. https://sphweb.bumc.bu.edu/otlt/mph-modules/bs/bs704_power/bs704_power_print.html