Minimální počet studií pro metaanalýzu: Kolik jich vlastně potřebujete?

Téměř každý výzkumník, který dosáhne fáze syntézy, si klade stejnou otázku, obvykle v panice, obvykle v 11 hodin večer. Prozkoumali jste několik tisíc záznamů, zbývá vám pět studií a chcete vědět, jestli to stačí. Upřímná odpověď na minimální počet studií pro metaanalýzu je dvě a tato odpověď je sama o sobě téměř k ničemu. Dvě studie překonávají aritmetickou laťku. Jen zřídka překonávají laťku, která skutečně rozhoduje o tom, zda recenzent přijme váš společný odhad, tedy zda kombinace těchto studií produkuje číslo, které vůbec něco znamená.

Tato příručka vám nejprve uvede číslo, poté čtyři otázky, které jsou důležitější než číslo, a nakonec co dělat, když vaše data selžou v jedné z nich. Je napsána pro bod v přehledu, kdy je vyhledávání hotové, extrakce je z poloviny dokončena a někdo musí rozhodnout, zda se jedná o metaanalýzu nebo narativní syntézu.

Minimální počet studií pro metaanalýzu jsou dvě

Dvě nezávislé studie uvádějící stejný výsledek, každá s odhadem účinku a mírou jeho přesnosti, stačí k výpočtu váženého průměru. Nic v matematice vážení inverzní rozptylu se nelomí na hodnotě dvě. Cochraneovy přehledy obsahují tisíce metaanalýz dvou studií. Neexistuje žádný metodologický orgán, který by publikoval vyšší spodní hranici.

S klesajícím počtem studií se nemění, zda lze vypočítat souhrnný odhad. Jde o to, kolik toho lze tvrdit. U dvou studií lze uvést souhrnný efekt. Nelze spolehlivě popsat, jak se efekt liší v různých prostředích, a nelze ověřit, zda studie nechybí. Jedná se o samostatné ztráty a každá z nich má specifický důsledek při vzájemném hodnocení, kterým se budeme zabývat níže.

Jak v praxi vypadá minimální počet studií pro metaanalýzu

Nejužitečnějším ověřením reality v této otázce je samotná Cochraneova databáze. Davey a kolegové klasifikovali všechny metaanalýzy obsahující alespoň dvě studie v lednovém vydání Cochraneovy databáze systematických přehledů z roku 2008: 2 321 přehledů s 22 453 metaanalýzami vybranými ze 112 600 jednotlivých studií. Jejich zjištění celou otázku nově formuluje.

Tři čtvrtiny metaanalýz v nejpřísnější knihovně důkazů v medicíně obsahují pět nebo méně studií. Pokud máte čtyři studie a myslíte si, že vás to diskvalifikuje, tak to tak není. Jste uprostřed rozdělení, ne na jeho konci. To, co odděluje obhajitelnou malou metaanalýzu od neobhajitelné, není počet. Jde o to, zda si autor všiml, které statistické záruky ztratil, a zda je o ně upravil.

Čtyři brány, které jsou důležitější než minimální počet studií pro metaanalýzu

Projděte si je v pořadí. První je ostré zastavení. Další tři mění spíše vaši metodu než vaši odpověď.

Brána 1. Odpovídají studie na stejnou otázku?

Toto je brána, která selhává nejčastěji a je kontrolována nejméně často, protože je jediná, která nemá připojený vzorec. Před jakoukoli statistikou ověřte, že každá studie sdílí populaci, intervenci, komparátor a definici výsledku dostatečně blízkou tomu, aby jedno sdružené číslo pro lékaře mělo nějaký význam.

Konkrétní věci, které touto branou neprojdou a často proklouznou: výsledek měřený po 6 týdnech ve třech studiích a po 12 měsících ve dvou; srovnávací látka, která je placebem v polovině studií a obvyklou péčí ve zbytku; diagnostický práh, který se posunul v polovině desetiletí, když se směrnice změnila; intervence provedená specialisty v jedné zemi a komunitními zdravotnickými pracovníky v jiné. Statistické testy heterogenity tyto faktory někdy odhalí, ale často je minou, protože dvě klinicky nekompatibilní studie mohou shodou okolností vést k numericky podobným velikostem účinku. Náš průvodce běžnými chybami v metaanalýze se zabývá chybami při sdružování výsledků, které vyplývají z vynechání tohoto kroku.

Pokud neuspějete v bodě 1, přestaňte. Žádné množství dodatečných studií neopraví nesouvislou otázku a žádná statistická úprava neumožní interpretaci průměru nesrovnatelných údajů.

Brána 2. Můžete získat odhad účinku a jeho rozptylu z každé studie?

Metaanalýza inverzní variance vyžaduje pro každou studii dvě čísla: účinek a přesnost jeho měření. Chybějící druhé číslo je nejčastější praktickou překážkou a obvykle je spíše napravitelná než fatální. Než cokoli vyloučíte, podívejte se na recepty na zotavení v další části.

Jedno varování, které stojí za to zmínit. Vyloučení studie z důvodu špatného reportingu, a nikoli z důvodu nesplnění kritérií způsobilosti, zavádí zkreslení, které je ve vašem forest plot neviditelné a nezdokumentované ve vašem vývojovém diagramu PRISMA 2020, pokud jej nezaznamenáte jako samostatný důvod vyloučení. Zaznamenejte ho.

Brána 3. Existuje dostatek studií, aby se dalo odhadnout, jak moc se s názory neshodují?

Model s náhodnými efekty odhaduje rozptyl mezi studiemi, tau-kvadrát, z vašich dat. U velmi malého počtu studií je tento odhad nestabilní a nestabilita se šíří přímo do vašeho intervalu spolehlivosti.

Související statistika, I-kvadrát, je ve stejné situaci zkreslená. Von Hippel vypočítal zkreslení přímo a zjistil, že u 7 studií a bez skutečné heterogenity I-kvadrát nadhodnocuje heterogenitu v průměru o 12 procentních bodů, zatímco u 7 studií a 80 % skutečné heterogenity ji podhodnocuje v průměru o 28 procentních bodů. Směr chyby se mění v závislosti na pravdivém výsledku, který se snažíte měřit, a proto I-kvadrát 40 % v metaanalýze pěti studií nenese téměř žádnou informaci. Náš článek o řízení a hodnocení heterogenity se zabývá tím, co místo toho uvádět.

Pět studií je spíše praktický pracovní práh než pravidlo. Pod touto hranicí vytváří standardní přístup DerSimoniana a Lairda příliš úzké intervaly spolehlivosti. IntHout, Ioannidis a Borm to vyhodnotili napříč simulovanými metaanalýzami 2 až 20 studií a zjistili, že DerSimonian a Laird často produkují nevhodné míry chyb typu I, zatímco metoda Hartung-Knapp-Sidik-Jonkman funguje podstatně lépe. Röver, Knapp a Friede zkoumali stejnou metodu konkrétně v případě malého počtu studií. Praktické pokyny jsou krátké: pod pěti studiemi použijte metodu Hartung-Knapp-Sidik-Jonkman a uveďte predikční interval vedle intervalu spolehlivosti, aby čtenáři viděli očekávaný rozsah skutečných účinků, a ne pouze přesnost průměru.

Brána 4. Existuje dostatek studií k ověření chybějících důkazů?

Zde je prahová hodnota spíše explicitní než konvence. Cochrane Handbook uvádí, že testy na asymetrii trychtýřového grafu by se měly používat pouze tehdy, je-li v metaanalýze zahrnuto alespoň 10 studií, dle doporučení Sterna a kolegů v BMJ. Pod deseti má test tak malou sílu testu, že nevýznamný výsledek vám nic neříká, a jeho spuštění i přesto vyzývá recenzenta, aby poukázal na to, že jste chybně interpretovali absenci síly testu jako absenci zkreslení.

U méně než deseti studií je správným krokem test neprovádět, ve svých metodách explicitně uvést, že efekty malých studií nebylo možné posoudit, a toto omezení zahrnout do hodnocení jistoty. Náš průvodce metodami detekce a korekce publikačního zkreslení se zabývá tím, co trychtýřový graf může a nemůže ukázat při různém počtu studií.

Jak obnovit data, která se zdají být chybějící

Většina studií, které se v bodě 2 jeví jako nepoužitelné, je po konverzi použitelná. Než studii vyloučíte z důvodu neúplného hlášení, projděte si tento seznam.

Medián a mezikvartilní rozpětí místo průměru a směrodatné odchylky. Toto je nejčastější případ v chirurgické, pediatrické a zdravotnicko-ekonomické literatuře, kde se zkreslené výsledky dle konvence uvádějí jako mediány. Wan a kolegové odvodili odhady přesně pro tuto situaci a Luo a kolegové odhad průměru dále upřesnili (DOI 10.1177/0962280216669183).

Pracovaný příklad. Studie uvádí n = 40, medián 12, první kvartil 8, třetí kvartil 18. Pomocí kvartilové metody Wana a kol. se průměr odhadne jako průměr tří hlášených hodnot, (8 + 12 + 18) / 3 = 12.67. Směrodatná odchylka je mezikvartilový rozsah dělený faktorem závislým na velikosti vzorku, který pro n = 40 je 1.3005, což dává 10 / 1.3005 = 7.69. Tuto studii lze nyní sloučit. Všimněte si, že dělitel se mění s velikostí vzorku, od 1.2227 při n = 15 do 1.3294 při n = 100, takže jej nelze považovat za konstantu.

Interval spolehlivosti, ale bez směrodatné chyby. Pro normálně rozdělený efekt je směrodatná chyba šířka intervalu dělená 3.92 pro 95% interval. U poměrových měření to proveďte na logaritmické stupnici před zpětnou transformací.

Hodnota p a bodový odhad, ale žádný interval. Zpětně vypočítejte směrodatnou chybu z testovací statistiky implikované přesnou hodnotou p. To selže, pokud práce uvádí pouze prahovou hodnotu, například p < 0.05, v takovém případě máte rozsah, nikoli hodnotu, a studie by měla být podrobena analýze citlivosti, nikoli primárnímu souboru.

Různé metriky účinků napříč studiemi. Poměry šancí, poměry rizik a standardizované průměrné rozdíly lze za stanovených předpokladů převést. Převodní vzorce mezi Cohenovým d, r, poměry šancí a Hedgesovým g jsou standardní a naše bezplatné kalkulačky StatPro zahrnují související výpočty velikosti účinku. Základní interpretaci naleznete v našem průvodci relativním rizikem, připisovatelným rizikem a poměry šancí.

Data o změně od výchozího stavu bez směrodatné odchylky změny. To vyžaduje imputaci korelace mezi výchozím stavem a následným sledováním. Imputujte ji ze studie ve vašem vlastním souboru, která uvádí obojí, uveďte použitou hodnotu a otestujte její vliv v analýze citlivosti.

Co se v metaanalýze změní pod pěti studiemi

Úpravy jsou malé a specifické. Žádná z nich nevyžaduje opuštění metaanalýzy.

Predikční interval si zaslouží zvláštní pozornost u malých metaanalýz. Uvádí rozsah skutečných účinků očekávaných v podobných budoucích studiích, spíše než přesnost průměru, a IntHout a kolegové v BMJ Open argumentovali, že by měl být prezentován rutinně. Sdružený interval spolehlivosti, který nevylučuje žádný účinek, spolu s predikčním intervalem, který jej zahrnuje, říká čtenáři něco, co samotný interval spolehlivosti skrývá. Naše kalkulačka heterogenity počítá I-kvadrát a tau-kvadrát a naše kalkulačka metaanalýzy sestaví forest plot.

Kdy byste se vůbec neměli koupat

Recenze, která odmítá sdružovat výsledky, není neúspěšná. Je to jiný a často upřímnější produkt. Campbell a kolegové publikovali v BMJ pokyny pro podávání zpráv o SWiM právě proto, že recenze, které používají alternativní metody syntézy, je zřídka informují transparentně, což vrhá pochybnosti na zjištění, která mohou být naprosto správná.

Mezi strukturované alternativy, které lze publikovat samostatně, patří syntéza seskupená podle typu intervence s uvedením směru účinku pro každou studii, počítání hlasů na základě směru účinku, pokud nelze extrahovat velikosti účinků, a albatrosové grafy, které zobrazují p-hodnoty oproti velikosti vzorku, pokud je uváděna pouze významnost. Každá z nich má své místo v položkách reportingu SWiM a každá je obhajitelná způsobem, na rozdíl od špatně odůvodněného sdruženého odhadu.

Pokud důkazní základna nepodporuje sdružování důkazů, může být nutné změnit samotný typ přehledu. Přehledový přehled mapuje existující informace, aniž by vyžadoval srovnatelné výsledky. Narativní přehled syntetizuje napříč širší literaturou bez omezení jediné zodpověditelné otázky. Naše srovnání metod rozsahového, systematického a narativního přehledu určuje, kterou z nich vaše otázka skutečně potřebuje, a rámec úrovní důkazů vysvětluje, kde se každá z nich nachází.

Patří sem ještě jeden případ. Pokud vaše studie porovnávají několik různých léčebných postupů spíše než jednu intervenci s jednou komparační látkou, párová metaanalýza se třemi studiemi na srovnání může mít zcela nesprávnou strukturu. Síťová metaanalýza používá nepřímá srovnání k lepšímu využití stejných důkazů.

Na co se recenzenti ptají ohledně malé metaanalýzy

Malé metaanalýzy jsou z předvídatelných důvodů odmítány a každá z nich je před odesláním adresována v sekci metod.

• Hodnota I-kvadrát interpretovaná v nominální hodnotě pomocí čtyř studií. Pokud je to nutné, nahlaste to, pak přímo uveďte zkreslení a spolehněte se místo toho na predikční interval.
• Eggerův test provedený na šesti studiích. Odstraňte ji. Nahraďte ji větou, která říká, že účinky malé studie nemohly být v tomto počtu studií posouzeny.
• DerSimonian a Laird použili tři studie bez zdůvodnění. Změňte odhad nebo volbu explicitně obhajujte.
• Souhrnný odhad prezentovaný bez uznání nepřesnosti. Malé k vede ke snížení nepřesnosti (GRADE). Ohodnoťte to sami, než aby to za vás udělal recenzent.
• Studie byly vyloučeny z důvodu neúplného podání spíše než z důvodu nezpůsobilosti. Obnovte data pomocí výše uvedených metod nebo zaznamenejte důvod vyloučení samostatně do vývojového diagramu.
• Analýzy podskupin na několika studiích. S pěti studiemi nemáte pravomoc vytvářet podskupiny. Předem je specifikujte, nahlaste je jako explorativní nebo je vyřaďte. Náš průvodce analýza síly a velikost vzorku vysvětluje, proč jsou nedostatečná srovnání zavádějící v obou směrech.

Jakmile je rozhodnutí o sdružování dat stanoveno, příklady v naší mistrovské třídě metaanalýzy vás provedou sestavením lesního grafu, čtením výstupu heterogenity a interpretací výsledku.

Nástroje a zdroje

Pro konkrétní výpočty v tomto článku naše kalkulačka publikačního zkreslení vytváří trychtýřové grafy a Eggerův test po propojení deseti studií a nástroje pro heterogenitu a velikost účinku, na které odkazujeme výše, zpracovávají dřívější hodnoty.

Často kladené otázky ohledně minimálního počtu studií pro metaanalýzu

Jaký je minimální počet studií pro metaanalýzu?

Za druhé. K výpočtu sdruženého odhadu stačí dvě nezávislé studie uvádějící stejný výsledek, každá s odhadem účinku a mírou jeho přesnosti. Cochraneovy přehledy obsahují tisíce metaanalýz dvou studií a žádný metodologický orgán nezveřejňuje vyšší spodní hranici. Počet studií jen zřídka rozhoduje o tom, zda je sdružování výsledků obhajitelné.

Můžete provést metaanalýzu pouze se 2 studiemi?

Ano. V Cochraneově databázi systematických přehledů obsahuje 36 % metaanalýz přesně dvě studie a medián napříč 22 453 metaanalýzami je tři. U dvou studií můžete prezentovat souhrnný odhad, ale nemůžete spolehlivě odhadnout, jak moc se účinek liší v různých prostředích, a nemůžete testovat chybějící důkazy.

Kolik studií je potřeba před testováním publikačního zkreslení?

Desítka. Cochrane Handbook uvádí, že testy na asymetrii trychtýřového grafu by měly být používány pouze tehdy, je-li v metaanalýze zahrnuto alespoň 10 studií. Pod touto hodnotou má test příliš nízkou sílu a nevýznamný výsledek nesmí být hlášen jako důkaz, že neexistuje žádné zkreslení.

Je I-kvadrát spolehlivý v malé metaanalýze?

Ne. Von Hippel vypočítal, že u 7 studií a bez skutečné heterogenity I-kvadrát nadhodnocuje heterogenitu v průměru o 12 procentních bodů, zatímco u 7 studií a 80 % skutečné heterogenity ji podhodnocuje v průměru o 28 procentních bodů. Uveďte raději predikční interval.

Kterou metodu s náhodnými efekty byste měli použít s méně než 5 studiemi?

Hartung-Knapp-Sidik-Jonkman. IntHout, Ioannidis a Borm zjistili, že standardní přístup DerSimoniana-Lairda často produkuje nevhodné míry chyb typu I, zatímco Hartung-Knapp-Sidik-Jonkmanův přístup dosahuje podstatně lepších výsledků. Röver, Knapp a Friede zkoumali stejnou metodu konkrétně pro případ s malým počtem studií.

Co byste měli dělat, pokud vaše studie nelze sloučit?

Použijte strukturovanou syntézu bez metaanalýzy a uveďte ji v souladu s pokyny SWiM. Možnosti zahrnují seskupení podle typu intervence s uvedením směru účinku pro každou studii, disciplinované sčítání hlasů a albatrosové grafy. Přehled, který z uvedeného důvodu odmítne sdružit do skupiny, lze publikovat samostatně.

Profesionální podpora pro vaši metaanalýzu

Pokud jste prošli všemi čtyřmi branami a chcete, aby byla analýza provedena a zapsána podle standardů pro denníky, pak jsou to služby, které odpovídají každému výsledku. Každý balíček je dodáván statistiky pracujícími v jazyce R s reprodukovatelnými skripty.

Pokud jste v ranější fázi procesu a rozhodnutí o sdílení informací je stále otevřené, naše služba psaní systematických přehledů v souladu s standardem PRISMA pokrývá registraci protokolu až po jeho odeslání a může vám ve fázi protokolu sdělit, která ze čtyř metod pravděpodobně neuspěje.

Stručná odpověď na minimální počet studií pro metaanalýzu

Dvě studie jsou spodní hranicí. Tři je medián v Cochraneově databázi. Pět je hranice, kde začíná rozptyl mezi studiemi něco znamenat. Deset je hranice, kde můžete testovat chybějící důkazy. Žádná z těchto hranic není hranicí pro úspěšné nebo neúspěšné hodnocení a pokud s nimi takto zacházíte, dobré recenze se opouštějí a slabé se odesílají.

Otázka, kterou stojí za to si položit, není, kolik studií máte. Jde o to, kterou ze čtyř bran vaše důkazy procházejí a zda vaše sekce o metodách připouští ty, které ne. Metaanalýza tří studií, která používá Hartungův-Knappův-Sidikův-Jonkmanův test, uvádí predikční interval, odmítá interpretovat I-kvadrát, uvádí, že efekty malých studií nemohly být posouzeny, a snižuje hodnocení kvůli nepřesnosti, je publikovatelnou prací. Metaanalýza dvanácti studií, která sdružuje nekompatibilní definice výsledků, publikovatelnou prací není.

Reference

1. Davey J, Turner RM, Clarke MJ, Higgins JPT. Charakteristika metaanalýz a jejich jednotlivých studií v Cochrane Database of Systematic Reviews: průřezová, deskriptivní analýza. BMC Med Res Methodol. 2011;11:160. doi:10.1186/1471-2288-11-160
2. von Hippel PT. Statistika heterogenity I-kvadrát může být v malých metaanalýzách zkreslená. BMC Med Res Methodol. 2015;15:35. dva: 10.1186 / s12874-015-0024-z
3. IntHout J, Ioannidis JPA, Borm GF. Hartungova-Knappova-Sidikova-Jonkmanova metoda pro metaanalýzu náhodných efektů je přímočará a výrazně překonává standardní DerSimonianovu-Lairdovu metodu. BMC Med Res Methodol. 2014;14:25. doi:10.1186/1471-2288-14-25
4. Röver C, Knapp G, Friede T. Hartung-Knapp-Sidik-Jonkmanův přístup a jeho modifikace pro metaanalýzu s náhodnými efekty s malým počtem studií. BMC Med Res Methodol. 2015;15:99. doi:10.1186/s12874-015-0091-1
5. Sterne JAC, Sutton AJ, Ioannidis JPA a kol. Doporučení pro zkoumání a interpretaci asymetrie trychtýřového grafu v metaanalýzách randomizovaných kontrolovaných studií. BMJ. 2011;343:d4002. doi:10.1136/bmj.d4002
6. IntHout J, Ioannidis JPA, Rovers MM, Goeman JJ. Prosba o rutinní prezentaci predikčních intervalů v metaanalýze. BMJ Open. 2016;6:e010247. doi:10.1136/bmjopen-2015-010247
7. Campbell M, McKenzie JE, Sowden A a kol. Syntéza bez metaanalýzy (SWiM) v systematických přehledech: směrnice pro podávání zpráv. BMJ. 2020;368:6890. doi:10.1136/bmj.l6890
8. Wan X, Wang W, Liu J, Tong T. Odhad průměru vzorku a směrodatné odchylky z velikosti vzorku, mediánu, rozpětí a/nebo interkvartilového rozpětí. BMC Med Res Methodol. 2014;14:135. doi:10.1186/1471-2288-14-135
9. Higgins JPT, Thomas J, Chandler J a kol., editoři. Cochrane Handbook for Systematic Reviews of Interventions. Kapitola 13: Posouzení rizika zkreslení v důsledku chybějících důkazů v metaanalýze