Udgivet
PROBAST -værktøjet (Prediction model Risk Of Bias ASsessment Tool) er standardinstrumentet til at vurdere, om en publiceret prædiktionsmodel kan stoles på, og om den passer til de patienter, man holder af. Wolff og kolleger udgav det i Annals of Internal Medicine i 2019 [1], og en ledsagende forklaring og uddybning beskriver ræsonnementet bag hvert spørgsmål [2]. Dette indlæg forklarer, hvordan PROBAST-værktøjet er struktureret, og anvender derefter alle 20 signalspørgsmål, én række ad gangen, på en reel open access-model, QUIDS-modellen for præterm fødsel, der er offentliggjort i PLOS Medicine [3]. Hver række peger på det afsnit af artiklen, der understøtter den, og hver række, der hviler på en vurdering, er mærket.
Med simple ord
En prædiktionsmodel forvandler et par fakta om en patient til en risiko. PROBAST-værktøjet stiller 20 målrettede spørgsmål om, hvordan modellen blev bygget og testet, grupperet i fire domæner (deltagere, prædiktorer, resultat og analyse), for at afgøre, om den rapporterede nøjagtighed sandsynligvis vil være oppustet. Derefter stiller den et separat spørgsmål, om modellen passer til dine egne patienter. En model kan bygges omhyggeligt og stadig være den forkerte model til din klinik.
Hvad PROBAST-værktøjet vurderer
PROBAST-værktøjet blev skrevet til systematiske gennemgange af prædiktionsmodeller, og det fungerer lige så godt for en kliniker eller redaktør, der vurderer en enkelt artikel. Det dækker diagnostiske modeller (er tilstanden til stede nu) og prognostiske modeller (vil en begivenhed indtræffe senere), og det gælder for studier, der udvikler en model, validerer en eller opdaterer en [1,2]. Det producerer to separate domme. Den første er risiko for bias, defineret som mangler i design, udførelse eller analyse, der forvrænger estimaterne af, hvor godt modellen forudsiger. Den anden er bekymring for anvendelighed, som spørger, om populationen, prædiktorerne og resultatet af studiet matcher dit spørgsmål.
Bias er vigtig her på grund af optimisme. En model, der er fleksibel nok til at passe for tæt til sine udviklingsdata, ser fremragende ud i disse data og klarer sig dårligere hos nye patienter. De Jong og kolleger beskriver dette som et systematisk hul mellem den påståede præstation ved udvikling og den opnåede præstation ved validering [4]. Deres meta-gennemgang af 50 systematiske anmeldelser, der brugte PROBAST-værktøjet, dækkede 1,510 studier og 2,104 modeller, og alle domæner viste en uklar eller høj risiko for bias [4]. Vurdering er derfor et rutinemæssigt trin, ikke en undtagelse.
Hvert signaleringsspørgsmål kræver et af fem svar, nemlig ja, sandsynligvis ja, sandsynligvis nej, nej eller ingen information. Spørgsmålene giver en domænevurdering af lav, høj eller uklar. I PROBAST-vejledningen er et domæne lavt, når alle spørgsmål besvares med ja eller sandsynligvis ja, det er potentielt højt, når mindst ét spørgsmål besvares med nej eller sandsynligvis nej, og det er uklart, når information mangler, og intet besvares med nej [1,2]. Vurderingerne summeres ikke til en score, og den endelige vurdering forbliver hos anmelderen.
Hvor PROBAST-værktøjet placerer sig blandt relaterede værktøjer
PROBAST-værktøjet bedømmer metoder, ikke rapportering. Rapporteringens fuldstændighed tilhører TRIPOD, som vores guide til rapportering af prædiktionsmodeller med TRIPOD+AI dækker. Dataudtrækning til gennemgang af prædiktionsmodeller følger CHARMS-tjeklisten [5], og stikprøvestørrelsen til modeludvikling følger kriterierne fra Riley og kolleger [6], som erstatter den ældre regel om faste hændelser pr. variabel. For andre studiedesigns er de matchende værktøjer RoB 2 for forsøg (se vores RoB 2-gennemgang ), ROBINS-I for ikke-randomiserede interventioner (se ROBINS-I-guiden ) og QUADAS-2 for diagnostiske nøjagtighedsstudier (se QUADAS-2 i praksis ). Vores guide til vurdering af risiko for bias dækker forsøgsværktøjet i dybden.
PROBAST+AI, 2025-opdateringen
I 2025 udgav Moons og kolleger PROBAST+AI i BMJ [7]. Den har to dele. Modeludviklingsdelen bruger 16 signalspørgsmål til at vurdere kvalitet og anvendelighed, og modelevalueringsdelen bruger 18 signalspørgsmål til at vurdere risiko for bias og anvendelighed. Begge dele beholder fire domæner, nu kaldet deltagere og datakilder, prædiktorer, resultat og analyse, og anvendelighed vurderes stadig for de første tre. Forfatterne angiver, at PROBAST+AI kan erstatte det originale værktøj [7]. Dette indlæg anvender det originale værktøj fra 2019, fordi dets 20 spørgsmål er faste og er dem, der bruges i den eksisterende litteratur [4]. Hvis din protokol, vejleder eller måltidsskrift navngiver PROBAST+AI, skal du bruge spørgsmålssættet fra 2025 og beholde den samme evidens-pointer-vane, der er vist nedenfor.
PROBAST-værktøjet i et overblik, 4 domæner og 20 signaleringsspørgsmål
Tabellen parafraserer de 20 spørgsmål i klare ord og angiver, hvor i en opgave beviserne normalt findes. Nogle analysespørgsmål, for eksempel 4.5 og 4.9, gælder kun for modeludvikling, og flere andre er tilpasset den del, du vurderer.
| Spørgsmål | Hvad den spørger om, med klare ord | Hvor man skal se |
|---|---|---|
| 1.1 | Er datakilden egnet, såsom en kohorte eller et forsøg, snarere end et design, der forvrænger den absolutte risiko? | Abstrakt, afsnit om studiedesign |
| 1.2 | Er inklusions- og eksklusionskriterierne passende for den tiltænkte målgruppe? | Tekst om berettigelse, deltagerflowdiagram |
| 2.1 | Er prædiktorer defineret og målt på samme måde for alle deltagere? | Prædiktordefinitioner, måleprotokoller |
| 2.2 | Blev prædiktorer målt uden kendskab til resultatet? | Studiedesign, blindende udsagn |
| 2.3 | Vil alle prædiktorer være tilgængelige, når modellen skal bruges? | Prædiktorliste i forhold til den tilsigtede anvendelse |
| 3.1 | Blev resultatet bestemt ved en passende metode? | Resultatdefinition og datakilde |
| 3.2 | Blev der anvendt en forudbestemt eller standard definition af resultater? | Protokol, registrering, metoder |
| 3.3 | Er resultatet defineret uden brug af nogen prædiktor? | Resultatdefinition mod prædiktorliste |
| 3.4 | Blev resultatet defineret og bestemt på samme måde for alle deltagere? | Multicenterprocedurer, tillæg |
| 3.5 | Blev resultatet bestemt uden kendskab til prædiktorværdier? | Blindende vurdering, beskrivelse af assessor |
| 3.6 | Er tiden mellem prædiktormåling og resultat passende? | Opfølgningsvindue, tilsigtet anvendelse |
| 4.1 | Er der nok resultathændelser til opgaven? | Begivenheder og kandidatprædiktorer, afsnit om stikprøvestørrelse |
| 4.2 | Blev kontinuerlige og kategoriske prædiktorer håndteret korrekt? | Statistiske metoder, transformationer |
| 4.3 | Blev alle tilmeldte deltagere inkluderet i analysen? | Flowdiagram, analysepopulation |
| 4.4 | Blev manglende data håndteret korrekt? | Afsnit om manglende data, tabel 1 |
| 4.5 | Var prædiktorudvælgelsen fri for univariabel screening? (kun udvikling) | Modelbygningsparagraf |
| 4.6 | Blev censurering, konkurrerende risici og stikprøvekontrol håndteret, hvor det var relevant? | Modeltype, opfølgende beskrivelse |
| 4.7 | Blev der rapporteret passende præstationsmål, herunder kalibrering og diskriminering? | Ydelsessektion, kalibreringsplot |
| 4.8 | Blev overfitting, underfitting og optimisme håndteret? | Intern validering, krympning |
| 4.9 | Stemmer de endelige prædiktorer og vægte overens med den rapporterede multivariable analyse? (kun udvikling) | Modeltabel, ligning |
Anvendelighed bruger tre yderligere vurderinger i stedet for signalspørgsmål. Deltagere og omgivelser, prædiktorer og resultat vurderes hver især som lav, høj eller uklar bekymring i forhold til dit anmeldelsesspørgsmål. Anvendelighed er grunden til, at den samme artikel kan være et godt match til én anmeldelse og et dårligt match til en anden.
Sådan udfører du en PROBAST-værktøjsvurdering i fem trin
- Skriv revisionsspørgsmålet. Angiv populationen, prædiktorer, udfald, timing, rammer og den tilsigtede anvendelse af modellen, før du åbner et dokument. Anvendeligheden kan ikke vurderes uden det.
- Klassificer papiret. Markér hver opgave som udvikling, validering eller begge dele, og bedøm delene separat. En opgave, der gør begge dele, kan opnå forskellige bedømmelser for hver del.
- Besvar signaleringsspørgsmålene med en bevispointer. Notér det afsnit, den tabel eller den figur, der understøtter hvert svar, og citer sparsomt.
- Bedøm hvert domæne. Anvend reglen om, at ethvert nej eller sandsynligvis nej gør et domæne potentielt højt, og afgør derefter, om årsagen er en reel kilde til forvrængning.
- Giv den samlede vurdering. Artiklen har kun lav risiko for bias, når alle fire domæner er lave, og den samme logik gælder for anvendelighed.
Brug to bedømmere, der arbejder uafhængigt, og afstem derefter. En meta-gennemgang af PROBAST-brug fra 2023 rapporterede stabile tendenser i bias over tid og lav overensstemmelse mellem bedømmere [8], hvilket er den praktiske grund til at blive enige om gennemgangsspørgsmålet, hændelsestærsklen og håndteringen af svar uden information, før screeningen begynder.
Den open access-artikel, vi vurderer
Artiklen er Stock og kolleger, Udvikling og validering af en risikoprædiktionsmodel for for tidlig fødsel for kvinder med symptomer på for tidlig fødsel (QUIDS-studiet) , udgivet i PLOS Medicine i 2021 [3]. Det er et stærkt undervisningsargument af tre grunde. Den indeholder både en udviklingsdel og en ekstern valideringsdel, den rapporterer sine metoder i tilstrækkelig detaljer til at besvare de fleste signaleringsspørgsmål fra hovedteksten, og dens forfattere angiver svaghederne i deres eget design, hvilket synliggør vurderingspunkterne. Licensen er CC BY 4.0, bekræftet fra Crossref-licensfeltet "version-of-record", Europe PMC-licensfeltet og JATS-tilladelseserklæringen i den fulde tekst. Artiklen er indekseret i PubMed som PMID 34228732 (PMCID PMC8259998).
Modellen estimerer risikoen for spontan for tidlig fødsel inden for 7 dage hos kvinder med tegn og symptomer på for tidlig fødsel. Den blev udviklet i en metaanalyse af individuelle deltagerdata fra fem prospektive kohortestudier (1,783 kvinder, 139 hændelser) og valideret i en ny prospektiv kohorte i 26 britiske enheder (2,924 kvinder, 85 hændelser). Den endelige model kombinerer kvantitativ føtal fibronektin (qfFN) med rygning, etnicitet, nulliparitet og flerfoldsgraviditet.
| Elementet med gennemgang af spørgsmål | Ordlyd brugt til denne vurdering |
|---|---|
| Befolkning og omgivelser | Gravide kvinder i uge 22+0 til uge 34+6 med tegn og symptomer på for tidlig fødsel og intakte membraner, vurderet på obstetriske afdelinger på hospitaler med en kvantitativ fFN-analysator |
| prædiktorer | Kvantitativ fFN plus rutinemæssige kliniske faktorer tilgængelige ved første vurdering |
| Resultat og timing | Spontan for tidlig fødsel inden for 7 dage efter testen |
| Anvendelsesformål | Støttebeslutninger om indlæggelse og behandling af kvinder med symptomer |
Dette er vores valg til øvelsen, ikke udsagn fra artiklen. En anmelder med et andet spørgsmål, for eksempel en gennemgang af modeller til brug hvor der ikke findes en analysator, ville vurdere anvendeligheden anderledes. Vurderingen læser kun hovedartiklen, inklusive dens tabeller og figurer. De supplerende S1-teksttabeller blev ikke gennemgået, så rækker, der afhænger af dem, angiver det.
Anvendelse af PROBAST-værktøjet på QUIDS, domæner 1 til 3
Domæne 1, deltagere
| Q | Svar | Bevis og pegepind | etiket |
|---|---|---|---|
| 1.1 | Ja | Udviklingsprojektet anvendte "en metaanalyse af individuelle deltagerdata (IPD) fra 5 europæiske prospektive kohortestudier" (Stock et al., Abstract). Valideringen anvendte en prospektiv kohorte i 26 britiske konsulentledede enheder (Metoder, Ekstern validering). Prospektive kohorter bevarer absolut risiko. | |
| 1.2 | Sandsynligvis ja | Beregnethed defineres ud fra graviditet, symptomer, intakte membraner og ingen kontraindikation for fFN-testning (Metoder, Modeludfald, målpopulation og kandidatprædiktorer). Fire tidlige datasæt "brugte ELISA til at bestemme koncentrationen af fFN og blev ekskluderet" (Metoder, Modeludvikling), og 27 ud af 2,968 kvinder var ikke egnede til spekulumundersøgelse (Resultater, Ekstern validering; Fig. 1). Symptomer blev defineret af hver investigator. | Domsafsigelse |
Domæne 1-vurdering, lav risiko for bias. Anvendelighed, lav bekymring , fordi den angivne population matcher spørgsmålet i gennemgangen.
Domæne 2, prædiktorer
| Q | Svar | Bevis og pegepind | etiket |
|---|---|---|---|
| 2.1 | Sandsynligvis ja | Udviklingsstudier anvendte "kvantitative fFN-resultater bestemt af 10Q rapid fFN-analysatorsystem" (Metoder, Modeludvikling). Validering anvendte en tilpasset analysator på hvert sted med kvalitetskontrol (Metoder, Ekstern validering; detaljer om kvalitetskontrol findes i S1-tekst, ikke gennemgået). Hvordan rygning og etnicitet blev harmoniseret på tværs af de fem kohorter er ikke beskrevet i hovedteksten. | Domsafsigelse |
| 2.2 | Ja | Kohorterne var prospektive, så resultatet var ukendt ved målingen. Ved validering blev "Det kvantitative fFN-resultat maskeret for klinikere og gemt som en 3-bogstavskode." (Metoder, Ekstern validering). | |
| 2.3 | Ja | "Alle inkluderede kandidatprædiktorer er tilgængelige omkring tidspunktet for den indledende vurdering af tegn og symptomer på for tidlig fødsel." (Metoder, modelresultat, målpopulation og kandidatprædiktorer). |
Domæne 2-vurdering, lav risiko for bias. Anvendelighed, lav bekymring for enheder med en analysator. Introduktionen bemærker, at kvantitativ fFN mangler amerikansk FDA-godkendelse, og at NICE fandt evidensen utilstrækkelig til at anbefale det, så en gennemgang rettet mod miljøer uden en analysator bør give anledning til stor bekymring.
Domæne 3, resultat
| Q | Svar | Bevis og pegepind | etiket |
|---|---|---|---|
| 3.1 | Sandsynligvis ja | Fødselsdato og hvorvidt fødslen var spontan blev taget fra journalerne. "Alle andre data blev indsamlet fra deltagerjournalerne og registreret i studiets database." (Metoder, Ekstern validering). Fødselstidspunktet er objektivt, men hovedteksten beskriver ikke uafhængig vurdering af spontan versus medicinsk indikeret fødsel. | Domsafsigelse |
| 3.2 | Ja | "Det primære resultat var spontan for tidlig fødsel inden for 7 dage efter kvantitativ fFN-test" (Metoder, Modelresultat, målpopulation og kandidatprædiktorer), fastsat i publicerede protokoller (Metoder, Studieovervågning). Analyser med alle for tidlige fødsler blev markeret som ikke præspecificerede (Metoder, Yderligere modeller og undergruppeanalyser). | |
| 3.3 | Ja | Resultatet er en fødselsbegivenhed inden for et tidsvindue. Ingen af de fem endelige prædiktorer er en del af denne definition (Resultater, Modeludvikling og intern validering). | |
| 3.4 | Sandsynligvis ja | Én definition blev anvendt på alle kohorter, og valideringssteder blev beskrevet med forskellige niveauer af neonatal pleje (Metoder, Ekstern validering). Resultatet afhænger ikke af lokal neonatal praksis. | |
| 3.5 | Sandsynligvis ja | QfFN-værdien var maskeret, så den kunne ikke styre resultatet. Klinikere så det kvalitative fFN-resultat, og tokolyse kunne forsinke fødslen. Forfatterne angiver: "Tokolyse blev inkluderet i følsomhedsanalysen for at undersøge enhver potentiel behandlingseffekt på forsinket fødsel." (Metoder, modelresultat, målpopulation og kandidatprædiktorer). | Domsafsigelse |
| 3.6 | Ja | "Valget af dette resultat blev bestemt af vores tidligere kvalitative undersøgelse af kvinder og klinikere" (Metoder, samme underafsnit). Introduktionen knytter fordelene ved prænatale kortikosteroider til administration inden for 7 dage efter fødslen. |
Domæne 3-vurdering, lav risiko for bias. Anvendelighed, lav bekymring , fordi 7-dages resultatet matcher gennemgangsspørgsmålet.
Anvendelse af PROBAST-værktøjet til QUIDS, domæne 4-analyse
Domæne 4 er det område, hvor de fleste forudsigelsesartikler mister deres vurdering, og det er det eneste område, hvor udviklings- og valideringsdelene af QUIDS afviger. De to dele er markeret med Udvikling og Val. To små beregninger fra artiklens egne tal ligger bag række 4.1 og 4.9.
- Begivenheder pr. kandidatprædiktor. Udvikling havde 139 hændelser og 10 kandidatprædiktorer, så 139 divideret med 10 er 13.9, hvilket forfatterne runder af til omkring 14 (Metoder, Beregninger af stikprøvestørrelse). Det ligger inden for det ældre interval på 10 til 20 [4], men under de 20 hændelser pr. kandidatprædiktor, der ofte anvendes, når PROBAST-værktøjet bruges. Vi accepterer sandsynligvis ja, fordi forfatterne angiver, at dataene opfyldte moderne minimumskriterier for stikprøvestørrelse, så en strengere anmelder kunne svare sandsynligvis nej og vurdere domænet for udviklingsanalyse som uklart eller højt.
- Valideringshændelser. Der var 85 hændelser hos 2,924 kvinder (2.9 procent), hvilket er under de cirka 100 hændelser, som forfatterne selv angiver som minimum for validering (Resultater, Ekstern validering; Metoder, Beregninger af stikprøvestørrelse).
- Krympningstjek for 4.9. Hvis man dividerer hver optimismejusteret koefficient i tabel 2 med dens oprindelige værdi, får man 0.943 til 0.946 på tværs af alle fem prædiktorer, hvilket er i overensstemmelse med den ensartede krympningsfaktor på 0.94, som artiklen rapporterer.
| Q | Svar | Bevis og pegepind | etiket |
|---|---|---|---|
| 4.1 | Dev sandsynligvis ja, Val sandsynligvis nej | Udviklingsforhold 13.9 hændelser pr. kandidatprædiktor, se ovenfor. Val "En potentiel begrænsning er antallet af hændelser i vores eksterne validering (85)." (Diskussion). Forfatterne skriver også, at "minimum omkring 100 hændelser og 100 ikke-hændelser var nødvendige for validering af risikoforudsigelsesmodellen" (Metoder, Beregninger af stikprøvestørrelse). | Domsafsigelse (begge dele) |
| 4.2 | Ja | "Kontinuerlige prædiktorer blev analyseret på deres kontinuerlige skala." Ikke-linearitet blev håndteret med fraktionelle polynomier, hvilket gav en kvadratrodsform for qfFN (Metoder, Modeludvikling; Resultater). Etnicitet blev kollapset til Hvid og ikke Hvid på grund af sparsomme grupper (Diskussion). | |
| 4.3 | Sandsynligvis ja | Ved valideringen var 27 kvinder ikke egnede til spekulumundersøgelse, og 17 tests var ugyldige, så 2,924 ud af 2,968 blev analyseret, et tab på 44 kvinder eller 1.5 procent (Resultater, Ekstern validering; Fig. 1). Udelukkelserne følger testberettigelse, ikke resultatet. | Domsafsigelse |
| 4.4 | Ja | "Multiple imputationer af manglende værdier ved hjælp af kædede ligninger blev udført separat inden for hvert oprindeligt studie" med 60 imputationer i udvikling og 8 i validering (Metoder, Modeludvikling; Ekstern validering). En komplet casesensitivitetsanalyse gav lignende præstation (Resultater, Ekstern validering). BMI manglede for 29.7 procent i udvikling (Tabel 1), men er ikke med i den endelige model. | |
| 4.5 | Ja (udvikler) | Ti kandidatprædiktorer blev præspecificeret og derefter reduceret ved baglæns selektion i en multivariabel logistisk model ved hjælp af Akaikes informationskriterium (Metoder, Modeludvikling). Det er ikke univariabel screening. | |
| 4.6 | Sandsynligvis ja | Klyngeopdeling efter studie blev håndteret med en et-trins IPD-model og et separat intercept pr. studie, med en totrins tilfældige effekt-kontrol af prædiktorheterogenitet (Metoder, Modeludvikling). Valideringen anvendte et samlet intercept fra en tilfældig effekt-metaanalyse af de fem studieintercepts (Metoder, Ekstern validering). Det 7-dages binære udfald undgår censureringsproblemer, hvis opfølgningen var fuldstændig. | Domsafsigelse |
| 4.7 | Ja | Artiklen rapporterer AUC, kalibreringshældning, kalibrering-i-det-store område, forventet-i-observeret-forhold, et kalibreringsplot og Nagelkerke R2 (metoder, prædiktive præstationsmål; tabel 3; figur 2) plus nettofordel (figur 3). Validerings-AUC var 0.89 (95 % CI 0.84 til 0.94), forventet-i-observeret-forhold 0.80 før rekalibrering, kalibreringshældning 1.24. | |
| 4.8 | Dev ja, Val sandsynligvis ja | Bootstrap intern validering anvendte 100 prøver, "der replikerede alle trin i vores modeludvikling" (Metoder, Intern validering), hvilket gav en ensartet krympningsfaktor på 0.94, hvorefter studiespecifikke intercepts blev estimeret (Resultater, Modeludvikling og intern validering). I valideringen blev kun interceptet opdateret (Tabel 3, kolonne B), og ydeevne før rekalibrering rapporteres også (kolonne A). | |
| 4.9 | Ja (udvikler) | Ligningen i Resultater, QUIDS risikoprædiktionsmodel, bruger 1.915 for kvadratroden af qfFN plus 0.370, 0.834, minus 0.687 og minus 0.139 for de kliniske faktorer, med skæringspunktet minus 5.002. Disse matcher den optimismejusterede kolonne i tabel 2 og det rekalibrerede skæringspunkt i tabel 3. |
Domæne 4-vurdering. Udviklingsdelen er lav risiko for bias . Valideringsdelen er høj risiko for bias ved en streng læsning , drevet af ét element, række 4.1. Alt andet i domæne 4 besvares ja eller sandsynligvis ja.
Samlede vurderinger og kalibreringsplottet

Læs figuren som et kort over, hvor man skal kigge hen næste gang, ikke som en dom over studiet. Udviklingsdelen er lav på tværs af alle domæner. Valideringsdelen har én rød celle, og den kommer fra et antal hændelser på 85 mod en tærskel på omkring 100, et hul som forfatterne selv afslører. En anmelder kunne i stedet argumentere for en uklar vurdering, men vurderingsprotokollen bør registrere årsagen under alle omstændigheder, fordi vurderingen ændrer, hvordan modellen vægtes i enhver syntese.
Kalibreringsplottet viser, hvorfor antallet af hændelser er vigtigt i praksis. Næsten alle grupperede observationer ligger under en forudsagt risiko på 0.03, hvor hændelser er sjældne, og én gruppe nær en forudsagt risiko på 0.17 viser en observeret risiko på omkring 0.22 med et bredt interval. Forfatterne rapporterer en vis underforudsigelse ved højere risici og en kalibreringshældning på 1.24 efter rekalibrering af intercept (Resultater, Ekstern validering). Med så få hændelser i de øvre grupper ændrer en enkelt gruppe billedet, hvilket netop er den ustabilitet, som punkt 4.1 er designet til at markere.

Række 4.7 spørger om kalibrering og diskriminering, og denne figur er kalibreringsbeviset. Artiklens nettobenefitanalyse (fig. 3) tilhører et andet spørgsmål, nemlig om modellen hjælper beslutninger. Hvis du vil køre en nettobenefitanalyse på din egen model, gør vores gratis beslutningskurveanalyseberegner det ud fra dine forudsagte risici.
Vurderingsgrundlag og hvor vurderingsmænd er uenige
Syv rækker i denne vurdering hviler på bedømmelse. Det er mere nyttigt at navngive dem end at lade som om, værktøjet er mekanisk, og det er denne praksis, der skaber enighed mellem to anmeldere.
- 1.2 afhænger af, om det er et udvælgelsesproblem at udelukke fire tidlige ELISA-datasæt. Det er metodedrevet, så vi vurderede det sandsynligvis ja.
- 2.1 afhænger af harmoniseringsdetaljerne, der findes i tillægget.
- 3.1 og 3.5 bekymring over, hvordan resultatet blev klassificeret, og om behandlingen kunne have ændret det.
- 4.1 er den afgørende række for validering og en vurdering, der kræver udvikling. En anmelder, der accepterer 85 hændelser, fordi intervallerne er smalle, ville stadig skulle angive det i protokollen.
- 4.3 og 4.6 er sandsynligvis ja-svar, hvor en anden anmelder måske vil bede om flere detaljer om tab til opfølgning.
En meta-review fra 2023 forbandt brugen af PROBAST med lav overensstemmelse mellem bedømmere [8], så en kort kalibreringsøvelse på to eller tre artikler før fuld vurdering betaler sig selv. Aftal hændelsestærsklen, aftal, hvordan man ikke skal behandle nogen information, og aftal, hvad der tæller som uafhængig resultatbedømmelse.
Almindelige fejl med PROBAST-værktøjet
- Brug den som en tjekliste til rapportering. En undersøgelse, der rapporterer dårligt, giver svar uden information, hvilket er forskelligt fra en metode, der er dårlig. Brug PROBAST-værktøjet sammen med TRIPOD til rapportering.
- Vurderingsanvendelighed uden et skriftligt revisionsspørgsmål. Anvendelighed er relativ, så spørgsmålet skal eksistere først.
- Opsummering af signaleringsspørgsmål til en score. Værktøjet er bygget til struktureret vurdering, og en optælling af ja-svar skjuler hvilket domæne, der ikke lykkedes.
- Sammenlægning af udvikling og validering. Bedøm hver del. QUIDS viser, hvordan en enkelt opgave kan have en lav og en høj vurdering.
- Forvirrende baglæns selektion med univariabel screening. Spørgsmål 4.5 har til formål at screene prædiktorer én ad gangen før modellering. Baglæns selektion i en multivariabel model er et separat problem, som spørgsmål 4.8 undersøger gennem optimismekorrektion [4].
- At sidestille høj risiko for bias med en dårlig model. Vurderingen siger, at præstationsestimatet muligvis er upålideligt, ikke at modellen er forkert.
- Tager forfatterens påstande som bevis. En sætning, der siger, at undersøgelsen fulgte TRIPOD, er ikke et svar på noget signaleringsspørgsmål. Peg på tabellen eller afsnittet, der viser det.
Rapportering af PROBAST-resultater i en systematisk gennemgang
Rapportér spørgsmålet til gennemgangen, versionen af værktøjet (original 2019 eller PROBAST+AI), antallet af gennemgangere og reglen for løsning af uenigheder. Vis en trafiklysfigur som figur 1 for hver inkluderet model med domænevurderingerne og årsagen til hver høj vurdering i en understøttende tabel. Brug derefter vurderingerne i syntesen, for eksempel gennem en følsomhedsanalyse, der fjerner modeller med høj risiko for bias i analysedomænet. Flowet af poster ind i din gennemgang hører hjemme i et PRISMA-diagram, og den gratis Flowchart Pro nedenfor bygger et i din browser.
Hvis din anmeldelse også inkluderer forsøg eller kohortestudier af behandlinger, skal du parre PROBAST-værktøjet med de matchende instrumenter i RoB 2-, ROBINS-I- og QUADAS-2-vejledningerne ovenfor, så hvert inkluderet design vurderes med det værktøj, der er bygget til det.
Gratis værktøjer til forskning i forudsigelsesmodeller
Gratis researchværktøjer fra Editverse
- GraphProByg publikationsklare diagrammer, 25 typer, med indbygget t-test, ANOVA, korrelation og chi-i-anden p-værdier. Gratis, ingen tilmelding.
- StatProGratis statistiske lommeregnere og et testudvælgelsesværktøj, der dækker gruppesammenligninger, kategoriske resultater, analyse af tid til begivenhed og diagnostisk nøjagtighed.
- Flowchart ProGenerér flowdiagrammer for PRISMA 2020, PRISMA-ScR, CONSORT, STROBE, STARD, MOOSE og ARRIVE direkte i din browser.
Professionel støtte til vurdering af risiko for bias
Det er langsommeligt arbejde at vurdere 20 eller 200 studier med to uafhængige bedømmere, og vurderingerne hjælper kun en gennemgang, hvis de er konsistente og dokumenterede. Editverse understøtter vurderings- og udtrækningsfaserne i systematiske gennemgange med faste leverancer. Send dine inkluderede studier og deres design, og spørg, hvilket vurderingsinstrument der kan bruges til hvert design, før du bestiller.
Risiko for biasvurdering
$350
Skal alle inkluderede undersøgelser vurderes i en form, som en anmelder vil acceptere?
Du sender dine inkluderede studier og deres design.
Du får udfyldte vurderingsskemaer, tabeller over risiko for bias, visualiseringer af trafiklys og en fortælling om metodeafsnittet.
Standard ekspeditionstid 4 til 6 hverdage.
Systematisk oversigtsdataudtrækning
$500
Er udtræksarket flaskehalsen, før vurderingen kan starte?
Du sender dine inkluderede studier og dit revisionsspørgsmål.
Du får en brugerdefineret udtræksformular, dobbelt udtræk med afstemning og kvalitetsvurderingsdata indsamlet sammen med studiekarakteristika.
Standardbehandlingstid 5 til 7 hverdage, afhængigt af antallet af undersøgelser.
For en fuldstændig gennemgang fra protokol til manuskript, se vores systematiske gennemgangsskrivningstjeneste , som dækker de faser, som de to ovenstående tjenester bidrager til. Vores arbejde følger COPE-, ICMJE- og GPP 2022-anbefalingerne, og institutionelle og landespecifikke etiske krav overholdes.
Konklusion
PROBAST-værktøjet forvandler det vage spørgsmål om, hvorvidt en prædiktionsmodel er god nok, til 20 spørgsmål med tilknyttet evidens. Anvendt på QUIDS giver det en lav risiko for bias i modeludviklingen, en høj risiko for bias ved en streng aflæsning af den eksterne validering på grund af 85 hændelser og lav bekymring for anvendeligheden af det her anførte revisionsspørgsmål. Arbejdet ligger i metoden, ikke farverne. Skriv revisionsspørgsmålet først, bedøm udvikling og validering separat, peg på afsnittet bag hvert svar, og navngiv vurderingskaldene. Hvis din protokol i stedet peger på 2025 PROBAST+AI, fortsætter vanerne uændret.
Referencer
- Wolff RF, Moons KGM, Riley RD, Whiting PF, Westwood M, Collins GS m.fl. PROBAST: et værktøj til at vurdere risikoen for bias og anvendeligheden af prædiktionsmodelstudier. Ann Intern Med. 2019;170(1):51-8. doi:10.7326/M18-1376PMID 30596875.
- Moons KGM, Wolff RF, Riley RD, Whiting PF, Westwood M, Collins GS m.fl. PROBAST: et værktøj til at vurdere risiko for bias og anvendeligheden af prædiktionsmodelstudier, forklaring og uddybning. Ann Intern Med. 2019;170(1):W1-33. doi:10.7326/M18-1377PMID 30596876.
- Stock SJ, Horne M, Bruijn M, White H, Boyd KA, Heggie R m.fl. Udvikling og validering af en risikoforudsigelsesmodel for for tidlig fødsel hos kvinder med symptomer på for tidlig fødsel (QUIDS-studiet): et prospektivt kohortestudie og metaanalyse af individuelle deltagerdata. PLoS Med. 2021;18(7):e1003686. doi:10.1371/journal.pmed.1003686. PMID 34228732. PMCID PMC8259998. CC BY 4.0.
- de Jong Y, Ramspek CL, Zoccali C, Jager KJ, Dekker FW, van Diepen M. Vurdering af prædiktionsforskning, en vejledning og meta-anmeldelse af bias og anvendelighedsvurdering ved hjælp af prædiktionsmodellen Risk Of Bias Assessment Tool (PROBAST). Nephrology (Carlton). 2021;26(12):939-47. doi:10.1111/nep.13913PMID 34138495.
- Moons KGM, de Groot JAH, Bouwmeester W, Vergouwe Y, Mallett S, Altman DG, et al. Kritisk vurdering og dataudtrækning til systematiske gennemgange af prædiktionsmodelleringsstudier, CHARMS-tjeklisten. PLoS Med. 2014;11(10):e1001744. doi:10.1371/journal.pmed.1001744PMID 25314315.
- Riley RD, Ensor J, Snell KIE, Harrell FE Jr, Martin GP, Reitsma JB m.fl. Beregning af den nødvendige stikprøvestørrelse til udvikling af en klinisk prædiktionsmodel. BMJ. 2020;368:m441. doi:10.1136/bmj.m441PMID 32188600.
- Moons KGM, Damen JAA, Kaul T, Hooft L, Andaur Navarro C, Dhiman P, et al. PROBAST+AI: et opdateret værktøj til vurdering af kvalitet, risiko for bias og anvendelighed for prædiktionsmodeller ved hjælp af regression eller kunstig intelligens-metoder. BMJ. 2025;388:e082505. doi:10.1136/bmj-2024-082505PMID 40127903.
- Langenhuijsen LFS, Janse RJ, Venema E, Kent DM, van Diepen M, Dekker FW, et al. Systematisk metareview af forudsigelsesstudier viser stabile tendenser i bias og lav PROBAST inter-rater overensstemmelse. J Clin Epidemiol. 2023;159:159-73. doi:10.1016/j.jclinepi.2023.04.012PMID 37142166.
