Diterbitkan
Alat PROBAST (Alat Penilaian Risiko Bias Model Ramalan) ialah instrumen standard untuk menilai sama ada model ramalan yang diterbitkan boleh dipercayai dan sama ada ia sesuai dengan pesakit yang anda sayangi. Wolff dan rakan sekerja menerbitkannya dalam Annals of Internal Medicine pada tahun 2019 [1], dan kertas penjelasan dan penghuraian yang disertakan menetapkan alasan di sebalik setiap soalan [2]. Catatan ini menerangkan bagaimana alat PROBAST distrukturkan, kemudian menggunakan semua 20 soalan isyarat, satu baris pada satu masa, kepada model akses terbuka sebenar, model kelahiran pramatang QUIDS yang diterbitkan dalam PLOS Medicine [3]. Setiap baris menunjukkan bahagian kertas yang menyokongnya, dan setiap baris yang bergantung pada penilaian dilabelkan.
Dalam Perkataan Mudah
Model ramalan mengubah beberapa fakta tentang pesakit menjadi risiko. Alat PROBAST menanyakan 20 soalan yang disasarkan tentang bagaimana model dibina dan diuji, dikumpulkan kepada empat domain (peserta, peramal, hasil dan analisis), untuk menentukan sama ada ketepatan yang dilaporkan berkemungkinan besar akan dibesar-besarkan. Ia kemudian menanyakan soalan berasingan, sama ada model tersebut sesuai dengan pesakit anda sendiri. Model boleh dibina dengan teliti dan masih menjadi model yang salah untuk klinik anda.
Apa yang dinilai oleh alat PROBAST
Alat PROBAST telah ditulis untuk semakan sistematik model ramalan, dan ia berfungsi dengan baik untuk doktor atau editor yang menilai satu kertas kerja. Ia merangkumi model diagnostik (adakah keadaan yang ada sekarang) dan model prognostik (adakah sesuatu peristiwa akan berlaku kemudian), dan ia terpakai kepada kajian yang membangunkan model, mengesahkannya, atau mengemas kininya [1,2]. Ia menghasilkan dua keputusan berasingan. Yang pertama ialah risiko bias, yang ditakrifkan sebagai kekurangan dalam reka bentuk, kelakuan atau analisis yang memesongkan anggaran tentang seberapa baik model meramalkan. Yang kedua ialah kebimbangan tentang kebolehgunaan, yang menanyakan sama ada populasi, peramal dan hasil kajian sepadan dengan soalan anda.
Bias penting di sini kerana optimisme. Model yang cukup fleksibel untuk menyesuaikan data pembangunannya terlalu hampir kelihatan sangat baik dalam data tersebut dan menunjukkan prestasi yang lebih teruk pada pesakit baharu. De Jong dan rakan sekerja menggambarkan ini sebagai jurang sistematik antara prestasi yang dituntut semasa pembangunan dan prestasi yang direalisasikan semasa pengesahan [4]. Meta-tinjauan mereka terhadap 50 ulasan sistematik yang menggunakan alat PROBAST merangkumi 1,510 kajian dan 2,104 model, dan semua domain menunjukkan risiko bias yang tidak jelas atau tinggi [4]. Oleh itu, penilaian merupakan langkah rutin, bukan pengecualian.
Setiap soalan isyarat mengambil satu daripada lima jawapan, iaitu ya, mungkin ya, mungkin tidak, tidak, atau tiada maklumat. Soalan-soalan tersebut memberikan penilaian domain rendah, tinggi atau tidak jelas. Dalam panduan PROBAST, domain adalah rendah apabila setiap soalan dijawab ya atau mungkin ya, ia berpotensi tinggi apabila sekurang-kurangnya satu soalan dijawab tidak atau mungkin tidak, dan tidak jelas apabila maklumat hilang dan tiada apa yang dijawab tidak [1,2]. Penilaian tidak dijumlahkan menjadi skor, dan keputusan akhir kekal dengan pengulas.
Di mana alat PROBAST berada di antara alat yang berkaitan
Alat PROBAST menilai kaedah, bukan pelaporan. Kelengkapan pelaporan adalah milik TRIPOD, yang diliputi oleh panduan kami untuk pelaporan model ramalan dengan TRIPOD+AI . Pengekstrakan data untuk ulasan model ramalan mengikuti senarai semak CHARMS [5], dan saiz sampel untuk pembangunan model mengikuti kriteria Riley dan rakan sekerja [6], yang menggantikan peraturan peristiwa tetap-setiap-pembolehubah yang lebih lama. Untuk reka bentuk kajian lain, alat pemadanan ialah RoB 2 untuk percubaan (lihat panduan RoB 2 kami ), ROBINS-I untuk intervensi bukan rawak (lihat panduan ROBINS-I ) dan QUADAS-2 untuk kajian ketepatan diagnostik (lihat QUADAS-2 dalam amalan ). Panduan penilaian risiko bias kami merangkumi alat percubaan secara mendalam.
PROBAST+AI, kemas kini 2025
Pada tahun 2025, Moons dan rakan sekerja menerbitkan PROBAST+AI dalam BMJ [7]. Ia mempunyai dua bahagian. Bahagian pembangunan model menggunakan 16 soalan isyarat untuk menilai kualiti dan kebolehgunaan, dan bahagian penilaian model menggunakan 18 soalan isyarat untuk menilai risiko bias dan kebolehgunaan. Kedua-dua bahagian mengekalkan empat domain, yang kini dinamakan peserta dan sumber data, peramal, hasil dan analisis, dan kebolehgunaan masih dinilai untuk tiga yang pertama. Penulis menyatakan bahawa PROBAST+AI mungkin menggantikan alat asal [7]. Catatan ini menggunakan alat asal 2019, kerana 20 soalannya telah ditetapkan dan merupakan yang digunakan dalam literatur semakan sedia ada [4]. Jika protokol, penyelia atau jurnal sasaran anda menamakan PROBAST+AI, gunakan set soalan 2025 dan kekalkan tabiat penunjuk bukti yang sama seperti yang ditunjukkan di bawah.
Alat PROBAST sepintas lalu, 4 domain dan 20 soalan isyarat
Jadual ini memparafrasakan 20 soalan dengan kata-kata yang mudah dan menyatakan di mana bukti biasanya berada dalam kertas kerja. Sesetengah soalan analisis, contohnya 4.5 dan 4.9, hanya terpakai kepada pembangunan model, dan beberapa soalan lain disesuaikan dengan bahagian yang anda nilaikan.
| Soalan | Apa yang ditanya, dengan kata-kata yang mudah | Tempat mencari |
|---|---|---|
| 1.1 | Adakah sumber data sesuai, seperti kohort atau percubaan, dan bukannya reka bentuk yang memesongkan risiko mutlak? | Abstrak, perenggan reka bentuk kajian |
| 1.2 | Adakah kriteria inklusi dan pengecualian sesuai untuk populasi yang dimaksudkan? | Teks kelayakan, gambarajah aliran peserta |
| 2.1 | Adakah peramal ditakrifkan dan diukur dengan cara yang sama untuk setiap peserta? | Takrifan peramal, protokol pengukuran |
| 2.2 | Adakah peramal diukur tanpa mengetahui hasilnya? | Reka bentuk kajian, kenyataan yang membutakan |
| 2.3 | Adakah setiap peramal akan tersedia apabila model tersebut bertujuan untuk digunakan? | Senarai peramal terhadap penggunaan yang dimaksudkan |
| 3.1 | Adakah hasilnya ditentukan melalui kaedah yang sesuai? | Definisi hasil dan sumber data |
| 3.2 | Adakah definisi hasil yang telah ditetapkan terlebih dahulu atau standard telah digunakan? | Protokol, pendaftaran, kaedah |
| 3.3 | Adakah hasilnya ditakrifkan tanpa menggunakan sebarang peramal? | Takrifan hasil terhadap senarai peramal |
| 3.4 | Adakah hasilnya ditakrifkan dan ditentukan dengan cara yang sama untuk semua peserta? | Prosedur berbilang pusat, tambahan |
| 3.5 | Adakah hasilnya ditentukan tanpa pengetahuan tentang nilai peramal? | Penerangan penilai yang membutakan |
| 3.6 | Adakah masa antara pengukuran peramal dan hasil sesuai? | Tetingkap susulan, tujuan penggunaan |
| 4.1 | Adakah terdapat peristiwa hasil yang mencukupi untuk tugasan tersebut? | Peristiwa dan peramal calon, bahagian saiz sampel |
| 4.2 | Adakah peramal berterusan dan kategorikal dikendalikan dengan sewajarnya? | Kaedah statistik, transformasi |
| 4.3 | Adakah semua peserta yang mendaftar dimasukkan dalam analisis? | Gambarajah alir, populasi analisis |
| 4.4 | Adakah data yang hilang dikendalikan dengan sewajarnya? | Perenggan data yang hilang, Jadual 1 |
| 4.5 | Adakah pemilihan peramal bebas daripada saringan univariabel? (pembangunan sahaja) | Perenggan pembinaan model |
| 4.6 | Adakah penapisan, risiko yang bersaing dan pensampelan kawalan dikendalikan jika berkaitan? | Jenis model, penerangan susulan |
| 4.7 | Adakah ukuran prestasi yang sesuai dilaporkan, termasuk penentukuran dan diskriminasi? | Bahagian prestasi, plot penentukuran |
| 4.8 | Adakah kesesuaian yang berlebihan, kekurangan kesesuaian dan keyakinan telah ditangani? | Pengesahan dalaman, pengecutan |
| 4.9 | Adakah peramal dan pemberat akhir sepadan dengan analisis multivariabel yang dilaporkan? (pembangunan sahaja) | Jadual model, persamaan |
Kebolehgunaan menggunakan tiga pertimbangan lanjut dan bukannya soalan isyarat. Peserta dan penetapan, peramal dan hasil masing-masing dinilai sebagai kebimbangan rendah, tinggi atau tidak jelas terhadap soalan ulasan anda. Kebolehgunaan adalah sebab mengapa kertas yang sama boleh menjadi sesuai untuk satu ulasan dan kurang sesuai untuk ulasan yang lain.
Cara menjalankan penilaian alat PROBAST dalam lima langkah
- Tulis soalan ulasan. Nyatakan populasi, peramal, hasil, masa, latar dan tujuan penggunaan model sebelum anda membuka sebarang kertas kerja. Kebolehgunaan tidak boleh dinilai tanpanya.
- Kelaskan kertas tersebut. Tandakan setiap kertas sebagai pembangunan, pengesahan atau kedua-duanya, dan nilaikan bahagian-bahagian tersebut secara berasingan. Kertas yang melakukan kedua-duanya boleh mendapat penilaian yang berbeza untuk setiap bahagian.
- Jawab soalan isyarat dengan penunjuk bukti. Catatkan bahagian, jadual atau rajah yang menyokong setiap jawapan, dan sebutkan dengan berhati-hati.
- Nilaikan setiap domain. Gunakan peraturan bahawa sebarang tidak atau mungkin tidak menjadikan domain berpotensi tinggi, kemudian tentukan sama ada sebabnya merupakan punca herotan sebenar.
- Berikan penilaian keseluruhan. Kertas ini berisiko rendah untuk bias hanya apabila keempat-empat domain adalah rendah, dan logik yang sama terpakai untuk kebolehgunaan.
Gunakan dua pengulas yang bekerja secara bebas dan kemudian berdamai. Satu meta-tinjauan penggunaan PROBAST pada tahun 2023 melaporkan trend bias yang stabil dari semasa ke semasa dan persetujuan antara penilai yang rendah [8], yang merupakan sebab praktikal untuk bersetuju dengan soalan semakan, ambang peristiwa dan pengendalian jawapan tanpa maklumat sebelum saringan bermula.
Kertas akses terbuka yang kami nilaikan
Kertas kerja ini ialah Stock and colleagues, Development and validation of a risk prediction model of preterm birth for women with preterm simptoms (kajian QUIDS) , yang diterbitkan dalam PLOS Medicine pada tahun 2021 [3]. Ia merupakan kes pengajaran yang kukuh atas tiga sebab. Ia mengandungi bahagian pembangunan dan bahagian pengesahan luaran, ia melaporkan kaedahnya dengan cukup terperinci untuk menjawab kebanyakan soalan isyarat daripada teks utama, dan penulisnya menyatakan titik lemah reka bentuk mereka sendiri, yang menjadikan keputusan penilaian kelihatan. Lesen ini ialah CC BY 4.0, disahkan daripada medan lesen versi rekod Crossref, medan lesen PMC Eropah dan pernyataan kebenaran JATS dalam teks penuh. Kertas kerja ini diindeks dalam PubMed sebagai PMID 34228732 (PMCID PMC8259998).
Model ini menganggarkan risiko kelahiran pramatang spontan dalam tempoh 7 hari pada wanita yang mempunyai tanda dan gejala kelahiran pramatang. Ia telah dibangunkan dalam meta-analisis data peserta individu daripada lima kajian kohort prospektif (1,783 wanita, 139 peristiwa) dan disahkan dalam kohort prospektif baharu dalam 26 unit UK (2,924 wanita, 85 peristiwa). Model akhir menggabungkan fibronektin janin kuantitatif (qfFN) dengan merokok, etnik, nulliparity dan kehamilan berganda.
| Elemen soalan ulasan | Perkataan yang digunakan untuk penilaian ini |
|---|---|
| Populasi dan persekitaran | Wanita hamil pada usia kehamilan 22+0 hingga 34+6 minggu dengan tanda dan gejala kelahiran pramatang dan membran yang utuh, dinilai di unit obstetrik hospital yang mempunyai penganalisis fFN kuantitatif |
| Peramal | FFN kuantitatif ditambah faktor klinikal rutin tersedia pada penilaian pertama |
| Hasil dan masa | Kelahiran pramatang spontan dalam tempoh 7 hari selepas ujian |
| Digunakan | Menyokong keputusan tentang kemasukan dan rawatan dalam kalangan wanita yang bergejala |
Ini adalah pilihan kami untuk latihan ini, bukan pernyataan daripada kertas kerja. Pengulas dengan soalan yang berbeza, contohnya ulasan model untuk kegunaan di mana tiada penganalisis wujud, akan menilai kebolehgunaan secara berbeza. Penilaian hanya membaca artikel utama, termasuk jadual dan rajahnya. Jadual Teks S1 tambahan tidak disemak, jadi baris yang bergantung padanya menyatakannya.
Menggunakan alat PROBAST untuk QUIDS, domain 1 hingga 3
Domain 1, peserta
| Q | jawapan | Bukti dan petunjuk | Label |
|---|---|---|---|
| 1.1 | Ya | Pembangunan menggunakan “meta-analisis data peserta individu (IPD) daripada 5 kajian kohort prospektif Eropah” (Stock et al., Abstrak). Pengesahan menggunakan kohort prospektif dalam 26 unit yang diketuai perunding UK (Kaedah, Pengesahan luaran). Kohort prospektif mengekalkan risiko mutlak. | |
| 1.2 | Kemungkinan Ya | Kelayakan ditakrifkan oleh kehamilan, simptom, membran utuh dan tiada kontraindikasi untuk ujian fFN (Kaedah, Hasil Model, populasi sasaran dan calon peramal). Empat set data awal “menggunakan ELISA untuk menentukan kepekatan fFN dan telah dikecualikan” (Kaedah, Pembangunan Model), dan 27 daripada 2,968 wanita tidak layak untuk pemeriksaan spekulum (Keputusan, Pengesahan luaran; Rajah 1). Simptom ditakrifkan oleh setiap penyiasat. | Panggilan penghakiman |
Penilaian domain 1, risiko bias yang rendah. Kebolehgunaan, kebimbangan yang rendah , kerana populasi yang dinyatakan sepadan dengan soalan ulasan.
Domain 2, peramal
| Q | jawapan | Bukti dan petunjuk | Label |
|---|---|---|---|
| 2.1 | Kemungkinan Ya | Kajian pembangunan menggunakan "keputusan fFN kuantitatif yang ditentukan oleh sistem penganalisis fFN pantas 10Q" (Kaedah, Pembangunan model). Pengesahan menggunakan penganalisis yang disesuaikan di setiap tapak dengan kawalan kualiti (Kaedah, Pengesahan luaran; butiran kawalan kualiti terdapat dalam Teks S1, tidak disemak). Bagaimana merokok dan etnik diselaraskan merentasi lima kohort tidak diterangkan dalam teks utama. | Panggilan penghakiman |
| 2.2 | Ya | Kohort tersebut adalah prospektif, jadi hasilnya tidak diketahui semasa pengukuran. Dalam pengesahan, “Keputusan fFN kuantitatif telah dirahsiakan daripada doktor dan disimpan sebagai kod 3 huruf.” (Kaedah, Pengesahan luaran). | |
| 2.3 | Ya | "Semua calon peramal yang disertakan tersedia sekitar masa penilaian awal untuk tanda-tanda dan gejala kelahiran pramatang." (Kaedah, Hasil model, populasi sasaran dan calon peramal). |
Penarafan Domain 2, risiko bias yang rendah. Kebolehgunaan, kebimbangan yang rendah terhadap unit dengan penganalisis. Pengenalan menyatakan bahawa fFN kuantitatif tidak mempunyai kelulusan FDA AS dan NICE mendapati bukti tidak mencukupi untuk mengesyorkannya, jadi semakan yang ditujukan kepada tetapan tanpa penganalisis harus membangkitkan perkara ini sebagai kebimbangan yang tinggi.
Domain 3, hasil
| Q | jawapan | Bukti dan petunjuk | Label |
|---|---|---|---|
| 3.1 | Kemungkinan Ya | Tarikh lahir dan sama ada kelahiran itu spontan diambil daripada rekod. “Semua data lain dikumpulkan daripada rekod peserta dan direkodkan pada pangkalan data kajian.” (Kaedah, Pengesahan luaran). Penentuan masa kelahiran adalah objektif, tetapi teks utama tidak menerangkan penghakiman bebas bagi kelahiran spontan terhadap kelahiran yang ditunjukkan secara perubatan. | Panggilan penghakiman |
| 3.2 | Ya | "Hasil utama adalah kelahiran pramatang spontan dalam tempoh 7 hari selepas ujian fFN kuantitatif" (Kaedah, Hasil model, populasi sasaran dan peramal calon), yang ditetapkan dalam protokol yang diterbitkan (Kaedah, Pengawasan kajian). Analisis dengan semua kelahiran pramatang ditandai sebagai tidak ditentukan terlebih dahulu (Kaedah, Model tambahan dan analisis subkumpulan). | |
| 3.3 | Ya | Hasilnya adalah peristiwa kelahiran dalam tempoh masa. Tiada satu pun daripada lima peramal akhir yang membentuk sebahagian daripada definisi tersebut (Keputusan, Pembangunan model dan pengesahan dalaman). | |
| 3.4 | Kemungkinan Ya | Satu definisi telah digunakan untuk semua kohort, dan tapak pengesahan telah diterangkan dengan tahap penjagaan neonatal yang berbeza (Kaedah, Pengesahan luaran). Hasilnya tidak bergantung pada amalan neonatal tempatan. | |
| 3.5 | Kemungkinan Ya | Nilai qfFN telah dirahsiakan, jadi ia tidak dapat mengarahkan penentuan hasil. Pakar klinik telah melihat keputusan fFN kualitatif, dan tokolisis boleh melambatkan kelahiran. Penulis menyatakan “Tokolisis dimasukkan dalam analisis kepekaan untuk meneroka sebarang potensi kesan rawatan terhadap kelewatan kelahiran.” (Kaedah, Hasil model, populasi sasaran dan calon peramal). | Panggilan penghakiman |
| 3.6 | Ya | “Pilihan hasil ini ditentukan oleh kajian kualitatif kami sebelum ini terhadap wanita dan doktor” (Kaedah, subseksyen yang sama). Pengenalan mengaitkan manfaat kortikosteroid antenatal dengan pemberian dalam tempoh 7 hari selepas kelahiran. |
Penarafan domain 3, risiko bias yang rendah. Kebolehgunaan, kebimbangan yang rendah , kerana hasil 7 hari sepadan dengan soalan semakan.
Menggunakan alat PROBAST untuk QUIDS, analisis domain 4
Domain 4 ialah tempat kebanyakan kertas ramalan kehilangan penarafannya, dan ia merupakan satu-satunya domain di mana bahagian pembangunan dan pengesahan QUIDS berbeza. Kedua-dua bahagian tersebut ditanda Dev dan Val. Dua pengiraan kecil daripada nombor kertas itu sendiri terletak di belakang baris 4.1 dan 4.9.
- Peristiwa bagi setiap calon peramal. Pembangunan mempunyai 139 peristiwa dan 10 calon peramal, jadi 139 dibahagikan dengan 10 ialah 13.9, yang dibundarkan oleh penulis kepada kira-kira 14 (Kaedah, Pengiraan saiz sampel). Itu berada dalam julat 10 hingga 20 yang lebih lama [4] tetapi di bawah 20 peristiwa bagi setiap calon peramal yang sering digunakan apabila menggunakan alat PROBAST. Kami mungkin menerima ya kerana penulis menyatakan data memenuhi kriteria saiz sampel minimum moden, jadi pengulas yang lebih ketat boleh menjawab mungkin tidak dan menilai domain analisis pembangunan tidak jelas atau tinggi.
- Peristiwa pengesahan. Terdapat 85 peristiwa dalam kalangan 2,924 wanita (2.9 peratus), di bawah kira-kira 100 peristiwa yang dipetik oleh penulis sendiri sebagai minimum untuk pengesahan (Keputusan, Pengesahan luaran; Kaedah, Pengiraan saiz sampel).
- Pemeriksaan pengecutan untuk 4.9. Membahagikan setiap pekali terlaras optimisme dalam Jadual 2 dengan pekali asalnya memberikan 0.943 hingga 0.946 merentasi kelima-lima peramal, selaras dengan faktor pengecutan seragam 0.94 yang dilaporkan oleh kertas kerja tersebut.
| Q | jawapan | Bukti dan petunjuk | Label |
|---|---|---|---|
| 4.1 | Dev mungkin ya, Val mungkin tidak | Nisbah pembangunan 13.9 peristiwa bagi setiap calon peramal, lihat di atas. Val “Satu had yang berpotensi ialah bilangan peristiwa dalam pengesahan luaran kami (85).” (Perbincangan). Penulis juga menulis bahawa “minimum sekitar 100 peristiwa dan 100 bukan peristiwa diperlukan untuk pengesahan model ramalan risiko” (Kaedah, Pengiraan saiz sampel). | Panggilan penghakiman (kedua-dua bahagian) |
| 4.2 | Ya | “Peramal berterusan dianalisis pada skala berterusannya.” Ketaklinearan dikendalikan dengan polinomial pecahan, memberikan bentuk punca kuasa dua untuk qfFN (Kaedah, Pembangunan model; Keputusan). Etnik dikecilkan kepada Kulit Putih dan bukan Kulit Putih kerana kumpulan yang jarang (Perbincangan). | |
| 4.3 | Kemungkinan Ya | Dalam pengesahan, 27 wanita tidak layak menjalani pemeriksaan spekulum dan 17 ujian tidak sah, jadi 2,924 daripada 2,968 telah dianalisis, kerugian sebanyak 44 wanita atau 1.5 peratus (Keputusan, Pengesahan luaran; Rajah 1). Pengecualian tersebut mengikut kelayakan ujian, bukan hasilnya. | Panggilan penghakiman |
| 4.4 | Ya | "Pelbagai imputasi nilai yang hilang melalui persamaan berantai telah dilakukan dalam setiap kajian asal secara berasingan" dengan 60 imputasi dalam pembangunan dan 8 dalam pengesahan (Kaedah, Pembangunan Model; Pengesahan luaran). Analisis sensitiviti kes lengkap memberikan prestasi yang serupa (Keputusan, Pengesahan luaran). BMI hilang sebanyak 29.7 peratus dalam pembangunan (Jadual 1) tetapi tiada dalam model akhir. | |
| 4.5 | Ya (Dev) | Sepuluh calon peramal telah ditentukan terlebih dahulu, kemudian dikurangkan dengan pemilihan ke belakang di dalam model logistik berbilang pembolehubah menggunakan kriteria maklumat Akaike (Kaedah, Pembangunan Model). Itu bukanlah penyaringan univariat. | |
| 4.6 | Kemungkinan Ya | Pengelompokan mengikut kajian dikendalikan dengan model IPD satu peringkat dan pintasan berasingan bagi setiap kajian, dengan pemeriksaan kesan rawak dua peringkat bagi heterogeniti peramal (Kaedah, Pembangunan model). Pengesahan menggunakan pintasan terkumpul daripada meta-analisis kesan rawak bagi lima pintasan kajian (Kaedah, Pengesahan luaran). Hasil binari 7 hari mengelakkan masalah penapisan jika susulan selesai. | Panggilan penghakiman |
| 4.7 | Ya | Kertas kerja ini melaporkan AUC, cerun penentukuran, penentukuran-dalam-besar, nisbah dijangka kepada yang diperhatikan, plot penentukuran dan Nagelkerke R2 (Kaedah, Ukuran prestasi ramalan; Jadual 3; Rajah 2), serta faedah bersih (Rajah 3). AUC pengesahan ialah 0.89 (95% CI 0.84 hingga 0.94), nisbah dijangka kepada yang diperhatikan 0.80 sebelum penentukuran semula, cerun penentukuran 1.24. | |
| 4.8 | Dev ya, Val mungkin ya | Pengesahan dalaman Bootstrap menggunakan 100 sampel yang "mereplikasi semua langkah pembangunan model kami" (Kaedah, Pengesahan dalaman), memberikan faktor pengecutan seragam sebanyak 0.94, selepas itu pintasan khusus kajian dianggarkan semula (Keputusan, Pembangunan model dan pengesahan dalaman). Dalam pengesahan, hanya pintasan dikemas kini (Jadual 3, lajur B), dan prestasi sebelum penentukuran semula juga dilaporkan (lajur A). | |
| 4.9 | Ya (Dev) | Persamaan dalam Keputusan, model ramalan risiko QUIDS, menggunakan 1.915 untuk punca kuasa dua qfFN tambah 0.370, 0.834, tolak 0.687 dan tolak 0.139 untuk faktor klinikal, dengan pintasan tolak 5.002. Ini sepadan dengan lajur terlaras optimisme pada Jadual 2 dan pintasan yang dikalibrasi semula dalam Jadual 3. |
Penilaian Domain 4. Bahagian pembangunan berisiko bias rendah . Bahagian pengesahan berisiko bias tinggi pada bacaan ketat , didorong oleh satu item, baris 4.1. Semua item lain dalam domain 4 dijawab ya atau mungkin ya.
Penarafan keseluruhan dan plot penentukuran
Baca rajah tersebut sebagai peta ke mana hendak melihat seterusnya, bukan sebagai keputusan terhadap kajian tersebut. Bahagian pembangunan adalah rendah merentasi semua domain. Bahagian pengesahan mempunyai satu sel darah merah, dan ia datang daripada kiraan peristiwa sebanyak 85 berbanding ambang kira-kira 100, jurang yang didedahkan oleh penulis sendiri. Pengulas boleh berhujah untuk penilaian yang tidak jelas, tetapi protokol penilaian harus merekodkan sebabnya dalam apa jua cara, kerana penilaian tersebut mengubah cara model ditimbang dalam sebarang sintesis.
Plot penentukuran menunjukkan mengapa kiraan peristiwa penting dalam praktik. Hampir semua pemerhatian berkumpulan berada di bawah risiko ramalan 0.03, di mana peristiwa jarang berlaku, dan satu kumpulan berhampiran risiko ramalan 0.17 menunjukkan risiko yang diperhatikan kira-kira 0.22 dengan selang masa yang luas. Penulis melaporkan beberapa ramalan yang kurang pada risiko yang lebih tinggi dan cerun penentukuran 1.24 selepas penentukuran semula pintasan (Keputusan, Pengesahan luaran). Dengan begitu sedikit peristiwa dalam kumpulan atas, satu kumpulan menggerakkan gambar, yang merupakan ketidakstabilan yang direka bentuk untuk ditandai oleh item 4.1.
Baris 4.7 meminta penentukuran dan diskriminasi, dan angka ini adalah bukti penentukuran. Analisis faedah bersih kertas kerja (Rajah 3) tergolong dalam soalan yang berbeza, sama ada model tersebut membantu keputusan. Jika anda ingin menjalankan analisis faedah bersih pada model anda sendiri, kalkulator analisis lengkung keputusan percuma kami melakukannya daripada risiko yang diramalkan.
Keputusan penghakiman dan jika penilai tidak bersetuju
Tujuh baris dalam penilaian ini bergantung pada penghakiman. Menamakannya adalah lebih berguna daripada berpura-pura bahawa alat itu mekanikal, dan amalan itulah yang menimbulkan persetujuan antara dua pengulas.
- 1.2 Menghidupkan sama ada mengecualikan empat set data ELISA awal merupakan masalah pemilihan. Ia dipacu kaedah, jadi kami menilainya mungkin ya.
- 2.1 bergantung pada butiran pengharmonian yang terdapat dalam suplemen.
- 3.1 dan 3.5 kebimbangan bagaimana hasilnya dikelaskan dan sama ada rawatan boleh mengubahnya.
- 4.1 merupakan barisan penentu untuk pengesahan dan keputusan untuk pembangunan. Seorang pengulas yang menerima 85 peristiwa kerana selang masa yang sempit masih perlu menyatakannya dalam protokol.
- 4.3 dan 4.6 mungkin jawapan ya di mana pengulas kedua mungkin meminta lebih banyak butiran tentang kehilangan susulan.
Satu kajian meta pada tahun 2023 mengaitkan penggunaan PROBAST dengan persetujuan antara penilai yang rendah [8], jadi latihan penentukuran pendek pada dua atau tiga kertas sebelum penilaian penuh membuahkan hasil. Setujui ambang peristiwa, setujui cara untuk tidak melayan sebarang maklumat, dan setujui apa yang dikira sebagai penghakiman hasil bebas.
Kesilapan biasa dengan alat PROBAST
- Menggunakannya sebagai senarai semak pelaporan. Kajian yang melaporkan dengan buruk tidak memperoleh sebarang jawapan maklumat, yang berbeza dengan kaedah yang lemah. Pasangkan alat PROBAST dengan TRIPOD untuk pelaporan.
- Kebolehgunaan penilaian tanpa soalan ulasan bertulis. Kebolehgunaan adalah relatif, jadi persoalannya mesti wujud terlebih dahulu.
- Menjumlahkan soalan isyarat menjadi skor. Alat ini dibina untuk pertimbangan berstruktur dan kiraan jawapan ya menyembunyikan domain yang gagal.
- Penggabungan pembangunan dan pengesahan. Nilaikan setiap bahagian. QUIDS menunjukkan bagaimana satu kertas kerja boleh memberikan penarafan rendah dan tinggi.
- Pemilihan ke belakang yang mengelirukan dengan saringan univariabel. Soalan 4.5 mensasarkan peramal yang disaring satu demi satu sebelum pemodelan. Pemilihan ke belakang dalam model berbilang pembolehubah merupakan isu berasingan yang disemak oleh soalan 4.8 melalui pembetulan optimisme [4].
- Menyamakan risiko bias yang tinggi dengan model yang buruk. Penarafan tersebut menyatakan anggaran prestasi mungkin tidak boleh dipercayai, bukannya modelnya salah.
- Mengambil dakwaan pengarang sebagai bukti. Ayat yang mengatakan kajian itu mengikuti TRIPOD bukanlah jawapan kepada sebarang soalan isyarat. Tunjukkan jadual atau perenggan yang menunjukkannya.
Melaporkan keputusan PROBAST dalam semakan sistematik
Laporkan soalan ulasan, versi alat (asal 2019 atau PROBAST+AI), bilangan pengulas dan peraturan untuk menyelesaikan perselisihan faham. Tunjukkan angka lampu isyarat seperti Rajah 1 untuk setiap model yang disertakan, dengan penilaian domain dan sebab setiap penilaian tinggi dalam jadual sokongan. Kemudian gunakan penilaian dalam sintesis, contohnya melalui analisis kepekaan yang mengalih keluar model dengan risiko bias yang tinggi dalam domain analisis. Aliran rekod ke dalam ulasan anda tergolong dalam gambar rajah PRISMA dan Carta Alir Pro percuma di bawah membinanya dalam pelayar anda.
Jika ulasan anda juga merangkumi percubaan atau kajian kohort rawatan, pasangkan alat PROBAST dengan instrumen yang sepadan dalam panduan RoB 2, ROBINS-I dan QUADAS-2 di atas, supaya setiap reka bentuk yang disertakan dinilai dengan alat yang dibina untuknya.
Alat percuma untuk penyelidikan model ramalan
Alat Penyelidikan Percuma daripada Editverse
- GraphPro: bina carta sedia untuk penerbitan, 25 jenis, dengan ujian-t terbina dalam, ANOVA, korelasi dan nilai-p khi kuasa dua. Percuma, tiada pendaftaran.
- StatPro: kalkulator statistik percuma dan alat pemilih ujian yang meliputi perbandingan kumpulan, hasil kategori, analisis masa-ke-peristiwa dan ketepatan diagnostik.
- Carta Alir Pro: jana gambarajah alir PRISMA 2020, PRISMA-ScR, CONSORT, STROBE, STARD, MOOSE dan ARRIVE terus dalam pelayar anda.
Sokongan profesional untuk penilaian risiko bias
Menilai 20 atau 200 kajian dengan dua pengulas bebas adalah kerja yang perlahan, dan penilaian hanya membantu semakan jika ia konsisten dan didokumenkan. Editverse menyokong peringkat penilaian dan pengekstrakan semakan sistematik dengan hasil yang tetap. Hantar kajian yang disertakan dan reka bentuknya, dan tanyakan instrumen penilaian yang boleh digunakan untuk setiap reka bentuk sebelum anda memesan.
Risiko penilaian berat sebelah
$350
Perlukah setiap kajian yang disertakan dinilai dalam bentuk yang akan diterima oleh pengulas?
Anda menghantar kajian yang disertakan dan reka bentuknya.
Anda akan mendapat borang penilaian yang telah lengkap, jadual risiko bias, visualisasi lampu isyarat dan naratif bahagian kaedah.
Tempoh penyelesaian standard 4 hingga 6 hari bekerja.
Pengekstrakan data semakan sistematik
$500
Adakah helaian pengekstrakan menjadi penghalang sebelum penilaian boleh dimulakan?
Anda menghantar kajian yang disertakan dan soalan ulasan anda.
Anda akan mendapat borang pengekstrakan tersuai, pengekstrakan berganda dengan penyelarasan dan data penilaian kualiti yang dirakam bersama ciri-ciri kajian.
Tempoh penyelesaian standard 5 hingga 7 hari bekerja, bergantung pada bilangan kajian.
Untuk semakan penuh daripada protokol kepada manuskrip, lihat perkhidmatan penulisan semakan sistematik kami , yang merangkumi peringkat-peringkat yang dilalui oleh kedua-dua perkhidmatan di atas. Kerja kami mengikuti cadangan COPE, ICMJE dan GPP 2022, dan keperluan etika khusus institusi dan negara dipatuhi.
Kesimpulan
Alat PROBAST mengubah persoalan samar-samar sama ada model ramalan itu bagus kepada 20 soalan berserta bukti yang dilampirkan. Digunakan pada QUIDS, ia memberikan risiko bias yang rendah untuk pembangunan model, risiko bias yang tinggi pada bacaan ketat untuk pengesahan luaran kerana 85 peristiwa, dan kebimbangan yang rendah tentang kebolehgunaan untuk soalan semakan yang dinyatakan di sini. Kerjanya terletak pada kaedah, bukan warna. Tulis soalan semakan terlebih dahulu, nilaikan pembangunan dan pengesahan secara berasingan, tunjukkan bahagian di sebalik setiap jawapan, dan namakan keputusan penghakiman. Jika protokol anda menunjuk kepada PROBAST+AI 2025, tabiat tersebut akan berterusan tidak berubah.
Rujukan
- Wolff RF, Moons KGM, Riley RD, Whiting PF, Westwood M, Collins GS, dkk. PROBAST: alat untuk menilai risiko bias dan kebolehgunaan kajian model ramalan. Ann Intern Med. 2019;170(1):51-8. doi:10.7326/M18-1376. PMID 30596875.
- Moons KGM, Wolff RF, Riley RD, Whiting PF, Westwood M, Collins GS, dkk. PROBAST: alat untuk menilai risiko bias dan kebolehgunaan kajian model ramalan, penjelasan dan penghuraian. Ann Intern Med. 2019;170(1):W1-33. doi:10.7326/M18-1377. PMID 30596876.
- Stock SJ, Horne M, Bruijn M, White H, Boyd KA, Heggie R, dkk. Pembangunan dan pengesahan model ramalan risiko kelahiran pramatang untuk wanita yang mengalami simptom kelahiran pramatang (kajian QUIDS): kajian kohort prospektif dan meta-analisis data peserta individu. PLoS Med. 2021;18(7):e1003686. doi:10.1371/jurnal.pmed.1003686. PMID 34228732. PMCID PMC8259998. CC BY 4.0.
- de Jong Y, Ramspek CL, Zoccali C, Jager KJ, Dekker FW, van Diepen M. Menilai kajian ramalan, panduan dan meta-tinjauan tentang bias dan penilaian kebolehgunaan menggunakan Model Ramalan Alat Penilaian Risiko Bias (PROBAST). Nefrologi (Carlton). 2021;26(12):939-47. doi:10.1111/nep.13913. PMID 34138495.
- Moons KGM, de Groot JAH, Bouwmeester W, Vergouwe Y, Mallett S, Altman DG, dkk. Penilaian kritikal dan pengekstrakan data untuk kajian sistematik kajian pemodelan ramalan, senarai semak CHARMS. PLoS Med. 2014;11(10):e1001744. doi:10.1371/jurnal.pmed.1001744. PMID 25314315.
- Riley RD, Ensor J, Snell KIE, Harrell FE Jr, Martin GP, Reitsma JB, dkk. Mengira saiz sampel yang diperlukan untuk membangunkan model ramalan klinikal. BMJ. 2020;368:m441. doi:10.1136/bmj.m441. PMID 32188600.
- Moons KGM, Damen JAA, Kaul T, Hooft L, Andaur Navarro C, Dhiman P, dkk. PROBAST+AI: alat penilaian kualiti, risiko bias dan kebolehgunaan yang dikemas kini untuk model ramalan menggunakan kaedah regresi atau kecerdasan buatan. BMJ. 2025;388:e082505. doi:10.1136/bmj-2024-082505. PMID 40127903.
- Langenhuijsen LFS, Janse RJ, Venema E, Kent DM, van Diepen M, Dekker FW, et al. Metareview sistematik kajian ramalan menunjukkan arah aliran yang stabil dalam berat sebelah dan perjanjian antara penilai PROBAST yang rendah. J Clin Epidemiol. 2023;159:159-73. doi:10.1016/j.jclinepi.2023.04.012. PMID 37142166.