Diterbitkan
Alat PROBAST (Prediction model Risk Of Bias ASsessment Tool) adalah instrumen standar untuk menilai apakah model prediksi yang dipublikasikan dapat dipercaya dan apakah sesuai dengan pasien yang Anda pedulikan. Wolff dan rekan-rekannya mempublikasikannya di Annals of Internal Medicine pada tahun 2019 [1], dan makalah penjelasan dan elaborasi yang menyertainya menjabarkan alasan di balik setiap pertanyaan [2]. Postingan ini menjelaskan bagaimana struktur alat PROBAST, kemudian menerapkan semua 20 pertanyaan penanda, satu baris demi satu baris, pada model akses terbuka nyata, model kelahiran prematur QUIDS yang dipublikasikan di PLOS Medicine [3]. Setiap baris menunjuk ke bagian makalah yang mendukungnya, dan setiap baris yang didasarkan pada penilaian diberi label.
Dalam Kata Sederhana
Model prediksi mengubah beberapa fakta tentang pasien menjadi risiko. Alat PROBAST mengajukan 20 pertanyaan spesifik tentang bagaimana model tersebut dibangun dan diuji, dikelompokkan menjadi empat domain (peserta, prediktor, hasil, dan analisis), untuk memutuskan apakah akurasi yang dilaporkan cenderung dilebih-lebihkan. Kemudian, alat ini mengajukan pertanyaan terpisah, apakah model tersebut sesuai untuk pasien Anda. Sebuah model dapat dibangun dengan cermat dan tetap menjadi model yang salah untuk klinik Anda.
Apa yang dinilai oleh alat PROBAST
Alat PROBAST dirancang untuk tinjauan sistematis model prediksi, dan alat ini juga berfungsi dengan baik untuk dokter atau editor yang menilai satu makalah. Alat ini mencakup model diagnostik (apakah kondisi tersebut ada sekarang) dan model prognostik (apakah suatu peristiwa akan terjadi di kemudian hari), dan berlaku untuk studi yang mengembangkan model, memvalidasi model, atau memperbarui model [1,2]. Alat ini menghasilkan dua penilaian terpisah. Pertama adalah risiko bias, yang didefinisikan sebagai kekurangan dalam desain, pelaksanaan, atau analisis yang mendistorsi perkiraan seberapa baik model tersebut memprediksi. Kedua adalah kekhawatiran tentang penerapan, yang mempertanyakan apakah populasi, prediktor, dan hasil studi sesuai dengan pertanyaan Anda.
Bias menjadi penting di sini karena optimisme. Model yang cukup fleksibel untuk menyesuaikan data pengembangannya terlalu dekat terlihat sangat baik dalam data tersebut dan berkinerja lebih buruk pada pasien baru. De Jong dan rekan-rekannya menggambarkan hal ini sebagai kesenjangan sistematis antara kinerja yang diklaim pada saat pengembangan dan kinerja yang direalisasikan pada saat validasi [4]. Meta-review mereka terhadap 50 tinjauan sistematis yang menggunakan alat PROBAST mencakup 1,510 studi dan 2,104 model, dan semua domain menunjukkan risiko bias yang tidak jelas atau tinggi [4]. Oleh karena itu, penilaian merupakan langkah rutin, bukan pengecualian.
Setiap pertanyaan sinyal memiliki salah satu dari lima jawaban, yaitu ya, mungkin ya, mungkin tidak, tidak, atau tidak ada informasi. Pertanyaan-pertanyaan tersebut menghasilkan peringkat domain rendah, tinggi, atau tidak jelas. Dalam panduan PROBAST, suatu domain dianggap rendah jika setiap pertanyaan dijawab ya atau mungkin ya, berpotensi tinggi jika setidaknya satu pertanyaan dijawab tidak atau mungkin tidak, dan tidak jelas jika informasi hilang dan tidak ada jawaban tidak [1,2]. Peringkat tersebut tidak dijumlahkan menjadi skor, dan keputusan akhir tetap berada di tangan penilai.
Posisi alat PROBAST di antara alat-alat terkait.
Alat PROBAST menilai metode, bukan pelaporan. Kelengkapan pelaporan adalah tanggung jawab TRIPOD, yang dibahas dalam panduan kami tentang pelaporan model prediksi dengan TRIPOD+AI . Ekstraksi data untuk tinjauan model prediksi mengikuti daftar periksa CHARMS [5], dan ukuran sampel untuk pengembangan model mengikuti kriteria Riley dan rekan-rekannya [6], yang menggantikan aturan kejadian per variabel tetap yang lama. Untuk desain studi lainnya, alat pencocokan adalah RoB 2 untuk uji coba (lihat panduan RoB 2 kami ), ROBINS-I untuk intervensi non-acak (lihat panduan ROBINS-I ) dan QUADAS-2 untuk studi akurasi diagnostik (lihat QUADAS-2 dalam praktik ). Panduan penilaian risiko bias kami membahas alat uji coba secara mendalam.
PROBAST+AI, pembaruan tahun 2025
Pada tahun 2025, Moons dan kolega menerbitkan PROBAST+AI di BMJ [7]. Alat ini memiliki dua bagian. Bagian pengembangan model menggunakan 16 pertanyaan penanda untuk menilai kualitas dan penerapan, dan bagian evaluasi model menggunakan 18 pertanyaan penanda untuk menilai risiko bias dan penerapan. Kedua bagian tersebut mempertahankan empat domain, yang sekarang dinamai partisipan dan sumber data, prediktor, hasil dan analisis, dan penerapan masih dinilai untuk tiga domain pertama. Para penulis menyatakan bahwa PROBAST+AI dapat menggantikan alat asli [7]. Postingan ini menggunakan alat asli tahun 2019, karena 20 pertanyaannya tetap dan merupakan pertanyaan yang digunakan dalam literatur tinjauan yang ada [4]. Jika protokol, supervisor, atau jurnal target Anda menyebutkan PROBAST+AI, gunakan set pertanyaan tahun 2025 dan pertahankan kebiasaan penunjuk bukti yang sama seperti yang ditunjukkan di bawah ini.
Sekilas tentang alat PROBAST, 4 domain dan 20 pertanyaan penandaan.
Tabel tersebut merangkum 20 pertanyaan dalam kata-kata sederhana dan menunjukkan di mana bukti biasanya ditempatkan dalam sebuah makalah. Beberapa pertanyaan analisis, misalnya 4.5 dan 4.9, hanya berlaku untuk pengembangan model, dan beberapa lainnya disesuaikan dengan bagian yang Anda nilai.
| Pertanyaan | Apa yang ditanyakan, dengan kata-kata sederhana | Di mana mencarinya |
|---|---|---|
| 1.1 | Apakah sumber data tersebut sesuai, seperti studi kohort atau uji coba, dibandingkan dengan desain yang mendistorsi risiko absolut? | Abstrak, paragraf desain penelitian |
| 1.2 | Apakah kriteria inklusi dan eksklusi sesuai untuk populasi yang dituju? | Teks kelayakan, diagram alur peserta |
| 2.1 | Apakah prediktor didefinisikan dan diukur dengan cara yang sama untuk setiap peserta? | Definisi prediktor, protokol pengukuran |
| 2.2 | Apakah prediktor diukur tanpa mengetahui hasilnya? | Desain penelitian, pernyataan penyamaran |
| 2.3 | Apakah semua prediktor akan tersedia saat model tersebut akan digunakan? | Daftar prediktor terhadap tujuan penggunaan |
| 3.1 | Apakah hasil tersebut ditentukan dengan metode yang sesuai? | Definisi hasil dan sumber data |
| 3.2 | Apakah definisi hasil yang digunakan sudah ditentukan sebelumnya atau merupakan definisi standar? | Protokol, pendaftaran, metode |
| 3.3 | Apakah hasil akhirnya ditentukan tanpa menggunakan prediktor apa pun? | Definisi hasil terhadap daftar prediktor |
| 3.4 | Apakah hasil yang diharapkan didefinisikan dan ditentukan dengan cara yang sama untuk semua peserta? | Prosedur multisenter, suplemen |
| 3.5 | Apakah hasil tersebut ditentukan tanpa mengetahui nilai prediktor? | Deskripsi penilai yang bersifat menyamarkan |
| 3.6 | Apakah selang waktu antara pengukuran prediktor dan hasil sudah tepat? | Jendela tindak lanjut, tujuan penggunaan |
| 4.1 | Apakah jumlah kejadian hasil yang dibutuhkan untuk tugas tersebut cukup? | Peristiwa dan prediktor kandidat, bagian ukuran sampel |
| 4.2 | Apakah prediktor kontinu dan kategorikal ditangani dengan tepat? | Metode statistik, transformasi |
| 4.3 | Apakah semua peserta yang terdaftar disertakan dalam analisis? | Diagram alur, analisis populasi |
| 4.4 | Apakah data yang hilang ditangani dengan tepat? | Paragraf data hilang, Tabel 1 |
| 4.5 | Apakah pemilihan prediktor bebas dari penyaringan univariabel? (khusus pengembangan) | Paragraf pembuatan model |
| 4.6 | Apakah pembatasan akses, risiko bersaing, dan pengambilan sampel kelompok kontrol telah ditangani jika relevan? | Jenis model, deskripsi tindak lanjut |
| 4.7 | Apakah ukuran kinerja yang sesuai telah dilaporkan, termasuk kalibrasi dan diskriminasi? | Bagian kinerja, plot kalibrasi |
| 4.8 | Apakah overfitting, underfitting, dan optimisme telah ditangani? | Validasi internal, penyusutan |
| 4.9 | Apakah prediktor dan bobot akhir sesuai dengan analisis multivariabel yang dilaporkan? (hanya untuk pengembangan) | Tabel model, persamaan |
Penerapan menggunakan tiga penilaian lebih lanjut daripada pertanyaan penanda. Partisipan dan latar, prediktor, dan hasil masing-masing dinilai sebagai rendah, tinggi, atau tidak jelas kaitannya dengan pertanyaan tinjauan Anda. Penerapan adalah alasan mengapa makalah yang sama dapat cocok untuk satu tinjauan dan tidak cocok untuk tinjauan lainnya.
Cara menjalankan penilaian menggunakan alat PROBAST dalam lima langkah
- Tuliskan pertanyaan ulasan. Sebutkan populasi, prediktor, hasil, waktu, konteks, dan tujuan penggunaan model sebelum Anda membuka makalah apa pun. Penerapan tidak dapat dinilai tanpa informasi tersebut.
- Klasifikasikan makalah tersebut. Tandai setiap makalah sebagai pengembangan, validasi, atau keduanya, dan beri peringkat bagian-bagian tersebut secara terpisah. Makalah yang mencakup keduanya dapat memperoleh peringkat berbeda untuk setiap bagiannya.
- Jawablah pertanyaan-pertanyaan pemberian sinyal dengan menggunakan petunjuk bukti. Catat bagian, tabel, atau gambar yang mendukung setiap jawaban, dan kutip secukupnya.
- Beri peringkat pada setiap domain. Terapkan aturan bahwa setiap jawaban "tidak" atau "mungkin tidak" membuat suatu domain berpotensi tinggi, kemudian tentukan apakah alasan tersebut merupakan sumber distorsi yang nyata.
- Berikan penilaian secara keseluruhan. Makalah ini memiliki risiko bias rendah hanya jika keempat domain tersebut rendah, dan logika yang sama berlaku untuk penerapannya.
Gunakan dua penilai yang bekerja secara independen dan kemudian lakukan rekonsiliasi. Sebuah meta-review tahun 2023 tentang penggunaan PROBAST melaporkan tren stabil dalam bias dari waktu ke waktu dan kesepakatan antar penilai yang rendah [8], yang merupakan alasan praktis untuk menyepakati pertanyaan tinjauan, ambang batas kejadian dan penanganan jawaban tanpa informasi sebelum penyaringan dimulai.
Makalah akses terbuka yang kami nilai
Makalah ini adalah karya Stock dan kolega, Pengembangan dan validasi model prediksi risiko kelahiran prematur untuk wanita dengan gejala persalinan prematur (studi QUIDS) , yang diterbitkan di PLOS Medicine pada tahun 2021 [3]. Ini adalah kasus pengajaran yang kuat karena tiga alasan. Makalah ini memuat bagian pengembangan dan bagian validasi eksternal, melaporkan metodenya secara cukup rinci untuk menjawab sebagian besar pertanyaan penting dari teks utama, dan penulisnya menyatakan titik lemah dari desain mereka sendiri, yang membuat keputusan yang dibuat terlihat. Lisensinya adalah CC BY 4.0, dikonfirmasi dari bidang lisensi versi rekaman Crossref, bidang lisensi Europe PMC dan pernyataan izin JATS dalam teks lengkap. Makalah ini diindeks di PubMed sebagai PMID 34228732 (PMCID PMC8259998).
Model ini memperkirakan risiko kelahiran prematur spontan dalam 7 hari pada wanita dengan tanda dan gejala persalinan prematur. Model ini dikembangkan dalam meta-analisis data peserta individual dari lima studi kohort prospektif (1,783 wanita, 139 kejadian) dan divalidasi dalam kohort prospektif baru di 26 unit di Inggris (2,924 wanita, 85 kejadian). Model akhir menggabungkan fibronectin janin kuantitatif (qfFN) dengan kebiasaan merokok, etnis, nulliparitas, dan kehamilan ganda.
| Elemen pertanyaan tinjauan | Kata-kata yang digunakan untuk penilaian ini |
|---|---|
| Populasi dan lingkungan | Wanita hamil pada usia kehamilan 22+0 hingga 34+6 minggu dengan tanda dan gejala persalinan prematur dan selaput ketuban utuh, dievaluasi di unit obstetri rumah sakit yang memiliki alat analisis fFN kuantitatif. |
| Prediktor | fFN kuantitatif ditambah faktor klinis rutin yang tersedia pada penilaian pertama. |
| Hasil dan waktu | Kelahiran prematur spontan dalam waktu 7 hari setelah tes. |
| Penggunaan yang dimaksudkan | Mendukung pengambilan keputusan tentang penerimaan dan pengobatan pada wanita yang bergejala. |
Ini adalah pilihan kami untuk latihan ini, bukan pernyataan dari makalah tersebut. Seorang penilai dengan pertanyaan yang berbeda, misalnya tinjauan model untuk digunakan di tempat yang tidak ada alat analisis, akan menilai penerapannya secara berbeda. Penilaian hanya membaca artikel utama, termasuk tabel dan gambarnya. Tabel Teks tambahan S1 tidak ditinjau, jadi baris yang bergantung padanya akan menyatakan demikian.
Menerapkan alat PROBAST ke QUIDS, domain 1 hingga 3
Domain 1, peserta
| Q | Menjawab | Bukti dan petunjuk | label |
|---|---|---|---|
| 1.1 | Ya | Pengembangan menggunakan “meta-analisis data partisipan individual (IPD) dari 5 studi kohort prospektif Eropa” (Stock et al., Abstrak). Validasi menggunakan kohort prospektif di 26 unit yang dipimpin konsultan di Inggris (Metode, Validasi eksternal). Kohort prospektif mempertahankan risiko absolut. | |
| 1.2 | Mungkin iya | Kriteria kelayakan ditentukan oleh usia kehamilan, gejala, selaput ketuban utuh, dan tidak adanya kontraindikasi terhadap pengujian fFN (Metode, Hasil model, populasi sasaran, dan prediktor kandidat). Empat dataset awal “menggunakan ELISA untuk menentukan konsentrasi fFN dan dikeluarkan” (Metode, Pengembangan model), dan 27 dari 2,968 wanita tidak memenuhi syarat pada pemeriksaan spekulum (Hasil, Validasi eksternal; Gambar 1). Gejala didefinisikan oleh masing-masing peneliti. | Keputusan yang harus diambil |
Peringkat Domain 1, risiko bias rendah. Penerapan, kekhawatiran rendah , karena populasi yang disebutkan sesuai dengan pertanyaan tinjauan.
Domain 2, prediktor
| Q | Menjawab | Bukti dan petunjuk | label |
|---|---|---|---|
| 2.1 | Mungkin iya | Studi pengembangan menggunakan “hasil fFN kuantitatif yang ditentukan oleh sistem penganalisis fFN cepat 10Q” (Metode, Pengembangan model). Validasi menggunakan penganalisis yang diadaptasi di setiap lokasi dengan kontrol kualitas (Metode, Validasi eksternal; detail kontrol kualitas terdapat dalam Teks S1, tidak ditinjau). Bagaimana kebiasaan merokok dan etnis diselaraskan di kelima kohort tidak dijelaskan dalam teks utama. | Keputusan yang harus diambil |
| 2.2 | Ya | Kohort yang digunakan bersifat prospektif, sehingga hasilnya tidak diketahui pada saat pengukuran. Dalam validasi, “Hasil fFN kuantitatif disembunyikan dari dokter dan disimpan sebagai kode 3 huruf.” (Metode, Validasi eksternal). | |
| 2.3 | Ya | “Semua prediktor kandidat yang disertakan tersedia sekitar waktu penilaian awal untuk tanda dan gejala kelahiran prematur.” (Metode, Hasil model, populasi sasaran, dan prediktor kandidat). |
Peringkat Domain 2, risiko bias rendah. Penerapan, kekhawatiran rendah untuk unit yang memiliki alat analisis. Pendahuluan mencatat bahwa fFN kuantitatif tidak memiliki persetujuan FDA AS dan bahwa NICE menemukan bukti yang tidak cukup untuk merekomendasikannya, sehingga tinjauan yang ditujukan untuk lingkungan tanpa alat analisis harus meningkatkan kekhawatiran ini menjadi tinggi.
Domain 3, hasil
| Q | Menjawab | Bukti dan petunjuk | label |
|---|---|---|---|
| 3.1 | Mungkin iya | Tanggal lahir dan apakah kelahiran terjadi secara spontan diambil dari catatan. “Semua data lainnya dikumpulkan dari catatan peserta dan dicatat dalam basis data penelitian.” (Metode, Validasi eksternal). Penentuan waktu kelahiran bersifat objektif, tetapi teks utama tidak menjelaskan penilaian independen mengenai kelahiran spontan dibandingkan dengan kelahiran yang diindikasikan secara medis. | Keputusan yang harus diambil |
| 3.2 | Ya | “Hasil utama adalah kelahiran prematur spontan dalam 7 hari setelah tes fFN kuantitatif” (Metode, Hasil model, populasi sasaran, dan prediktor kandidat), yang ditetapkan dalam protokol yang dipublikasikan (Metode, Pengawasan studi). Analisis dengan semua kelahiran prematur ditandai sebagai tidak ditentukan sebelumnya (Metode, Model tambahan dan analisis subkelompok). | |
| 3.3 | Ya | Hasilnya adalah peristiwa kelahiran dalam rentang waktu tertentu. Tak satu pun dari lima prediktor akhir tersebut termasuk dalam definisi itu (Hasil, Pengembangan model dan validasi internal). | |
| 3.4 | Mungkin iya | Satu definisi diterapkan pada semua kohort, dan lokasi validasi dijelaskan dengan berbagai tingkat perawatan neonatal (Metode, Validasi eksternal). Hasilnya tidak bergantung pada praktik neonatal lokal. | |
| 3.5 | Mungkin iya | Nilai qfFN disembunyikan, sehingga tidak dapat memengaruhi penentuan hasil. Para klinisi memang melihat hasil fFN kualitatif, dan tokolisis dapat menunda persalinan. Para penulis menyatakan, “Tokolisis dimasukkan dalam analisis sensitivitas untuk mengeksplorasi potensi efek pengobatan dalam menunda persalinan.” (Metode, Hasil model, populasi sasaran, dan prediktor kandidat). | Keputusan yang harus diambil |
| 3.6 | Ya | “Pemilihan hasil ini ditentukan oleh studi kualitatif kami sebelumnya tentang wanita dan dokter” (Metode, subbagian yang sama). Pendahuluan mengaitkan manfaat kortikosteroid antenatal dengan pemberian dalam waktu 7 hari sebelum kelahiran. |
Peringkat Domain 3, risiko bias rendah. Penerapan, kekhawatiran rendah , karena hasil 7 hari sesuai dengan pertanyaan tinjauan.
Menerapkan alat PROBAST pada QUIDS, analisis domain 4
Domain 4 adalah tempat sebagian besar makalah prediksi kehilangan peringkatnya, dan ini adalah satu-satunya domain di mana bagian pengembangan dan validasi QUIDS berbeda. Kedua bagian tersebut ditandai dengan Dev dan Val. Dua perhitungan kecil dari angka-angka makalah itu sendiri terletak di belakang baris 4.1 dan 4.9.
- Jumlah kejadian per prediktor kandidat. Pengembangan memiliki 139 kejadian dan 10 prediktor kandidat, jadi 139 dibagi 10 adalah 13.9, yang dibulatkan oleh penulis menjadi sekitar 14 (Metode, Perhitungan ukuran sampel). Angka tersebut berada di dalam rentang 10 hingga 20 yang lama [4] tetapi di bawah 20 kejadian per prediktor kandidat yang sering diterapkan saat menggunakan alat PROBAST. Kami menerima kemungkinan ya karena penulis menyatakan data tersebut memenuhi kriteria ukuran sampel minimum modern, sehingga peninjau yang lebih ketat dapat menjawab kemungkinan tidak dan menilai domain analisis pengembangan tidak jelas atau tinggi.
- Peristiwa validasi. Terdapat 85 kejadian pada 2,924 wanita (2.9 persen), di bawah angka sekitar 100 kejadian yang disebutkan sendiri oleh para penulis sebagai jumlah minimum untuk validasi (Hasil, Validasi eksternal; Metode, Perhitungan ukuran sampel).
- Pemeriksaan penyusutan untuk 4.9. Membagi setiap koefisien yang disesuaikan dengan optimisme dalam Tabel 2 dengan nilai aslinya menghasilkan 0.943 hingga 0.946 di kelima prediktor, konsisten dengan faktor penyusutan seragam sebesar 0.94 yang dilaporkan dalam makalah tersebut.
| Q | Menjawab | Bukti dan petunjuk | label |
|---|---|---|---|
| 4.1 | Dev mungkin iya, Val mungkin tidak. | Dev ratio 13.9 kejadian per kandidat prediktor, lihat di atas. Val “Keterbatasan potensial adalah jumlah kejadian dalam validasi eksternal kami (85).” (Diskusi). Para penulis juga menulis bahwa “minimal sekitar 100 kejadian dan 100 bukan kejadian diperlukan untuk validasi model prediksi risiko” (Metode, Perhitungan ukuran sampel). | Keputusan yang harus diambil (kedua bagian) |
| 4.2 | Ya | “Prediktor kontinu dianalisis pada skala kontinunya.” Nonlinieritas ditangani dengan polinomial fraksional, memberikan bentuk akar kuadrat untuk qfFN (Metode, Pengembangan model; Hasil). Etnisitas dikelompokkan menjadi Kulit Putih dan bukan Kulit Putih karena kelompoknya jarang (Diskusi). | |
| 4.3 | Mungkin iya | Dalam validasi, 27 wanita tidak memenuhi syarat pada pemeriksaan spekulum dan 17 tes tidak valid, sehingga 2,924 dari 2,968 dianalisis, kehilangan 44 wanita atau 1.5 persen (Hasil, Validasi eksternal; Gambar 1). Pengecualian tersebut didasarkan pada kelayakan tes, bukan pada hasil. | Keputusan yang harus diambil |
| 4.4 | Ya | “Imputasi berganda untuk nilai yang hilang dengan persamaan berantai dilakukan dalam setiap studi asli secara terpisah” dengan 60 imputasi dalam pengembangan dan 8 dalam validasi (Metode, Pengembangan model; Validasi eksternal). Analisis sensitivitas kasus lengkap memberikan kinerja yang serupa (Hasil, Validasi eksternal). BMI hilang untuk 29.7 persen dalam pengembangan (Tabel 1) tetapi tidak ada dalam model akhir. | |
| 4.5 | Ya (Pengembang) | Sepuluh prediktor kandidat telah ditentukan sebelumnya, kemudian dikurangi dengan seleksi mundur di dalam model logistik multivariabel menggunakan kriteria informasi Akaike (Metode, Pengembangan model). Itu bukan penyaringan univariabel. | |
| 4.6 | Mungkin iya | Pengelompokan berdasarkan studi ditangani dengan model IPD satu tahap dan intersep terpisah per studi, dengan pemeriksaan efek acak dua tahap terhadap heterogenitas prediktor (Metode, Pengembangan model). Validasi menggunakan intersep gabungan dari meta-analisis efek acak dari lima intersep studi (Metode, Validasi eksternal). Hasil biner 7 hari menghindari masalah penyensoran jika tindak lanjut selesai. | Keputusan yang harus diambil |
| 4.7 | Ya | Makalah ini melaporkan AUC, kemiringan kalibrasi, kalibrasi secara keseluruhan, rasio yang diharapkan terhadap yang diamati, plot kalibrasi, dan Nagelkerke R2 (Metode, Ukuran kinerja prediktif; Tabel 3; Gambar 2), ditambah manfaat bersih (Gambar 3). AUC validasi adalah 0.89 (95% CI 0.84 hingga 0.94), rasio yang diharapkan terhadap yang diamati 0.80 sebelum kalibrasi ulang, kemiringan kalibrasi 1.24. | |
| 4.8 | Dev ya, Val mungkin ya. | Validasi internal bootstrap menggunakan 100 sampel yang "mereplikasi semua langkah pengembangan model kami" (Metode, Validasi internal), memberikan faktor penyusutan seragam sebesar 0.94, setelah itu intersep spesifik studi diestimasi ulang (Hasil, Pengembangan model dan validasi internal). Dalam validasi, hanya intersep yang diperbarui (Tabel 3, kolom B), dan kinerja sebelum kalibrasi ulang juga dilaporkan (kolom A). | |
| 4.9 | Ya (Pengembang) | Persamaan dalam Hasil, model prediksi risiko QUIDS, menggunakan 1.915 untuk akar kuadrat qfFN ditambah 0.370, 0.834, minus 0.687 dan minus 0.139 untuk faktor klinis, dengan intersep minus 5.002. Ini sesuai dengan kolom yang disesuaikan dengan optimisme pada Tabel 2 dan intersep yang dikalibrasi ulang pada Tabel 3. |
Penilaian Domain 4. Bagian pengembangan memiliki risiko bias rendah . Bagian validasi memiliki risiko bias tinggi jika dibaca secara ketat , didorong oleh satu item, baris 4.1. Semua hal lain di domain 4 dijawab ya atau mungkin ya.
Peringkat keseluruhan dan plot kalibrasi
Bacalah gambar tersebut sebagai peta arah pencarian selanjutnya, bukan sebagai penilaian terhadap studi tersebut. Bagian pengembangan rendah di semua domain. Bagian validasi memiliki satu sel merah, dan itu berasal dari jumlah kejadian 85 dibandingkan dengan ambang batas sekitar 100, sebuah kesenjangan yang diungkapkan sendiri oleh para penulis. Seorang penilai dapat berpendapat untuk memberikan peringkat yang tidak jelas, tetapi protokol peninjauan harus mencatat alasannya, karena peringkat tersebut mengubah cara model diberi bobot dalam sintesis apa pun.
Plot kalibrasi menunjukkan mengapa jumlah kejadian penting dalam praktiknya. Hampir semua pengamatan yang dikelompokkan berada di bawah risiko prediksi 0.03, di mana kejadian jarang terjadi, dan satu kelompok di dekat risiko prediksi 0.17 menunjukkan risiko yang diamati sekitar 0.22 dengan interval yang lebar. Para penulis melaporkan beberapa prediksi yang kurang tepat pada risiko yang lebih tinggi dan kemiringan kalibrasi 1.24 setelah kalibrasi ulang intersep (Hasil, Validasi eksternal). Dengan begitu sedikit kejadian di kelompok atas, satu kelompok saja dapat mengubah gambaran keseluruhan, yang merupakan ketidakstabilan yang dirancang untuk ditandai oleh poin 4.1.
Baris 4.7 menanyakan tentang kalibrasi dan diskriminasi, dan gambar ini adalah bukti kalibrasi. Analisis manfaat bersih dalam makalah ini (Gambar 3) berkaitan dengan pertanyaan yang berbeda, yaitu apakah model tersebut membantu pengambilan keputusan. Jika Anda ingin menjalankan analisis manfaat bersih pada model Anda sendiri, kalkulator analisis kurva keputusan gratis kami melakukannya berdasarkan risiko yang Anda prediksi.
Keputusan berdasarkan pertimbangan dan perbedaan pendapat di antara para penilai.
Tujuh baris dalam penilaian ini bergantung pada pertimbangan. Menyebutkannya lebih bermanfaat daripada berpura-pura bahwa alat tersebut bersifat mekanis, dan praktik inilah yang meningkatkan kesepakatan antara dua penilai.
- 1.2 Hal ini bergantung pada apakah pengecualian empat dataset ELISA awal merupakan masalah seleksi. Karena bergantung pada metode, kami menilai kemungkinan jawabannya adalah ya.
- 2.1 tergantung pada detail harmonisasi yang terdapat dalam lampiran.
- 3.1 ke 3.5 kekhawatiran tentang bagaimana hasil tersebut diklasifikasikan dan apakah pengobatan dapat mengubahnya.
- 4.1 Ini adalah baris yang menentukan untuk validasi dan pertimbangan penting untuk pengembangan. Seorang peninjau yang menerima 85 kejadian karena intervalnya sempit tetap perlu menyatakannya dalam protokol.
- 4.3 ke 4.6 Kemungkinan besar jawabannya adalah "ya", sementara peninjau kedua mungkin akan meminta detail lebih lanjut tentang kehilangan data tindak lanjut.
Sebuah meta-review tahun 2023 mengaitkan penggunaan PROBAST dengan kesepakatan antar penilai yang rendah [8], sehingga latihan kalibrasi singkat pada dua atau tiga makalah sebelum penilaian penuh akan terbayar dengan sendirinya. Sepakati ambang batas kejadian, sepakati cara menangani tidak adanya informasi, dan sepakati apa yang dianggap sebagai adjudikasi hasil independen.
Kesalahan umum saat menggunakan alat PROBAST
- Menggunakannya sebagai daftar periksa pelaporan. Studi yang pelaporannya buruk tidak menghasilkan jawaban yang informatif, yang berbeda dengan metode yang buruk. Padukan alat PROBAST dengan TRIPOD untuk pelaporan.
- Penilaian keberlakuan tanpa pertanyaan ulasan tertulis. Penerapan bersifat relatif, jadi pertanyaan itu harus ada terlebih dahulu.
- Menjumlahkan pertanyaan-pertanyaan pemberian sinyal menjadi sebuah skor. Alat ini dirancang untuk penilaian terstruktur, dan jumlah jawaban "ya" menyembunyikan domain mana yang gagal.
- Menggabungkan pengembangan dan validasi. Beri nilai pada setiap bagian. QUIDS menunjukkan bagaimana sebuah makalah tunggal dapat memiliki peringkat rendah dan tinggi.
- Mencampuradukkan seleksi mundur dengan penyaringan univariabel. Pertanyaan 4.5 menargetkan penyaringan prediktor satu per satu sebelum pemodelan. Seleksi mundur di dalam model multivariabel adalah masalah terpisah yang diperiksa oleh pertanyaan 4.8 melalui koreksi optimisme [4].
- Menyamakan risiko bias yang tinggi dengan model yang buruk. Peringkat tersebut menyatakan bahwa perkiraan kinerja mungkin tidak dapat diandalkan, bukan berarti modelnya salah.
- Mengambil klaim penulis sebagai bukti. Kalimat yang menyatakan bahwa penelitian tersebut mengikuti TRIPOD bukanlah jawaban atas pertanyaan penandaan apa pun. Tunjuklah tabel atau paragraf yang menunjukkannya.
Pelaporan hasil PROBAST dalam tinjauan sistematis.
Laporkan pertanyaan peninjauan, versi alat (asli 2019 atau PROBAST+AI), jumlah peninjau, dan aturan untuk menyelesaikan perbedaan pendapat. Tampilkan diagram lampu lalu lintas seperti Gambar 1 untuk setiap model yang disertakan, dengan peringkat domain dan alasan untuk setiap peringkat tinggi dalam tabel pendukung. Kemudian gunakan peringkat tersebut dalam sintesis, misalnya melalui analisis sensitivitas yang menghilangkan model dengan risiko bias tinggi dalam domain analisis. Alur catatan ke dalam peninjauan Anda harus berada dalam diagram PRISMA, dan Flowchart Pro gratis di bawah ini akan membuatnya di browser Anda.
Jika tinjauan Anda juga mencakup uji coba atau studi kohort tentang pengobatan, pasangkan alat PROBAST dengan instrumen yang sesuai dalam panduan RoB 2, ROBINS-I, dan QUADAS-2 di atas, sehingga setiap desain yang disertakan dinilai dengan alat yang dibuat untuknya.
Alat gratis untuk penelitian model prediksi
Alat Riset Gratis dari Editverse
- GraphProBuat grafik siap publikasi, 25 jenis, dengan uji t, ANOVA, korelasi, dan nilai p chi-square bawaan. Gratis, tanpa pendaftaran.
- StatPro: kalkulator statistik gratis dan alat pemilihan tes yang mencakup perbandingan kelompok, hasil kategorikal, analisis waktu kejadian, dan akurasi diagnostik.
- Flowchart Pro: Hasilkan diagram alur PRISMA 2020, PRISMA-ScR, CONSORT, STROBE, STARD, MOOSE, dan ARRIVE langsung di browser Anda.
Dukungan profesional untuk penilaian risiko bias.
Menilai 20 atau 200 studi dengan dua penilai independen adalah pekerjaan yang lambat, dan penilaian hanya membantu tinjauan jika konsisten dan terdokumentasi. Editverse mendukung tahap penilaian dan ekstraksi tinjauan sistematis dengan hasil yang tetap. Kirimkan studi yang Anda sertakan dan desainnya, dan tanyakan instrumen penilaian mana yang dapat digunakan untuk setiap desain sebelum Anda memesan.
Penilaian risiko bias
$350
Apakah setiap studi yang disertakan perlu dinilai dalam bentuk yang dapat diterima oleh penilai?
Anda mengirimkan studi yang Anda sertakan beserta desainnya.
Anda akan mendapatkan formulir penilaian yang telah diisi, tabel risiko bias, visualisasi lampu lalu lintas, dan narasi bagian metode.
Waktu pengerjaan standar 4 hingga 6 hari kerja.
Ekstraksi data tinjauan sistematis
$500
Apakah lembar ekstraksi menjadi kendala sebelum penilaian dapat dimulai?
Anda mengirimkan studi-studi yang Anda sertakan dan pertanyaan tinjauan Anda.
Anda mendapatkan formulir ekstraksi khusus, ekstraksi ganda dengan rekonsiliasi, dan data penilaian kualitas yang dicatat bersama dengan karakteristik studi.
Waktu pemrosesan standar adalah 5 hingga 7 hari kerja, tergantung pada jumlah studi.
Untuk tinjauan lengkap dari protokol hingga manuskrip, lihat layanan penulisan tinjauan sistematis kami , yang mencakup tahapan yang menjadi dasar dari kedua layanan di atas. Pekerjaan kami mengikuti rekomendasi COPE, ICMJE, dan GPP 2022, serta persyaratan etika institusional dan spesifik negara.
Kesimpulan
Alat PROBAST mengubah pertanyaan samar tentang apakah model prediksi itu baik atau tidak menjadi 20 pertanyaan dengan bukti terlampir. Diterapkan pada QUIDS, alat ini memberikan risiko bias rendah untuk pengembangan model, risiko bias tinggi pada pembacaan ketat untuk validasi eksternal karena 85 kejadian, dan kekhawatiran rendah tentang penerapannya untuk pertanyaan tinjauan yang dinyatakan di sini. Kuncinya terletak pada metode, bukan pada warnanya. Tulis pertanyaan tinjauan terlebih dahulu, beri peringkat pengembangan dan validasi secara terpisah, tunjukkan bagian di balik setiap jawaban, dan sebutkan keputusan yang diambil. Jika protokol Anda mengarah ke PROBAST+AI 2025, kebiasaan tersebut tetap berlaku tanpa perubahan.
Referensi
- Wolff RF, Moons KGM, Riley RD, Whiting PF, Westwood M, Collins GS, dkk. PROBAST: sebuah alat untuk menilai risiko bias dan penerapan studi model prediksi. Ann Intern Med. 2019;170(1):51-8. doi:10.7326/M18-1376. PMID 30596875.
- Moons KGM, Wolff RF, Riley RD, Whiting PF, Westwood M, Collins GS, dkk. PROBAST: sebuah alat untuk menilai risiko bias dan penerapan studi model prediksi, penjelasan dan elaborasi. Ann Intern Med. 2019;170(1):W1-33. doi:10.7326/M18-1377. PMID 30596876.
- Stock SJ, Horne M, Bruijn M, White H, Boyd KA, Heggie R, dkk. Pengembangan dan validasi model prediksi risiko kelahiran prematur untuk wanita dengan gejala persalinan prematur (studi QUIDS): studi kohort prospektif dan meta-analisis data peserta individual. PLoS Med. 2021;18(7):e1003686. doi:10.1371/journal.pmed.1003686. PMID 34228732. PMCID PMC8259998. CC BY 4.0.
- de Jong Y, Ramspek CL, Zoccali C, Jager KJ, Dekker FW, van Diepen M. Menilai penelitian prediksi, panduan dan tinjauan meta tentang penilaian bias dan penerapan menggunakan Alat Penilaian Risiko Bias Model Prediksi (PROBAST). Nefrologi (Carlton). 2021;26(12):939-47. doi:10.1111/nep.13913. PMID 34138495.
- Moons KGM, de Groot JAH, Bouwmeester W, Vergouwe Y, Mallett S, Altman DG, et al. Penilaian kritis dan ekstraksi data untuk tinjauan sistematis studi pemodelan prediksi, daftar periksa CHARMS. PLoS Med. 2014;11(10):e1001744. doi:10.1371/journal.pmed.1001744. PMID 25314315.
- Riley RD, Ensor J, Snell KIE, Harrell FE Jr, Martin GP, Reitsma JB, dkk. Menghitung ukuran sampel yang dibutuhkan untuk mengembangkan model prediksi klinis. BMJ. 2020;368:m441. doi:10.1136/bmj.m441. PMID 32188600.
- Moons KGM, Damen JAA, Kaul T, Hooft L, Andaur Navarro C, Dhiman P, dkk. PROBAST+AI: alat penilaian kualitas, risiko bias, dan penerapan yang diperbarui untuk model prediksi menggunakan metode regresi atau kecerdasan buatan. BMJ. 2025;388:e082505. nomor telepon:10.1136/bmj-2024-082505. PMID 40127903.
- Langenhuijsen LFS, Janse RJ, Venema E, Kent DM, van Diepen M, Dekker FW, dkk. Tinjauan meta sistematis terhadap studi prediksi menunjukkan tren bias yang stabil dan rendahnya kesepakatan antar penilai PROBAST. J Klinik Epidemiol. 2023;159:159-73. doi:10.1016/j.jclinepi.2023.04.012. PMID 37142166.