Kalkulator Gratis Editverse
Kalkulator Ambang Batas Optimal Gratis (Indeks Youden, Terdekat ke Kiri Atas, Sensitivitas atau Spesifisitas Tetap, Pembobotan Biaya)
Tempelkan nilai penanda dan status penyakit sebenarnya, lalu dapatkan ambang batas diagnostik optimal berdasarkan empat kriteria, masing-masing dengan sensitivitas, spesifisitas, nilai prediktif, dan rasio kemungkinan. Interval kepercayaan yang tepat dan AUC DeLong disertakan.
Dalam Kata Sederhana
Penanda diagnostik adalah angka, seperti kadar darah atau skor. Untuk menyatakan seseorang positif atau negatif, Anda memerlukan ambang batas. Ambang batas rendah mendeteksi lebih banyak kasus sebenarnya tetapi menimbulkan alarm palsu. Ambang batas tinggi melakukan sebaliknya. Kalkulator ini mencoba setiap kemungkinan ambang batas dalam data Anda dan melaporkan yang terbaik berdasarkan aturan yang Anda pilih.
Tersedia empat aturan. Indeks Youden memaksimalkan sensitivitas ditambah spesifisitas dikurangi 1. Aturan terdekat ke kiri atas memilih titik terdekat dengan kinerja sempurna pada plot ROC. Aturan tetap menjaga sensitivitas (atau spesifisitas) pada target dan memaksimalkan yang lainnya. Aturan pembobotan biaya memungkinkan Anda untuk menentukan seberapa buruk kasus yang terlewatkan dibandingkan dengan alarm palsu. Jawabannya selalu dalam satuan asli Anda.
Kapan Menggunakan Kalkulator Batas Optimal?
Gunakan ini ketika Anda memiliki penanda kontinu atau ordinal dan hasil standar referensi (ada atau tidak adanya penyakit) untuk setiap peserta, dan Anda perlu mengubah penanda tersebut menjadi keputusan positif atau negatif. Kasus tipikalnya adalah biomarker baru, skor gejala, atau pengukuran pencitraan, di mana ambang batas yang dipublikasikan tidak ada, berasal dari populasi lain, atau tidak sesuai dengan tujuan klinis Anda.
Kriteria harus sesuai dengan tujuannya. Tes skrining untuk menyingkirkan kemungkinan penyakit biasanya membutuhkan sensitivitas tinggi, sehingga target sensitivitas tetap sesuai. Tes konfirmasi biasanya membutuhkan spesifisitas tinggi. Ketika indeks Youden atau aturan terdekat ke kiri atas digunakan, Anda memberikan bobot yang sama pada sensitivitas dan spesifisitas, yang hanya sesuai dengan biaya kesalahan yang sama pada prevalensi 50% dan jarang terjadi dalam praktik. Gunakan opsi pembobotan biaya ketika kedua kesalahan tersebut jelas berbeda. Jika Anda hanya membutuhkan kurva ROC dan AUC tanpa memilih ambang batas, gunakan alat kurva ROC yang tertaut di bawah ini.
Diharapkan: 2 kolom: Status penyakit per subjek | Nilai penanda per subjek
Seret file CSV di sini atau klik untuk memilih. Diproses di browser Anda: tidak ada yang diunggah.
Diharapkan: 2 kolom: Status penyakit per subjek | Nilai penanda per subjek
status <- c({status}) score <- c({score}) higher <- "{dir}" == "Lebih tinggi = lebih positif" method <- "{method}" target <- {target} / 100 cr <- {costratio} prev <- suppressWarnings(as.numeric("{prev}")) / 100 # kosong -> NA -> prevalensi sampel P <- sum(status == 1); N <- sum(status == 0) if (is.na(prev)) prev <- P / (P + N) u <- sort(unique(score)) cut <- (head(u, -1) + tail(u, -1)) / 2 # kandidat: titik tengah antara nilai yang berbeda posf <- function(s, c) if (higher) s >= c else s <= c sens <- sapply(cut, function(c) mean(posf(score[status == 1], c))) spec <- sapply(cut, function(c) mean(!posf(score[status == 0], c))) obj <- if (grepl("Youden", method)) sens + spec - 1 else if (grepl("top-left", method)) -((1 - sens)^2 + (1 - spec)^2) else if (grepl("sensitivity", method)) ifelse(sens >= target - 1e-12, spec, -Inf) else if (grepl("specificity", method)) ifelse(spec >= target - 1e-12, sens, -Inf) else -(cr * prev * (1 - sens) + (1 - prev) * (1 - spec)) stopifnot(is.finite(max(obj))) # metode tetap: target harus dapat dicapai i <- which(obj >= max(obj) - 1e-12)[1] # seri -> batas terendah c(cutoff = cut[i], sensitivity = sens[i], specificity = spec[i], J = sens[i] + spec[i] - 1) cp <- function(x, n) c(if (x == 0) 0 else qbeta(.025, x, n - x + 1), if (x == n) 1 else qbeta(.975, x + 1, n - x)) cp(round(sens[i] * P), P); cp(round(spec[i] * N), N) # CI 95% yang tepat (Clopper-Pearson) # AUC dengan CI DeLong: library(pROC); r <- roc(status, score, direction = ifelse(higher, "<", ">")); auc(r); ci.auc(r, method = "delong")Buku petunjuk
Kapan digunakan. Pilih ambang batas keputusan tunggal untuk penanda diagnostik kontinu, dan lihat sensitivitas, spesifisitas, nilai prediktif, rasio kemungkinan, dan AUC pada ambang batas tersebut. Lima kriteria dibandingkan berdampingan: indeks Youden, yang terdekat dengan sudut kiri atas, sensitivitas tetap, spesifisitas tetap, dan biaya yang diharapkan berdasarkan prevalensi dan biaya relatif dari negatif palsu.
Asumsi. Satu nilai penanda per subjek dengan status standar referensi 0/1 yang sebenarnya; subjek independen. Kandidat batas adalah titik tengah antara nilai penanda berurutan yang berbeda dan terurut (ambang batas yang sama yang digunakan pROC); subjek dinyatakan positif tes jika penanda ≥ batas (atau ≤ jika nilai yang lebih rendah lebih positif). Nilai prediktif pada prevalensi yang berbeda hanya valid jika sensitivitas dan spesifisitas berlaku untuk populasi tersebut.
Kesalahan umum. Ambang batas dan akurasinya dipilih dan diestimasi pada data yang sama dan bersifat optimis; validasi pada data baru atau dengan bootstrap, terutama dengan kurang dari sekitar 30 subjek per kelas. Kriteria yang berbeda secara sah memberikan ambang batas yang berbeda (Perkins & Schisterman). Jangan gunakan prevalensi sampel untuk PPV/NPV ketika kasus dan kontrol diambil sampelnya secara terpisah; masukkan prevalensi sebenarnya sebagai gantinya. Interval kepercayaan AUC adalah perkiraan normal (DeLong) yang dipotong menjadi [0, 1] dan tidak dapat diandalkan di dekat 1 atau dengan jumlah subjek yang sangat sedikit.
Contoh yang dikerjakan
Klik Muat data contoh di atas, lalu Jalankan Analisis untuk melihat hasil lengkap dengan angka, rumus, dan interpretasi untuk pengujian ini.
Referensi
- Youden WJ. Indeks untuk menilai tes diagnostik. Kanker. 1950;3(1):32-35.
- Clopper CJ, Pearson ES. Penggunaan batas kepercayaan atau fidusial diilustrasikan dalam kasus binomial. Biometrika. 1934;26(4):404-413.
- DeLong ER, DeLong DM, Clarke-Pearson DL. Membandingkan area di bawah dua atau lebih kurva karakteristik operasi penerima yang berkorelasi: pendekatan nonparametrik. Biometrika. 1988;44(3):837-845.
- Perkins NJ, Schisterman EF. Ketidakkonsistenan titik potong “optimal” yang diperoleh menggunakan dua kriteria berdasarkan kurva karakteristik operasi penerima. Am J Epidemiol. 2006;163(7):670-675.
- Robin X, Turck N, Hainard A, dkk. pROC: sebuah paket sumber terbuka untuk R dan S+ untuk menganalisis dan membandingkan kurva ROC. BMC Bioinformatics. 2011;12:77.
Contoh Soal yang Sudah Dikerjakan
Contoh bawaan memiliki 60 subjek dengan penanda di mana nilai yang lebih tinggi menunjukkan penyakit. AUC adalah 0.760 (95% CI 0.632 hingga 0.889, DeLong). Ambang batas Youden adalah 7.85, dengan sensitivitas 58.3% (95% CI 36.6 hingga 77.9) dan spesifisitas 91.7% (95% CI 77.5 hingga 98.2). Indeks Youden J adalah 0.500, LR+ adalah 7.00 dan LR- adalah 0.455. Pada prevalensi sampel, PPV adalah 82.4% dan NPV adalah 76.7%. Aturan terdekat ke kiri atas memberikan ambang batas yang sama di sini.
Mengubah kriteria akan mengubah jawabannya. Meminta sensitivitas minimal 90% akan menggeser nilai ambang batas ke 4.25, dengan sensitivitas 91.7% tetapi spesifisitas hanya 33.3%. Meminta sensitivitas minimal 95% memberikan nilai ambang batas 3.4, dengan sensitivitas 100% dan spesifisitas 27.8%. Meminta spesifisitas minimal 95% memberikan nilai ambang batas 9.35, dengan sensitivitas 41.7% dan spesifisitas 97.2%.
Prevalensi berpengaruh terhadap nilai prediktif. Memasukkan prevalensi yang dinyatakan sebesar 10% dengan ambang batas Youden 7.85 memberikan PPV 43.8% dan NPV 95.2%, dibandingkan dengan PPV 82.4% dan NPV 76.7% pada prevalensi sampel. Dengan prevalensi yang dinyatakan sebesar 10% dan rasio biaya 0.5 (negatif palsu berbiaya setengah dari positif palsu), aturan yang diberi bobot biaya bergeser ke 11.65, di mana spesifisitas adalah 100% dan sensitivitas turun menjadi 12.5%. Ini menunjukkan betapa kuatnya biaya yang dipilih memengaruhi hasilnya.
Asumsi yang Perlu Diperiksa
- Standar referensi sudah benar dan diterapkan pada setiap peserta, terlepas dari hasil penanda.
- Sampel tersebut mencerminkan orang-orang yang akan menggunakan tes tersebut. Bias spektrum menggeser titik potong optimal.
- Hanya satu penanda. Alat ini tidak menyesuaikan variabel kovariat atau menggabungkan penanda.
- Pengamatan bersifat independen. Pengukuran berulang pada orang yang sama memerlukan metode yang berbeda.
- Positif berarti penanda berada pada atau di atas batas ambang (atau pada atau di bawahnya, jika Anda memilih arah bawah). Pastikan arahnya sesuai dengan biologi.
- Nilai prediktif pada prevalensi tertentu mengasumsikan bahwa sensitivitas dan spesifisitas berlaku juga pada lingkungan dengan prevalensi tersebut.
Kesalahan Umum
Memperlakukan nilai ambang batas yang diperoleh dari data sebagai nilai yang telah divalidasi.
Ambang batas serta sensitivitas dan spesifisitasnya diestimasi berdasarkan data yang sama, sehingga hasilnya cenderung optimis, terutama pada sampel kecil. Kalkulator ini hanya melaporkan nilai dalam sampel. Kalkulator ini tidak menggunakan bootstrap atau validasi silang. Konfirmasikan ambang batas pada sampel independen sebelum mengandalkannya, dan laporkan sebagai nilai eksploratif sampai saat itu.
Mengabaikan ketidakpastian batas
Sensitivitas dan spesifisitas memiliki interval kepercayaan yang tepat di sini, tetapi nilai ambang batas itu sendiri tidak memiliki interval kepercayaan, begitu pula PPV, NPV, atau rasio kemungkinan. Beberapa nilai ambang batas yang berdekatan mungkin memberikan kinerja yang hampir sama baiknya. Jangan menganggap angka tunggal tersebut sebagai angka yang pasti.
Menggunakan Youden secara default
Youden memberikan bobot yang sama untuk kasus yang terlewatkan dan alarm palsu, serta mengabaikan prevalensi. Untuk skrining atau konfirmasi, aturan dengan sensitivitas tetap, spesifisitas tetap, atau bobot biaya seringkali lebih sesuai dengan tujuan klinis.
Menerapkan interval AUC di dekat titik ekstrem.
Interval DeLong adalah interval Wald yang dipotong menjadi 0 hingga 1. Interval ini tidak dapat diandalkan dengan sampel yang sangat kecil atau AUC yang mendekati 1. Dengan pemisahan yang sempurna, interval tersebut runtuh dan LR+ menjadi tak terhingga, yang menandakan sampel yang kecil atau tidak representatif, bukan pengujian yang sempurna.
Membaca nilai prediksi dari prevalensi yang salah.
PPV dan NPV pada prevalensi sampel mencerminkan bagaimana penelitian merekrut partisipannya. Dalam sampel kasus-kontrol, angka-angka tersebut kurang menjelaskan praktik rutin. Gunakan prevalensi pada lingkungan target Anda sebagai gantinya.
Pertanyaan yang Sering Diajukan
Bagaimana kriteria calon yang lolos seleksi dipilih?
Titik tengah antara nilai penanda yang diamati secara berurutan dan berbeda digunakan. Ambang batas sepele yang mengklasifikasikan semua orang sebagai positif atau semua orang sebagai negatif dikecualikan. Hasilnya diperiksa terhadap paket pROC di R, yang menggunakan titik tengah yang sama.
Apa yang terjadi ketika dua nilai batas sama?
Nilai batas terendah akan dikembalikan. Ini adalah konvensi dari alat ini. Perangkat lunak lain mungkin mencantumkan semua ambang batas yang sama.
Mengapa jawaban Youden dan jawaban yang paling dekat dengan kiri atas terkadang berbeda?
Mereka mengoptimalkan kuantitas yang berbeda. Youden memaksimalkan sensitivitas ditambah spesifisitas, sementara aturan kiri atas meminimalkan kuadrat jarak ke sensitivitas dan spesifisitas yang sempurna. Dalam dataset uji dengan nilai terendah positif, mereka memberikan nilai masing-masing 48.5 dan 47.5. Mereka seringkali sepakat, seperti pada contoh utama.
Bagaimana jika sensitivitas atau spesifisitas target saya tidak dapat tercapai?
Alat tersebut menampilkan pesan kesalahan yang menyatakan nilai maksimum yang dapat dicapai dalam data Anda.
Interval kepercayaan mana yang digunakan?
Interval Clopper-Pearson yang tepat untuk sensitivitas dan spesifisitas, serta interval Wald berbasis DeLong untuk AUC.
Bisakah saya menggunakan ini untuk penanda "nilai terendah adalah positif"?
Ya. Pilih arah bawah, dan alat ini akan mengklasifikasikan nilai pada atau di bawah batas sebagai positif dan menghitung AUC pada arah tersebut.
Apakah ini bisa menggantikan peran seorang ahli statistik?
Tidak. Ini mendukung analisis eksploratif dan pengajaran. Ambang batas yang ditujukan untuk penggunaan klinis memerlukan validasi, rencana analisis yang telah ditentukan sebelumnya, dan pedoman pelaporan seperti STARD.
Kalkulator Terkait
Kalkulator Kurva ROC dan AUC Kalkulator Akurasi Diagnostik (Sensitivitas dan Spesifisitas) Indeks Youden: Mengoptimalkan Akurasi Tes Diagnostik Kalkulator Interval Kepercayaan Kalkulator Prevalensi Efek Ambang Batas pada Akurasi Diagnostik
Referensi
- Fluss R, Faraggi D, Reiser B. Estimasi Indeks Youden dan titik batas terkaitnya. Jurnal Biometrik. 2005. PMID 16161804.
- Unal I. Menentukan nilai titik potong optimal dalam analisis ROC: pendekatan alternatif. Metode Komputasi dan Matematika dalam Kedokteran. 2017. PMID 28642804.
- Mandrekar JN. Kurva karakteristik operasi penerima dalam penilaian uji diagnostik. Jurnal Onkologi Toraks. 2010. PMID 20736804.
- DeLong ER, DeLong DM, Clarke-Pearson DL. Membandingkan area di bawah dua atau lebih kurva karakteristik operasi penerima yang berkorelasi: pendekatan nonparametrik. Biometrika. 1988. PMID 3203132.
Apakah Anda Membutuhkan Analisis Ini untuk Manuskrip Anda?
Butuh bantuan dalam memilih nilai ambang batas, merencanakan validasi, atau menulis studi akurasi diagnostik? Ahli biostatistik Editverse dapat menjalankan analisis dan menyiapkan bagian metode dan hasil.
