Editverse Ücretsiz Hesap Makinesi
ROC Eğrisi ve AUC Hesaplayıcısı
Bir testin veya puanın iki grubu ne kadar iyi ayırdığını ROC eğrisi, altındaki alan (AUC) ve tekrarlanabilir R komutu ile ölçün. Aşağıda ayrıntılı bir yorumlama kılavuzu bulunmaktadır. R 4.3.3 ile doğrulanmıştır.
Basit Sözlerle
ROC eğrisi, sürekli bir testin veya risk skorunun, karar eşiğini katıdan esnek olana doğru kaydırdıkça nasıl performans gösterdiğini gösterir. Her eşikte, doğru pozitif oranı (duyarlılık) yanlış pozitif oranına (1 − özgüllük) karşı çizilir. Eğri altındaki alan (AUC), tüm resmi 0.5 ile 1 arasında tek bir sayıya indirger.
AUC'nin net bir yorumu vardır: testin rastgele seçilen pozitif bir vakaya, rastgele seçilen negatif bir vakaya göre daha yüksek bir puan verme olasılığıdır. AUC değeri 0.5 ise testin yazı tura atmaktan daha iyi olmadığı anlamına gelir; 1.0 ise mükemmel ayrım anlamına gelir. Kabaca bir kılavuz olarak, 0.7-0.8 kabul edilebilir, 0.8-0.9 iyi ve 0.9'un üzeri mükemmeldir.
ROC Eğrisi Ne Zaman Kullanılır?
ROC analizi , sürekli bir tahmin edicinin ikili bir gerçek değere (biyobelirteç, klinik skor veya lojistik regresyon modelinden tahmin edilen olasılık) karşı ayırt edici yeteneğini değerlendirmek için kullanılır . Bu, tanı testlerini karşılaştırmanın ve belirli bir klinik bağlam için duyarlılık ve özgüllüğü dengeleyen bir çalışma eşiği seçmenin standart yoludur.
AUC değerini %95 güven aralığıyla birlikte raporlayın ve seçtiğiniz eşik değerini, duyarlılık ve özgüllük değerleriyle birlikte belirtin. İki model aynı hastalarda karşılaştırılırken, AUC değerlerini bağımsız olarak ele almak yerine eşleştirilmiş bir test (DeLong testi) kullanın. Sürekli bir puan yerine yalnızca tek bir sabit eşik değeriniz varsa, duyarlılık ve özgüllük değerlerini doğrudan raporlayın. ROC'nin doğru araç olup olmadığından emin değil misiniz? Etkileşimli Test Seçicimiz size yardımcı olabilir.
Beklenen format: Puan, Etiket: her satırda bir tane (1=pozitif, 0=negatif)
CSV dosyasını buraya sürükleyin veya seçmek için tıklayın. Tarayıcınızda ayrıştırılacaktır: hiçbir şey yüklenmeyecektir.
Beklenen format: Puan, Etiket: her satırda bir tane (1=pozitif, 0=negatif)
library(pROC) scores <- c({roc_scores}) labels <- c({roc_labels}) roc(labels, scores, direction = "{roc_dir}") # {roc_dir_note}Kullanıcı Rehberi
Ne zaman kullanılır? Sürekli bir testin veya puanın ayırt edici özelliğini değerlendirmek için.
Varsayımlar. İkili gerçek sonuç (0/1); sürekli tahmin edici veya puan.
Sık yapılan hatalar. AUC değerinin 0.5'e yakın olması ayrımcılık olmadığını gösterir; tek bir eşik değerini aşırı yorumlamayın.
Çalışılmış örnek
Yukarıdaki "Örnek verileri yükle" seçeneğine tıklayın , ardından "Analizi çalıştır" seçeneğine tıklayarak bu test için şekil, formül ve yorum içeren eksiksiz bir sonucu görebilirsiniz.
Referanslar
- Hanley JA, McNeil BJ. ROC eğrisi altındaki alanın anlamı ve kullanımı. Radyoloji. 1982;143:29-36.
Çalışılan Örnekler
Örnek 1: Bir biyobelirteç skoru
Puanları ve gerçek etiketleri (1 = hastalık, 0 = sağlıklı) olan on denek, sol üst köşeye doğru kavis yapan bir eğri oluşturur. AUC, daha yüksek puanların hastalıkla ne kadar güvenilir bir şekilde ilişkili olduğunu özetler. AUC'yi güven aralığıyla birlikte, seçtiğiniz eşik değerindeki duyarlılık ve özgüllük değerleriyle birlikte raporlayın.
Örnek 2: Bir eşik değeri seçmek
Youden indeksi (duyarlılık + özgüllük − 1), ikisinin toplamını maksimize eden noktayı belirler. Ancak en iyi çalışma eşiği, ortamınızdaki yanlış pozitif ve yanlış negatiflerin maliyetine bağlıdır; bir tarama testi duyarlılığı, bir doğrulama testi ise özgüllüğü destekleyebilir.
Kontrol Edilmesi Gereken Varsayımlar
İkili, doğru etiketlenmiş gerçek. Her durum, güvenilir bir referans standardına göre pozitif veya negatif olarak sınıflandırılmalıdır; yanlış sınıflandırılmış etiketler eğriyi bozar.
Sürekli veya sıralı tahminleyici. ROC analizi, değer aralığına sahip bir puana ihtiyaç duyar. Tek bir evet/hayır testi yalnızca bir noktaya sahiptir, bir eğriye değil.
Bağımsız gözlemler. Her denek bir puan-etiket çifti katkısında bulunur. Aynı denekler üzerinde tekrarlanan ölçümler, kümelenmeyi hesaba katan yöntemler gerektirir.
Yaygın hatalar
AUC'yi doğruluk olarak ele almak
AUC, tek bir eşik değerindeki doğruluğu değil, tüm eşik değerlerindeki sıralama yeteneğini ölçer. Yüksek bir AUC değeri, aslında kullandığınız eşik değerinde iyi bir performans garanti etmez.
Farklı örneklerden elde edilen AUC değerlerinin karşılaştırılması
İki modeli karşılaştırmak için, aynı hastalarda eşleştirilmiş bir yöntem (DeLong testi) kullanarak test edin. Farklı veri kümeleri üzerinde hesaplanan AUC'lerin karşılaştırılması geçerli değildir.
Sınıf dengesizliğini göz ardı etmek
Çok nadir pozitif sonuçlarla bile, yüksek bir AUC değeri düşük hassasiyet anlamına gelebilir. Hassasiyet-geri çağırma eğrisi, dengesiz veriler için genellikle daha bilgilendiricidir.
Sonuçları gördükten sonra eşik değerini belirlemek
Aynı veriler üzerinde en iyi görünen eşik değerini seçmek performansı şişirir. Seçilen eşik değerini bağımsız veriler üzerinde doğrulayın.
Sıkça Sorulan Sorular
AUC'nin anlamı nedir?
Bu, testin rastgele seçilen pozitif bir vakaya, rastgele seçilen negatif bir vakaya göre daha yüksek bir puan verme olasılığıdır. 0.5 şans, 1.0 ise mükemmel sonuçtur.
İyi bir AUC değeri ne anlama gelir?
Kabaca bir kılavuz olarak, 0.7–0.8 kabul edilebilir, 0.8–0.9 iyi ve 0.9'un üzeri mükemmeldir; ancak klinik olarak faydalı değer uygulamaya bağlıdır.
En uygun kesme noktasını nasıl seçerim?
Youden endeksi yaygın bir varsayılan değer sunar, ancak özel kullanımınız için yanlış pozitif ve yanlış negatif sonuçların göreceli maliyetini göz önünde bulundurun.
Sonuçlar SPSS, R ve Stata ile örtüşüyor mu?
Evet. Hesap makinesi, pROC paketiyle aynı yamuk AUC hesaplamasını kullanır ve tekrarlayabilmeniz için tam R komutunu gösterir.
İlgili Hesap Makineleri
Referanslar
- Hanley JA, McNeil BJ. Alıcı çalışma karakteristik (ROC) eğrisi altındaki alanın anlamı ve kullanımı. Radyoloji. 1982;143(1):29–36. PMID 7063747.
- Mandrekar JN. Tanı testlerinin değerlendirilmesinde alıcı çalışma karakteristik eğrisi. J Torak Onkol. 2010;5(9):1315–1316. PMID 20736804.
- DeLong ER, DeLong DM, Clarke-Pearson DL. İki veya daha fazla ilişkili ROC eğrisinin altındaki alanların karşılaştırılması: parametrik olmayan bir yaklaşım. Biyometri. 1988;44(3):837–845.
Makaleniz için bu analize mi ihtiyacınız var?
Doktora derecesine sahip biyoistatistikçilerimiz ROC eğrilerinizi oluşturur, güven aralıklarıyla AUC'leri hesaplar ve tekrarlanabilir R çıktısıyla yayınlanmaya hazır şekiller sunar.