Libreng Calculator ng Editverse

Kalkulador ng Kurba ng ROC at AUC

Sukatin kung gaano kahusay pinaghihiwalay ng isang pagsusulit o iskor ang dalawang grupo, gamit ang ROC curve, ang area sa ilalim nito (AUC), at ang reproducible R command. Basahin ang kumpletong gabay sa interpretasyon sa ibaba. Na-validate laban sa R ​​4.3.3.

Sa Simpleng Salita

Ipinapakita ng kurba ng ROC kung paano gumaganap ang isang patuloy na pagsubok o marka ng panganib habang itinataas mo ang limitasyon ng desisyon mula mahigpit patungo sa maluwag. Sa bawat limitasyon, ipinapalabas nito ang tunay na positibong rate (sensitibidad) laban sa maling positibong rate (1 − ispesipisidad). Pinagsasama-sama ng lugar sa ilalim ng kurba (AUC) ang buong larawan sa isang numero sa pagitan ng 0.5 at 1.

Ang AUC ay may malinis na interpretasyon: ito ay ang probabilidad na ang pagsusulit ay nagbibigay ng mas mataas na marka sa isang random na napiling positibong kaso kaysa sa isang random na napiling negatibo. Ang AUC na 0.5 ay nangangahulugan na ang pagsusulit ay hindi mas mahusay kaysa sa isang pagpapatalsik ng barya; ang 1.0 ay nangangahulugan ng perpektong paghihiwalay. Bilang isang magaspang na gabay, ang 0.7–0.8 ay katanggap-tanggap, 0.8–0.9 ay mabuti, at higit sa 0.9 ay mahusay.

Kailan Gagamit ng ROC Curve

Gamitin ang pagsusuri ng ROC upang suriin ang kakayahang magdiskrimina ng isang patuloy na prediktor laban sa isang binary na katotohanan: isang biomarker, isang klinikal na iskor, o ang hinulaang probabilidad mula sa isang logistic regression model. Ito ang karaniwang paraan upang ihambing ang mga diagnostic test at pumili ng isang operating threshold na nagbabalanse sa sensitivity at specificity para sa isang partikular na klinikal na konteksto.

Iulat ang AUC kasama ang 95% confidence interval nito , at sabihin ang threshold na iyong napili kasama ang sensitivity at specificity doon. Kapag ang dalawang modelo ay inihambing sa parehong mga pasyente, gumamit ng paired test (DeLong's) sa halip na ituring ang mga AUC bilang independent. Kung mayroon ka lamang isang fixed cutoff sa halip na isang continuous score, direktang iulat ang sensitivity at specificity . Hindi sigurado kung ang ROC ang tamang tool? Makakatulong ang aming interactive Test Selector .

Kurba ng ROC at AUC Pagpapakita ng katumpakan ng diagnostic · napatunayan kumpara sa R ​​4.3.3
gabay sa paggamit

Kailan gagamitin. Suriin ang kakayahang magdiskrimina ng isang patuloy na pagsusulit o iskor.

Mga Pagpapalagay. Binaryong totoong kinalabasan (0/1); patuloy na prediktor o iskor.

Mga karaniwang pagkakamali. Ang AUC na malapit sa 0.5 ay nangangahulugang walang diskriminasyon; huwag labis na bigyang-kahulugan ang iisang threshold.

Nagtrabahong halimbawa

I-click ang Mag-load ng halimbawang datos sa itaas, pagkatapos ay ang Run Analysis upang makita ang ganap na resulta na may pigura, pormula, at interpretasyon para sa pagsusulit na ito.

Mga sanggunian
  1. Hanley JA, McNeil BJ. Ang kahulugan at gamit ng lugar sa ilalim ng kurba ng ROC. Radiology. 1982;143:29-36.

Mga Nagtrabahong Halimbawa

Halimbawa 1: Isang marka ng biomarker

Sampung paksa na may mga iskor at totoong label (1 = sakit, 0 = malusog) ang bubuo ng isang kurba na yumuyuko patungo sa kaliwang sulok sa itaas. Binubuod ng AUC kung gaano maaasahan ang pagtutugma ng mas mataas na iskor sa sakit. Iulat ang AUC kasama ang confidence interval nito at ang sensitivity at specificity sa iyong napiling cutoff.

Halimbawa 2: Pagpili ng limitasyon

Tinutukoy ng Youden index (sensitivity + specificity − 1) ang puntong nagpapalaki sa kabuuan ng dalawa. Ngunit ang pinakamahusay na operating threshold ay nakadepende sa halaga ng mga false positive kumpara sa mga false negative sa iyong setting — maaaring paboran ng isang screening test ang sensitivity, isang confirmatory test specificity.

Mga Pagpapalagay na Susuriin

Binary, wastong namarkahan na katotohanan. Ang bawat kaso ay dapat uriin bilang positibo o negatibo ayon sa isang mapagkakatiwalaang pamantayan ng sanggunian; ang mga maling pag-uuri ng mga label ay nagpapabago sa kurba.

Tuloy-tuloy o ordinal na prediktor. Ang pagsusuri ng ROC ay nangangailangan ng iskor na may hanay ng mga halaga. Ang isang pagsubok na oo/hindi ay mayroon lamang isang punto, hindi isang kurba.

Mga malayang obserbasyon. Ang bawat paksa ay nag-aambag ng isang pares ng marka-label. Ang mga paulit-ulit na pagsukat sa parehong mga paksa ay nangangailangan ng mga pamamaraan na isinasaalang-alang ang clustering.

Karaniwang Pagkakamali

Pagtrato sa AUC bilang katumpakan

Sinusukat ng AUC ang kakayahan sa pagraranggo sa lahat ng mga threshold, hindi ang katumpakan sa anumang cutoff. Ang isang mataas na AUC ay hindi ginagarantiyahan ang mahusay na pagganap sa threshold na aktwal mong ginagamit.

Paghahambing ng mga AUC mula sa iba't ibang mga sample

Para paghambingin ang dalawang modelo, subukan ang mga ito sa parehong mga pasyente gamit ang isang ipinares na pamamaraan (pagsubok ni DeLong). Ang paghahambing ng mga AUC na nakalkula sa iba't ibang mga dataset ay hindi wasto.

Hindi pinapansin ang kawalan ng balanse sa klase

Sa mga napakabihirang positibong resulta, ang mataas na AUC ay maaari pa ring mangahulugan ng mahinang katumpakan. Ang kurba ng precision-recall ay kadalasang mas nagbibigay-kaalaman para sa hindi balanseng datos.

Pagpili ng threshold pagkatapos makita ang mga resulta

Ang pagpili ng cutoff na pinakamagandang tingnan sa parehong data ay nagpapataas ng performance. Patunayan ang napiling threshold sa mga independent data.

Mga Madalas Itanong

Ano nga ba talaga ang ibig sabihin ng AUC?

Ito ay ang probabilidad na ang pagsusulit ay nagbibigay ng mas mataas na iskor sa isang random na napiling positibong kaso kaysa sa isang random na napiling negatibong kaso. Ang 0.5 ay tsansa, ang 1.0 ay perpekto.

Ano ang maituturing na isang mahusay na AUC?

Bilang magaspang na gabay, ang 0.7–0.8 ay katanggap-tanggap, ang 0.8–0.9 ay mabuti, at ang higit sa 0.9 ay mahusay — ngunit ang klinikal na kapaki-pakinabang na halaga ay depende sa aplikasyon.

Paano ko pipiliin ang pinakamahusay na cutoff?

Ang Youden index ay nagbibigay ng karaniwang default, ngunit tinitimbang ang relatibong halaga ng mga false positive at false negative para sa iyong partikular na paggamit.

Tugma ba ang resulta sa SPSS, R, at Stata?

Oo. Gumagamit ang calculator ng parehong trapezoidal AUC computation gaya ng pROC package at ipinapakita ang eksaktong R command para ma-reproduce mo ito.

Mga sanggunian

  1. Hanley JA, McNeil BJ. Ang kahulugan at gamit ng lugar sa ilalim ng kurba ng receiver operating characteristic (ROC). Radiology. 1982;143(1):29–36. PMID 7063747.
  2. Mandrekar JN. Kurba ng katangian ng pagpapatakbo ng receiver sa pagtatasa ng diagnostic test. J Thorac Oncol. 2010;5(9):1315–1316. PMID 20736804.
  3. DeLong ER, DeLong DM, Clarke-Pearson DL. Paghahambing ng mga lugar sa ilalim ng dalawa o higit pang magkakaugnay na mga kurba ng ROC: isang di-parametrikong pamamaraan. Biometrics. 1988;44(3):837–845.

Kailangan Mo Bang Gawin ang Pagsusuring Ito para sa Iyong Manuskrito?

Ang aming mga PhD biostatistician ay bumubuo ng iyong mga ROC curve, kinukuwenta ang mga AUC gamit ang mga confidence interval, at naghahatid ng mga numerong handa nang ilathala na may maaaring kopyahing output ng R.

Humingi ng Tulong sa Estadistika ng Eksperto