Libreng Calculator ng Editverse
Libreng Optimal Cut-off Calculator (Youden Index, Pinakamalapit sa Kaliwang Itaas, Nakapirming Sensitivity o Specificity, Cost-Weighted)
Idikit ang mga halaga ng iyong marker at ang tunay na kalagayan ng sakit, at makuha ang pinakamainam na diagnostic cut-off sa pamamagitan ng apat na pamantayan, bawat isa ay may sensitivity, specificity, predictive values at likelihood ratios. Kasama ang eksaktong confidence intervals at isang DeLong AUC.
Sa Simpleng Salita
Ang diagnostic marker ay isang numero, tulad ng antas ng dugo o iskor. Para matawag na positibo o negatibo ang isang tao, kailangan mo ng cut-off. Ang mababang cut-off ay nakakakuha ng mas maraming totoong kaso ngunit nagdudulot ng mga maling alarma. Ang mataas na cut-off ay gumagawa ng kabaligtaran. Sinusubukan ng calculator na ito ang bawat posibleng cut-off sa iyong data at iniuulat ang pinakamahusay sa ilalim ng panuntunang iyong pinili.
Apat na panuntunan ang magagamit. Pinapakinabangan ng Youden index ang sensitivity kasama ang specificity na binawasan ng 1. Pinipili ng closest-to-top-left rule ang puntong pinakamalapit na perpektong performance sa ROC plot. Pinapanatili ng fixed rule ang sensitivity (o specificity) sa isang target at pinapakinabangan ang isa pa. Hinahayaan ka ng cost-weighted rule na sabihin kung gaano kalala ang isang missed case kaysa sa isang false alarm. Ang sagot ay palaging nasa iyong orihinal na mga unit.
Kailan Gagamit ng Optimal Cut-off Calculator
Gamitin ito kapag mayroon kang tuloy-tuloy o ordinal na marker at isang reference-standard na resulta (mayroon man o wala ang sakit) para sa bawat kalahok, at kailangan mong gawing positibo o negatibong tawag ang marker. Ang mga karaniwang kaso ay ang isang bagong biomarker, isang symptom score o isang imaging measurement, kung saan ang nailathalang threshold ay nawawala, nagmula sa ibang populasyon, o hindi angkop sa iyong klinikal na layunin.
Dapat sundin ng pamantayan ang layunin. Ang isang rule-out screening test ay karaniwang nangangailangan ng mataas na sensitivity, kaya ang isang fixed-sensitivity target ay akma. Ang isang confirmatory test ay karaniwang nangangailangan ng mataas na specificity. Kapag ginamit ang Youden index o ang closest-to-top-left rule, binibigyan mo ng pantay na timbang ang sensitivity at specificity, na katumbas lamang ng pantay na error costs sa 50% prevalence at bihirang mangyari sa pagsasagawa. Gamitin ang cost-weighted option kapag ang dalawang error ay malinaw na magkaiba. Kung ang ROC curve at AUC lang ang kailangan mo nang hindi pumipili ng threshold, gamitin ang ROC curve tool na naka-link sa ibaba.
Inaasahan: 2 kolum: Katayuan ng sakit bawat paksa | Halaga ng marker bawat paksa
Maglagay ng CSV dito o i-click para pumili. Na-parse sa iyong browser: walang na-upload.
Inaasahan: 2 kolum: Katayuan ng sakit bawat paksa | Halaga ng marker bawat paksa
katayuan <- c({status}) iskor <- c({score}) mas mataas <- "{dir}" == "Mas mataas = mas positibo" pamamaraan <- "{method}" target <- {target} / 100 cr <- {costratio} nakaraan <- suppressWarnings(as.numeric("{prev}")) / 100 # blank -> NA -> sample prevalence P <- sum(katayuan == 1); N <- sum(status == 0) if (is.na(prev)) prev <- P / (P + N) u <- sort(unique(score)) cut <- (head(u, -1) + tail(u, -1)) / 2 # kandidato: mga gitnang punto sa pagitan ng magkakaibang halaga posf <- function(s, c) if (higher) s >= c else s <= c sens <- sapply(cut, function(c) mean(posf(score[status == 1], c))) spec <- sapply(cut, function(c) mean(!posf(score[status == 0], c))) obj <- if (grepl("Youden", method)) sens + spec - 1 else if (grepl("top-left", method)) -((1 - sens)^2 + (1 - spec)^2) else if (grepl("sensitivity", method)) ifelse(sens >= target - 1e-12, spec, -Inf) else if (grepl("specificity", method)) ifelse(spec >= target - 1e-12, sens, -Inf) else -(cr * prev * (1 - sens) + (1 - prev) * (1 - spec)) stopifnot(is.finite(max(obj))) # nakapirming mga pamamaraan: dapat maabot ang target i <- which(obj >= max(obj) - 1e-12)[1] # ties -> pinakamababang cut-off c(cutoff = cut[i], sensitivity = sens[i], specificity = spec[i], J = sens[i] + spec[i] - 1) cp <- function(x, n) c(if (x == 0) 0 else qbeta(.025, x, n - x + 1), if (x == n) 1 else qbeta(.975, x + 1, n - x)) cp(round(sens[i] * P), P); cp(round(spec[i] * N), N) # eksaktong (Clopper-Pearson) 95% CI # AUC na may DeLong CI: library(pROC); r <- roc(status, score, direction = ifelse(higher, "<", ">")); auc(r); ci.auc(r, method = "delong")gabay sa paggamit
Kailan gagamitin. Pumili ng iisang decision threshold para sa isang continuous diagnostic marker, at tingnan ang sensitivity, specificity, predictive values, likelihood ratios at AUC sa threshold na iyon. Limang criteria ang pinaghambing nang magkatabi: Youden index, pinakamalapit sa kaliwang sulok sa itaas, fixed sensitivity, fixed specificity, at inaasahang gastos batay sa prevalence at relatibong gastos ng isang false negative.
Mga Pagpapalagay. Isang halaga ng marker bawat paksa na may tunay na 0/1 na katayuan ng pamantayang sanggunian; mga independiyenteng paksa. Ang mga cut-off candidate ay ang mga midpoint sa pagitan ng magkakasunod na natatanging nakaayos na mga halaga ng marker (ang parehong mga threshold na ginagamit ng pROC); ang isang paksa ay positibo sa pagsusuri kapag ang marker ay ≥ ang cut-off (o ≤ kung ang mas mababang mga halaga ay mas positibo). Ang mga predictive value sa ibang prevalence ay balido lamang kung ang sensitivity at specificity ay lumilipat sa populasyon na iyon.
Mga karaniwang pagkakamali. Ang cut-off at ang katumpakan nito ay pinipili at tinatantya batay sa parehong datos at optimistiko; pinapatunayan sa bagong datos o sa pamamagitan ng bootstrap, lalo na sa mas kaunti sa 30 paksa bawat klase. Iba't ibang pamantayan ang lehitimong nagbibigay ng iba't ibang cut-off (Perkins & Schisterman). Huwag gamitin ang sample prevalence para sa PPV/NPV kapag ang mga kaso at kontrol ay kinuha nang hiwalay sa sample; ilagay ang tunay na prevalence sa halip. Ang AUC confidence interval ay isang normal na pagtatantya (DeLong) na pinutol sa [0, 1] at hindi maaasahan malapit sa 1 o may napakakaunting paksa.
Nagtrabahong halimbawa
I-click ang Mag-load ng halimbawang datos sa itaas, pagkatapos ay ang Run Analysis upang makita ang ganap na resulta na may pigura, pormula, at interpretasyon para sa pagsusulit na ito.
Mga sanggunian
- Youden WJ. Indeks para sa mga pagsusuring diagnostic rating. Kanser. 1950;3(1):32-35.
- Clopper CJ, Pearson ES. Ang paggamit ng confidence o fiducial limits na inilalarawan sa kaso ng binomial. Biometrika. 1934;26(4):404-413.
- DeLong ER, DeLong DM, Clarke-Pearson DL. Paghahambing ng mga lugar sa ilalim ng dalawa o higit pang magkakaugnay na kurba ng katangian ng pagpapatakbo ng receiver: isang di-parametrikong pamamaraan. Biometrics. 1988;44(3):837-845.
- Perkins NJ, Schisterman EF. Ang hindi pagkakapare-pareho ng mga "pinakamainam" na cutpoint na nakuha gamit ang dalawang pamantayan batay sa kurba ng katangian ng pagpapatakbo ng receiver. Am J Epidemiol. 2006;163(7):670-675.
- Robin X, Turck N, Hainard A, et al. pROC: isang open-source package para sa R at S+ upang suriin at ihambing ang mga kurba ng ROC. BMC Bioinformatics. 2011;12:77.
Halimbawa ng Paggawa
Ang built-in na halimbawa ay may 60 na paksa na may marker kung saan ang mas mataas na halaga ay nagmumungkahi ng sakit. Ang AUC ay 0.760 (95% CI 0.632 hanggang 0.889, DeLong). Ang Youden cut-off ay 7.85, na may sensitivity 58.3% (95% CI 36.6 hanggang 77.9) at specificity 91.7% (95% CI 77.5 hanggang 98.2). Ang Youden index J ay 0.500, LR+ ay 7.00 at LR- ay 0.455. Sa sample prevalence, ang PPV ay 82.4% at ang NPV ay 76.7%. Ang pinakamalapit na panuntunan sa kaliwang itaas ay nagbibigay ng parehong cut-off dito.
Ang pagpapalit ng pamantayan ay nagbabago sa sagot. Ang paghingi ng sensitivity na hindi bababa sa 90% ay maglilipat sa cut-off sa 4.25, na may sensitivity na 91.7% ngunit specificity na 33.3% lamang. Ang paghingi ng hindi bababa sa 95% sensitivity ay magbibigay ng cut-off na 3.4, na may sensitivity na 100% at specificity na 27.8%. Ang paghingi ng hindi bababa sa 95% specificity ay magbibigay ng 9.35, na may sensitivity na 41.7% at specificity na 97.2%.
Mahalaga ang prevalence para sa mga predictive value. Ang pagpasok ng nakasaad na prevalence na 10% na may Youden cut-off na 7.85 ay magbibigay ng PPV na 43.8% at NPV na 95.2%, kumpara sa PPV na 82.4% at NPV na 76.7% sa sample prevalence. Sa nakasaad na prevalence na 10% at cost ratio na 0.5 (ang false negative ay nagkakahalaga ng kalahati ng false positive), ang cost-weighted rule ay lilipat sa 11.65, kung saan ang specificity ay 100% at ang sensitivity ay bababa sa 12.5%. Ipinapakita nito kung gaano kalakas ang impluwensya ng mga napiling gastos sa resulta.
Mga Pagpapalagay na Susuriin
- Ang pamantayang sanggunian ay tama at inilapat sa bawat kalahok, anuman ang resulta ng marker.
- Ang sample ay sumasalamin sa mga taong gagamitin sa pagsusuri. Inililipat ng spectrum bias ang pinakamainam na cut-off.
- Isang marker lamang. Hindi inaayos ng tool ang mga covariate o pinagsama ang mga marker.
- Ang mga obserbasyon ay magkakahiwalay. Ang mga paulit-ulit na pagsukat sa iisang tao ay nangangailangan ng ibang pamamaraan.
- Ang positibo ay nangangahulugang marker na nasa o sa itaas ng cut-off (o nasa o sa ibaba nito, kung pipiliin mo ang mas mababang direksyon). Tiyakin na ang direksyon ay tumutugma sa biology.
- Ipinapalagay ng mga predictive value sa isang nakasaad na prevalence na ang sensitivity at specificity ay naaayon sa setting na may kasamang prevalence na iyon.
Karaniwang Pagkakamali
Pagtrato sa isang cut-off na hinango sa datos bilang napatunayan
Ang cut-off at ang sensitivity at specificity nito ay tinatantya sa parehong data, kaya optimistiko ang mga ito, lalo na sa maliliit na sample. Iniuulat lamang ng calculator na ito ang mga in-sample value. Hindi ito gumagamit ng bootstrap o cross-validation. Kumpirmahin ang threshold sa isang independent sample bago umasa dito, at iulat ito bilang exploratory hanggang sa panahong iyon.
Hindi pinapansin ang kawalan ng katiyakan ng cut-off
Ang sensitivity at specificity ay may eksaktong confidence intervals dito, ngunit ang cut-off mismo ay wala, at gayundin ang PPV, NPV o ang likelihood ratios. Maraming kalapit na cut-off ang maaaring gumanap nang halos pantay. Huwag basahin nang tumpak ang iisang numero.
Paggamit ng Youden bilang default
Pantay na binibigyang-timbang ng Youden ang isang hindi natukoy na kaso at isang maling alarma at binabalewala ang paglaganap. Para sa screening o kumpirmasyon, ang isang fixed-sensitivity, fixed-specificity o cost-weighted rule ay kadalasang mas tumutugma sa klinikal na layunin.
Paglalapat ng AUC interval malapit sa mga sukdulan
Ang DeLong interval ay isang Wald interval na pinutol sa 0 hanggang 1. Hindi ito maaasahan sa napakaliit na sample o AUC na malapit sa 1. Sa perpektong paghihiwalay, ang interval ay nagko-collapse at ang LR+ ay walang hanggan, na hudyat ng isang maliit o hindi representatibong sample kaysa sa isang perpektong pagsubok.
Pagbasa ng mga predictive value mula sa maling prevalence
Ang PPV at NPV sa prevalence ng sample ay sumasalamin kung paano nirekrut ng pag-aaral ang mga kalahok nito. Sa isang case-control sample, kakaunti lang ang sinasabi nila tungkol sa nakagawiang gawain. Sa halip, ilagay ang prevalence ng iyong target setting.
Mga Madalas Itanong
Paano pinipili ang mga cut-off ng kandidato?
Ginagamit ang mga gitnang punto sa pagitan ng magkakasunod na natatanging naobserbahang mga halaga ng marker. Hindi kasama ang mga trivial threshold na nag-uuri sa lahat bilang positibo o lahat bilang negatibo. Ang resulta ay sinuri laban sa pROC package sa R, na gumagamit ng parehong mga gitnang punto.
Ano ang mangyayari kapag nagtabla ang dalawang cut-off?
Ang pinakamababang cut-off value ang ibinabalik. Ito ay isang kumbensyon ng tool na ito. Maaaring ilista ng ibang software ang lahat ng nakatali na threshold.
Bakit minsan magkaiba ang mga sagot ng Youden at ng pinakamalapit na kaliwang itaas?
Iba't ibang dami ang ino-optimize nila. Pinapakinabangan ng Youden ang sensitivity plus specificity, habang ang top-left rule ay minaliit ang squared distance patungo sa perpektong sensitivity at specificity. Sa isang lower-is-positive test dataset, nagbigay sila ng 48.5 at 47.5 ayon sa pagkakabanggit. Madalas silang nagkakasundo, tulad ng sa pangunahing halimbawa.
Paano kung hindi maabot ang aking target na sensitivity o specificity?
Ang tool ay nagbabalik ng isang error na nagsasaad ng pinakamataas na makakamit na halaga sa iyong data.
Aling mga confidence interval ang ginagamit?
Eksaktong Clopper-Pearson intervals para sa sensitivity at specificity, at isang DeLong-based Wald interval para sa AUC.
Maaari ko ba itong gamitin para sa isang marker na may mas mababang is-positive na marka?
Oo. Piliin ang mas mababang direksyon, at inuuri ng tool ang mga halaga na nasa o mas mababa sa cut-off bilang positibo at kinukuwenta ang AUC sa direksyong iyon.
Ito ba ay pamalit sa isang estadistiko?
Hindi. Sinusuportahan nito ang eksploratory analysis at pagtuturo. Ang isang threshold na inilaan para sa klinikal na paggamit ay nangangailangan ng pagpapatunay, isang paunang tinukoy na plano ng pagsusuri at isang gabay sa pag-uulat tulad ng STARD.
Mga Kaugnay na Calculator
ROC Curve at AUC Calculator Diagnostic Accuracy Calculator (Sensitivity at Specificity) Youden Index: Pag-optimize ng Accuracy ng Diagnostic Test Calculator Confidence Interval Calculator Prevalence Effects Threshold sa Diagnostic Accuracy
Mga sanggunian
- Fluss R, Faraggi D, Reiser B. Pagtatantya ng Youden Index at ang kaugnay nitong cutoff point. Biometrical Journal. 2005. PMID 16161804.
- Unal I. Pagtukoy sa pinakamainam na halaga ng cut-point sa pagsusuri ng ROC: isang alternatibong pamamaraan. Mga Paraan ng Komputasyon at Matematika sa Medisina. 2017. PMID 28642804.
- Mandrekar JN. Kurba ng katangian ng pagpapatakbo ng receiver sa pagtatasa ng diagnostic test. Journal of Thoracic Oncology. 2010. PMID 20736804.
- DeLong ER, DeLong DM, Clarke-Pearson DL. Paghahambing ng mga lugar sa ilalim ng dalawa o higit pang magkakaugnay na kurba ng katangian ng pagpapatakbo ng receiver: isang di-parametrikong pamamaraan. Biometrics. 1988. PMID 3203132.
Kailangan Mo Bang Gawin ang Pagsusuring Ito para sa Iyong Manuskrito?
Kailangan mo ba ng tulong sa pagpili ng cut-off, pagpaplano ng pagpapatunay o pagsulat ng diagnostic accuracy study? Maaaring patakbuhin ng mga biostatistician ng Editverse ang pagsusuri at ihanda ang mga seksyon ng mga pamamaraan at resulta.
