Pubblicato | Ultimo aggiornamento
L' indice di Youden è il metodo più comune per scegliere un valore di soglia per un test diagnostico continuo o un biomarcatore. Utilizza i due calcolatori qui sotto per calcolarlo, poi continua a leggere per la formula, un esempio pratico, come scegliere il valore di soglia e dove il metodo presenta delle limitazioni.
In questa pagina: Calcolatori · Formula · Esempio pratico · Soglia ottimale · Interpretazione · Casi di studio con dati reali · Criterio di Youden vs altri criteri · Limitazioni · Codice R · Domande frequenti
Calcolatore dell'indice di Youden
Inserisci sensibilità e specificità se le conosci già. Se disponi di conteggi grezzi, utilizza la tabella 2x2 sottostante.
Tasso vero positivo
Tasso vero negativo
| Indice Youden (J) | 0.7500 |
| Lettura (regola generale) | Alto |
| Tasso di falsi positivi (1 − Sp) | 10.00% |
| Tasso di falsi negativi (1 − Se) | 15.00% |
J = Se + Sp − 1. Prova Se 0.92 e Sp 0.88 per riprodurre l'esempio svolto qui sotto (J = 0.80).
Inserisci i conteggi interi. Devi inserire almeno un caso di persona malata e uno di persona sana.
Malattia presente, test positivo
Assenza di malattia, test positivo
Malattia presente, test negativo
Assenza di malattia, test negativo
Entrambe le calcolatrici funzionano nel browser e non inviano alcun dato a terzi. Abbiamo confrontato la versione 2×2 con il pacchetto R pROC in casi limite come celle nulle e separazione perfetta.
Formula dell'indice di Youden
Youden propose l'indice nel 1950 come un unico punteggio per un test diagnostico [1]. Tre proprietà sono degne di nota:
- Range. Per un test con una determinata soglia, −1 ≤ J ≤ 1. J = 0 significa che il test non è più preciso di un lancio di moneta, e J < 0 significa che il test indica la direzione sbagliata. Il valore massimo di J tra tutte le soglie non è mai inferiore a 0.
- Geometria. J rappresenta il divario verticale tra la curva ROC e la linea diagonale di probabilità. Il punto di cutoff in cui tale divario è maggiore è il cutoff di Youden (Figura 1).
- Prevalenza. J non cambia con la prevalenza della malattia, perché Se e Sp vengono misurati separatamente all'interno dei gruppi di malati e sani.
Esempi pratici
Esempio 1: da Se e Sp
Un test ha una sensibilità di 0.92 e una specificità di 0.88. J = 0.92 + 0.88 − 1 = 0.80 . Non rileva l'8% dei pazienti malati e segnala erroneamente il 12% dei pazienti sani.
Esempio 2: da una tabella 2×2
Supponiamo che 200 pazienti vengano testati rispetto a uno standard di riferimento. La tabella seguente è a scopo illustrativo e non deriva da uno studio pubblicato.
| Malattia presente | Malattia assente | |
|---|---|---|
| Test positivo | PT = 85 | FP = 10 |
| Test negativo | FN = 15 | TN = 90 |
- Sensibilità = 85 / (85 + 15) = 0.85
- Specificità = 90 / (90 + 10) = 0.90
- J = 0.85 + 0.90 − 1 = 0.75
Gli stessi conteggi danno PPV 85/95 = 89.5%, NPV 90/105 = 85.7%, LR+ = 0.85 / 0.10 = 8.5 e LR− = 0.15 / 0.90 = 0.17. Inseriscili nella seconda calcolatrice per confermare.
Come trovare il punto di taglio ottimale
Con un marcatore continuo, ogni possibile cutoff fornisce il proprio Se e Sp. I passaggi sono:
- Elencare i valori limite candidati, in genere ogni valore osservato o una griglia clinicamente sensata.
- Ad ogni valore di soglia, classificare i pazienti come positivi quando il marcatore è pari o superiore a tale valore e calcolare la sensibilità (Se) e la specificità (Sp) rispetto allo standard di riferimento.
- Calcola J = Se + Sp − 1 ad ogni cutoff.
- Prendi il valore di soglia con il J più grande, quindi aggiungi un intervallo di confidenza bootstrap per il valore di soglia e per J.
La tabella seguente utilizza valori fittizi per un biomarcatore misurato in 100 persone malate e 100 persone sane. J raggiunge il picco a 0.70 con un valore limite di 25, quindi 25 è la soglia ottimale secondo Youden in questo caso.
| Tagliato fuori | Sensibilità | Specificità | J |
|---|---|---|---|
| 10 | 0.98 | 0.40 | 0.38 |
| 15 | 0.95 | 0.62 | 0.57 |
| 20 | 0.90 | 0.78 | 0.68 |
| 25 | 0.82 | 0.88 | 0.70 |
| 30 | 0.70 | 0.94 | 0.64 |
| 35 | 0.52 | 0.98 | 0.50 |
Osservate cosa accade ai lati del picco. Valori di soglia inferiori aumentano la sensibilità a scapito della specificità, mentre valori di soglia superiori producono l'effetto opposto. La Figura 2 mostra questo comportamento su dati simulati, con J che forma una collina la cui cima si trova in prossimità del punto di intersezione delle curve di sensibilità e specificità.
Come interpretare l'indice di Youden
Non esiste una scala concordata. Le fasce riportate di seguito sono regole empiriche comuni, e i calcolatori sopra riportati le utilizzano. Consideratele come un punto di partenza e valutate J in base alle implicazioni cliniche.
| J | Lettura | Cosa significa in pratica |
|---|---|---|
| 0.75 a 1.00 | Alto | Pochi errori di entrambi i tipi |
| 0.50 a 0.74 | Buone | Utile, ma aspettatevi un tasso di errore evidente. |
| 0.25 a 0.49 | Moderato | Debole da solo, può essere utile come parte di un gruppo |
| 0 a 0.24 | Basso | Vicino alla possibilità |
| Sotto 0 | Peggio di una semplice possibilità | Verificare che la direzione del test non sia invertita. |
La Figura 3 confronta tre curve ROC simulate: un test senza informazioni (J = 0.04), un test moderato (J = 0.42) e un test forte (J = 0.82). Persino un test forte non raggiunge J = 1, che richiederebbe una perfetta separazione dei due gruppi.
Casi di studio basati su dati reali: due studi ad accesso aperto pubblicati su PLOS ONE
Due recenti studi pubblicati su PLOS ONE riportano l'indice di Youden nella sua interezza, ed entrambi sono pubblicati con licenza CC BY 4.0, motivo per cui possiamo riprodurre i loro grafici ROC qui di seguito. Abbiamo ricostruito le tabelle a partire dai dati pubblicati e rieseguito i calcoli. Tutto ciò che è etichettato come "nostra analisi" è un nostro calcolo basato su tali tabelle, e non un risultato riportato dagli autori.
Caso 1: il valore limite di HbA1c per la diagnosi di diabete nelle zone rurali della Cina.
Wang e colleghi hanno misurato la glicemia a digiuno (FPG) e l'emoglobina glicata (HbA1c) in 3,547 adulti di età pari o superiore a 61 anni nella Cina rurale. Tra i 3,122 senza diabete precedentemente diagnosticato, hanno utilizzato una FPG di 7.0 mmol/L o superiore come standard di riferimento e hanno chiesto quale cut-off di HbA1c massimizzasse J. La risposta è stata 6.5% (48 mmol/mol), con sensibilità 88.9%, specificità 93.7% e J = 0.825 [12].
| soglia HbA1c | Sensibilità | Specificità | J (Se + Sp − 1) | PPV |
|---|---|---|---|---|
| 6.1% | 95.1% | 78.8% | 0.739 | 10.7% |
| 6.4% | 90.1% | 91.5% | 0.816 | 22.0% |
| 6.5% | 88.9% | 93.7% | 0.826 | 27.2% |
| 6.6% | 86.4% | 95.4% | 0.818 | 33.3% |
| 6.9% | 72.8% | 97.9% | 0.707 | 47.6% |
Fonte: Wang et al. 2024, Tabella 2 [12]. Abbiamo ricalcolato J dai valori arrotondati di Se e Sp, ottenendo 0.826 al 6.5%; l'articolo riporta 0.825 da valori non arrotondati.
Cosa dimostra questo caso
- Una vetta ben definita. J sale da 0.738 al 6.1% a 0.825 al 6.5% e scende a 0.707 al 6.9%. Con un picco così pronunciato, è improbabile che piccole variazioni nel campione spostino di molto il valore di soglia.
- Due criteri, stessa risposta. Nel nostro calcolo il punto più vicino all'angolo in alto a sinistra è anche il 6.5% (distanza 0.128, contro 0.131 al 6.4%). Sono d'accordo su questo set di dati, ma nulla lo garantisce [4].
- Un valore elevato di J non significa un valore elevato di PPV. Con una prevalenza del 6.5%, il valore predittivo positivo (PPV) è solo del 27.2%, nonostante la specificità sia del 93.7%. Partendo dai valori di sensibilità (Se), specificità (Sp) e PPV pubblicati, stimiamo che circa il 2.6% del campione sottoposto a screening presentasse diabete in base alla glicemia a digiuno (FPG). Quando la malattia è rara, anche un buon test produce molti falsi positivi. Riportare il PPV insieme alla prevalenza da cui è stato ricavato.
Caso 2: la scala di Morse per la valutazione delle cadute nei reparti di ostetricia e ginecologia
Mao e colleghi hanno confrontato 136 pazienti ricoverati che sono caduti con 120 che non sono caduti, in un ospedale di ostetricia e ginecologia e in un ospedale generale, e hanno assegnato un punteggio a ciascuno sulla scala di caduta di Morse. La curva ROC aveva un AUC di 0.791 e gli autori hanno scelto un cut-off di 40, con sensibilità 0.735, specificità 0.808 e J = 0.543 [13].
| Tagliato fuori | Sensibilità | Specificità | J (Se + Sp − 1) | Perdita ponderata (caduta mancata = 3 falsi allarmi) |
|---|---|---|---|---|
| 25 | 0.882 | 0.383 | 0.265 | 0.971 |
| 35 | 0.875 | 0.383 | 0.258 | 0.992 |
| 40 | 0.735 | 0.808 | 0.543 | 0.987 |
| 45 | 0.713 | 0.808 | 0.521 | 1.053 |
| 50 | 0.640 | 0.858 | 0.498 | 1.222 |
| 55 | 0.625 | 0.900 | 0.525 | 1.225 |
| 60 | 0.618 | 0.900 | 0.518 | 1.246 |
Fonte: Mao et al. 2024, Tabella 2 [13]. J e l'ultima colonna sono i nostri calcoli dalla sensibilità e specificità pubblicate. Una perdita ponderata inferiore è migliore.
Cosa dimostra questo caso
- Legami e un secondo picco. J è identico (0.543) per ogni punteggio da 37.5 a 40, quindi diversi punteggi sono uguali. Dopo essere sceso a 0.498 tra 47.5 e 50, risale nuovamente a 0.525 tra 52.5 e 55. Un singolo massimo può nascondere una seconda scelta ragionevole.
- L'utilizzo di pesi uguali è una scelta. Supponiamo che una caduta non rilevata conti tre volte di più di un falso allarme. Nel nostro calcolo esemplificativo, la perdita ponderata più bassa passa quindi da 40 a 25 (0.971 contro 0.987), dove la sensibilità è 0.882. J da solo non lo suggerirebbe mai.
- La prevalenza è determinata dal disegno sperimentale. Con 136 pazienti caduti e 120 non caduti, il campione è approssimativamente bilanciato per impostazione predefinita, quindi il suo PPV e NPV non descrivono un reparto reale. J non presenta questo problema.
- Ricalcola prima di copiare. Nella tabella pubblicata, J a un valore limite di 20 è indicato come 0.162, ma 0.912 + 0.125 − 1 = 0.037. Controlla ogni valore di J che prendi da una tabella.
Lo stesso controllo funziona anche sui tuoi dati: elenca Se e Sp per ogni valore di soglia, ricalcola J, quindi cerca eventuali valori uguali, secondi picchi e il costo di ciascun errore prima di scegliere un numero.
Indice di Youden rispetto ad altri criteri di cutoff
| Criterio | Cosa ottimizza | Meglio quando | Stai attento |
|---|---|---|---|
| Youden J | Se + Sp − 1 | I casi mancati e i falsi allarmi costano circa lo stesso | Ignora i costi diseguali |
| Più vicino all'angolo in alto a sinistra | Distanza da (FPR 0, TPR 1) | Desideri una classificazione quasi perfetta | Può scegliere un cutoff diverso da J [4] |
| AUC | discriminazione dell'intera curva | Confrontare i test, non scegliere una soglia | non fornisce alcuna soglia |
| Rapporti di verosimiglianza | Quanto un risultato modifica la probabilità | Ragionamento al letto del paziente con probabilità pre-test | Richiede una probabilità a priori |
| Costo ponderato / beneficio netto | Danno o beneficio atteso | I costi dei due errori sono chiaramente diversi | Richiede input relativi ai costi o alla probabilità di soglia. |
Il criterio di Youden e il criterio più vicino all'angolo in alto a sinistra spesso concordano, ma non sempre. Perkins e Schisterman hanno dimostrato che possono indicare soglie diverse e che la soglia di Youden è quella che massimizza la corretta classificazione quando i gruppi di malati e sani hanno lo stesso peso [4]. Scegli il criterio in anticipo e nominalo nei tuoi metodi.
Limitazioni e soluzioni
| Limitazione | Perché è importante | Cosa fare |
|---|---|---|
| Assegnare uguale peso a entrambi gli errori. | Un tumore non diagnosticato e un falso allarme raramente comportano danni equivalenti. | Utilizzare una regola ponderata in base ai costi o un'analisi della curva decisionale. |
| Ottimismo nello stesso campione | Il valore migliore di J nei tuoi dati è distorto verso l'alto | Bootstrap o convalida incrociata [2,9] |
| Errore di misurazione nel marcatore | Il rumore appiattisce la curva ROC e abbassa J | Utilizzare stimatori corretti per l'errore [3] |
| Valori inferiori al limite di rilevabilità | Eliminando i bias J e il cutoff | Utilizzare metodi progettati per un limite di rilevamento inferiore [5] |
| Più di due classi | Il J a due gruppi non si estende direttamente | Utilizzare la generalizzazione a tre classi [6,7] |
| Prevalenza nel PPV e NPV | I valori predittivi cambiano con la prevalenza | Riportare la sensibilità (Se) e la specificità (Sp) e ricalcolare il valore predittivo positivo (PPV) e il valore predittivo negativo (NPV) per la popolazione target. |
Per revisioni più ampie dei metodi di cutoff, vedere l'introduzione all'analisi ROC di Hajian-Tilaki [8] e l'aggiornamento del 2024 di Hassanzad e Hajian-Tilaki [9].
Calcola l'indice di Youden in R
Il pacchetto pROC restituisce direttamente il cutoff di Youden [10].
library(pROC) roc_obj <- roc(response = d$disease, predictor = d$marker) coords(roc_obj, x = "best", best.method = "youden", ret = c("threshold", "sensitivity", "specificity")) ci.coords(roc_obj, x = "best", best.method = "youden", ret = c("threshold", "sensitivity", "specificity"), boot.n = 2000)Quando redigi questo documento, segui lo standard STARD 2015 in modo che il valore di soglia, il modo in cui è stato scelto e la sua incertezza siano tutti riportati [11].
Calcolatrici gratuite per il lavoro di accuratezza diagnostica
Questi strumenti gratuiti illustrano i passaggi relativi all'indice Youden.
Fai controllare la tua analisi di accuratezza diagnostica
Un metodo di cutoff errato può compromettere la validità di un articolo diagnostico in fase di revisione. Se desideri che un biostatistico esegua o verifichi l'analisi ROC, la scelta del cutoff e la sezione relativa ai metodi, questo è il servizio pensato appositamente per te.
Hai bisogno che questa analisi venga eseguita o verificata? Un biostatistico con dottorato di ricerca esamina il tuo progetto di studio, esegue l'analisi e redige la sezione relativa ai metodi statistici per il tuo manoscritto.
Domande frequenti sull'indice Youden
Cos'è l'indice Youden in parole semplici?
È un valore numerico che combina la capacità di un test di individuare le persone affette dalla patologia (sensibilità) e la sua capacità di escludere le persone non affette (specificità). J = sensibilità + specificità − 1. Un test inutile ottiene un punteggio di 0, mentre un test perfetto ottiene un punteggio di 1.
Qual è la formula per l'indice di Youden?
J = Se + Sp − 1, che è lo stesso di Se − (1 − Sp), ovvero il tasso di veri positivi meno il tasso di falsi positivi. Su una curva ROC è la distanza verticale dalla linea diagonale di probabilità alla curva in corrispondenza di un dato valore di soglia.
Qual è il range massimo raggiungibile dall'indice Youden?
Per un singolo test, J varia da -1 a 1. Zero significa che il test non offre risultati migliori del caso, mentre valori negativi indicano che le etichette del test sono invertite. Il valore massimo di J su tutti i punti di cutoff di una curva ROC non può essere inferiore a 0, perché il punto di intersezione (0, 0) fornisce già J = 0.
Qual è un buon valore per l'indice Youden?
Non esiste una soglia ufficiale. Molti studi considerano un valore di J pari o superiore a 0.5 come buono e pari o superiore a 0.75 come elevato, ma si tratta di convenzioni, non di standard. Valutate J in relazione al costo clinico dei casi non rilevati e dei falsi allarmi e riportate un intervallo di confidenza.
Come posso trovare il valore di soglia ottimale con l'indice di Youden?
Calcola la sensibilità e la specificità per ogni soglia candidata, calcola J per ciascuna e scegli la soglia con il valore di J più elevato. In R, pROC esegue questa operazione con coords(roc_obj, “best”, best.method = “youden”).
Il punto di taglio di Youden coincide con il punto più vicino all'angolo in alto a sinistra?
In generale no. I due criteri possono selezionare soglie diverse e il divario aumenta quando la curva ROC è asimmetrica (Perkins e Schisterman, 2006). Scegliete il criterio prima di analizzare i dati e specificatelo nella sezione Metodi.
Quando è sconsigliabile utilizzare l'indice di Youden?
Evitate di utilizzarlo come unico criterio quando un caso mancato costa molto di più di un falso allarme, come nello screening per una grave malattia curabile, o viceversa. J attribuisce lo stesso peso a entrambi gli errori. Gli approcci basati sui costi ponderati o sul beneficio netto si adattano meglio a tali contesti.
La prevalenza influenza l'indice di Youden?
No. Sensibilità e specificità vengono stimate all'interno dei gruppi di pazienti e non pazienti, quindi J non dipende dalla prevalenza. Il valore predittivo positivo (PPV) e il valore predittivo negativo (NPV) invece sì, ed è per questo che possono apparire molto diversi tra una clinica specialistica e un programma di screening.
Come devo riportare un valore di soglia basato sul criterio di Youden in un articolo?
Riportare il valore di cutoff, J, la sensibilità e la specificità con intervalli di confidenza al 95% (gli intervalli bootstrap sono comuni), la dimensione del campione in ciascun gruppo e come è stato scelto il cutoff. Convalidarlo in un campione separato quando possibile. STARD 2015 elenca gli elementi che i revisori si aspettano.
Referenze
- Youden WJ. Indice per la valutazione dei test diagnostici. Cancro. 1950;3(1):32-35. 10.1002/1097-0142(1950)3:1<32::AID-CNCR2820030106>3.0.CO;2-3
- Fluss R, Faraggi D, Reiser B. Stima dell'indice di Youden e del relativo punto di cutoff. Biom J. 2005;47(4):458-472. 10.1002/bimj.200410135
- Perkins NJ, Schisterman EF. L'indice di Youden e il punto di taglio ottimale corretto per l'errore di misurazione. Biom J. 2005;47(4):428-441. 10.1002/bimj.200410133
- Perkins NJ, Schisterman EF. L'incoerenza dei punti di taglio “ottimali” ottenuti utilizzando due criteri basati sulla curva ROC (Receiver Operating Characteristic). Am J Epidemiol. 2006;163(7):670-675. 10.1093/aje/kwj063
- Ruopp MD, Perkins NJ, Whitcomb BW, Schisterman EF. Indice di Youden e punto di taglio ottimale stimati a partire da osservazioni influenzate da un limite inferiore di rilevamento. Biom J. 2008;50(3):419-430. 10.1002/bimj.200710415
- Nakas CT, Alonzo TA, Yiannoutsos CT. Accuratezza e selezione del punto di cut-off nei problemi di classificazione a tre classi utilizzando una generalizzazione dell'indice di Youden. StatMed. 2010;29(28):2946-2955. 10.1002/sim.4044
- Luo J, Xiong C. Indice di Youden e relativi punti di cut-off per tre gruppi diagnostici ordinali. Statistica Comunitaria Calcolo Simultaneo. 2013;42(6):1213-1234. 10.1080/03610918.2012.661906
- Hajian-Tilaki K. Analisi della curva ROC (Receiver Operating Characteristic) per la valutazione dei test diagnostici medici. Caspian J Intern Med. 2013;4(2):627-635. PMID 24009950
- Hassanzad M, Hajian-Tilaki K. Metodi per la determinazione del punto di taglio ottimale dei biomarcatori diagnostici con applicazione dei dati clinici nell'analisi ROC: una revisione aggiornata. BMC Med Res Methodol. 2024; 24. 10.1186/s12874-024-02198-2
- Robin X, Turck N, Hainard A, et al. pROC: un pacchetto open-source per R e S+ per analizzare e confrontare le curve ROC. BMC Bioinformatica. 2011; 12: 77. 10.1186/1471-2105-12-77
- Bossuyt PM, Reitsma JB, Bruns DE, et al. STARD 2015: un elenco aggiornato di elementi essenziali per la rendicontazione degli studi di accuratezza diagnostica. BMJ2015;351:h5527. 10.1136/bmj.h5527
- Wang P, Li Y, Wang M, et al. Confronto dei parametri glicemici nella definizione del diabete tra gli anziani cinesi residenti in zone rurali. PLoS ONE. 2024; 19 (1): e0296694. 10.1371 / journal.pone.0296694
- Mao B, Jiang H, Chen Y, et al. Rivalutazione della scala di Morse per la valutazione del rischio di caduta nei reparti di ostetricia e ginecologia e determinazione dei punteggi di cut-off ottimali per una migliore valutazione del rischio: uno studio retrospettivo. PLoS ONE. 2024; 19 (9): e0305735. 10.1371 / journal.pone.0305735