Calculadora gratuita de Editverse
Calculadora Kappa de Cohen (Concordancia entre evaluadores)
Mida el grado de concordancia entre dos evaluadores en un juicio categórico, más allá del azar (coeficiente kappa de Cohen con concordancia observada y esperada), y copie el comando exacto de R que generó el resultado. A continuación, se incluye una guía de interpretación completa. Validado con R 4.3.3.
En palabras simples
El coeficiente kappa de Cohen mide la concordancia entre dos evaluadores que clasifican elementos en categorías, corrigiendo la concordancia que cabría esperar por azar. El porcentaje de concordancia bruta puede parecer alto simplemente porque una categoría es común, por lo que kappa resta ese valor de referencia aleatorio para ofrecer una imagen más precisa.
El coeficiente kappa varía desde menos de 0 (peor que el azar) hasta 1 (concordancia perfecta). Se calcula a partir de la concordancia observada (con qué frecuencia coincidieron los evaluadores) y la concordancia esperada (con qué frecuencia coincidirían por azar, dadas sus tasas marginales). Cuanto mayor sea la diferencia entre la concordancia observada y la esperada, mayor será el valor de kappa.
Cuándo usar el coeficiente Kappa de Cohen
Utilice el coeficiente kappa de Cohen cuando dos evaluadores asignen de forma independiente elementos al mismo conjunto de categorías; por ejemplo, dos revisores que examinan resúmenes o dos médicos que codifican un diagnóstico. Este coeficiente indica si su concordancia refleja un juicio compartido y fiable o simplemente una coincidencia fortuita.
Para calificaciones continuas en lugar de categorías, utilice el coeficiente de correlación intraclase . Informe el valor kappa con su banda de interpretación y tenga en cuenta el efecto de prevalencia: cuando una categoría predomina, kappa puede ser bajo incluso cuando los evaluadores coinciden la mayor parte del tiempo. ¿No está seguro de qué medida de concordancia se ajusta mejor a sus datos? Nuestro selector de pruebas puede ayudarle.
Formato esperado: Matriz de concordancia: filas en líneas nuevas, separadas por comas.
Arrastra aquí un archivo CSV o haz clic para seleccionar. Analizado en tu navegador: no se carga nada.
Formato esperado: Matriz de concordancia: filas en líneas nuevas, separadas por comas.
library(irr) tbl <- matrix(c({mat_flat}), nrow = {nrows}, byrow = TRUE) r1 <- rep(row(tbl), tbl); r2 <- rep(col(tbl), tbl) # un par de calificaciones por ítem kappa2(cbind(r1, r2))Guía del usuario
Cuándo usarlo. Mide la concordancia categórica entre evaluadores más allá de lo que se esperaría por azar.
Supuestos. Dos evaluadores; mismas categorías; calificaciones independientes.
Errores comunes. El coeficiente kappa es sensible a la prevalencia: un alto grado de concordancia puede resultar en un valor kappa bajo.
Ejemplo trabajado
Haga clic en "Cargar datos de ejemplo" arriba y, a continuación, en "Ejecutar análisis" para ver un resultado completo con la figura, la fórmula y la interpretación de esta prueba.
Referencias
- Cohen J. Un coeficiente de concordancia para escalas nominales. Educ Psychol Meas. 1960;20:37-46.
Ejemplos resueltos
Ejemplo 1: Dos revisores examinando resúmenes
Dos revisores clasifican cada uno 50 resúmenes como incluidos o excluidos. Coinciden en 42, con un índice de concordancia observado de 0.84. Dado que cada uno indicó con frecuencia la opción "incluir", la probabilidad de concordancia por azar es de aproximadamente 0.55, por lo que kappa = (0.84 − 0.55) / (1 − 0.55) ≈ 0.64 — un acuerdo sustancial, adecuado para continuar.
Ejemplo 2: La paradoja de la prevalencia
Si el 95 % de los elementos pertenecen realmente a una categoría, dos evaluadores podrían coincidir el 92 % de las veces y aun así obtener un coeficiente kappa cercano a 0.20, dado que la concordancia por azar ya es muy alta. En este caso, el bajo coeficiente kappa refleja la asimetría de los datos marginales, no la mala calidad de los evaluadores; para mayor claridad, se debe indicar el porcentaje de concordancia junto con el coeficiente kappa.
Supuestos a verificar
Dos evaluadores, mismas categorías. El coeficiente kappa de Cohen estándar se aplica a dos evaluadores que utilizan un conjunto idéntico y mutuamente excluyente de categorías. Para más evaluadores, utilice el coeficiente kappa de Fleiss.
Calificaciones independientes. Los evaluadores deben juzgar cada elemento sin consultar entre sí. Si discuten los casos, su grado de acuerdo se ve inflado y el coeficiente kappa deja de medir la fiabilidad independiente.
Categorías nominales de igual gravedad. El coeficiente kappa simple considera que todos los desacuerdos son igualmente graves. Cuando algunos desacuerdos son más importantes (categorías ordenadas), utilice el coeficiente kappa ponderado.
Errores comunes
Lectura de kappa sin considerar la prevalencia
Una distribución de categorías sesgada aumenta el grado de concordancia aleatoria y disminuye el coeficiente kappa. Presente el porcentaje de concordancia junto con el coeficiente kappa para que un valor bajo no se interprete erróneamente como una mala calificación.
Utilizar kappa simple para categorías ordenadas
Cuando las categorías tienen un orden natural (leve/moderado/grave), el coeficiente kappa no ponderado ignora la magnitud de las discrepancias. En su lugar, utilice el coeficiente kappa ponderado.
Aplicación del coeficiente kappa de Cohen a más de dos evaluadores
El coeficiente kappa de Cohen se define para dos evaluadores. Para tres o más, el coeficiente kappa de Fleiss es la generalización correcta.
Tratar las bandas de interpretación como absolutas
Las etiquetas de leve/regular/moderado/sustancial son convenciones, no leyes. Lo que se considera un acuerdo adecuado depende de las consecuencias de una clasificación errónea en su contexto.
Preguntas frecuentes
¿Cuál es un buen valor kappa?
Por convención común, entre 0.21 y 0.40 se considera aceptable, entre 0.41 y 0.60 moderado, entre 0.61 y 0.80 sustancial y por encima de 0.80 casi perfecto; pero el nivel adecuado depende del contexto.
¿Por qué mi coeficiente kappa es bajo cuando el grado de acuerdo parece alto?
Cuando una categoría es muy común, el acuerdo por azar ya es alto, por lo que kappa resta una base de referencia grande y puede ser bajo incluso con un alto porcentaje de acuerdo.
¿Cuándo debo usar el coeficiente kappa ponderado?
Úselo cuando las categorías estén ordenadas y algunos desacuerdos sean más graves que otros, de modo que los errores leves se penalicen menos que los graves.
¿Coincide el resultado con el de R y SPSS?
Sí. La calculadora utiliza la fórmula estándar de observado menos esperado y muestra el comando R (irr::kappa2) para que pueda reproducir el valor.
Calculadoras relacionadas
Referencias
- Landis JR, Koch GG. La medición del acuerdo entre observadores para datos categóricos. Biometría. 1977;33(1):159–174. PMID 843571.
- McHugh ML. Fiabilidad entre evaluadores: el estadístico kappa. Biochem Med (Zagreb). 2012;22(3):276–282. PMID 23092060.
- Cohen J. Un coeficiente de concordancia para escalas nominales. Medidas psicológicas educativas. 1960;20(1):37–46.
¿Necesita que se realice este análisis en su manuscrito?
Nuestros bioestadísticos con doctorado calculan la fiabilidad entre evaluadores (el coeficiente kappa de Cohen o el kappa ponderado con intervalos de confianza) y entregan tablas de concordancia listas para su publicación con resultados reproducibles generados con R.