Calculatrice gratuite Editverse
Calculateur Kappa de Cohen (accord inter-évaluateurs)
Mesurez le degré de concordance entre deux évaluateurs sur un jugement catégoriel, au-delà du hasard (kappa de Cohen avec concordance observée et attendue), et reproduisez la commande R exacte utilisée pour obtenir ce résultat. Un guide d'interprétation complet est fourni ci-dessous. Validé avec R 4.3.3.
En mots simples
Le coefficient kappa de Cohen mesure le degré de concordance entre deux évaluateurs classant des éléments en catégories, en corrigeant la concordance due au seul hasard. Le pourcentage brut de concordance peut paraître élevé simplement parce qu'une catégorie est fréquente ; le coefficient kappa soustrait donc cette concordance aléatoire pour obtenir une image plus juste.
Le coefficient kappa varie de moins de 0 (moins bon que le hasard) à 1 (accord parfait). Il est calculé à partir de l'accord observé (la fréquence à laquelle les évaluateurs se sont effectivement mis d'accord) et de l'accord attendu (la fréquence à laquelle ils se seraient mis d'accord par hasard, compte tenu de leurs taux marginaux). Plus l'accord observé est supérieur à l'accord attendu, plus le coefficient kappa est élevé.
Quand utiliser le kappa de Cohen
Utilisez le coefficient kappa de Cohen lorsque deux évaluateurs attribuent indépendamment des éléments aux mêmes catégories — par exemple, deux relecteurs examinant des résumés ou deux cliniciens codant un diagnostic. Il permet de déterminer si leur accord reflète un jugement partagé et fiable ou un simple chevauchement fortuit.
Pour les évaluations continues plutôt que catégorielles, utilisez le coefficient de corrélation intraclasse . Indiquez le kappa avec son intervalle d'interprétation et tenez compte de l'effet de prévalence : lorsqu'une catégorie est dominante, le kappa peut être faible même si les évaluateurs sont généralement d'accord. Vous ne savez pas quelle mesure d'accord convient à vos données ? Notre outil de sélection de test peut vous aider.
Format attendu : Matrice d’accord : lignes sur des nouvelles lignes, séparées par des virgules
Déposez un fichier CSV ici ou cliquez pour en choisir un. Analyse effectuée dans votre navigateur : aucun fichier n’est téléchargé.
Format attendu : Matrice d’accord : lignes sur des nouvelles lignes, séparées par des virgules
library(irr) tbl <- matrix(c({mat_flat}), nrow = {nrows}, byrow = TRUE) r1 <- rep(row(tbl), tbl); r2 <- rep(col(tbl), tbl) # une paire de notes par élément kappa2(cbind(r1, r2))Mode d'emploi
Quand l'utiliser ? Pour mesurer la concordance inter-évaluateurs catégorielle au-delà de ce qui est attendu par hasard.
Hypothèses. Deux évaluateurs ; mêmes catégories ; évaluations indépendantes.
Erreurs fréquentes. Le coefficient kappa est sensible à la prévalence : un fort consensus peut donner un faible coefficient kappa.
Exemple concret
Cliquez sur « Charger les données d'exemple » ci-dessus, puis sur « Lancer l'analyse » pour afficher un résultat complet avec figure, formule et interprétation pour ce test.
Références
- Cohen J. Un coefficient d'accord pour les échelles nominales. Educ Psychol Meas. 1960;20:37-46.
Exemples travaillés
Exemple 1 — Deux examinateurs évaluent les résumés
Deux évaluateurs classent chacun 50 résumés comme à inclure ou à exclure. Ils s'accordent sur 42 d'entre eux, soit un coefficient de concordance observé de 0.84. Compte tenu de la fréquence à laquelle chacun a indiqué « à inclure », la concordance due au hasard est d'environ 0.55. Par conséquent, kappa = (0.84 − 0.55) / (1 − 0.55) ≈ 0.64, ce qui représente une concordance substantielle, suffisante pour poursuivre l'analyse.
Exemple 2 — Le paradoxe de la prévalence
Si 95 % des éléments appartiennent effectivement à une seule catégorie, deux évaluateurs peuvent être d'accord dans 92 % des cas et obtenir un coefficient kappa proche de 0.20, car l'accord aléatoire est déjà très élevé. Dans ce cas, le faible coefficient kappa reflète la distribution marginale asymétrique, et non la qualité des évaluateurs ; il est donc important d'indiquer le pourcentage d'accord en plus du coefficient kappa pour plus de clarté.
Hypothèses à vérifier
Deux évaluateurs, mêmes catégories. Le kappa de Cohen standard est calculé pour deux évaluateurs utilisant un ensemble de catégories identiques et mutuellement exclusives. Pour un plus grand nombre d'évaluateurs, utilisez plutôt le kappa de Fleiss.
Évaluations indépendantes. Les évaluateurs doivent juger chaque élément sans concertation. S'ils discutent des cas, leur degré de concordance est artificiellement élevé et le coefficient kappa ne mesure plus la fiabilité indépendante.
Catégories nominales d'égale gravité. Le kappa simple considère tous les désaccords comme également graves. Lorsque certains désaccords ont une importance particulière (catégories ordonnées), utilisez le kappa pondéré.
Erreurs courantes
Lecture du kappa sans tenir compte de la prévalence
Une répartition déséquilibrée des catégories fait augmenter le taux d'accord aléatoire et diminuer le coefficient kappa. Indiquez le pourcentage d'accord en plus du coefficient kappa afin qu'une valeur faible ne soit pas interprétée à tort comme une mauvaise évaluation.
Utilisation du kappa simple pour les catégories ordonnées
Lorsque les catégories suivent un ordre naturel (léger/modéré/grave), le kappa non pondéré ne tient pas compte de l'ampleur des désaccords. Il convient alors d'utiliser le kappa pondéré.
Appliquer le kappa de Cohen à plus de deux évaluateurs
Le coefficient kappa de Cohen est défini pour deux évaluateurs. Pour trois évaluateurs ou plus, le coefficient kappa de Fleiss constitue la généralisation appropriée.
Considérer les bandes d'interprétation comme absolues
Les termes « léger », « passable », « modéré » et « substantiel » relèvent de la convention, et non de la loi. Ce qui constitue un accord satisfaisant dépend des conséquences d'une classification erronée dans votre contexte.
Questions fréquemment posées
Quelle est une bonne valeur de kappa ?
Par convention courante, 0.21–0.40 est acceptable, 0.41–0.60 modéré, 0.61–0.80 substantiel et au-dessus de 0.80 presque parfait — mais le niveau adéquat dépend de votre contexte.
Pourquoi mon coefficient kappa est-il faible alors que le taux d'accord semble élevé ?
Lorsqu'une catégorie est très courante, le taux d'accord aléatoire est déjà élevé, de sorte que le coefficient kappa soustrait une valeur de base importante et peut être faible même en cas de pourcentage d'accord élevé.
Quand dois-je utiliser le kappa pondéré ?
Utilisez-le lorsque les catégories sont ordonnées et que certains désaccords sont plus graves que d'autres, afin que les quasi-désaccords soient moins pénalisés que les désaccords plus importants.
Le résultat correspond-il à celui obtenu avec R et SPSS ?
Oui. La calculatrice utilise la formule standard de la différence entre les valeurs observées et attendues et affiche la commande R (irr::kappa2) afin que vous puissiez reproduire la valeur.
Calculatrices associées
Références
- Landis JR, Koch GG. La mesure de l'accord des observateurs pour les données catégorielles. Biométrie. 1977;33(1):159–174. PMID 843571.
- McHugh ML. Fiabilité inter-évaluateurs : la statistique kappa. Biochem Med (Zagreb). 2012;22(3):276–282. PMID 23092060.
- Cohen J. Un coefficient d'accord pour les échelles nominales. Mesures psychologiques de l'éducation. 1960;20(1):37–46.
Besoin de cette analyse pour votre manuscrit ?
Nos biostatisticiens titulaires d'un doctorat calculent la fiabilité inter-évaluateurs — le kappa de Cohen ou le kappa pondéré avec intervalles de confiance — et fournissent des tableaux d'accord prêts à être publiés avec une sortie R reproductible.