Editverse gratis kalkulator

Cohens Kappa-kalkulator (avtale mellom vurderere)

Mål hvor godt to vurderere er enige om en kategorisk vurdering utover tilfeldighet – Cohens kappa med observert og forventet samsvar – og kopier den nøyaktige R-kommandoen bak resultatet. En fullstendig tolkningsveiledning følger nedenfor. Validert mot R 4.3.3.

Med enkle ord

Cohens kappa måler samsvar mellom to vurderere som klassifiserer elementer i kategorier, og korrigerer for samsvaret man ville forventet kun ved tilfeldigheter. Rå prosentvis samsvar kan se høy ut rett og slett fordi én kategori er vanlig, så kappa trekker fra det tilfeldige grunnlinjen for å gi et mer rettferdig bilde.

Kappa varierer fra under 0 (dårligere enn tilfeldighet) opp til 1 (fullstendig samsvar). Den beregnes ut fra observert samsvar (hvor ofte vurdererne faktisk samsvarte) og forventet samsvar (hvor ofte de ville samsvare ved tilfeldighet gitt sine marginale rater). Jo lenger over forventet den observerte verdien ligger, desto høyere er kappaen.

Når skal man bruke Cohens Kappa

Bruk Cohens kappa når to vurderere uavhengig av hverandre tildeler elementer til samme sett med kategorier – for eksempel to anmeldere som screener sammendrag, eller to klinikere som koder en diagnose. Den forteller deg om deres enighet gjenspeiler en delt, pålitelig vurdering eller bare tilfeldig overlapping.

For kontinuerlige vurderinger i stedet for kategorier, bruk heller korrelasjonskoeffisienten for klassen . Rapporter kappa med tolkningsbåndet og vær oppmerksom på prevalenseffekten: når én kategori dominerer, kan kappa være lav selv når vurdererne er enige mesteparten av tiden. Er du usikker på hvilket samsvarsmål som passer til dataene dine? Testvelgeren vår kan hjelpe.

Cohens Kappa Kategorisk samsvar mellom vurderere · validert vs. R 4.3.3
Bruksanvisning

Når den skal brukes. Mål kategorisk samsvar mellom vurderere utover det som forventes ved tilfeldigheter.

Forutsetninger. To vurderere; samme kategorier; uavhengige vurderinger.

Vanlige feil. Kappa er følsom for prevalens: høy samsvar kan gi lav kappa.

Utarbeidet eksempel

Klikk på Last inn eksempeldata ovenfor, og deretter på Kjør analyse for å se et fullstendig utarbeidet resultat med figur, formel og tolkning for denne testen.

Referanser
  1. Cohen J. En samsvarskoeffisient for nominelle skalaer. Educ Psychol Meas. 1960;20:37–46.
Drevet av editverse.com · R 4.3.3 validert · v3.6 Trenger du ekspertanalyse? →

Arbeidet eksempler

Eksempel 1 — To anmeldere vurderer sammendrag

To anmeldere merker hver 50 sammendrag som inkludert eller ekskludert. De er enige om 42, med en observert samsvar på 0.84. Gitt hvor ofte hver av dem sa «inkluder», er den tilfeldige samsvaren omtrent 0.55, så kappa = (0.84 − 0.55) / (1 − 0.55) ≈ 0.64 – vesentlig samsvar, egnet for videreføring.

Eksempel 2 – Prevalensparadokset

Hvis 95 % av elementene faktisk tilhører én kategori, kan to vurderere være enige 92 % av tiden, men likevel score en kappa nær 0.20, fordi den tilfeldige samsvarsgraden allerede er veldig høy. Her gjenspeiler den lave kappaen de skjeve marginalene, ikke dårlige vurderere – rapporter prosentvis samsvar sammen med kappa for å gjøre dette tydelig.

Forutsetninger å sjekke

To vurderere, samme kategorier. Standard Cohens kappa er for nøyaktig to vurderere som bruker et identisk, gjensidig utelukkende sett med kategorier. For flere vurderere, bruk Fleiss' kappa i stedet.

Uavhengige vurderinger. Vurderingspersonene må bedømme hvert element uten å konferere. Hvis de diskuterer caser, blir enigheten deres oppblåst, og kappa måler ikke lenger uavhengig pålitelighet.

Nominelle kategorier av lik alvorlighetsgrad. Vanlig kappa behandler alle uenigheter som like ille. Når noen uenigheter er viktigere (ordnede kategorier), bruk vektet kappa.

Vanlige feil

Å lese kappa uten å vurdere prevalens

En skjev kategorifordeling driver tilfeldighetssamsvar opp og kappa ned. Rapporter prosentvis samsvar sammen med kappa, slik at en lav verdi ikke feiltolkes som dårlig vurdering.

Bruk av vanlig kappa for ordnede kategorier

Når kategorier har en naturlig rekkefølge (mild/moderat/alvorlig), ignorerer uvektet kappa hvor langt fra hverandre uenighetene er. Bruk heller vektet kappa.

Å bruke Cohens kappa på mer enn to vurderere

Cohens kappa er definert for to bedømmere. For tre eller flere er Fleiss' kappa den korrekte generaliseringen.

Å behandle tolkningsbåndene som absolutte

Merkelappene svak/god/moderat/betydelig er konvensjoner, ikke lover. Hva som teller som tilstrekkelig enighet avhenger av konsekvensene av feilklassifisering i din setting.

Ofte Stilte Spørsmål

Hva er en god kappaverdi?

Vanligvis er 0.21–0.40 rimelig, 0.41–0.60 moderat, 0.61–0.80 betydelig, og over 0.80 nesten perfekt – men det tilstrekkelige nivået avhenger av konteksten.

Hvorfor er kappa-verdien min lav når samsvarsverdien ser høy ut?

Når én kategori er veldig vanlig, er tilfeldighetssamsvaret allerede høyt, så kappa trekker fra et stort grunnlinjenivå og kan være lav selv ved høy prosentvis samsvar.

Når bør jeg bruke vektet kappa?

Bruk den når kategoriene er ordnet og noen uenigheter er mer alvorlige enn andre, slik at nesten-uenigheter straffes mindre enn langt unna.

Stemmer resultatet med R og SPSS?

Ja. Kalkulatoren bruker standardformelen for observert minus forventet og viser R-kommandoen (irr::kappa2) slik at du kan reprodusere verdien.

Relaterte kalkulatorer

ICC (Intraclass-korrelasjon)KorrelasjonEffektstørrelseChi-Square-testKonfidensintervallHvilken test bør jeg bruke?

Referanser

  1. Landis JR, Koch GG. Måling av observatørsamsvar for kategoriske data. Biometri. 1977;33(1):159–174. PMID 843571.
  2. McHugh ML. Interrater-reliabilitet: kappa-statistikken. Biochem Med (Zagreb). 2012;22(3):276–282. PMID 23092060.
  3. Cohen J. En samsvarskoeffisient for nominelle skalaer. Utdanningspsykologiske målinger. 1960;20(1):37–46.

Trenger du å få utført denne analysen for manuskriptet ditt?

Våre biostatistikere med doktorgrad beregner interrater-reliabilitet – Cohens eller vektet kappa med konfidensintervaller – og leverer publikasjonsklare samsvarstabeller med reproduserbar R-utdata.

Få eksperthjelp med statistikk