Kalkulator Percuma Editverse

Kalkulator Kappa Cohen (Perjanjian Antara Penilai)

Ukur sejauh mana dua penilai bersetuju tentang penilaian kategorikal yang melampaui peluang — kappa Cohen dengan persetujuan yang diperhatikan dan dijangka — dan salin arahan R yang tepat di sebalik hasilnya. Panduan tafsiran penuh adalah seperti di bawah. Disahkan terhadap R 4.3.3.

Dalam Perkataan Mudah

Kappa Cohen mengukur persetujuan antara dua penilai dengan mengklasifikasikan item ke dalam kategori, membetulkan persetujuan yang anda jangkakan secara kebetulan sahaja. Persentase persetujuan mentah boleh kelihatan tinggi hanya kerana satu kategori adalah lazim, jadi kappa menolak garis dasar peluang tersebut untuk memberikan gambaran yang lebih adil.

Kappa berkisar dari bawah 0 (lebih teruk daripada kebetulan) hingga 1 (persetujuan sempurna). Ia dikira daripada persetujuan yang diperhatikan (seberapa kerap penilai sebenarnya sepadan) dan persetujuan yang dijangkakan (seberapa kerap mereka akan sepadan secara kebetulan memandangkan kadar marginal mereka). Semakin jauh pemerhatian berada di atas jangkaan, semakin tinggi kappa.

Bila hendak menggunakan Kappa Cohen

Gunakan kappa Cohen apabila dua penilai secara bebas memberikan item kepada set kategori yang sama — contohnya, dua pengulas menyaring abstrak atau dua doktor yang mengekod diagnosis. Ia memberitahu anda sama ada persetujuan mereka mencerminkan penilaian yang dikongsi dan boleh dipercayai atau sekadar pertindihan kebetulan.

Untuk penilaian berterusan dan bukannya kategori, gunakan pekali korelasi intrakelas . Laporkan kappa dengan jalur tafsirannya dan ketahui kesan kelaziman: apabila satu kategori mendominasi, kappa boleh menjadi rendah walaupun penilai bersetuju hampir sepanjang masa. Tidak pasti ukuran persetujuan yang sesuai dengan data anda? Pemilih Ujian kami boleh membantu.

Kappa Cohen Perjanjian antara penilai kategorik · disahkan vs R 4.3.3
Panduan pengguna

Bila hendak digunakan. Ukur persetujuan antara penilai kategorikal melebihi apa yang dijangkakan secara kebetulan.

Andaian. Dua penilai; kategori yang sama; penilaian bebas.

Kesilapan biasa. Kappa sensitif terhadap kelaziman: persetujuan yang tinggi boleh menghasilkan kappa yang rendah.

Contoh yang dikerjakan

Klik Muatkan data contoh di atas, kemudian Jalankan Analisis untuk melihat hasil yang diusahakan sepenuhnya dengan rajah, formula dan tafsiran untuk ujian ini.

Rujukan
  1. Cohen J. Pekali persetujuan untuk skala nominal. Educ Psychol Meas. 1960;20:37-46.

Contoh Kerja

Contoh 1 — Dua pengulas sedang menapis abstrak

Dua pengulas setiap satu melabelkan 50 abstrak sebagai termasuk atau tidak termasuk. Mereka bersetuju pada 42, dengan persetujuan yang diperhatikan sebanyak 0.84. Memandangkan kekerapan setiap "termasuk" yang dinyatakan, persetujuan peluang adalah kira-kira 0.55, jadi kappa = (0.84 − 0.55) / (1 − 0.55) ≈ 0.64 — persetujuan yang ketara, sesuai untuk diteruskan.

Contoh 2 — Paradoks kelaziman

Jika 95% item benar-benar tergolong dalam satu kategori, dua penilai mungkin bersetuju 92% daripada masa namun mendapat skor kappa hampir 0.20, kerana persetujuan peluang sudah sangat tinggi. Di sini, kappa yang rendah mencerminkan margin yang condong, bukan penilai yang lemah — laporkan peratus persetujuan bersama kappa untuk menjelaskan perkara ini.

Andaian untuk Disemak

Dua penilai, kategori yang sama. Standard kappa Cohen adalah untuk tepat dua penilai yang menggunakan set kategori yang sama dan saling eksklusif. Untuk lebih ramai penilai, gunakan kappa Fleiss.

Penilaian bebas. Penilai mesti menilai setiap item tanpa berunding. Jika mereka membincangkan kes, persetujuan mereka akan menjadi keterlaluan dan kappa tidak lagi mengukur kebolehpercayaan bebas.

Kategori nominal yang sama serius. Kappa biasa menganggap setiap perselisihan faham sebagai sama buruknya. Apabila sesetengah perselisihan faham lebih penting (kategori tertib), gunakan kappa berwajaran.

Kesalahan biasa

Membaca kappa tanpa mempertimbangkan kelaziman

Taburan kategori yang condong mendorong persetujuan peluang ke atas dan kappa ke bawah. Laporkan peratus persetujuan bersama kappa supaya nilai yang rendah tidak disalahertikan sebagai penilaian yang lemah.

Menggunakan kappa biasa untuk kategori tersusun

Apabila kategori mempunyai susunan semula jadi (ringan/sederhana/teruk), kappa tanpa pemberat mengabaikan sejauh mana perbezaan pendapat. Gunakan kappa berpemberat sebagai gantinya.

Menggunakan kappa Cohen kepada lebih daripada dua penilai

Kappa Cohen ditakrifkan untuk dua penilai. Bagi tiga atau lebih, kappa Fleiss ialah generalisasi yang betul.

Melayan jalur tafsiran sebagai mutlak

Label yang sedikit/sederhana/besar adalah konvensyen, bukan undang-undang. Apa yang dikira sebagai persetujuan yang mencukupi bergantung pada akibat salah klasifikasi dalam persekitaran anda.

Soalan Lazim

Apakah nilai kappa yang baik?

Mengikut konvensyen biasa, 0.21–0.40 adalah sederhana, 0.41–0.60 sederhana, 0.61–0.80 besar, dan melebihi 0.80 hampir sempurna — tetapi tahap yang mencukupi bergantung pada konteks anda.

Mengapa kappa saya rendah sedangkan persetujuan kelihatan tinggi?

Apabila satu kategori sangat lazim, persetujuan peluang sudah tinggi, jadi kappa menolak garis dasar yang besar dan boleh menjadi rendah walaupun pada persetujuan peratusan yang tinggi.

Bilakah saya perlu menggunakan kappa berwajaran?

Gunakannya apabila kategori disusun dan sesetengah perselisihan faham adalah lebih serius daripada yang lain, supaya kesalahan hampir berlaku dihukum lebih ringan berbanding kesalahan yang hampir berlaku.

Adakah keputusannya sepadan dengan R dan SPSS?

Ya. Kalkulator ini menggunakan formula standard yang diperhatikan-tolak-dijangka dan menunjukkan arahan R (irr::kappa2) supaya anda boleh menghasilkan semula nilai tersebut.

Rujukan

  1. Landis JR, Koch GG. Pengukuran persetujuan pemerhati untuk data kategori. Biometrik. 1977;33(1):159–174. PMID 843571.
  2. McHugh ML. Kebolehpercayaan antara pelayar: statistik kappa. Biochem Med (Zagreb). 2012;22(3):276–282. PMID 23092060.
  3. Cohen J. Pekali persetujuan untuk skala nominal. Langkah-langkah Psikologi Pendidikan. 1960;20(1):37–46.

Perlu Analisis Ini Dilakukan untuk Manuskrip Anda?

Ahli biostatistik PhD kami mengira kebolehpercayaan antara penilai — Cohen atau kappa berwajaran dengan selang keyakinan — dan menyediakan jadual persetujuan sedia untuk penerbitan dengan output R yang boleh dihasilkan semula.

Dapatkan Bantuan Statistik Pakar