Editverse無料計算機
コーエンのカッパ係数（評価者間一致度）
2人の評価者が偶然の一致を超えてどの程度カテゴリー判断に一致しているかを測定します（観測された一致と期待される一致を用いたコーエンのカッパ係数）。結果の背後にある正確なRコマンドをコピーします。詳細な解釈ガイドは以下に記載されています。R 4.3.3で検証済み。
簡単な言葉で言うと
コーエンのカッパ係数は、2人の評価者が項目をカテゴリーに分類する際の一致度を測定するもので、偶然による一致を補正します。単純な一致率が高いのは、あるカテゴリーが共通しているために見えてしまうことがあるため、カッパ係数はその偶然による一致を差し引くことで、より公平な結果を示します。
カッパ係数は、0未満（偶然よりも悪い）から1（完全な一致）までの範囲をとります。これは、観測された一致率（評価者が実際に一致した頻度）と期待される一致率（周辺率を考慮すると、偶然に一致する頻度）から算出されます。観測された一致率が期待値を大きく上回るほど、カッパ係数は高くなります。
コーエンのカッパ係数をいつ使うべきか
2人の評価者が独立して同じカテゴリーに項目を割り当てる場合（例えば、2人の査読者が抄録をスクリーニングする場合、または2人の臨床医が診断をコーディングする場合）、コーエンのカッパ係数を使用します。この係数は、両者の意見の一致が、信頼できる共通の判断を反映しているのか、それとも単なる偶然の一致なのかを示します。
カテゴリーではなく連続的な評価の場合は、級内相関係数を使用してください。カッパ係数は解釈範囲とともに報告し、出現頻度効果に注意してください。あるカテゴリーが支配的な場合、評価者がほとんどの場合一致していても、カッパ係数は低くなる可能性があります。どの合致度指標がデータに適しているか分からない場合は、テストセレクターをご利用ください。
想定される形式：合意マトリックス：行は改行され、カンマで区切られます。
ここにCSVファイルをドロップするか、クリックして選択してください。ブラウザで解析されるため、何もアップロードされません。
想定される形式：合意マトリックス：行は改行され、カンマで区切られます。
library(irr) tbl <- matrix(c({mat_flat}), nrow = {nrows}, byrow = TRUE) r1 <- rep(row(tbl), tbl); r2 <- rep(col(tbl), tbl) # 項目ごとに評価のペアが1つ kappa2(cbind(r1, r2))ユーザーガイド
使用時期：偶然による一致を超える、カテゴリー別の評価者間一致度を測定する場合。
前提条件：評価者2名、同一カテゴリー、独立した評価。
よくある間違い。カッパ係数は出現頻度に影響を受けやすいため、一致度が高い場合でもカッパ係数は低くなることがあります。
実例
上記の「サンプルデータを読み込む」をクリックし、「分析を実行」をクリックすると、このテストの図、数式、解釈を含む完全な結果が表示されます。
参考情報
- Cohen J. 名義尺度の一致係数。教育心理学測定。1960;20:37-46。
実施例
例１ ― 抄録を審査する２人の査読者
2人の査読者がそれぞれ50件の抄録を「含める」または「除外する」と分類した。42件については意見が一致し、一致率は0.84であった。それぞれが「含める」と回答した頻度を考慮すると、偶然の一致率は約0.55であるため、カッパ係数は(0.84 − 0.55) / (1 − 0.55) ≈ 0.64となり、実質的な一致が認められ、先に進むのに適している。
例２ ― 有病率のパラドックス
項目の95%が本当に1つのカテゴリーに属している場合、2人の評価者が92%の確率で意見が一致しても、偶然の一致率がすでに非常に高いため、カッパ係数は0.20近くになる可能性があります。この場合、低いカッパ係数は評価者の能力不足ではなく、周辺分布の偏りを反映しています。この点を明確にするために、カッパ係数と併せて一致率も報告してください。
確認すべき前提条件
評価者2名、評価項目同一。標準的なコーエンのカッパ係数は、評価者2名が同一の、互いに排他的な評価項目セットを使用する場合に用いられます。評価者数が3名を超える場合は、フリースのカッパ係数を使用してください。
独立した評価。評価者は、各項目について協議することなく評価を行う必要があります。もし協議を行うと、評価者の意見の一致度が過大評価され、カッパ係数は独立した信頼性を測定する指標として機能しなくなります。
同等の深刻度を持つ名義尺度。単純なカッパ係数では、すべての意見の相違を同等に深刻なものとして扱います。意見の相違の中にはより深刻なもの（順序付けられた尺度）がある場合、加重カッパ係数を使用します。
よくある間違い
有病率を考慮せずにカッパ値を読み取る
カテゴリー分布が偏っていると、偶然一致率が上がり、カッパ係数が下がります。低い値が評価の低さと誤解されないように、カッパ係数と併せて一致率も報告してください。
順序カテゴリにはプレーンなカッパを使用する
カテゴリーに自然な順序（軽度／中等度／重度）がある場合、重み付けなしのカッパ係数は意見の相違の程度を無視します。代わりに重み付けカッパ係数を使用してください。
コーエンのカッパ係数を2人以上の評価者に適用する
コーエンのカッパ係数は、評価者が2人の場合について定義されています。3人以上の場合は、フリースのカッパ係数が適切な一般化となります。
解釈バンドを絶対的なものとして扱う
「軽度」「中等度」「重度」といった分類は慣例であり、法律ではありません。適切な合意とみなされる基準は、あなたの状況における誤分類の影響によって異なります。
よくある質問
良いカッパ値とは？
一般的な慣例では、0.21～0.40はまずまず、0.41～0.60は普通、0.61～0.80は十分、0.80以上はほぼ完璧とされていますが、適切なレベルは状況によって異なります。
一致度が高いように見えるのに、なぜ私のカッパ値は低いのでしょうか？
あるカテゴリーが非常に頻繁に出現する場合、偶然の一致率は既に高いため、カッパ係数は大きな基準値を差し引くことで、一致率が高くても低い値になることがあります。
加重カッパはどのような場合に使用すべきですか？
カテゴリーに順序があり、意見の相違の深刻度がそれぞれ異なる場合に使用します。そうすることで、僅差の意見の相違に対するペナルティを、大きな相違の意見の相違に対するペナルティよりも軽減できます。
結果はRとSPSSの結果と一致しますか？
はい。この計算機は、標準的な観測値から期待値を引いた公式を使用し、Rコマンド（irr::kappa2）を表示するので、値を再現できます。
参考情報
- ランディスJR、コッホGG。 カテゴリデータの観察者間一致度の測定。 バイオメトリクス. 1977;33(1):159–174. PMID 843571。
- マクヒュー ML. 評価者間信頼性：カッパ統計量。 生化学医学（ザグレブ）. 2012;22(3):276–282. PMID 23092060。
- Cohen J. 名義尺度における一致係数。 教育心理学測定. 1960;20(1):37–46.
原稿のためにこの分析が必要ですか？
当社の博士号を持つ生物統計学者が、評価者間信頼性（コーエンの信頼度または信頼区間付き加重カッパ係数）を算出し、再現可能なR出力を含む、出版可能な一致度表を提供します。