Editverse 免费计算器

科恩Kappa系数计算器（评分者间一致性）

衡量两位评分者对分类判断的一致性程度（超出随机水平），使用 Cohen's kappa 系数，并结合观察一致性和预期一致性，复制结果背后的完整 R 命令。完整的解释指南如下。已在 R 4.3.3 版本中验证。

用简单的话

Cohen's kappa系数衡量两位评分者对项目进行分类的一致性，并校正了仅由偶然因素造成的一致性偏差。原始一致性百分比可能看起来很高，仅仅是因为某个类别比较常见，因此kappa系数会减去这部分偶然偏差，从而更准确地反映真实情况。

Kappa 值介于 0 以下（比随机猜测更差）到 1（完全一致）之间。它由观察到的一致性（评分者实际匹配的频率）和预期一致性（考虑到他们的边际评分率，他们随机匹配的频率）计算得出。观察到的一致性与预期一致性之间的差距越大，Kappa 值就越高。

何时使用科恩Kappa系数

当两位评分者独立地将项目分配到同一组类别时，可以使用Cohen's kappa系数——例如，两位审稿人筛选摘要，或两位临床医生对诊断进行编码。它可以告诉你他们的一致性反映的是共同的、可靠的判断，还是仅仅是偶然的重叠。

对于连续评分而非类别评分，请使用组内相关系数。报告 Kappa 值时，请附上其解释范围，并注意普遍性效应：当某个类别占主导地位时，即使评分者大部分时间意见一致，Kappa 值也可能很低。不确定哪种一致性指标适合您的数据？我们的测试选择器可以帮到您。

科恩卡帕系数 分类评分者间一致性 · 已通过 R 4.3.3 验证
用户指南

何时使用：测量分类评分者间一致性，使其超出随机预期。

假设条件：两位评分者；相同评分类别；独立评分。

常见错误。Kappa值对普遍程度很敏感：高度一致可能导致Kappa值偏低。

示例

点击上方的“加载示例数据”，然后点击“运行分析”，即可查看包含图表、公式和解释的完整结果。

案例
  1. Cohen J. 名义尺度的一致性系数。教育心理测量。1960;20:37-46。
专利所有者 编辑宇宙 · R 4.3.3 已验证 · v3.6 需要专家分析？→

工作实例

示例 1 — 两位审稿人筛选摘要

两位审稿人各自将 50 篇摘要标记为纳入或排除。他们对 42 篇摘要的意见一致，观察到的一致率为 0.84。考虑到每位审稿人选择“纳入”的频率，偶然一致率约为 0.55，因此 kappa = (0.84 − 0.55) / (1 − 0.55) ≈ 0.64 — 具有实质性一致性，适合继续进行后续研究。

例2——患病率悖论

如果95%的项目确实属于同一类别，那么两位评分者可能92%的时间都意见一致，但Kappa值却接近0.20，因为偶然一致性已经非常高了。这里低Kappa值反映的是边缘分布的偏差，而不是评分者水平差——为了更清楚地说明这一点，应该同时报告一致性百分比和Kappa值。

需要检验的假设

两位评分者，相同的评分类别。标准的Cohen's kappa系数适用于两位评分者使用完全相同且互斥的评分类别的情况。对于更多评分者，请改用Fleiss' kappa系数。

独立评分。评分者必须在不互相商议的情况下对每个项目进行评分。如果他们讨论案例，评分结果的一致性就会被夸大，Kappa系数将不再能衡量独立信度。

名义上的类别，其严重程度相同。普通的 kappa 系数将所有分歧都视为同等严重。当某些分歧更为重要时（有序类别），则应使用加权 kappa 系数。

常见错误

不考虑流行率就解读 kappa

类别分布不均会导致概率一致性上升，Kappa值下降。应同时报告一致性百分比和Kappa值，以免低值被误解为差评。

使用普通 kappa 系数进行有序分类

当类别具有自然顺序（轻度/中度/重度）时，未加权 kappa 系数忽略了分歧之间的距离。请改用加权 kappa 系数。

将 Cohen's kappa 应用于两个以上的评分者

Cohen's kappa系数是针对两位评分者定义的。对于三位或更多评分者，Fleiss' kappa系数才是正确的概括。

将解释带视为绝对值

轻微/一般/中等/严重程度的标签只是约定俗成的说法，并非法律条文。何为充分的共识，取决于在你的具体情境中，错误分类会造成怎样的后果。

常見問題解答

好的Kappa值是多少？

按照惯例，0.21–0.40 为良好，0.41–0.60 为中等，0.61–0.80 为优秀，0.80 以上几乎完美——但合适的水平取决于你的具体情况。

为什么我的Kappa系数很低，而认同度却很高？

当一个类别非常常见时，偶然一致性已经很高，因此 kappa 值会减去一个很大的基线，即使一致性百分比很高，kappa 值也可能很低。

何时应该使用加权kappa系数？

当类别有等级之分，且某些分歧比其他分歧更严重时，可以使用此功能，这样，接近错误的情况受到的惩罚就比严重错误的情况要轻。

结果与 R 和 SPSS 的结果一致吗？

是的。该计算器使用标准的观测值减去预期值公式，并显示 R 命令 (irr::kappa2)，以便您可以重现该值。

相关计算器

ICC（组内相关系数）相关性规模效应卡方检验置信区间我应该使用哪种检测方法？

案例

  1. Landis JR，Koch GG。 对分类数据的观察者一致性的测量。 生物识别技术. 1977;33(1):159–174. PMID 843571。
  2. 麦克休 ML。 评分者间信度：Kappa 统计量。 生物化学医学学院（萨格勒布）. 2012;22(3):276–282. PMID 23092060。
  3. Cohen J. 名义尺度的一致性系数。 教育心理测量. 1960;20(1):37–46.

需要对您的稿件进行这项分析吗？

我们的生物统计学博士计算评分者间信度——Cohen's 或加权 kappa 系数及置信区间——并提供可发表的一致性表格以及可重复的 R 输出。

获取专家统计帮助