科恩协同系数：测量评估者间超过机会的协议
科恩 Kappa：一种衡量评分者间一致性的方法
在统计领域，确保数据评估的准确性和可靠性至关重要。当两个评分者对项目进行分类或标记时，衡量他们的一致性水平至关重要。这就是科恩 Kappa 发挥作用的地方。科恩 Kappa 以美国心理学家 Jacob Cohen 的名字命名，是一种强大的统计指标，可以量化将项目归类为互斥类别的两个评分者之间的一致性水平。
为什么科恩 Kappa 很重要？
科恩 Kappa 很重要，因为它考虑了偶然发生的一致性。与不考虑随机机会的简单百分比一致性计算不同，科恩 Kappa 提供了更准确的表示。该统计数据广泛应用于内容分析、心理测试、机器学习分类、医疗诊断等。
了解科恩 Kappa 公式
科恩 Kappa 公式为：
κ = (Po - Pe) / (1 - Pe)
- κ 是 Cohen 的 Kappa。
- Po 是评估者之间观察到的相对一致性。
- Pe 是偶然一致性的假设概率。
虽然这个公式乍一看可能令人生畏，但分解每个组成部分可以使其更容易理解。
了解 Po（观察到的一致性）
Po 表示两个评估者之间观察到的一致性百分比。计算方法是将两位评分者同意的次数除以评分项目总数。
了解 Pe（机会一致性）
Pe 表示两位评分者完全偶然同意的概率。这是根据每个评分者将项目归类为特定类别的边际概率计算得出的。
示例：计算 Cohen's Kappa
想象一下两位医生对一组 100 名患者进行特定病症的诊断。他们的分类结果是：
- 两位医生都同意（是）：40 名患者
- 两位医生都同意（否）：30 名患者
- 医生 A：是，医生 B：否：10 名患者
- 医生 A：否，医生 B：是：20 名患者
首先，我们来计算 Po：
Po = (40 + 30) / 100 = 0.70
接下来，我们计算 Pe。考虑一下：
- 医生 A 的“是”率： (40 + 10) / 100 = 0.50
- 医生 A 的“否”率： (30 + 20) / 100 = 0.50
- 医生 B 的“是”率： (40 + 20) / 100 = 0.60
- 医生 B 的“否”率： (30 + 10) / 100 = 0.40
现在计算 Pe：
Pe = (0.50 * 0.60) + (0.50 * 0.40) = 0.50
最后，将这些代入Cohen 的 Kappa 公式：
κ = (0.70 - 0.50) / (1 - 0.50) = 0.40
Kappa 值为 0.40，表示超出偶然性的中等程度的一致性。
结论
Cohen 的 Kappa 提供了一种强大的方法来衡量评分者之间的一致性，同时考虑到偶然一致性的可能性。它是许多学科中必不可少的工具，在人类判断起着关键作用的情况下提供清晰度和理解力。通过了解其组成部分和计算，统计学家和专业人士可以利用此指标来确定其评估者的可靠性和一致性。
常见问题 (FAQ)
- Cohen's Kappa 的良好值是多少？
通常，κ>0.75 的值被认为是极好的一致性，0.40<κ<0.75 是一般到良好的一致性，而 κ<0.40 则为较差。
- Cohen's Kappa 可以为负数吗？
是的，负 Kappa 表示一致性低于偶然预期。
- Cohen's Kappa 是否适用于两个以上的评估者？
Cohen's Kappa 专门针对两名评分者。对于更多评分者，请考虑使用 Fleiss' Kappa。