科恩协同系数：测量评估者间超过机会的协议
科恩的卡帕：评估评估者一致性的指标
在统计学领域，确保数据评估的准确性和可靠性至关重要。当两个评分者对项目进行分类或标记时，衡量他们的一致性水平是关键。这就是科恩的Kappa发挥作用的地方。科恩的Kappa以美国心理学家雅各布·科恩的名字命名，是一种强大的统计指标，用于量化两个对项目进行分类的评分者之间在互斥类别中的一致性水平。
Cohen's Kappa 之所以重要，是因为它提供了一种衡量分类者之间一致性的方法。它不仅考虑了观察到的协议，还考虑了由于随机分类可能产生的协议。通过量化分类者之间的一致性，Kappa 可以帮助研究人员了解模型的可靠性和有效性，在进行分类任务时提供更有意义的数据分析。此外，在评估机器学习模型的表现时，Cohen's Kappa 也是一个广泛使用的指标，特别是在样本不均衡的情况下。
科恩的卡帕（Cohen's Kappa）之所以重要，是因为它考虑了由于偶然性造成的协议。与简单的百分比协议计算不同，后者不考虑随机偶然性，科恩的卡帕提供了更准确的表示。这一统计量广泛应用于内容分析、心理测试、机器学习分类、医疗诊断等领域。
理解科恩的卡帕公式
Cohen's Kappa的公式是：
κ = (P哦 - Pe) / (1 - Pe不明- κ 是科恩的卡帕系数。
- P哦 是评估者之间相对观察到的一致性。
- Pe 假设的机会协议的概率是什么。
虽然这个公式乍一看可能看起来令人生畏，但分解每个组成部分可以让它更易于理解。
理解 P哦 （观察到的协议）
P哦 表示两个评分者之间观察到的一致性百分比。它通过计算两个评分者一致的次数并将其除以评分项目的总数来得出。
理解 Pe （机会协议）
Pe 代表两个评论者纯粹因为偶然而达成一致的概率。这是基于每个评论者将项目分类为特定类别的边际概率计算得出的。
计算科恩的卡帕系数
想象两位医生对100名患者进行某种病症的诊断。他们的分类结果如下：
- 两位医生同意（是的）: 40名患者
- 两位医生都不同意（否）： 30名患者
- 医生 A: 是的，医生 B: 不是 10名患者
- 医生A：不，医生B：是的。 20名患者
首先，我们来计算 P哦翻译
P哦 = (40 + 30) / 100 = 0.70
接下来，我们计算 Pe考虑到：
- 医生A的同意率： (40 + 10) / 100 = 0.50
- 医生A的无评级： (30 + 20) / 100 = 0.50
- 医生B的同意率： (40 + 20) / 100 = 0.60
- 医生 B 的无费率： (30 + 10) / 100 = 0.40
现在计算 Pe翻译
Pe = (0.50 * 0.60) + (0.50 * 0.40) = 0.50
最后，将这些代入Cohen's Kappa公式中：
κ = (0.70 - 0.50) / (1 - 0.50) = 0.40
这个Kappa值为0.40表明超出偶然的中等程度一致性。
结论
科恩的卡帕提供了一种强有力的手段来测量评估者之间的协议，同时考虑到偶然一致的可能性。它是许多学科中的一个重要工具，在人类判断发挥关键作用的情况下，提供了清晰和理解。通过了解其组成部分和计算方法，统计学家和专业人士可以利用这一指标来确定评估者的可靠性和一致性。
常见问题 (FAQ)
- Cohen's Kappa的良好值是多少？
通常，κ>0.75 的值被认为是优良的一致性，0.40<κ<0.75 被认为是一致性一般到良好，而 κ<0.40 则表示一致性差。
- 科恩的卡帕值会是负数吗？
是的，负Kappa值表示一致性低于仅由随机机会所预期的水平。
- Cohen's Kappa是否适用于超过两个评分者的情况？
科恩的Kappa专门用于两个评分者。对于更多的评分者，请考虑使用弗莱斯的Kappa。