Cohens Kappa: Messung der Übereinstimmung von Bewertern jenseits des Zufalls
Cohens Kappa: Ein Maß für die Übereinstimmung zwischen Bewertern
Im Bereich der Statistik ist die Gewährleistung der Genauigkeit und Zuverlässigkeit von Datenbewertungen von größter Bedeutung. Wenn zwei Bewerter Elemente kategorisieren oder benennen, ist es entscheidend, ihren Übereinstimmungsgrad zu messen. Hier kommt Cohens Kappa ins Spiel. Cohens Kappa wurde nach dem amerikanischen Psychologen Jacob Cohen benannt und ist eine robuste statistische Metrik, die den Übereinstimmungsgrad zwischen zwei Bewertern quantifiziert, die Elemente in sich gegenseitig ausschließende Kategorien einordnen.
Warum ist Cohens Kappa wichtig?
Cohens Kappa ist wichtig, weil es die zufällige Übereinstimmung berücksichtigt. Im Gegensatz zu einfachen Berechnungen der prozentualen Übereinstimmung, die den Zufall nicht berücksichtigen, bietet Cohens Kappa eine genauere Darstellung. Diese Statistik wird häufig in der Inhaltsanalyse, bei psychologischen Tests, der Klassifizierung durch maschinelles Lernen, in der Gesundheitsdiagnostik und vielem mehr verwendet.
Die Cohen-Kappa-Formel verstehen
Die Formel für Cohens Kappa lautet:
κ = (Po - Pe) / (1 - Pe)- κ ist Cohens Kappa.
- Po ist die relative beobachtete Übereinstimmung unter den Bewertern.
- Pe ist die hypothetische Wahrscheinlichkeit einer zufälligen Übereinstimmung.
Diese Formel mag auf den ersten Blick einschüchternd wirken, aber wenn man sie in ihre einzelnen Komponenten aufschlüsselt, wird sie leichter verständlich.
Po (beobachtete Übereinstimmung) verstehen
Po stellt den beobachteten Prozentsatz der Übereinstimmung zwischen den beiden Bewertern dar. Er wird berechnet, indem die Anzahl der Übereinstimmungen beider Bewerter durch die Gesamtzahl der bewerteten Elemente geteilt wird.
Pe verstehen (Zufallsübereinstimmung)
Pe stellt die Wahrscheinlichkeit dar, dass beide Bewerter rein zufällig übereinstimmen. Er wird auf Grundlage der Randwahrscheinlichkeiten berechnet, mit denen jeder Bewerter ein Element in eine bestimmte Kategorie einordnet.
Beispiel: Berechnung von Cohens Kappa
Stellen Sie sich zwei Ärzte vor, die bei 100 Patienten eine bestimmte Krankheit diagnostizieren. Ihre Klassifizierungsergebnisse sind:
- Beide Ärzte stimmen zu (Ja): 40 Patienten
- Beide Ärzte stimmen zu (Nein): 30 Patienten
- Arzt A: Ja, Arzt B: Nein: 10 Patienten
- Arzt A: Nein, Arzt B: Ja: 20 Patienten
Berechnen wir zunächst Po:
Po = (40 + 30) / 100 = 0,70
Als Nächstes berechnen wir Pe. Bedenken Sie Folgendes:
- Ja-Rate von Arzt A: (40 + 10) / 100 = 0,50
- Nein-Rate von Arzt A: (30 + 20) / 100 = 0,50
- Ja-Rate von Arzt B: (40 + 20) / 100 = 0,60
- Nein-Rate von Arzt B: (30 + 10) / 100 = 0,40
Berechnen Sie nun Pe:
Pe = (0,50 * 0,60) + (0,50 * 0,40) = 0,50
Setzen Sie diese schließlich ein in die Cohen-Kappa-Formel:
κ = (0,70 - 0,50) / (1 - 0,50) = 0,40
Dieser Kappa-Wert von 0,40 weist auf ein moderates Maß an Übereinstimmung hin, das über den Zufall hinausgeht.
Fazit
Cohens Kappa bietet ein leistungsstarkes Mittel, um die Übereinstimmung zwischen Bewertern zu messen und gleichzeitig die Möglichkeit einer zufälligen Übereinstimmung zu berücksichtigen. Es ist ein wichtiges Instrument in vielen Disziplinen und sorgt für Klarheit und Verständnis in Kontexten, in denen das menschliche Urteil eine entscheidende Rolle spielt. Durch das Verständnis seiner Komponenten und Berechnungen können Statistiker und Fachleute diese Metrik nutzen, um die Zuverlässigkeit und Konsistenz ihrer Bewerter sicherzustellen.
Häufig gestellte Fragen (FAQ)
- Was ist ein guter Wert für Cohens Kappa?
Im Allgemeinen gelten Werte von κ>0,75 als ausgezeichnete Übereinstimmung, 0,40<κ<0,75 als mittelmäßige bis gute Übereinstimmung und κ<0,40 als schlechte Übereinstimmung.
- Kann Cohens Kappa negativ sein?
Ja, ein negatives Kappa weist auf eine geringere Übereinstimmung hin als allein durch Zufall zu erwarten.
- Funktioniert Cohens Kappa für mehr als zwei Bewerter?
Cohens Kappa ist speziell für zwei Bewerter. Für mehr Bewerter sollten Sie Fleiss' Kappa verwenden.