Cohens Kappa: Messung der Übereinstimmung von Bewertern jenseits des Zufalls


Ausgabe: Berechnen drücken

Cohens-Kappa:-Ein-Maß-für-die-Übereinstimmung-zwischen-Bewertern

--

Im-Bereich-der-Statistik-ist-die-Sicherstellung-der-Genauigkeit-und-Zuverlässigkeit-von-Datenbewertungen-von-größter-Bedeutung.-Wenn-zwei-Bewerter-Elemente-kategorisieren-oder-kennzeichnen,-ist-es-entscheidend,-ihren-Grad-der-Übereinstimmung-zu-messen.-Hier-kommt-Cohens-Kappa-ins-Spiel.-Benannt-nach-dem-amerikanischen-Psychologen-Jacob-Cohen-ist-Cohens-Kappa-eine-robuste-statistische-Kennzahl,-die-den-Grad-der-Übereinstimmung-zwischen-zwei-Bewertern-quantifiziert,-die-Elemente-in-sich-gegenseitig-ausschließende-Kategorien-einteilen.

---

Warum-ist-Cohens-Kappa-wichtig?

-

Cohens-Kappa-ist-wichtig,-weil-es-die-Vereinbarung-berücksichtigt,-die-zufällig-auftreten-kann.-Im-Gegensatz-zu-einfachen-Prozentvereinbarungsberechnungen,-die-den-Zufall-nicht-berücksichtigen,-liefert-Cohens-Kappa-eine-genauere-Darstellung.-Diese-Statistik-wird-häufig-in-Inhaltsanalysen,-psychologischen-Tests,-maschinellen-Lernklassifikationen,-Gesundheitsdiagnosen-und-mehr-verwendet.

---

Das-Verständnis-der-Cohens-Kappa-Formel

-

Die-Formel-für-Cohens-Kappa-lautet:

-κ-=-(Po---Pe)-/-(1---Pe)-

-
    -
  • κ-ist-Cohens-Kappa.
    • -
  • Po-ist-die-relative-beobachtete-Übereinstimmung-unter-den-Bewertern.
    • -
  • Pe-ist-die-hypothetische-Wahrscheinlichkeit-einer-zufälligen-Übereinstimmung.
    • -
-

Während-diese-Formel-auf-den-ersten-Blick-einschüchternd-wirken-mag,-wird-sie-verständlicher,-wenn-man-jede-Komponente-aufschlüsselt.

---

Das-Verständnis-von-Po-(beobachtete-Übereinstimmung)

-

Po-repräsentiert-den-beobachteten-Prozentsatz-der-Übereinstimmung-zwischen-den-beiden-Bewertern.-Es-wird-berechnet,-indem-die-Anzahl-der-Übereinstimmungen-beider-Bewerter-durch-die-Gesamtzahl-der-bewerteten-Elemente-geteilt-wird.

---

Das-Verständnis-von-Pe-(zufällige-Übereinstimmung)

-

Pe-repräsentiert-die-Wahrscheinlichkeit,-dass-beide-Bewerter-rein-zufällig-übereinstimmen.-Dies-wird-auf-der-Grundlage-der-Randwahrscheinlichkeiten-berechnet,-dass-jeder-Bewerter-ein-Element-einer-bestimmten-Kategorie-zuordnet.

---

Beispiel:-Berechnung-von-Cohens-Kappa

-

Stellen-Sie-sich-vor,-zwei-Ärzte-diagnostizieren-eine-Reihe-von-100-Patienten-bezüglich-einer-bestimmten-Krankheit.-Ihre-Klassifizierungsergebnisse-sind:

-
    -
  • Beide-Ärzte-stimmen-überein-(Ja):-40-Patienten
    • -
  • Beide-Ärzte-stimmen-überein-(Nein):-30-Patienten
    • -
  • Arzt-A:-Ja,-Arzt-B:-Nein:-10-Patienten
    • -
  • Arzt-A:-Nein,-Arzt-B:-Ja:-20-Patienten
    • -
-

Berechnen-wir-zunächst-Po:

-

Po-=-(40-+-30)-/-100-=-0.70

-

Als-nächstes-berechnen-wir-Pe.-Betrachten-Sie,-dass:

-
    -
  • Arzt-A’s-Ja-Rate:-(40-+-10)-/-100-=-0.50
    • -
  • Arzt-A’s-Nein-Rate:-(30-+-20)-/-100-=-0.50
    • -
  • Arzt-B’s-Ja-Rate:-(40-+-20)-/-100-=-0.60
    • -
  • Arzt-B’s-Nein-Rate:-(30-+-10)-/-100-=-0.40
    • -
-

Berechnen-wir-nun-Pe:

-

Pe-=-(0.50-*-0.60)-+-(0.50-*-0.40)-=-0.50

-

Schließlich-setzen-wir-diese-Werte-in-die-Cohens-Kappa-Formel-ein:

-

κ-=-(0.70---0.50)-/-(1---0.50)-=-0.40

-

Dieser-Kappa-Wert-von-0.40-zeigt-ein-moderates-Übereinstimmungsniveau-über-den-Zufall-hinaus-an.

---

Fazit

-

Cohens-Kappa-bietet-ein-mächtiges-Mittel-zur-Messung-der-Übereinstimmung-zwischen-Bewertern,-während-die-Möglichkeit-einer-zufälligen-Übereinstimmung-berücksichtigt-wird.-Es-ist-ein-wesentliches-Werkzeug-in-vielen-Disziplinen-und-bietet-Klarheit-und-Verständnis-in-Kontexte,-in-denen-menschliches-Urteilsvermögen-eine-entscheidende-Rolle-spielt.-Durch-das-Verständnis-seiner-Komponenten-und-Berechnungen-können-Statistiker-und-Fachleute-diese-Kennzahl-nutzen,-um-die-Zuverlässigkeit-und-Konsistenz-ihrer-Bewerter-zu-bestimmen.

---

Häufig-gestellte-Fragen-(FAQ)

-
    -
  1. Was-ist-ein-guter-Wert-für-Cohens-Kappa?-

    Generell-werden-Werte-κ>0.75-als-hervorragende-Übereinstimmung-angesehen,-0.40<κ<0.75-als-faire-bis-gute-Übereinstimmung-und-κ<0.40-als-schlechte-Übereinstimmung.-

    -
    2. -
  2. Kann-Cohens-Kappa-negativ-sein?-

    Ja,-ein-negativer-Kappa-Wert-zeigt-eine-geringere-Übereinstimmung-als-erwartet-durch-reinen-Zufall-an.

    -
  3. Funktioniert Cohens Kappa für mehr als zwei Bewerter?

    Cohens Kappa ist speziell für zwei Bewerter. Für mehr Bewerter sollten Sie Fleiss’ Kappa verwenden.

Tags: Statistiken, Datenanalyse, Vereinbarung Messung