ukuran kesepakatan antar penilai melampaui kebetulan
Kappa Cohen: Sebuah Ukuran Kesepakatan Antara Penilai
Dalam ranah statistik, memastikan akurasi dan keandalan penilaian data adalah yang terpenting. Ketika dua penilai mengkategorikan atau memberi label pada item, sangat penting untuk mengukur tingkat kesesuaian mereka. Di sinilah Kappa Cohen berperan. Dinamai berdasarkan psikolog Amerika Jacob Cohen, Kappa Cohen adalah metrik statistik yang kuat yang mengukur tingkat kesesuaian antara dua penilai yang mengklasifikasikan item ke dalam kategori yang saling eksklusif.
Mengapa Kappa Cohen Penting?
Kappa Cohen penting karena ia memperhitungkan kesepakatan yang terjadi secara kebetulan. Tidak seperti perhitungan persentase kesepakatan sederhana, yang tidak memperhitungkan kebetulan acak, Kappa Cohen memberikan representasi yang lebih akurat. Statistik ini digunakan secara luas dalam analisis konten, tes psikologis, klasifikasi pembelajaran mesin, diagnostik kesehatan, dan banyak lagi.
Memahami Rumus Kappa Cohen
Rumus Kappa Cohen adalah:
κ = (Po - Pe) / (1 - Pe\- κ adalah Kappa Cohen.
- po adalah kesepakatan yang diamati relatif di antara penilai.
- pe apakah probabilitas hipotetis dari kesepakatan kebetulan.
Meskipun rumus ini mungkin terlihat menakutkan pada pandangan pertama, membagi setiap komponen dapat membuatnya lebih mudah didekati.
Memahami Po (Kesepakatan yang Diamati)
po mewakili persentase kesepakatan yang diamati antara dua penilai. Ini dihitung dengan mengambil jumlah kali kedua penilai setuju dan membaginya dengan total jumlah item yang dinilai.
Memahami Pe (Kesepakatan Peluang)
pe menunjukkan probabilitas kedua penilai setuju murni berdasarkan kebetulan. Ini dihitung berdasarkan probabilitas marginal masing masing penilai mengklasifikasikan barang dalam kategori tertentu.
Contoh: Menghitung Kappa Cohen
Bayangkan dua dokter mendiagnosis serangkaian 100 pasien untuk suatu kondisi tertentu. Hasil klasifikasi mereka adalah:
- Kedua Dokter Setuju (Ya): 40 pasien
- Kedua Dokter Setuju (Tidak): 30 pasien
- Dokter A: Ya, Dokter B: Tidak 10 pasien
- Dokter A: Tidak, Dokter B: Ya: 20 pasien
Pertama, mari kita hitung Po{"": ""}
po = (40 + 30) / 100 = 0,70
Selanjutnya, kita menghitung PePertimbangkan bahwa:
- Tingkat Ya Dokter A: (40 + 10) / 100 = 0,50
- Tingkat Tidak Dokter A: (30 + 20) / 100 = 0.50
- Tingkat Ya Dokter B: (40 + 20) / 100 = 0.60
- Tidak ada tarif Dokter B: (30 + 10) / 100 = 0.40
Sekarang hitung Pe{"": ""}
pe = (0.50 * 0.60) + (0.50 * 0.40) = 0.50
Akhirnya, masukkan ini ke dalam rumus Kappa Cohen:
κ = (0,70 - 0,50) / (1 - 0,50) = 0,40
Nilai Kappa sebesar 0,40 menunjukkan tingkat kesepakatan yang moderat di luar kemungkinan.
Kesimpulan
Kappa Cohen menawarkan cara yang kuat untuk mengukur kesepakatan antar penilai sambil mempertimbangkan kemungkinan kesepakatan karena kebetulan. Ini adalah alat penting dalam banyak disiplin ilmu, memberikan kejelasan dan pemahaman dalam konteks di mana penilaian manusia memainkan peran penting. Dengan memahami komponen dan perhitungannya, para ahli statistik dan profesional dapat memanfaatkan metrik ini untuk menentukan keandalan dan konsistensi evaluator mereka.
Pertanyaan yang Sering Diajukan (FAQ)
- Apa nilai yang baik untuk Kappa Cohen?
Secara umum, nilai κ>0.75 dianggap sebagai kesepakatan yang sangat baik, 0.40<κ<0.75 dianggap sebagai kesepakatan yang adil hingga baik, dan κ<0.40 dianggap sebagai kesepakatan yang buruk.
- Apakah Kappa Cohen bisa negatif?
Ya, Kappa negatif menunjukkan kesepakatan yang lebih sedikit daripada yang diharapkan hanya berdasarkan kebetulan.
- Apakah Kappa Cohen berfungsi untuk lebih dari dua penilai?
Kappa Cohen secara khusus digunakan untuk dua penilai. Untuk lebih banyak penilai, pertimbangkan untuk menggunakan Kappa Fleiss.
Tags: Statistik, Analisis Data