ukuran kesepakatan antar penilai melampaui kebetulan
Cohen's Kappa: Ukuran Kesepakatan Antar-Penilai
Dalam bidang statistik, memastikan keakuratan dan keandalan penilaian data adalah yang terpenting. Saat dua penilai mengkategorikan atau memberi label pada item, penting untuk mengukur tingkat kesepakatan mereka. Di sinilah Cohen's Kappa berperan. Dinamai berdasarkan psikolog Amerika Jacob Cohen, Cohen's Kappa adalah metrik statistik kuat yang mengukur tingkat kesepakatan antara dua penilai yang mengklasifikasikan item ke dalam kategori yang saling eksklusif.
Mengapa Cohen's Kappa Penting?
Cohen's Kappa penting karena memperhitungkan kesepakatan yang terjadi secara kebetulan. Tidak seperti perhitungan persentase kesepakatan sederhana, yang tidak memperhitungkan peluang acak, Cohen's Kappa memberikan representasi yang lebih akurat. Statistik ini digunakan secara luas dalam analisis konten, tes psikologis, klasifikasi pembelajaran mesin, diagnostik perawatan kesehatan, dan banyak lagi.
Memahami Formula Kappa Cohen
Rumus untuk Kappa Cohen adalah:
κ = (Po - Pe) / (1 - Pe)- κ adalah Kappa Cohen.
- Po adalah kesepakatan relatif yang diamati di antara penilai.
- Pe adalah probabilitas hipotetis dari kesepakatan peluang.
Meskipun rumus ini mungkin tampak menakutkan pada pandangan pertama, memecah setiap komponen dapat membuatnya lebih mudah dipahami.
Memahami Po (Kesepakatan yang Diamati)
Po menunjukkan persentase kesepakatan yang diamati antara kedua penilai. Hal ini dihitung dengan mengambil jumlah kali kedua penilai setuju dan membaginya dengan jumlah total item yang dinilai.
Memahami Pe (Kesepakatan Peluang)
Pe merupakan probabilitas kedua penilai setuju secara kebetulan. Hal ini dihitung berdasarkan probabilitas marjinal setiap penilai yang mengklasifikasikan item dalam kategori tertentu.
Contoh: Menghitung Kappa Cohen
Bayangkan dua dokter mendiagnosis 100 pasien untuk kondisi tertentu. Hasil klasifikasi mereka adalah:
- Kedua Dokter Setuju (Ya): 40 pasien
- Kedua Dokter Setuju (Tidak): 30 pasien
- Dokter A: Ya, Dokter B: Tidak: 10 pasien
- Dokter A: Tidak, Dokter B: Ya: 20 pasien
Pertama, mari kita hitung Po:
Po = (40 + 30) / 100 = 0,70
Selanjutnya, kita hitung Pe. Pertimbangkan bahwa:
- Tingkat Ya Dokter A: (40 + 10) / 100 = 0,50
- Tingkat Tidak Dokter A: (30 + 20) / 100 = 0,50
- Tingkat Ya Dokter B: (40 + 20) / 100 = 0,60
- Tingkat Tidak Dokter B: (30 + 10) / 100 = 0,40
Sekarang hitung Pe:
Pe = (0,50 * 0,60) + (0,50 * 0,40) = 0,50
Terakhir, masukkan ini ke dalam rumus Kappa Cohen:
κ = (0,70 - 0,50) / (1 - 0,50) = 0,40
Nilai Kappa sebesar 0,40 ini menunjukkan tingkat persetujuan yang moderat di luar peluang.
Kesimpulan
Kappa Cohen menawarkan cara yang ampuh untuk mengukur persetujuan antar penilai sambil memperhitungkan kemungkinan persetujuan peluang. Ini adalah alat penting dalam banyak disiplin ilmu, memberikan kejelasan dan pemahaman dalam konteks di mana penilaian manusia memainkan peran penting. Dengan memahami komponen dan perhitungannya, ahli statistik dan profesional dapat memanfaatkan metrik ini untuk memastikan keandalan dan konsistensi evaluator mereka.
Pertanyaan Umum (FAQ)
- Berapa nilai yang baik untuk Cohen's Kappa?
Umumnya, nilai κ>0,75 dianggap sebagai kesesuaian yang sangat baik, 0,40<κ<0,75 dianggap sebagai kesesuaian yang cukup hingga baik, dan κ<0,40 dianggap sebagai kesesuaian yang buruk.
- Bisakah Cohen's Kappa bernilai negatif?
Ya, Kappa yang bernilai negatif menunjukkan kesesuaian yang lebih rendah dari yang diharapkan secara kebetulan saja.
- Apakah Cohen's Kappa berfungsi untuk lebih dari dua penilai?
Kappa Cohen khusus untuk dua penilai. Untuk lebih banyak penilai, pertimbangkan untuk menggunakan Kappa Fleiss.