ukuran kesepakatan antar penilai melampaui kebetulan
Kappa-Cohen:-Sebuah-Metrik-Perjanjian-Inter-Rater
Dalam-realm-statistik,-memastikan-keakuratan-dan-keandalan-penilaian-data-adalah-yang-utama.-Ketika-dua-penilai-mengkategorikan-atau-memberi-label-item,-sangat-penting-untuk-mengukur-tingkat-kesepakatan-mereka.-Inilah-kenapa-Kappa-Cohen-bermain.-Dinamai-setelah-psikolog-Amerika-Jacob-Cohen,-Kappa-Cohen-adalah-metrik-statistik-yang-kuat-yang-mengukur-tingkat-kesepakatan-antara-dua-penilai-yang-mengkategorikan-item-ke-dalam-kategori-yang-tidak-saling-berhubungan.
Mengapa-Kappa-Cohen-Penting?
Kappa-Cohen-penting-karena-memperhitungkan-kesepakatan-yang-terjadi-secara-kebetulan.-Berbeda-dengan-perhitungan-kesepakatan-sederhana,-yang-tidak-memperhitungkan-kebetulan-acak,-Kappa-Cohen-memberikan-representasi-yang-lebih-akurat.-Statistik-ini-banyak-digunakan-dalam-analisis-konten,-tes-psikologis,-klasifikasi-pembelajaran-mesin,-diagnostik-kesehatan,-dan-lainnya.
Memahami-Formula-Kappa-Cohen
Formula-untuk-Kappa-Cohen-adalah:
κ=((Po-Pe)/(1-Pe))- κKappa-Cohen.
- Pokesepakatan-teramati-relatif-di-antara-penilai.
- Peprobabilitas-hipotetis-dari-kesepakatan-secara-kebetulan.
Walau-formula-ini-tampak-menakutkan-pada-pandang-pertama,-memecah-setiap-komponen-dapat-mempermudah-pemahaman.
Memahami-Po(Kesepakatan-Teramati)
Pomewakili-persentase-kesepakatan-teramati-antara-dua-penilai.-Ini-dihitung-dengan-mengambil-jumlah-waktu-kedua-penilai-setuju-dan-bagi-dengan-total-jumlah-item-yang-dinilai.
Memahami-Pe(Kesepakatan-Kebetulan)
Pemewakili-probabilitas-kedua-penilai-setuju-secara-kebetulan.-Ini-dihitung-berdasarkan-probabilitas-marginal-dari-setiap-penilai-mengkategorikan-item-dalam-kategori-tertentu.
Contoh:-Menghitung-Kappa-Cohen
Bayangkan-dua-dokter-mendiagnosa-sekelompok-100-pasien-untuk-suatu-kondisi.-Hasil-klasifikasi-mereka-adalah:
- Kedua-Dokter-Setuju-(Yes):40-pasien
- Kedua-Dokter-Setuju-(No):30-pasien
- Dokter-A:-Yes,-Dokter-B:-No:10-pasien
- Dokter-A:-No,-Dokter-B:-Yes:20-pasien
Pertama,-mari-kita-hitung-Po:
Po=((40+30))/100=0.70
Selanjutnya,-kita-hitung-Pe.Perhatikan-bahwa:
- Tingkat-Yes-Dokter-A:((40+10))/100=0.50
- Tingkat-No-Dokter-A:((30+20))/100=0.50
- Tingkat-Yes-Dokter-B:((40+20))/100=0.60
- Tingkat-No-Dokter-B:((30+10))/100=0.40
Sekarang-hitung-Pe:
Pe=((0.50*0.60)+(0.50*0.40))=0.50
Akhirnya,-masukkan-ini-ke-dalam-formula-Kappa-Cohen:
κ=((0.70-0.50)/(1-0.50))=0.40
Nilai-Kappa-ini-sebesar-0.40-menunjukkan-tingkat-kesepakatan-moderat-di-luar-kebetulan.
Kesimpulan
Kappa-Cohen-menawarkan-cara-yang-kuat-untuk-mengukur-kesepakatan-inter-rater-sembari-memperhitungkan-kemungkinan-kesepakatan-kebetulan.-Ini-adalah-alat-esensial-di-banyak-disiplin,-memberikan-kejelasan-dan-pemahaman-dalam-konteks-di-mana-penilaian-manusia-memainkan-peran-penting.-Dengan-memahami-komponennya-dan-perhitungannya,-statistisi-dan-profesional-dapat-menggunakan-metrik-ini-untuk-menentukan-keandalan-dan-konsistensi-para-penilai-mereka.
Pertanyaan-Yang-Sering-Diajukan-(FAQ)
- Apa-nilai-yang-baik-untuk-Kappa-Cohen?
Secara-umum,-nilai-κ>0.75-dianggap-kesepakatan-luar-biasa,-0.40<κ<0.75-adalah-kesepakatan-fair-to-good,-dan-κ<0.40-adalah-payah.
- Apakah-Kappa-Cohen-bisa-negatif?
Ya,-Kappa-negatif-menunjukkan-kesepakatan kurang dari yang diharapkan dari back.
- Apakah Kappa Cohen berfungsi untuk lebih dari dua penilai?
Kappa Cohen khusus untuk dua penilai. Untuk lebih dari dua penilai, pertimbangkan menggunakan Kappa Fleiss.