Каппа Коэна измерение согласия между экспертами сверх случайности
Каппа-Коэна:-мера-согласия-между-оценщиками
В-области-статистики-обеспечение-точности-и-надёжности-оценок-данных-является-первостепенной-задачей.-Когда-два-оценщика-категоризируют-или-маркируют-элементы,-важно-измерить-уровень-их-согласия.-Здесь-вступает-в-игру-каппа-Коэна.-Названный-в-честь-американского-психолога-Джейкоба-Коэна,-каппа-Коэна-представляет-собой-надёжный-статистический-показатель,-который-количественно-оценивает-уровень-согласия-между-двумя-оценщиками,-классифицирующими-элементы-в-взаимоисключающие-категории.
Зачем-нужна-каппа-Коэна?
Каппа-Коэна-важна,-потому-что-она-учитывает-согласие,-которое-может-возникнуть-случайно.-В-отличие-от-простых-расчётов-процентного-согласия,-которые-не-учитывают-случайное-совпадение,-каппа-Коэна-предоставляет-более-точное-представление.-Этот-показатель-широко-используется-в-контент-анализе,-психологических-тестах,-машинном-обучении,-диагностике-в-здравоохранении-и-других-областях.
Понимание-формулы-каппы-Коэна
Формула-для-каппы-Коэна-выглядит-так:
κ-=-(Po---Pe)-/-(1---Pe)- κ-—-это-каппа-Коэна.
- Po-—-это-относительное-наблюдаемое-согласие-между-оценщиками.
- Pe-—-это-гипотетическая-вероятность-согласия-по-случайному-совпадению.
Хотя-эта-формула-может-показаться-устрашающей-на-первый-взгляд,-разбивка-каждого-компонента-может-сделать-ее-более-понятной.
Понимание-Po-(наблюдаемое-согласие)
Po-представляет-собой-наблюдаемый-процент-согласия-между-двумя-оценщиками.-Это-рассчитывается-путём-деления-количества-раз,-когда-оба-оценщика-согласились,-на-общее-количество-оцененных-элементов.
Понимание-Pe-(согласие-по-случайности)
Pe-представляет-собой-вероятность-того,-что-оба-оценщика-согласятся-чисто-случайно.-Это-рассчитывается-на-основе-маргинальных-вероятностей-каждого-оценщика-классифицировать-элемент-в-определённую-категорию.
Пример:-расчёт-каппы-Коэна
Представьте,-что-два-врача-диагностируют-набор-из-100-пациентов-на-наличие-определённого-условия.-Их-результаты-классификации-следующие:
- Оба-врача-согласны-(да):-40-пациентов
- Оба-врача-согласны-(нет):-30-пациентов
- Врач-А:-да,-Врач-Б:-нет:-10-пациентов
- Врач-А:-нет,-Врач-Б:-да:-20-пациентов
Сначала-рассчитаем-Po:
Po-=-(40-+-30)-/-100-=-0.70
Далее-рассчитаем-Pe.-Учитывайте,-что:
- Ставка-«да»-у-врача-А:-(40-+-10)-/-100-=-0.50
- Ставка-«нет»-у-врача-А:-(30-+-20)-/-100-=-0.50
- Ставка-«да»-у-врача-Б:-(40-+-20)-/-100-=-0.60
- Ставка-«нет»-у-врача-Б:-(30-+-10)-/-100-=-0.40
Теперь-рассчитаем-Pe:
Pe-=-(0.50-*-0.60)-+-(0.50-*-0.40)-=-0.50
Наконец,-подставьте-эти-значения-в-формулу-каппы-Коэна:
κ-=-(0.70---0.50)-/-(1---0.50)-=-0.40
Это-значение-каппы-0.40-указывает-на-умеренный-уровень-согласия,-превышающий-случайное-совпадение.
Заключение
Каппа-Коэна-предлагает-мощный-способ-измерения-согласия-между-оценщиками,-принимая-во-внимание-возможность-случайного-совпадения.-Это-важный-инструмент-во-многих-дисциплинах,-обеспечивающий-ясность-и-понимание-в-контекстах,-где-человеческое-суждение-играет-решающую-роль.-Понимая-его-компоненты-и-расчёты,-статистики-и-специалисты-могут-использовать-этот-показатель,-чтобы-определить-надёжность-и-согласованность-своих-оценщиков.
Часто-задаваемые-вопросы-(FAQ)
- Какова-хорошая-стоимость-каппы-Коэна?
Обычно-значения-κ>0,75-считаются-отличным-согласием,-0,40<κ<0,75-—-удовлетворительным-до-хорошего,-а-κ<0,40-—-плохим.
- Может-ли-каппа-Коэна-быть-отрицательной?
Да,-отрицательная-каппа-указывает-на-меньшее согласие, чем ожидалось бы случайно.
- Работает ли каппа Коэна для более чем двух оценщиков?
Каппа Коэна рассчитана специально для двух оценщиков. Для большего количества оценщиков рассмотрите использование каппы Флейса.