사람 검토자 90% 일치면 충분할까? Cohen의 kappa 계산
두 검토자의 관측 일치율이 똑같이 90%인 합성표에서 주변분포에 따라 kappa가 달라지는 이유를 계산한다. 기대 일치·정의 불가 경계·정답 정확도와의 차이를 설명한다.
인공지능, IT
인공지능(AI)과 IT 분야 정보 모음
이 카테고리 글 목록
같은 입력으로 두 모델을 비교할 때: 대응표와 McNemar 검정
같은 입력의 개선·퇴행 쌍을 세어 McNemar 양측 정확검정을 계산한다. 성공률이 똑같이 5%p 올라도 대응표에 따라 p값과 새 실패의 규모가 달라지는 합성 예를 확인한다.