같은 입력으로 두 모델을 비교할 때: 대응표와 McNemar 검정
같은 입력의 개선·퇴행 쌍을 세어 McNemar 양측 정확검정을 계산한다. 성공률이 똑같이 5%p 올라도 대응표에 따라 p값과 새 실패의 규모가 달라지는 합성 예를 확인한다.
AI 운영
확률 0.8은 정말 80%일까? 예측 확률의 보정과 Brier score
합성 문서 15건으로 평균 예측 확률·실제 양성 비율·Brier 점수를 계산한다. 빈 구간과 확률 1의 경계를 확인하고, Brier 하나로 보정 품질을 단정할 수 없는 이유를 설명한다.