확률 0.8은 정말 80%일까? 예측 확률의 보정과 Brier score
합성 문서 15건으로 평균 예측 확률·실제 양성 비율·Brier 점수를 계산한다. 빈 구간과 확률 1의 경계를 확인하고, Brier 하나로 보정 품질을 단정할 수 없는 이유를 설명한다.
실패 0건이면 안전할까? 단측 95% 상한과 3/n 계산
100건에서 실패 0건이면 관측 실패율은 0%지만, 이항 가정의 단측 95% 상한은 약 2.95%다. 정확식·3/n 근사와 독립성·고정 표본 수·빈도주의 해석을 구별한다.