프롬프트를 고친 뒤 더 좋아졌는지 어떻게 확인할까
한 번 잘 나온 답변만으로 프롬프트 개선을 판단하기 어렵다. 같은 입력과 기준으로 이전·수정 버전을 비교하고, 새로 생긴 실패와 운영 조건까지 확인하는 회귀 평가 방법을 정리한다.
품질
LLM 품질 문제는 어떤 신호를 보면 원인을 더 빨리 좁힐 수 있을까
LLM 품질 문제를 빨리 좁히려면 답이 나빠졌다는 느낌보다 어떤 신호가 함께 흔들렸는지를 먼저 읽어야 한다. 같은 품질 저하라도 모델 문제, 검색 문맥 문제, 프롬프트 문제, 서비스 연결 문제는 서로 다른 신호 조합을 남긴다. 요청 로그, 평가 점수, 단계 추적을 따로 보지 말고 같은 요청 단위로 겹쳐 읽어야 원인 분리가 빨라진다. 지연, 오류율, 문맥 누락, 평가 … 더 읽기