프롬프트를 고친 뒤 더 좋아졌는지 어떻게 확인할까
한 번 잘 나온 답변만으로 프롬프트 개선을 판단하기 어렵다. 같은 입력과 기준으로 이전·수정 버전을 비교하고, 새로 생긴 실패와 운영 조건까지 확인하는 회귀 평가 방법을 정리한다.
프롬프트
LLM 서비스 품질이 흔들릴 때 왜 모델보다 관측 체계부터 봐야 할까
LLM 서비스 품질 문제는 모델이 약해졌다는 뜻보다 먼저 어디에서 흔들리는지 보이지 않는 상태일 때 더 커진다. 답변이 흔들릴 때 바로 모델 교체를 검토하면 원인과 처방이 어긋나기 쉽다. 로그, 평가, 추적은 각각 다른 장면을 보여 주지만 셋을 함께 봐야 품질 이상을 해석할 수 있다. 첫 판단 기준은 단순하다. 문제가 특정 흐름에 몰리면 파이프라인을 먼저 보고, 전반적으로 … 더 읽기