RAG 검색 평가: Recall@k와 MRR로 누락과 순위를 나누기
고정 문서 ID와 합성 검색 순위로 Recall@k·MRR@k를 계산한다. 전체 정답 분모, 질의 평균, 무정답·중복·청크 정책과 최종 답변 평가의 차이를 확인한다.
RAG
RAG에서 권한 반영과 운영 대응은 어떻게 설계해야 품질 사고를 줄일 수 있을까
RAG 운영에서 권한 반영은 보안 설정의 부속 문제가 아니라 품질 사고를 줄이는 핵심 운영 설계다. 검색 결과에 무엇이 보여야 하는지보다 누가 무엇을 보면 안 되는지가 늦게 반영되면 서비스 신뢰는 빠르게 무너진다. 접근 권한 변경, 문서 공개 범위 수정, 예외 처리 흐름을 검색 파이프라인과 따로 놓고 보면 품질 사고를 반복하기 쉽다. 운영 대응은 “문제가 생기면 고친다”가 … 더 읽기