문서 AI가 질문에 필요한 근거를 찾지 못했다면, 더 자신 있게 다시 답하게 하기 전에 무엇이 부족한지 나눠야 한다. 이미 근거가 있는 부분은 범위를 밝혀 답하고, 사용자의 조건 하나로 적용 규정이 정해진다면 그 조건만 묻고, 문서에 없는 결론은 필요한 자료를 특정해 보류한다. 이 세 행동은 한 답변 안에 함께 들어갈 수 있다.
사내 안내나 제품 문서를 바탕으로 답변하는 도우미를 검수하는 담당자에게 필요한 기준이다. 답을 많이 하는 것과 보류를 많이 하는 것 중 하나를 목표로 삼기보다, 어떤 결론을 지금 전달할 수 있고 무엇이 확인돼야 나머지 답이 달라지는지 살펴본다.
문서가 관련 있다는 사실과 답이 있다는 사실은 다르다
SQuAD의 답할 수 없는 질문 연구는 질문과 관련된 문단에도 정답을 지지하는 내용이 없을 수 있음을 다룬다. 교육비 안내를 찾았다는 이유만으로 환급 비율이나 지급 확정 여부까지 답할 수 있는 것은 아니다. 이 연구는 2018년의 추출형 질의응답 과제이며, 당시 결과를 현재 문서 AI의 정확도로 옮겨 쓰지는 않는다.
실무에서는 질문을 ‘신청 가능 여부’, ‘필요한 승인’, ‘지원 금액’처럼 따로 확인할 수 있는 결론으로 나누면 부족한 근거의 위치가 드러난다. 다음 판단표와 예시는 연구의 분류를 그대로 구현한 제품 기능이나 직접 시험 결과가 아닌, 문서 답변을 검수하기 위한 제안이다.
가상 사례: 신청은 설명할 수 있지만 환급액은 모르는 경우
다음은 실제 회사 규정이나 모델 실행 결과가 아닌 설명용 가상 사례다. 확보한 확정 안내에 “국내 근무 정규직 직원은 수강 전 승인받은 외부 교육의 수강료 지원을 신청할 수 있다. 계약직은 별도 안내를 따른다”라고 적혀 있고, 지원 비율과 한도는 적혀 있지 않다고 하자. 사용자는 “교육을 듣고 싶은데 신청할 수 있나요? 얼마를 돌려받나요?”라고 묻는다.
이때 “정보가 부족합니다”만 답하면 이미 설명할 수 있는 신청 절차까지 버린다. 반대로 사용자를 정규직으로 가정하거나 수강료 전액을 환급한다고 답하면 원문에 없는 조건과 결과를 만든다. 다음과 같이 나누어 답할 수 있다.
확보한 안내는 국내 근무 정규직 직원이 수강 전 승인받은 외부 교육의 수강료 지원을 신청할 수 있다고 설명합니다. 이 안내의 적용 여부를 확인하려면 국내 근무 정규직에 해당하는지 알려 주세요. 이름이나 사번은 필요하지 않습니다. 지원 비율과 한도는 이 안내에 없어 환급액은 계산할 수 없으며, 금액 기준이 있는 별도 규정을 확인해야 합니다.
사용자가 해당 조건에 맞는다고 답해도 지원 금액이 저절로 밝혀지지는 않는다. 신청 자격의 한 조건을 확인한 것과 금액 근거를 확보한 것은 다른 진척이다. 또한 신청 가능을 개별 신청의 승인·지급 확정으로 바꾸지 않는다.
빠진 정보가 어디에 있는지로 다음 행동을 고른다
| 현재 부족한 것 | 판단할 질문 | 답변과 다음 행동 |
|---|---|---|
| 사용자의 적용 조건 | 알려진 규정 중 무엇을 적용할지가 이 조건으로 달라지는가? | 공통으로 설명할 수 있는 내용은 답한다. 결론을 바꾸는 조건만 구체적으로 묻는다. |
| 문서의 핵심 조항 | 사용자가 조건을 모두 답해도 결론을 낼 근거가 없는가? | 미확인 결론을 보류하고 필요한 조항·표·별도 안내를 특정한다. 같은 개인정보를 더 받아도 해결되지 않는다. |
| 이미 지지되는 일부 결론 | 미확인 부분과 분리해 전달해도 오해 없이 도움이 되는가? | 확인된 범위와 제외한 결론을 함께 제시한다. 전체 질문에 답한 것처럼 마감하지 않는다. |
| 찾은 발췌문의 앞뒤 맥락 | 필요한 각주나 표 머리글을 아직 안 읽은 것인가? | 허용된 원문 범위를 먼저 확인한다. 아직 못 찾은 상태를 ‘규정이 없음’으로 단정하지 않는다. |
| 같은 조건에서 충돌한 규칙의 우선 근거 | 대상·시점·확정 상태를 맞춘 뒤에도 상반되는가? | 쟁점 결론을 보류하고 충돌한 조항과 확인할 정본·담당을 남긴다. 다수결이나 중간값으로 새 규칙을 만들지 않는다. |
먼저 확보한 자료 안에 필요한 근거가 있는지 살피고, 부족분의 위치를 정한다. 사용자가 알 만한 조건이 빠졌다면 질문이 유효하지만, 안내 자체가 지급 비율을 설명하지 않는다면 근무 형태나 교육명을 계속 물어도 지급 비율은 나오지 않는다. 권한이 없는 문서를 확보하려고 열람 제한을 우회해서도 안 된다.
추가 질문은 답을 바꿀 수 있는 최소 조건으로 좁힌다
질문하기 전에 ‘이 답을 받으면 어느 판단이 달라지는가’를 적어 본다. 앞의 사례에서는 안내의 적용 조건인지가 필요하다. 실제 규정의 분기와 관계없는 이름, 사번, 전체 인사기록을 먼저 요구할 이유는 없다. 조건을 여러 번 나누어 묻거나 불필요한 개인정보를 받지 않도록 필요한 분기를 짧게 설명한다.
반드시 되물어야 하는 것도 아니다. 사용자가 개인 판정 대신 규정의 차이를 알고 싶다면 “국내 근무 정규직은 이 안내를 따르고, 계약직은 별도 안내가 필요합니다”처럼 조건별로 답할 수 있다. 선택지가 적고 공개 가능한 범위에서 충분히 설명된다면, 질문을 한 번 더 하는 것보다 조건부 설명이 유용할 수 있다.
사용자가 자신의 조건을 모르면 같은 질문을 반복하지 않는다. 그 조건을 확인할 수 있는 자료나 담당을 안내하고, 확인 전까지는 가능한 분기와 현재 답할 수 있는 범위를 남긴다. 문서가 ‘일반적인 안내’만 주는데 사용자에게 개별 승인 결과를 입력하게 해 답을 만든다면, AI가 문서를 바탕으로 판정한 것과 사용자 진술을 전달한 것을 구별해야 한다.
보류 문장에는 빠진 근거와 다시 판단할 조건을 넣는다
“환급액을 알 수 없습니다”보다 “현재 안내에는 지원 비율·한도가 없어 계산하지 않았습니다. 해당 교육과 신청 시점에 적용되는 금액 기준을 확인하면 다시 판단할 수 있습니다”가 다음 행동에 가깝다. 누가 답을 확정할 수 있는지 확인했다면 그 담당을 연결하고, 확인하지 않았다면 임의의 부서명이나 회신 기한을 만들지 않는다.
자료를 못 찾은 것과 제도 자체가 없는 것도 다르다. 현재 접근·검색 범위에서 근거를 확보하지 못했다면 그 범위를 밝힌다. 직접 확인한 예외가 아니라면 “지원되지 않는다”거나 “규정이 없다”고 바꾸지 않는다. 부분 답변도 남은 쟁점 때문에 결론이 뒤집힐 수 있다면 단정적 권고로 쓰지 말고, 확인된 조항의 설명으로 한정한다.
확신 점수보다 잘못 답한 경우와 지나치게 보류한 경우를 함께 본다
분포 변화에서의 선택적 질의응답 연구는 평가 대상이 달라질 때 모델 확률만으로 보류를 정하는 방법의 한계를 다룬다. 연구의 softmax 확률과 챗봇이 말로 출력한 “확신 90%”는 같은 값이 아니다. 말로 제시된 숫자만으로 업무용 합격선을 만들기보다 실제 질문과 근거로 응답 선택을 확인하는 편이 낫다.
LLM의 답변 보류 능력 연구도 답할 수 있는 질문과 없는 질문을 함께 평가하는 틀을 제안한다. 이 관점을 업무 검수에 적용하면 ‘근거 없는데 답함’뿐 아니라 ‘근거가 있는데 답하지 않음’도 별도로 살펴볼 수 있다. 이번 글은 해당 연구의 데이터나 모델을 직접 시험하지 않았으며 보편적인 임계값이나 성능 수치를 제시하지 않는다.
검수용 질문에는 답이 있는 사례, 사용자 조건 하나가 빠진 사례, 문서에 필요한 조항이 없는 사례, 일부만 답할 수 있는 사례를 넣을 수 있다. 각 사례에서 기대하는 답변 범위와 추가 질문을 먼저 적고, 실제 응답이 그 경계를 지키는지 본다. 보류율 하나만 낮추면 근거 없는 답이 늘 수 있고, 높이기만 하면 이미 제공할 수 있는 정보까지 사라질 수 있다. 같은 사례를 두고 수정 전후가 어떻게 달라졌는지는 프롬프트 변경 전 회귀 평가로 비교할 수 있다.
부분 답변을 쓰기 전에는 출처가 실제 주장을 어디까지 뒷받침하는지 확인한다. 필요한 문서는 있는데 적용 조건이 엇갈린다면 상충 문서의 적용 범위와 버전 판단을 먼저 거친다.
자주 묻는 질문
사용자가 추측이라도 해 달라고 하면 빈칸을 채워도 되나요?
문서에 따른 확정 답과 가정을 둔 설명을 구별한다. 가상 계산이 도움이 된다면 가정한 비율과 한도를 명시할 수 있지만, 그것을 실제 지급액이나 조직의 규칙으로 전달하지 않는다. 근거가 없는 승인·지급 결론을 자신 있는 말투로 대신하지 않는다.
추가 질문에 답을 받으면 바로 전체 답변을 완료해도 되나요?
그 답으로 해결된 분기만 다시 판단한다. 사용자의 적용 조건이 확인돼도 금액 조항이나 예외가 여전히 없을 수 있다. 새 답변에서도 확인된 부분과 남은 근거 부족을 분리한다.
다른 문서를 더 찾으면 항상 답할 수 있나요?
추가 자료가 도움이 될 수 있지만 정본에 해당 조항이 없거나 확정되지 않은 문제일 수도 있다. 이미 읽은 자료를 이름만 바꿔 반복 검색하기보다 빠진 근거가 무엇인지 특정한다. 허용 범위 안에서 필요한 자료를 확인한 뒤에도 결론이 정해지지 않으면 그 쟁점을 보류한다.