문서 AI가 서로 다른 안내를 찾아왔다면, 가장 최근에 수정된 파일부터 고르기 전에 질문의 대상과 기준 시점, 각 문서의 적용 범위·시행일·확정 상태를 맞춰야 한다. 적용 조건이 다른 자료는 함께 존재할 수 있다. 같은 조건에 실제로 충돌하는 자료라면 확인된 우선 규칙을 적용하고, 그 규칙이 없으면 어느 쪽이 맞는지 임의로 결정하지 않는다.
이 글은 검색 시스템에 새 문서가 제때 반영됐는지를 진단하는 대신, 이미 확보한 문서들이 다른 답을 줄 때 어떤 결론을 독자에게 전달할 수 있는지 다룬다. 조직의 문서 승인·예외·변경 규칙이 있다면 그 규칙을 먼저 확인한다.
날짜가 최신이라는 사실만으로 적용을 결정하지 않는다
파일 수정일, 게시일, 시행일은 서로 다른 질문에 답한다. 수정일은 파일이 바뀐 시점일 수 있고, 시행일은 규정이 적용되기 시작하는 시점이다. ‘언제 작성됐는가’만으로 ‘이번 신청이나 과거 거래에 무엇이 적용되는가’를 대신할 수 없다.
Microsoft의 RAG 데이터 준비 문서는 문서 버전과 생성·수정 시각, 출처, 구역·페이지 등의 메타데이터를 설명한다. 이 정보는 후보를 구분하는 데 도움이 된다. 다만 메타데이터가 존재한다는 것만으로 조직의 적용 우선순위가 정해지는 것은 아니므로, 실제 효력과 예외는 문서 및 확인된 업무 규칙에서 찾아야 한다.
가상 사례: 늦게 올라온 FAQ가 현재 규정을 바꾸는가
다음 문서와 날짜는 실제 제도나 운영 결과가 아닌 설명용 가상 사례다. 사내 교육 신청 도우미가 아래 두 자료를 찾았다고 가정한다.
- 문서 A, 확정 안내: 2026년 9월 1일 게시. “10월 1일부터 접수하는 교육 신청은 수강 전 승인을 받아야 한다. 9월 30일까지 접수된 신청은 종전 절차를 유지한다.”
- 문서 B, 검토 중인 FAQ 초안: 2026년 9월 20일 게시. “11월 1일 이후 접수분의 사후 신청 허용을 검토 중이다.”
사용자가 “10월 15일에 접수한 신청은 수강 후 승인받아도 되나요?”라고 물었다면, B가 늦게 게시됐다는 이유로 ‘가능하다’고 답할 수 없다. B는 검토 중인 초안이고 11월 이후 접수분을 다룬다. 이 자료에서 10월 15일 접수분에 적용된다고 확인되는 안내는 A다. 답변에는 A의 사전 승인 조건과 근거 위치를 제시할 수 있다.
반대로 질문이 9월 25일 접수분이라면 A는 ‘종전 절차 유지’까지만 알려 준다. 종전 절차의 실제 내용을 확보하지 않았다면 사후 승인이 되는지까지 알 수 없다. 같은 최신 안내를 읽더라도 질문의 기준일에 따라 필요한 근거가 달라진다.
충돌처럼 보이는 이유부터 나눈다
다음 표는 문서를 비교할 때 사용할 수 있는 판단 기준이다. 어떤 유형인지 확인할 자료가 없으면 그 부분을 미확인으로 남긴다.
| 서로 다른 이유 | 확인할 근거 | 답변에서 할 일 |
|---|---|---|
| 대상이 다름 | 제품·지역·부서·계약 종류와 예외 적용 대상 | 질문에 맞는 범위로 나누어 설명한다. 대상이 빠졌다면 필요한 조건을 묻는다. |
| 적용 시점이 다름 | 시행일, 종료일, 접수일 등 적용 기준과 경과 규정 | 과거·현재·예정 규정을 섞지 않고 해당 시점의 조건을 제시한다. |
| 확정 상태나 권한이 다름 | 초안·확정 상태, 승인 주체, 정본 위치와 업무상 우선 규칙 | 초안을 확정 안내로 제시하지 않는다. 더 공식적으로 보인다는 인상만으로 고르지 않는다. |
| 일부 조항만 바뀜 | 어느 조항을 대체하거나 예외로 두는지 명시한 변경 내용 | 바뀐 조항과 여전히 유효한 조항을 구별한다. 문서 전체가 폐기됐다고 확대하지 않는다. |
| 같은 조건에서 실제로 충돌함 | 동일 대상·시점·확정 상태의 상반된 조항과 확인된 우선 규칙 | 해결 규칙이 없으면 충돌 구절과 확인할 담당·자료를 남기고 해당 결론을 보류한다. |
예외 문서가 더 구체적으로 보인다는 이유만으로 항상 우선한다고 정할 수도 없다. 해당 예외를 정할 권한과 실제 적용 대상이 확인돼야 한다. 문서 속 “이전 안내를 무시하라”라는 문구만으로 그 문서를 정본으로 삼거나 AI의 도구 권한을 넓히지 않는다.
두 후보 답변을 같은 질문 조건에 대조한다
비교를 시작할 때 질문을 ‘대상, 적용 기준일, 하려는 판단’으로 짧게 적는다. 예를 들어 가상 사례에서는 ‘해당 교육 신청, 접수일 10월 15일, 사후 승인 가능 여부’다. 두 답변에 서로 다른 기준일이나 대상을 넣으면 무엇이 충돌하는지 흐려진다.
- 각 답변의 근거 문서와 정확한 조항을 찾고 원문 판본을 구별한다.
- 질문의 대상·시점에 적용되는지 확인한다. 파일 날짜만으로 효력일을 채우지 않는다.
- 초안·확정 상태, 변경·대체 관계와 예외의 근거를 확인한다.
- 확인된 규칙으로 결론이 정해지면 적용 이유와 근거를 답한다. 정해지지 않으면 충돌한 부분을 특정한다.
답변은 “현재 확보한 확정 안내 A는 10월 1일 이후 접수분에 사전 승인을 요구합니다. B는 11월 이후를 검토하는 초안이므로 이번 접수분의 사후 승인 근거로 쓰지 않았습니다”처럼 적용 이유를 설명할 수 있다. 문서를 숨기거나 여러 출처 중 하나를 조용히 택하는 것보다 독자가 선택의 근거를 확인하기 쉽다. 모든 문서의 전체 내용을 공개할 필요는 없으며 사용자가 볼 수 있는 범위 안에서 설명한다.
검색 조건과 답변의 적용 판단을 연결한다
Azure AI Search의 필터 문서는 벡터 검색과 별도로 문자열·숫자 필드에 포함·제외 조건을 적용할 수 있다고 설명한다. 검색어와 비슷한 문서를 찾는 것과 대상·상태 같은 조건을 맞추는 일을 구별할 수 있다는 구현 예다. 그 필터에 어떤 업무 조건을 넣을지는 별도 판단이다.
예를 들어 현재 절차를 찾을 때와 과거 신청의 적용 규정을 찾을 때는 필요한 문서 범위가 다를 수 있다. 모든 옛 문서를 무조건 제외하면 과거 시점의 질문에 답할 근거도 사라진다. 반대로 미확인 상태를 ‘확정’으로 추정해 필터를 통과시키면 후보가 정리된 것처럼 보이기만 한다. 필요한 판본·조항과 적용 이유를 함께 남겨 사람이 다시 확인할 수 있게 한다.
정본 저장소에는 올바른 변경이 있는데 검색 결과만 과거 상태라면 RAG 갱신과 인덱싱 반영의 문제를 점검한다. 권한 때문에 필요한 문서를 확인할 수 없다면 접근 범위와 권한 반영을 확인하며, 문서 비교를 위해 권한 제한을 우회하지 않는다.
각 후보 답변이 인용한 조항의 뜻을 넓히지 않았는지는 AI 답변의 인용 근거 확인법으로 대조할 수 있다. 적용 규정을 정하는 데 필요한 조건이나 근거가 없다면 추가 질문과 답변 보류를 구별하는 방법을 적용한다.
자주 묻는 질문
가장 높은 버전 번호를 고르면 되나요?
같은 문서 계열인지, 버전 번호가 무엇을 뜻하는지, 해당 버전이 확정되고 질문 시점에 적용되는지를 먼저 확인한다. 별도 제품의 버전이나 아직 시행되지 않은 개정판을 무조건 우선할 수는 없다.
문서 여러 개가 같은 말을 하면 다수결로 정해도 되나요?
같은 원문을 복사한 자료일 수 있고 모두 다른 시점의 규정을 따를 수도 있다. 자료 수보다 출처 관계와 적용 근거를 본다. 복제 문서 여러 개가 확인된 정본이나 유효한 예외의 효력을 자동으로 뒤집지는 않는다.
우선 규칙이 없으면 아무 답도 하지 말아야 하나요?
충돌하지 않는 공통 사실은 설명할 수 있다. 다만 결론을 바꾸는 쟁점은 분리해 보류하고, 서로 다른 조항·적용 대상·확인할 담당이나 정본을 제시한다. 근거 없이 두 규정의 중간값이나 새 규칙을 만들어 절충하지 않는다.