AI 답변에 출처가 붙어도 틀릴 수 있다: 인용 근거 확인법

문서 AI의 답변에 출처 링크가 붙어 있어도, 그 문장이 출처의 뜻을 정확히 옮겼다는 보장은 없다. 확인할 것은 인용한 구절이 실제로 존재하는지, 그리고 그 구절이 답변의 대상·조건·결론을 어디까지 뒷받침하는지다. 특히 ‘일부’를 ‘모두’로, ‘신청할 수 있다’를 ‘승인된다’로 바꾼 답변은 출처가 있어도 그대로 쓰기 어렵다.

사내 안내문이나 제품 문서를 근거로 답변을 검수하는 담당자라면, 답변 전체의 인상보다 검증할 수 있는 주장 하나씩을 원문에 연결하는 편이 유용하다. 여기서 인용의 지지를 확인하는 일과 원문 자체가 최신이고 적용 가능한지 판단하는 일은 구별한다.

원문 위치를 찾는 일과 주장을 확인하는 일

Claude의 인용 기능 문서는 제공한 문서 안의 유효한 위치를 가리키는 인용을 설명한다. PDF에서는 페이지 범위, 텍스트에서는 문자 위치처럼 출처를 다시 찾을 수 있는 정보가 제공된다. 이런 위치 정보는 검수를 돕지만, 검수자는 그 위치의 내용이 답변에 덧붙은 조건까지 지지하는지도 읽어야 한다.

ALCE 연구는 답변이 인용된 자료로 충분히 뒷받침되는지와 불필요한 인용이 섞였는지를 나누어 평가한다. 이 구분을 업무 답변에 적용하면, 링크 수를 세기보다 ‘지지받지 못한 주장이 남았는가’와 ‘이 출처가 이 주장에 실제로 기여하는가’를 따로 물을 수 있다. 아래 절차는 이 구분을 참고한 실무 제안이며 연구의 자동 평가 점수를 그대로 계산하는 방법은 아니다.

가상 사례: 신청 가능이 자동 지원으로 바뀐 답변

다음 안내문과 답변은 실제 회사의 제도나 모델 실험 결과가 아닌 설명용 가상 사례다. 원문에는 “정규직 직원은 사전 승인받은 외부 교육의 수강료 지원을 신청할 수 있다. 계약직과 재료비는 별도 규정을 확인한다”라고 적혀 있다고 하자.

AI가 이 구절을 인용하면서 “모든 직원은 외부 교육비 전액을 자동으로 지원받습니다”라고 답했다면, 인용문이 원문에 존재하는지만 확인해서는 오류를 놓친다. 한 문장을 다음처럼 나누어 대조해야 한다.

답변 속 주장	원문이 말하는 범위	판정과 고칠 부분
모든 직원	정규직만 설명하고 계약직은 별도 규정으로 넘김	대상 확대. 정규직 조건을 남기고 다른 대상은 확인 필요로 표시한다.
외부 교육비 전액	수강료 지원 신청을 설명할 뿐 지원 비율은 제시하지 않음	금액 범위 미지원. ‘전액’을 삭제하고 재료비까지 포함하지 않는다.
자동으로 지원받음	사전 승인과 지원 신청이 필요함	절차와 결과를 바꿈. 신청 가능을 실제 지원 확정으로 쓰지 않는다.

이 자료만으로 쓸 수 있는 답변은 “안내문은 사전 승인받은 외부 교육의 수강료에 대해 정규직 직원이 지원을 신청할 수 있다고 설명합니다. 지원 비율, 계약직 적용과 재료비는 이 구절만으로 확인되지 않습니다”에 가깝다. 확인된 범위는 전달하면서 빈칸을 임의로 채우지 않는 방식이다.

주장의 경계를 바꾸는 표현부터 읽는다

검수 단위는 반드시 문법상 한 문장일 필요가 없다. 한 문장에 대상, 기한, 금액, 승인 여부가 함께 들어 있으면 서로 따로 확인할 수 있는 주장으로 나눈다. 반대로 여러 출처가 함께 있어야 지지되는 하나의 결론도 있다.

• 대상과 범위: 특정 제품·지역·계정의 설명이 전체로 확대되지 않았는지 본다.
• 조건과 예외: ‘승인된 경우’, ‘단,’, 각주와 표 제목을 뺀 채 결론만 가져오지 않았는지 확인한다.
• 표현의 강도: 가능·예정·권고가 확정·의무·자동 처리로 바뀌지 않았는지 본다.
• 숫자의 의미: 단위, 기준 기간, 분모와 누적·고유 건수의 차이가 유지되는지 확인한다.
• 관계의 종류: 두 현상이 함께 나타났다는 자료만으로 한쪽이 다른 쪽의 원인이라고 단정하지 않았는지 본다.

검색 결과의 짧은 발췌문에 필요한 조건이 빠져 있다면 원문의 앞뒤 문단과 표·각주로 돌아간다. 원문을 열 수 없거나 해당 구절을 찾을 수 없다면 ‘인용 확인 불가’로 남긴다. 접근하지 못했다는 사실만으로 출처가 거짓이라고 판정하지도 않는다.

계산과 추론은 직접 인용과 구별해 남긴다

문서의 문장을 그대로 옮기지 않은 답이 모두 잘못된 것은 아니다. 여러 자료를 종합하거나 숫자를 계산할 수 있지만, 어느 부분이 원문이고 어느 부분이 산출인지 독자가 다시 확인할 수 있어야 한다.

또 다른 가상 예로 교육의 오전 회차 참석이 12건, 오후 회차 참석이 8건이라고 두 명단에 적혀 있다고 하자. 같은 집계 기준이라면 ‘회차별 참석 건수의 합계는 20건’이라고 계산하고 두 명단과 덧셈을 제시할 수 있다. 하지만 같은 사람이 두 회차에 참석했는지 모르면 ‘서로 다른 직원 20명이 참석했다’고 바꿀 수 없다. 여기의 숫자는 설명을 위한 가정이며 실제 통계가 아니다.

계산·추론을 포함한 답변에는 사용한 원문 위치, 연결 조건과 산출 방법을 짧게 남긴다. 전제가 확인되지 않으면 조건부 해석임을 밝히거나 해당 결론을 보류한다. 서로 다른 상품이나 기간의 수치를 섞어 만든 결론에는 출처를 여러 개 붙여도 문제가 남는다.

검수 결과가 다음 수정으로 이어지게 한다

각 핵심 주장은 ‘원문이 지지함’, ‘조건을 붙여야 지지됨’, ‘원문과 어긋남’, ‘현재 자료로 확인할 수 없음’처럼 판정하고 이유를 한 줄 남길 수 있다. 이 분류는 업무용 제안이다. 첫 두 경우에는 필요한 조건을 답변에 살리고, 뒤 두 경우에는 지원되지 않는 주장을 고치거나 확인할 자료를 특정한다.

검수 기록은 주장, 문서 판본과 위치, 판정 이유, 수정한 문장 정도면 출발할 수 있다. 내부 원문을 일반 로그에 통째로 복사하기보다 접근 가능한 위치와 필요한 최소 근거를 남긴다. 중요한 결정에 쓰이는 답변이라면 인용 검수와 별도로 해당 원문의 권한·효력·적용 범위도 확인해야 한다.

추출된 글자부터 의심된다면 OCR 원문과 후속 답변의 최초 불일치를 찾는 방법으로 돌아갈 수 있다. 검증한 값을 자동화에 넘길 때는 JSON의 형식·근거·실행 권한 검사도 별도로 적용한다.

인용한 문장 자체는 맞지만 문서들이 서로 다른 결론을 준다면 상충 문서의 적용 범위와 버전 판단을 이어서 확인할 수 있다. 필요한 근거가 비어 있다면 부분 답변·추가 질문·보류를 나누는 방법으로 답변 범위를 정한다.

자주 묻는 질문

공식 문서를 인용했다면 답변도 사실이라고 봐도 되나요?

공식 문서라는 출처의 성격과, 그 문서가 이 주장을 지지하는지는 따로 확인한다. 공식 안내도 다른 제품이나 과거 시점에 관한 것일 수 있고, AI가 조건을 누락할 수도 있다. 문장의 지지 여부를 확인한 뒤 질문에 적용 가능한 자료인지 판단한다.

모든 문장에 링크를 붙여야 하나요?

링크 개수를 일률적으로 정할 필요는 없다. 독자가 확인해야 할 사실 주장과 계산의 근거가 어디에 있는지 분명해야 한다. 한 링크가 여러 주장을 지지한다면 그 범위를 알 수 있게 쓰고, 제안이나 해석은 자료에 직접 적힌 사실과 구별한다.

다른 AI에게 인용을 검사시키면 사람 확인을 대신할 수 있나요?

주장을 나누거나 의심되는 조건 누락을 찾는 보조 수단으로 쓸 수 있다. 다만 검사 AI의 판정도 원문과 대조할 대상이다. 중요한 주장, 여러 문서를 잇는 추론, 검토자 간 의견이 다른 부분은 사람이 근거와 전제를 직접 확인하는 편이 좋다.