문서 AI 답변 오류 진단: OCR 오류와 LLM 해석 오류 구분법

문서 AI의 답변이 틀렸다면 답변만 고치기 전에 원문, OCR 추출문, 후속 LLM 답변 중 어디에서 처음 어긋났는지 확인해야 한다.

원문과 OCR 추출문이 다르면 문자 추출 단계의 오류로 진단한다.
추출문은 원문과 같지만 답변이 근거에서 벗어났다면 후속 해석 단계를 점검한다.
두 비교가 모두 일치하면 어느 오류도 억지로 단정하지 말고 다른 의심 구절과 실제 입력 범위를 확인한다.
신뢰도는 보증이 아닌 참고 신호이므로 중요한 내용은 사람이 원문과 대조한다.

틀린 답을 반복해서 묻기 전에 정보가 처음 달라진 지점을 찾으면 점검할 단계와 대응이 선명해진다.

원문·OCR 추출문·LLM 답변을 세 단계로 나눈다

스캔 문서나 이미지 문서를 AI로 요약하거나 질문할 때 결과가 한 번에 만들어지는 것처럼 보일 수 있다. 하지만 틀린 답의 원인을 찾으려면 다음 세 지점을 분리해야 한다.

원문: 사람이 문서 이미지의 해당 위치에서 직접 확인하는 내용
OCR 추출문: OCR이 이미지에서 문자와 배치를 읽어 만든 내용
후속 AI 답변(LLM 답변): 추출문을 입력으로 받아 요약하거나 질문에 답한 내용

OCR에서는 문자가 바뀌거나 빠지거나 추가될 수 있으며, 흐림·작은 글자·빛 반사·기울어짐 같은 상태도 추출에 영향을 줄 수 있다. OCR 추출문이 원문과 같은데 답변이 어긋났다면 OCR보다 후속 입력과 해석을 조사해야 한다. 두 작업은 분리된 단계이므로 최종 답변만 보고 원인을 단정하지 않는다.

처음 달라진 지점을 두 번 비교한다

다음 내용은 실제 자료, 제품 실험 또는 사용 성과가 아닌 설명용 가상 예제다.

진단 흐름

의심되는 답변을 하나 고른다. ↓ 원문과 OCR 추출문을 비교한다. ↓ 다르면: OCR 단계 → 원본 상태 확인 → OCR 재처리 → 원문과 재대조 같으면: OCR 추출문과 후속 AI 답변의 근거를 비교한다. ↓ 답변이 근거와 어긋나면: 후속 해석 단계 → 실제 입력 범위·질문 조건·근거 문장 확인 답변도 근거와 일치하면: 다른 의심 구절과 실제 입력 범위 확인 또는 결론 보류 판단할 수 없으면: 결론 보류 → 사람 확인

첫 번째 상황은 다음과 같다.

원문 조각: “납품 기한은 6월 18일이다.”
OCR 추출문: “납품 기한은 6월 13일이다.”
후속 AI 답변: “납품 기한은 6월 13일입니다.”

원문과 OCR 추출문을 먼저 비교하면 ‘18일’이 ‘13일’로 이미 달라져 있다. AI 답변은 잘못 추출된 문장을 따랐으므로 최초 오류 지점은 OCR 단계다. 이때는 질문을 바꾸기보다 해당 원문 위치의 선명도, 기울어짐, 잘림이나 빛 반사를 확인하고 OCR을 다시 처리한다. 재처리한 문장도 원문의 같은 위치와 다시 비교한다.

두 번째 상황에서는 원문과 OCR 추출문이 모두 “납품 기한은 6월 18일이다.”인데 후속 AI 답변만 “6월 13일입니다.”라고 가정한다. 추출문까지는 맞고 답변에서 처음 달라졌으므로 후속 해석 단계의 문제다. AI가 실제로 받은 문장과 페이지 범위가 맞는지 확인하고, 질문에 필요한 조건을 명시한 뒤 답변 근거가 되는 문장을 함께 제시하도록 요청할 수 있다.

반대로 원문과 OCR 추출문이 모두 “납품 기한은 6월 18일이다.”이고 후속 AI 답변도 그 근거에 맞게 “6월 18일입니다.”라고 답했다면, 해당 의심 구절에서는 OCR 오류나 후속 해석 오류를 확인하지 못한 것이다. 이때 어느 오류도 억지로 단정하지 말고 다른 의심 구절과 AI가 실제로 받은 입력 범위를 확인하거나 결론을 보류한다.

진단 순서는 다음처럼 정리할 수 있다.

답변에서 의심되는 날짜, 이름, 조건 또는 핵심 문장을 하나 고른다.
그 답변의 근거로 사용된 OCR 추출문과 입력 범위를 찾는다.
OCR 추출문을 원문 이미지의 같은 위치와 비교한다.
원문에서 추출문으로 넘어갈 때 이미 달라졌으면 OCR 단계로 분류한다.
원문과 추출문은 같지만 답변이 근거와 어긋났으면 후속 해석 단계로 분류한다.
원문과 OCR 추출문이 같고 후속 AI 답변도 추출 근거와 일치하면 다른 의심 구절과 실제 입력 범위를 확인하거나 결론을 보류한다.
답변 근거를 찾지 못하거나 두 비교가 불명확하면 결론을 보류하고 사람이 원문, 추출문, 실제 입력 범위를 함께 확인한다.

진단 결과에 맞춰 대응하고 한계를 남긴다

OCR 단계의 오류라면 더 읽기 좋은 원본을 확보할 수 있는지 살피고 OCR 재처리 후 문제 구간을 원문과 다시 대조한다. 문자 외에 배치가 의미에 영향을 주는 문서라면 필요한 구간의 위치 관계도 함께 확인한다. OCR이나 필드별 신뢰도 값이 제공되더라도 이를 정답 보증으로 표현하지 않는다. 신뢰도는 검토 우선순위를 판단할 때 참고할 추정 신호이며, 모든 항목에 같은 방식으로 제공된다고 가정해서도 안 된다.

후속 해석 단계의 오류라면 AI가 받은 추출문, 페이지 범위, 질문의 대상과 조건을 확인한다. 질문을 다시 쓸 때는 “기한을 답하고 근거 문장을 함께 제시하라”처럼 답변과 근거를 대조할 수 있게 요청할 수 있다. 근거 문장은 맞는데 결론이 다르거나, 답변이 중요한 의사결정에 쓰이거나, 어느 단계에서 달라졌는지 결정할 수 없다면 사람이 원문으로 최종 확인한다.

두 비교가 모두 일치했다면 그 구절만으로 OCR 또는 후속 해석 오류를 확정하지 않는다. 답변의 다른 의심 구절을 같은 순서로 확인하고, AI가 실제로 받은 문장과 페이지 범위가 예상과 같았는지 살핀다. 확인 범위만으로 원인을 찾지 못하면 결론을 보류한다.

이 글은 OCR 결과 자체의 검수표를 새로 만드는 대신 OCR와 후속 AI 사이에서 최초 불일치 위치를 찾는 데 집중한다. OCR 검증의 기본 원칙은 문서 OCR 결과, 왜 그대로 업무에 쓰면 안 될까에서, OCR 단계로 진단한 뒤 표와 숫자를 점검하는 순서는 OCR 표와 숫자 오류는 어떻게 생기고 무엇을 확인해야 할까에서 확인할 수 있다. 진단 뒤 자동처리를 계속할지 사람에게 넘길지 정하려면 OCR 자동처리와 사람 검토 기준을 어떻게 나눌까를 참고할 수 있다.

이 절차는 오류 발생 단계를 좁히는 방법이지 모든 오류를 자동으로 수정하거나 특정 제품의 정확성을 보장하는 방법은 아니다. 문서 상태와 업무 위험이 다르므로 보편적인 신뢰도 임계값도 제시하지 않는다. 아래 기술 설명은 2026년 9월 15일자 감독 제공 요약에 근거하며, 이 원고 제작 과정에서 원 출처나 제품을 새로 수집해 확인한 결과가 아니다.

출처:

게시 메타데이터:

발췌문: 문서 AI의 답변이 틀렸을 때 원문, OCR 추출문, 후속 LLM 답변을 차례로 비교해 오류가 처음 발생한 단계를 찾고 그 단계에 맞게 대응하는 방법을 설명한다.
카테고리: 인공지능, IT
태그: AI, AI 운영, AI 자동화, It

자주 묻는 질문

문서 AI 답변이 틀리면 질문부터 다시 쓰면 되나요?

먼저 답변의 근거가 된 OCR 추출문을 원문과 비교해야 한다. 추출문이 이미 틀렸다면 질문만 바꿔도 잘못된 입력을 계속 사용할 수 있다. 추출문이 맞을 때 질문 조건과 입력 범위를 점검한다.

OCR 신뢰도가 높으면 원문 확인을 생략해도 되나요?

신뢰도는 검토에 참고할 수 있는 추정 신호이지 정답 보증이 아니다. 제공 범위도 항목에 따라 다를 수 있으므로 중요한 날짜, 이름, 금액, 조건은 업무 위험에 맞춰 원문과 확인한다.

두 비교가 모두 일치하거나 오류 단계를 결정할 수 없으면 어떻게 하나요?

두 비교가 모두 일치하면 해당 의심 구절에서는 OCR 오류나 후속 해석 오류를 확인하지 못한 것이므로 어느 오류도 억지로 단정하지 않는다. 다른 의심 구절과 AI가 실제로 받은 입력 범위를 확인한다. 근거 위치를 찾지 못하거나 비교가 불명확하면 결론을 보류하고 사람이 원문, 추출문, 답변을 함께 대조한다.

문서 AI 답변이 틀렸을 때: OCR 오류와 LLM 해석 오류 구분법