KPMG 보고서 사태 해부: 45개 인용 중 40개가 허위였다
2026년 6월, 글로벌 4대 회계법인 중 하나인 KPMG가 에이전틱 AI 활용을 주제로 발행한 보고서를 공식 홈페이지에서 조용히 삭제했다. TechCrunch 보도에 따르면 해당 보고서에 포함된 45개 인용 중 40개가 AI가 생성한 허위 출처였다. UBS와 영국 NHS를 포함한 언급 기업·기관들은 보고서 내용과 자사의 연관성을 직접 부인했다.
이 사건이 충격적인 이유는 KPMG가 AI를 처음 써본 스타트업이 아니기 때문이다. 수백 명의 전문 인력이 일하는 글로벌 컨설팅 조직에서, 전문성을 증명해야 할 공개 보고서에서, 그것도 AI를 주제로 쓴 글에서 이런 오류가 발생했다. 발행 전 검수를 거쳤을 텐데도 40개의 허위 인용이 통과한 이유는 단순하다. AI가 생성하는 가짜 출처는 그럴듯한 URL 형식과 저자명, 날짜까지 갖추기 때문에 실제로 열어보지 않으면 구분하기 어렵다. 링크를 클릭하거나 DOI를 검색하는 손 한 번이면 잡을 수 있었지만, 그 단계가 빠졌다.
이 사태는 개인의 실수가 아니라 프로세스의 부재에서 비롯된다. AI 출력을 초안으로 받아들이고 내용을 사실 확인 없이 발행하는 워크플로가 조직 전체에 자리잡았을 때 어떤 일이 생기는지를 보여준다.
2026년 기준 AI 할루시네이션 발생률: 생각보다 낮지 않다
AI 모델의 할루시네이션 발생률은 2024년 이후 상당히 개선됐다. Vectara의 공개 할루시네이션 리더보드는 2025년 말 7,700개 이상의 문서와 최대 32,000토큰 규모로 확장 갱신됐으며, 2026년 5월 기준 최저 오류율 모델은 약 3.1%를 기록했다.
업계 분석 기준으로 2026년 최전선 모델들의 할루시네이션 발생률은 3.1%~19.1% 수준이다. 2024년 기준치였던 15%~45%에 비하면 눈에 띄는 개선이지만, 이를 “이제 믿어도 된다”는 신호로 해석하면 위험하다. 같은 분석에서 완화 프롬프트를 사용하지 않은 의료 케이스 요약 작업의 오류율은 64.1%까지 치솟는다. 사용 맥락에 따라 오류율이 20배 이상 벌어진다는 의미다.
모델마다 오류율이 다른 이유는 학습 데이터의 품질과 범위, RLHF 설계 방식의 차이에서 비롯된다. 특히 모델이 학습 데이터에 없는 내용을 질문받을 때 “모른다”고 답하도록 훈련됐는지 여부가 핵심 변수다. 이 훈련이 충분하지 않은 모델은 그럴듯한 내용을 만들어 빈칸을 채우는 경향이 강하다. KPMG 사태가 정확히 이 케이스였다.
할루시네이션의 3가지 유형과 고위험 사용 시나리오
실무에서 AI 출력을 검증할 때는 오류의 유형을 먼저 구분해야 한다. 유형에 따라 확인 방법이 달라지기 때문이다.
인용 날조형은 KPMG 사태에서 나타난 유형이다. 존재하지 않는 논문, 보고서, URL, 발언을 실제처럼 생성한다. 저자명·출판 연도·저널명까지 있어서 외관상 구분이 어렵다. 반드시 URL을 직접 열거나 DOI를 검색해야만 잡을 수 있다.
숫자·사실 왜곡형은 실존하는 출처의 데이터를 잘못 읽거나 혼합하는 경우다. 예컨대 “2023년 연구에서 67%“라고 썼지만 실제 논문에는 37%이거나, 다른 연도 다른 연구의 수치를 섞어놓은 형태다. 출처 자체는 존재하므로 링크 접근만으로는 발견하기 어렵다. 원문의 해당 수치를 직접 찾아 대조해야 한다.
인물·기관 오귀속형은 발언자나 저자를 잘못 연결하는 오류다. “A 교수가 이 연구를 주도했다”거나 “B 기관의 공식 발표에 따르면”이라고 쓰지만 실제 저자는 다른 사람이거나 해당 기관과 무관한 경우다.
특히 위험한 맥락은 명확하다. 규제 당국에 제출하는 신고서, 법률 의견서, 의료 정보 문서, 투자 의사결정 근거 자료가 여기 해당한다. 이 영역에서는 오류 하나가 법적 책임이나 환자 안전 문제로 직결된다.
단계별 AI 출력 검증 프로세스
AI 출력을 검증 없이 그대로 제출하는 것은 선택지가 아니다. 아래 5단계는 순서대로 수행해야 효과가 있다.
1단계 — 인용 추출: AI 출력 전체를 훑어 출처로 볼 수 있는 모든 요소를 목록화한다. URL, DOI, 보고서명, 기관명, 저자명, 연구 연도가 포함된다. 이 목록이 없으면 검증 작업 자체가 누락된다.
2단계 — 직접 접근: 목록에 있는 각 URL을 실제로 열어 내용이 본문과 일치하는지 확인한다. 페이지가 존재하지 않거나 404 오류가 뜨면 즉시 해당 인용을 의심해야 한다. URL이 열리더라도 내용이 본문의 주장을 뒷받침하는지 원문에서 직접 확인한다.
3단계 — 교차 검색: 보고서가 제시한 수치나 사건을 AI와 무관한 독립적인 소스 2곳 이상에서 확인한다. 한 소스에만 나오는 주장은 높은 신뢰도를 부여하지 않는다.
4단계 — 기관 역확인: 보고서에 언급된 기업이나 기관의 공식 뉴스룸, 공시, 보도자료를 검색해 해당 내용이 실제로 존재하는지 확인한다. KPMG 보고서에서 UBS와 NHS가 자사 내용을 부인한 것처럼, 언급된 기관이 실제로 그 내용을 발표했는지 역방향으로 추적한다.
5단계 — 도메인 전문가 검수: 의료·법률·금융 영역의 내용은 AI 검증 프로세스만으로 종결하지 않는다. 해당 분야의 사람이 최종 내용을 검토하는 단계가 반드시 있어야 한다. 이것은 선택이 아니라 위험 관리다.
검증을 돕는 도구와 프롬프트 설계
도구를 선택하기 전에 모델별 오류율을 비교하는 것이 먼저다. Vectara Hallucination Leaderboard는 실제 문서 기반으로 측정한 모델별 오류율을 공개적으로 제공한다. 모델을 선택하거나 교체할 때 이 데이터를 기준점으로 활용할 수 있다.
검색 연동 모드(웹 검색이 활성화된 AI)와 오프라인 모드의 검증 난이도는 다르다. 검색 연동 모드는 실시간 정보를 가져오므로 허위 인용이 줄지만, 가져온 웹 페이지 내용을 잘못 요약하는 왜곡형 오류는 여전히 발생한다. 오프라인 모드는 학습 데이터 기반이므로 인용 날조형 오류가 더 빈번하다.
프롬프트 설계로 오류를 줄이는 패턴이 몇 가지 있다. 가장 단순하고 효과적인 것은 “출처를 명시할 수 없으면 모른다고 답하라”는 지시를 명시적으로 포함하는 것이다. 예를 들면 이렇다.
다음 내용을 요약하되, 각 주장에 대한 출처(URL 또는 문서명)를 함께 제시하라. 출처를 확인할 수 없는 내용은 "확인 불가"로 표시하고 단정적으로 기술하지 마라.URL 유효성 1차 확인에는 브라우저 확장을 활용할 수 있다. Check My Links(Chrome 확장)는 페이지 내 링크를 일괄 검사해 404나 접근 오류를 빨간색으로 표시한다. AI가 생성한 문서에서 인용 목록을 복사해 HTML 파일로 만들고 이 도구로 돌리면 존재하지 않는 URL을 빠르게 걸러낼 수 있다.
EU AI Act와 조직 거버넌스: 규정이 요구하는 것
할루시네이션 검증은 이제 선택의 문제가 아닌 규정 준수의 문제가 됐다. EU AI Act 업데이트에 따르면 범용 AI(GPAI) 모델 의무 조항은 2025년 8월 2일 이미 발효됐으며, AI 행동 규범(Code of Practice)에서 할루시네이션을 시스템적 위험으로 명시하고 모델 제공자에게 평가 및 완화 의무를 부과한다. 고위험 AI 전체 요건은 2026년 8월 2일 발효 예정이다.
이는 AI 도구를 사용하는 조직에도 영향을 미친다. 배포자 역할을 하는 기업은 모델 제공자의 의무와 별개로 자체적인 위험 평가와 완화 조치를 갖춰야 한다.
조직 내 AI 사용 정책에 반드시 포함해야 할 항목은 세 가지다. 첫째, 검증 책임자 지정 — AI 출력을 최종 발행하기 전에 사실 확인 책임을 지는 역할이 명시적으로 있어야 한다. 둘째, 출처 보존 — AI가 참조했다고 제시한 출처 목록을 문서로 보관하고, 실제 확인 여부를 기록한다. 셋째, 오류 보고 채널 — AI 출력에서 발견된 오류를 내부적으로 보고하고 추적하는 경로가 있어야 한다.
KPMG 사태의 핵심 교훈은 이렇다. AI가 초안을 생성하는 속도가 아무리 빨라도, 발행 전 사람이 확인하는 단계는 생략할 수 없다. 그 단계를 없앤 비용이 보고서 삭제와 언론 보도로 돌아왔다.
즉시 쓰는 할루시네이션 방지 체크리스트
보고서나 공문서 제출 전에 아래 항목을 순서대로 점검한다.
- AI 출력에서 인용·URL·기관명·수치를 모두 추출해 목록화했는가
- 각 URL을 직접 열어 내용이 본문 주장을 뒷받침하는지 원문에서 확인했는가
- 핵심 수치와 사실을 AI와 무관한 독립 소스 2곳 이상에서 교차 확인했는가
- 언급된 기업·기관의 공식 채널에서 해당 내용의 존재를 역확인했는가
- 의료·법률·금융 영역이면 도메인 전문가가 최종 검토했는가
팀 리뷰 워크플로는 역할을 세 단계로 분리하는 것이 효과적이다. AI 초안 작성자가 위 체크리스트의 1~3항을 수행한 뒤 출처 검증 담당자에게 넘기고, 담당자가 4항과 5항을 완료한 뒤에야 최종 승인자가 발행을 결정한다. 한 사람이 초안 작성과 검증을 동시에 하면 자신이 작성한 내용을 의심하기 어렵다는 확증 편향이 작동한다.
재사용 가능한 프롬프트 템플릿 예시:
역할: 당신은 사실 기반 전문 분석가다.
지시:
1. 아래 질문에 답할 때 실제로 확인 가능한 출처만 인용하라.
2. 출처를 확인할 수 없는 내용은 "출처 불명 — 별도 확인 필요"로 표시하라.
3. 수치나 통계를 인용할 때는 원 출처, 발행 연도, 측정 방법을 함께 제시하라.
4. 확신이 없으면 단정하지 말고 "~로 보인다" 또는 "확인이 필요하다"로 표현하라.
질문: [여기에 질문 입력]이 템플릿을 그대로 복사해서 쓰는 것만으로 할루시네이션 발생률이 의미 있게 줄어든다. AI가 출처를 강제로 명시해야 하는 구조에서는 없는 출처를 날조하기보다 “확인 불가”를 선택하는 방향으로 작동하기 때문이다.
자주 묻는 질문
Q. AI가 생성한 URL이 실제로 열리는데도 내용이 다를 수 있나?
있다. URL 자체는 실존하지만 해당 페이지에 AI가 주장하는 내용이 없는 경우가 빈번하다. 예를 들어 실제 존재하는 뉴욕타임스 기사 URL을 인용했지만, 그 기사의 주제와 보고서의 주장이 전혀 다를 수 있다. URL 접근 가능 여부 확인은 첫 번째 필터일 뿐, 원문에서 해당 수치나 주장을 직접 찾아야 검증이 완료된다.
Q. 검색 연동 AI를 쓰면 할루시네이션 문제가 해결되나?
완화되지만 사라지지는 않는다. 검색 연동 모드는 실시간 웹 정보를 참조하므로 존재하지 않는 출처를 만들어내는 인용 날조형은 줄어든다. 그러나 가져온 웹 페이지의 내용을 잘못 요약하거나, 여러 소스의 수치를 혼합하는 왜곡형 오류는 여전히 발생한다. 검색 연동 AI도 검증 프로세스를 생략할 수 있는 이유가 되지 않는다.
Q. 소규모 팀에서 5단계 검증 프로세스를 현실적으로 적용할 수 있나?
내부 문서나 초안 단계에서는 1~3단계만 적용해도 된다. 외부에 발행되거나 의사결정 근거로 쓰이는 문서라면 5단계 전체가 필요하다. 우선순위를 매긴다면, 2단계(URL 직접 접근)와 3단계(교차 검색)가 가장 높은 오류 발견율을 보인다. 시간이 없다면 이 두 단계만이라도 반드시 수행한다.
Q. 특정 모델이 다른 모델보다 할루시네이션이 적은 편인가?
모델마다 차이는 있고, Vectara 리더보드처럼 공개 벤치마크에서 확인할 수 있다. 그러나 벤치마크 성능이 실제 사용 환경에서의 오류율과 반드시 일치하지는 않는다. 특히 도메인 특화 질문이나 학습 데이터에 없는 최신 정보를 묻는 경우에는 어떤 모델도 검증 없이 신뢰해서는 안 된다.