AI 환각(할루시네이션)이란 무엇이고, 어떻게 줄일까요?

무엇이 환각인가

미국 국립표준기술연구소(NIST)는 이를 작화(confabulation)라고 부릅니다. 생성형 AI가 자신 있게 말하지만 틀렸거나 거짓인 내용을 만들어 내는 것입니다. 흔히 쓰는 이름은 환각(hallucination)입니다. 내가 제공한 자료와 어긋나거나, 같은 대화에서 앞서 한 말과 모순되는 답도 여기에 포함됩니다.

이미지와 영상에서 손가락이 늘어나거나 물체가 녹아내리는 이상한 디테일도 환각이라고 부르기도 하지만, 이는 거짓 주장이 아니라 품질 문제입니다. 창작에서는 없는 것을 만들어 내는 것이 목적인 경우가 많습니다. 환각이 문제가 되는 것은 사실이 필요할 때입니다.

언어 모델이 환각을 일으키는 이유

언어 모델은 지금까지의 텍스트에서 다음 토큰(작은 텍스트 조각)을 예측하며 글을 씁니다. 참인 텍스트가 아니라 가능성이 높은 텍스트를 만들도록 학습한 것입니다. 대개는 가능성이 높은 것과 참인 것이 겹치기 때문에 모델이 쓸모 있는 것이고, 실패는 둘이 겹치지 않는 곳에서 나옵니다.

• 내장된 사실 확인이 없습니다. 다음 토큰 예측에는 출력을 현실과 비교하는 단계가 없습니다.
• 드문 사실은 약하게 학습됩니다. 학습 중 몇 번만 나온 사실은 비슷한 사실과 쉽게 섞입니다. 예를 들어 덜 알려진 공인의 출생 연도가 그렇습니다.
• 추측이 보상을 받습니다. 2025년에 발표된 연구는, 일반적인 학습과 벤치마크 채점이 자신 있는 추측에는 점수를 주고 "모르겠다"에는 점수를 주지 않아서 모델이 추측하는 법을 배운다고 주장합니다.
• 흔한 실수를 흉내 냅니다. 사람이 쓴 글로 학습한 모델은 널리 퍼진 오해를 되풀이할 수 있으며, TruthfulQA 벤치마크는 이를 측정하려고 만들어졌습니다.
• 프롬프트의 압박이 있습니다. 속편이 없는 영화의 2019년 속편을 묻는 것처럼 틀린 전제를 깐 질문은 모델이 장단을 맞추게 만듭니다.
• 길거나 어수선한 컨텍스트가 문제입니다. 긴 입력의 중간에 있는 세부 내용은 놓치거나 섞이기 쉽습니다.
• 지식 기준 시점이 있습니다. 검색이나 문서가 추가되지 않는 한 모델은 학습 데이터가 끝난 뒤의 일을 모릅니다.

어떤 작업이 가장 위험한가

위험도는 모델보다 무엇을 시키느냐에 더 크게 좌우됩니다.

법률 조사는 잘 알려진 위험 영역입니다. 법원은 챗봇이 지어낸 판례를 인용한 서류를 제출한 변호사를 제재한 적이 있습니다.

환각을 줄이는 프롬프트

가장 효과적인 방법은 근거 제시(grounding)입니다. 모델에 원본 자료를 주고 그 자료로만 답하라고 지시합니다. 시스템이 먼저 문서를 검색해 가장 알맞은 구절을 프롬프트에 넣는 검색 증강 생성(RAG)도 같은 발상입니다.

Weak prompt:
What is the refund period in our store policy?

Grounded prompt:
Answer using only the policy text below.
If the answer is not in the text, reply: Not stated in the policy.
Quote the exact sentence you used.

Policy:
<paste the policy text here>

Question: What is the refund period?

근거를 제시한 프롬프트는 줄마다 역할이 있습니다. 정책 텍스트만 쓰라는 문장이 출처를 제한합니다. 대체 답변 문장은 모델에 추측 말고 쓸 수 있는 안전한 답을 줍니다. 사용한 문장을 그대로 인용하라는 요구 덕분에 몇 초 만에 답을 확인할 수 있습니다.

도움이 되는 다른 습관도 있습니다.

1. 질문을 좁히세요. 긴 목록보다 질문 하나에 사실 하나가 맞히기 쉽습니다.
2. 불확실함을 허용하세요. "확실하지 않으면 그렇다고 말하고, 무엇으로 확인할 수 있는지 설명해 줘" 같은 문장을 더합니다.
3. 최신 사실은 검색이나 브라우징을 켜고, 답이 인용한 링크를 직접 여세요.
4. 여러 부분으로 된 문제는 추론 과정이나 단계를 쓰게 하고, 각 단계를 확인하세요.
5. 기억에 의존한 출처는 요청하지 마세요. 검색 도구로 출처를 찾게 하거나, 직접 찾아서 붙여 넣으세요.
6. 코드는 라이브러리 버전을 알려 주고 관련 문서를 붙여 넣은 뒤 실제로 실행해 보세요.

AI 답변을 검증하는 방법

사실에 관한 내용을 믿거나 공개하기 전에 이 체크리스트를 쓰세요.

1. 링크와 DOI를 모두 열어 보세요. 페이지가 존재하고 답변이 주장하는 내용이 실제로 적혀 있는지 확인합니다.
2. 인용문은 정확한 문장으로 검색하세요. 1차 출처에서 찾을 수 없다면 쓰지 마세요.
3. 모든 숫자를 공식 통계 사이트, 표준 문서, 원 논문 같은 1차 출처와 대조하세요.
4. 경고 신호를 찾으세요. 출처 없이 지나치게 정확한 수치, 어디서나 볼 법한 저자 목록, 찾을 수 없는 참고문헌, 다시 물으면 달라지는 답변이 그렇습니다.
5. 중요한 주장은 다른 챗봇이 아니라 독립된 두 번째 출처로 확인하세요.
6. 법률, 의료, 금융 질문은 자격을 갖춘 사람이 결과를 검토하게 하세요.

해결책의 한계

지금 어떤 방법도 환각을 완전히 없애지는 못합니다. 근거 제시와 RAG는 문서로 답할 수 있는 질문에서 발생률을 크게 낮추지만, 모델이 구절을 잘못 읽거나, 두 구절을 합치거나, 문서에 빠진 부분을 메워 버릴 수 있습니다. 검색 도구가 품질 낮은 페이지를 가져오면 모델이 그것을 믿을 수도 있습니다.

온도를 낮추면 답이 더 반복 가능해질 뿐 더 정확해지지는 않습니다. 가장 가능성 높은 답이 틀렸다면, 모델은 같은 오답을 일관되게 되풀이합니다.

최신 모델은 흔한 질문에서 환각이 더 적은 경우가 많고, 불확실함을 더 자주 인정하도록 학습한 모델도 있습니다. 그래도 발생률은 주제와 언어에 따라 다르니, 의지하기 전에 내 용도에 맞는 질문으로 직접 시험해 보고, 오류의 대가가 큰 곳에는 사람의 확인을 남겨 두세요.