AI가 자신 있게 틀린 답을 한다

ChatGPT나 Claude를 쓰다 보면 가끔 이상한 경험을 합니다. AI가 매우 자신 있는 말투로 완전히 틀린 정보를 말하는 겁니다.

존재하지 않는 논문을 인용하거나, 없는 기능을 있다고 하거나, 역사적 사실을 잘못 말하기도 합니다. 이걸 **할루시네이션(Hallucination)**이라고 합니다.

왜 이런 일이 생기나

AI는 사실을 “알고 있는” 게 아닙니다. 학습한 텍스트에서 다음에 올 확률이 높은 단어를 예측하는 방식으로 작동합니다.

비유하면, AI는 백과사전을 외운 게 아니라 수많은 글을 읽고 문장을 만드는 패턴을 익힌 것입니다. 그래서 그럴듯한 문장은 잘 만들지만, 내용이 사실인지는 보장하지 못합니다.

실제로 겪은 사례

코딩할 때

없는 라이브러리 함수를 알려준 적이 있습니다. 함수명도 그럴듯하고 사용법도 그럴듯한데, 실제로 실행하면 에러가 납니다.

정보 검색할 때

“이 기술은 2024년에 발표되었습니다"라고 했는데 확인해보니 2023년이었던 적이 있습니다. 날짜나 숫자에서 특히 자주 틀립니다.

사람/단체 관련

실존 인물에 대해 틀린 경력이나 발언을 만들어내기도 합니다. 이건 꽤 위험합니다.

할루시네이션을 줄이는 방법

AI를 쓰는 입장에서

  1. 중요한 정보는 반드시 검증 — AI가 말한 걸 그대로 믿지 말고, 공식 문서나 믿을 수 있는 출처에서 확인
  2. 구체적으로 질문하기 — 모호한 질문일수록 AI가 추측하는 범위가 넓어짐
  3. “확실해?“라고 물어보기 — AI에게 확신도를 물어보면 “사실 정확하지 않을 수 있다"고 답하는 경우도 있음
  4. 최신 정보는 주의 — AI의 학습 데이터에는 시점 제한이 있어서, 최근 정보는 틀릴 확률이 높음

AI를 만드는 입장에서

  • RAG (검색 증강 생성) — AI가 답변하기 전에 관련 문서를 검색해서 참고하게 함
  • 학습 데이터 품질 향상 — 더 정확한 데이터로 학습
  • 인간 피드백 강화 — 틀린 답변에 대한 피드백을 반복 학습

할루시네이션이 무조건 나쁜가?

재밌는 관점이 있습니다. 할루시네이션은 바꿔 말하면 창의성이기도 합니다. AI가 “없는 걸 만들어내는” 능력이 소설 쓰기, 아이디어 발상 같은 곳에서는 오히려 장점이 됩니다.

문제는 사실을 물어봤을 때 거짓을 말하는 것이지, 창작을 요청했을 때 상상하는 건 괜찮습니다.

마치며

AI를 잘 쓰려면 AI의 한계를 아는 것이 중요합니다. AI는 매우 유능한 도구지만, 모든 답변이 맞는 건 아닙니다.

“AI가 말했으니까 맞겠지"가 아니라 “AI가 이렇게 말하는데, 맞는지 확인해보자"라는 태도가 필요합니다. 이 차이만 알아도 AI를 훨씬 안전하게 활용할 수 있습니다.