용어 설명
AI 환각(할루시네이션)이란? 업무에서 줄이는 방법
일상 대화에서는 웃고 넘길 실수도, 재고 수량이나 납기를 틀리게 말하면 업무 사고가 됩니다.
글 안재영 · Rivly 대표
정의
AI 환각(할루시네이션, hallucination)은 AI가 사실이 아닌 내용을 그럴듯하게 지어내 답하는 현상입니다. 언어 모델은 다음에 올 그럴듯한 말을 예측해 문장을 만들기 때문에, 근거가 없거나 부족하면 빈칸을 짐작으로 채우기 쉽고 근거가 있어도 잘못 읽을 수 있습니다.
업무에서 특히 위험한 경우
- 재고 · 납기 · 금액처럼 정확한 숫자가 필요한 답
- 고객에게 그대로 전달되는 안내 문구
- 답을 근거로 바로 처리(출고 변경, 환불)가 이어지는 경우
줄이는 방법
- 근거를 연결합니다. 문서는 RAG로, 업무 데이터는 온톨로지로 실제 기록을 찾아 답하게 합니다.
- 근거를 보여 줍니다. 답마다 원본 기록으로 가는 링크를 붙여 사람이 바로 확인할 수 있게 합니다.
- 숫자는 규칙이 계산합니다. 재고 · 납기는 AI가 짐작하지 않고 정해진 계산식으로 구하고, AI는 그 결과를 설명만 합니다.
- 볼 수 있는 범위를 나눕니다. 묻는 사람의 권한 밖 데이터는 AI도 읽지 않게 합니다.
- 처리는 사람이 승인합니다. AI는 처리 요청 초안까지만 만들고 실행은 담당자가 결정합니다(휴먼 인 더 루프).
환각을 완전히 없애는 방법은 아직 없습니다. 그래서 틀릴 수 있는 부분을 AI에게 맡기지 않고, 틀렸을 때 사람이 바로 알아챌 수 있게 만드는 구조가 중요합니다.
함께 읽기
- 용어 설명RAG(검색 증강 생성)란? 잘 맞는 질문과 한계RAG(Retrieval-Augmented Generation, 검색 증강 생성)의 뜻과 작동 순서, 잘 맞는 질문과 약한 질문, 온톨로지 · 지식그래프와 함께 쓰는 방법을 정리했습니다.
- 용어 설명휴먼 인 더 루프란? AI 거버넌스의 출발점휴먼 인 더 루프(Human-in-the-loop)의 뜻, AI 에이전트 업무에서 사람 승인을 어디에 두는지, 결정 기록이 왜 필요한지, AI 거버넌스와의 관계를 정리했습니다.
- 온톨로지 가이드온톨로지란? 회사 데이터와 AI를 잇는 업무 지도온톨로지의 뜻, 기업 온톨로지가 담는 것, 온톨로지 기반 AI가 답하는 방식, RAG · 지식그래프와의 차이, 구축 순서와 비용을 좌우하는 것, 온톨로지 기업을 고를 때 확인할 것을 한 번에 정리했습니다.