용어 설명
휴먼 인 더 루프란? AI 거버넌스의 출발점
AI 에이전트가 회사 시스템을 직접 바꿀 수 있게 되면서, 어디까지 AI에게 맡기고 어디서 사람이 결정할지가 도입의 핵심 질문이 됐습니다.
글 안재영 · Rivly 대표
정의
휴먼 인 더 루프(Human-in-the-loop)는 넓게는 학습 데이터 라벨링이나 결과 검수까지 포함하지만, AI 에이전트 업무에서는 주로 AI가 일하는 과정 중간에 사람이 확인하고 결정하는 단계를 두는 방식입니다. AI가 제안하고 사람이 승인 · 수정 · 반려한 뒤에만 실제 처리가 이뤄집니다.
사람 승인은 어디에 두나
| 일의 종류 | 예 | 권장 방식 |
|---|---|---|
| 읽기 · 찾기 | 늦어질 주문 찾기, 재고 확인 | AI가 바로 수행하되 근거를 보여 줌 |
| 초안 만들기 | 출고지 변경 요청, 고객 안내 문구 | AI가 초안을 만들고 담당자 확인을 기다림 |
| 시스템 반영 | 주문 · 출고 정보 변경, 고객 발송 | 담당자가 승인한 것만 반영 |
결정 기록이 필요한 이유
누가 언제 무엇을 왜 승인했는지 남아 있어야 문제가 생겼을 때 원인을 찾고 규칙을 고칠 수 있습니다. 기록은 감사 대응에도 쓰이고, 어떤 일을 AI에게 더 맡겨도 되는지 판단하는 근거가 됩니다.
AI 거버넌스와의 관계
AI 거버넌스는 회사가 AI를 어떤 원칙과 절차로 쓸지 정하는 일 전체를 말합니다. 데이터 접근 권한, 근거 표시, 사람 승인, 결정 기록이 그 구성 요소이고, 휴먼 인 더 루프는 그중 실행 단계를 사람이 통제하는 장치입니다.
Rivly에서 AI는 처리 요청 초안까지만 만듭니다. 담당자가 승인 · 수정 · 반려하고, 승인된 것만 기존 시스템에 반영되며 누가 언제 왜 결정했는지 기록됩니다. 대상마다 할 수 있는 일과 승인자는 온톨로지에 함께 정의합니다.
함께 읽기
- 용어 설명기업용 AI 에이전트란? 챗봇과 다른 점과 도입 조건AI 에이전트의 뜻과 챗봇과의 차이, 기업이 AI 에이전트를 업무에 들이려면 갖춰야 할 데이터 · 권한 · 승인 조건, MCP 같은 표준 연결을 정리했습니다.
- 용어 설명AI 환각(할루시네이션)이란? 업무에서 줄이는 방법AI 환각(할루시네이션)의 뜻과 생기는 이유, 기업 업무에서 특히 위험한 경우, 근거 연결 · 규칙 계산 · 권한 · 사람 승인으로 줄이는 방법을 정리했습니다.
- 온톨로지 가이드온톨로지란? 회사 데이터와 AI를 잇는 업무 지도온톨로지의 뜻, 기업 온톨로지가 담는 것, 온톨로지 기반 AI가 답하는 방식, RAG · 지식그래프와의 차이, 구축 순서와 비용을 좌우하는 것, 온톨로지 기업을 고를 때 확인할 것을 한 번에 정리했습니다.