멈추는 자리를 먼저 그린다
AX 설계에서 가장 자주 빠뜨리는 것은 "AI가 어디까지 하느냐"가 아니라 **"AI가 어디서 멈추느냐"**입니다.
멈추는 지점을 정하지 않으면 두 가지 중 하나가 일어납니다. 사람이 모든 결과를 다 확인하거나(그러면 절감이 없습니다), 아무도 확인하지 않다가 사고가 납니다(그러면 신뢰를 잃습니다).
한 번 신뢰를 잃으면 그 조직에서 AX는 끝납니다. 사람들은 조용히 예전 방식으로 돌아가고, 시스템은 켜져 있지만 아무도 안 씁니다.
넘기고 받는 지점
언제
조건 설계
무엇을
맥락 설계
누구에게
대상 설계
그다음
복귀 설계
핸드오프는 AI가 처리하던 일을 사람에게 넘기는 지점입니다. 설계할 때 정해야 할 것은 네 가지입니다.
1. 언제 넘기는가 (조건) 2. 무엇을 넘기는가 (맥락) 3. 누구에게 넘기는가 (대상) 4. 넘긴 뒤 어떻게 되는가 (복귀)
하나씩 보겠습니다.
1. 언제 넘기는가 — 조건 설계
"애매하면 사람에게"는 조건이 아닙니다. 기계가 판단할 수 없습니다. 조건은 측정 가능한 형태여야 합니다.
실무에서 쓸 만한 조건 유형은 대략 이렇습니다.
금액·수량 기준
— 가장 명확합니다. "견적 금액 500만 원 초과 시 사람 승인." 논쟁의 여지가 없습니다.
신뢰도 기준
— AI가 스스로 확신 정도를 표시하게 하고, 기준 미만이면 넘깁니다. 다만 이 값은 생각보다 신뢰하기 어렵습니다. 보조 지표로만 쓰는 게 안전합니다.
예외 목록 기준
— "이 조건에 해당하면 무조건 사람." 신규 거래처, 해외 건, 계약 조건 변경 포함, 클레임 이력 있는 고객. 앞 글에서 뽑은 "하면 안 되는 것" 목록이 여기로 들어옵니다.
빈도 이상 기준
— 평소와 다른 패턴이면 넘깁니다. 평소 하루 20건인데 갑자기 300건이면 뭔가 잘못된 겁니다.
가장 실용적인 조합은 금액 + 예외 목록입니다. 단순하고, 설명 가능하고, 논쟁이 없습니다.
2. 무엇을 넘기는가 — 맥락 설계
이 부분이 부실하면 핸드오프는 오히려 일을 늘립니다.
"확인이 필요합니다"라는 알림만 오면, 사람은 처음부터 다시 상황을 파악해야 합니다. 그 시간이 원래 직접 하던 시간보다 길면 아무도 그 시스템을 안 씁니다.
넘길 때 함께 가야 할 것들입니다.
- 왜 넘겼는가 — 어떤 조건에 걸렸는지 명시
- 여기까지 처리된 내용 — AI가 이미 한 작업
- 판단에 필요한 근거 자료 — 관련 이력, 유사 사례
- AI의 잠정 제안 — "이렇게 하려 했습니다"
- 되돌리려면 무엇을 해야 하는가
특히 네 번째가 중요합니다. 백지에서 판단하는 것보다 초안을 고치는 게 훨씬 빠릅니다. AI가 아무 제안 없이 넘기면 사람의 부담이 그대로 남습니다.
3. 누구에게 넘기는가 — 대상 설계
"팀에게" 넘기면 아무도 안 봅니다. 공유 메일함에 들어간 알림이 어떻게 되는지는 다들 아실 겁니다.
한 사람이 지정되어야 합니다. 그리고 그 사람이 부재일 때의 대체자도 정해져야 합니다. 여기까지 안 정하면 핸드오프는 실무에서 무조건 새어 나갑니다.
또 하나. 넘기는 사람이 그 판단을 할 권한이 있는지 확인해야 합니다. 승인 권한이 없는 담당자에게 승인 요청이 가면, 그 사람은 다시 상급자에게 물어봅니다. 핸드오프가 두 번 일어나고 시간은 두 배가 됩니다.
4. 넘긴 뒤 어떻게 되는가 — 복귀 설계
사람이 판단한 뒤, 그 결과가 시스템으로 돌아와야 합니다. 여기가 끊기면 이후 처리가 전부 수동이 됩니다.
그리고 한 가지 더. 사람의 판단 결과를 기록해 두면 조건을 개선할 수 있습니다. 3개월간 사람에게 넘어간 건 중 92%가 그대로 승인됐다면, 그 조건은 너무 빡빡한 겁니다. 기준을 조정할 근거가 됩니다.
반대로 사람이 자주 뒤집는 조건이 있다면, AI 쪽 처리 로직에 문제가 있다는 신호입니다.
자율 수준을 단계로 나눈다
한 번에 완전 자동으로 가지 않습니다. 단계를 밟습니다.
표가 넓으면 좌우로 스크롤하여 확인하세요.
| 단계 | 방식 | 사람의 역할 |
|---|---|---|
| 1 | AI가 제안만 | 사람이 전부 검토·실행 |
| 2 | AI가 실행 준비, 사람이 승인 | 승인 버튼 |
| 3 | AI가 실행, 예외만 사람에게 | 예외 처리 |
| 4 | AI가 실행, 사람은 사후 표본 점검 | 감사 |
대부분의 조직은 2단계에서 시작해 3단계를 목표로 합니다. 4단계는 실패 영향이 낮고 데이터가 충분히 쌓인 업무에만 적용합니다.
1단계에서 3단계로 건너뛰지 마세요. 2단계를 몇 주 돌리면서 사람이 승인을 거부한 사례를 모으는 과정이, 3단계 예외 조건의 재료가 됩니다.
실패했을 때의 경로도 설계한다
정상 흐름만 그린 설계는 반드시 실패합니다. 다음 상황에서 무슨 일이 일어나는지 미리 정해야 합니다.
- AI 서비스가 응답하지 않을 때 — 큐에 쌓고 재시도할 것인가, 즉시 사람에게 넘길 것인가
- 입력 데이터가 예상과 다를 때 — 중단할 것인가, 건너뛰고 기록할 것인가
- 결과가 명백히 이상할 때 — 이걸 감지할 방법이 있는가
- 아무도 핸드오프에 응답하지 않을 때 — 몇 시간 뒤 누구에게 에스컬레이션되는가
마지막 항목이 특히 자주 빠집니다. 승인 요청이 갔는데 담당자가 휴가 중이면, 그 건은 영원히 멈춰 있습니다.
핸드오프를 설계하고 나면 대개 이런 말이 나옵니다. "생각보다 사람이 할 일이 많네요."
맞습니다. 다만 그 일의 성격이 달라졌습니다. 정리하고 옮겨 적던 시간이 판단하는 시간으로 바뀐 겁니다. 총량이 줄지 않아도 그 차이는 저녁에 남는 것으로 드러납니다.
다음 편에서는 이 변화를 어떻게 숫자로 확인하는지 다룹니다.
