숫자를 못 대는 순간
임원이 물었습니다. "그래서 얼마나 줄었어요?"
담당자가 대답을 못 했습니다. 실제로는 줄었는데, 줄기 전 값을 아무도 재두지 않았기 때문입니다.
도입했는데 효과를 설명할 수 없다면
AX 프로젝트가 조용히 실패하는 가장 흔한 경로는 시스템이 고장 나는 게 아닙니다. 효과를 설명하지 못해서 다음 예산이 안 나오는 것입니다.
"확실히 편해졌어요"는 다음 분기 예산 회의에서 아무 힘이 없습니다. 숫자가 필요합니다. 그리고 그 숫자는 도입 전에 정해져 있어야 합니다. 도입 후에 만들면 유리한 숫자만 고르게 됩니다.
도입 전에 반드시 재둘 것
시작 전에 측정해 두지 않으면 나중에 복원할 수 없는 값들입니다.
- 대상 업무의 실제 소요시간 — 앞서 2주 측정한 값
- 처리 건수 — 월 몇 건인가
- 오류·재작업 발생률 — 다시 한 건이 몇 건인가
- 처리 지연 시간 — 요청부터 완료까지 며칠인가
- 담당자 수와 배분 — 누가 얼마나 하는가
3번과 4번을 빠뜨리는 경우가 많습니다. 그런데 AX의 실제 가치는 시간 절감보다 지연 감소와 품질 안정화에서 나오는 경우가 많습니다. 재둬야 나중에 말할 수 있습니다.
D+30
작동하는가
실행 건수 · 실패율 · 사람이 개입한 비율
D+60
안정적인가
조건 변경 횟수 · 예외 처리 · 승인 거부율
D+90
효과가 있는가
도입 전 실측값 대비 소요시간 · 총량
30일 — 작동하는가
첫 달에는 효과를 보지 않습니다. 작동 여부만 봅니다.
- 시스템이 실제로 돌아가는가 (실행 성공률)
- 사람이 실제로 쓰는가 (사용률)
- 핸드오프가 제때 처리되는가 (응답 시간)
- 예상 못 한 실패가 무엇인가 (실패 로그)
이 시점에 절감 효과를 요구하면 안 됩니다. 초기에는 오히려 시간이 더 듭니다. 새 방식에 익숙해지는 비용, 예외 처리 비용이 붙습니다. 이 구간을 각오하지 않으면 한 달 만에 프로젝트가 접힙니다.
사용률이 낮다면 원인은 대개 셋 중 하나입니다. 기존 방식이 더 빠르거나, 결과를 못 믿거나, 사용법을 모릅니다. 이건 기술 문제가 아니라 설계 문제이므로 3단계로 돌아가야 합니다.
60일 — 안정적인가
두 번째 달에는 변동성을 봅니다.
- 주 단위 성공률의 편차 — 매주 비슷한가, 들쭉날쭉한가
- 핸드오프 비율의 추이 — 줄고 있는가, 그대로인가
- 사람이 뒤집는 비율 — AI 결정 중 사람이 바꾼 비율
- 재작업률 — 도입 전 대비
여기서 중요한 지표는 사람이 뒤집는 비율입니다.
- 뒤집는 비율이 높다면 — AI 처리 품질이나 조건 설정에 문제가 있습니다.
- 뒤집는 비율이 0에 가깝다면 — 승인 단계가 형식적으로 변했을 가능성이 큽니다. 사람이 그냥 눌러주고 있는 겁니다. 이건 위험 신호이지 성공 신호가 아닙니다.
건강한 구간은 대략 5~20% 사이입니다. 사람이 실제로 판단하고 있고, 동시에 시스템이 대체로 맞다는 뜻입니다.
90일 — 효과가 있는가
세 번째 달에 비로소 절감을 계산합니다. 계산식은 단순하지만 빼는 항목을 빠뜨리면 안 됩니다.
실질 절감 = (도입 전 소요시간 − 도입 후 소요시간)
− 검수·핸드오프 처리 시간
− 예외 처리 시간
− 시스템 유지보수 시간
마지막 항목이 자주 누락됩니다. 자동화 흐름이 깨졌을 때 고치는 시간, 조건을 조정하는 시간, 신규 담당자를 교육하는 시간은 전부 비용입니다.
이걸 다 빼고도 절감이 남으면 성공입니다. 남지 않으면, 실패가 아니라 대상 선정이 틀렸던 것입니다. 다음 대상을 고를 때 쓸 데이터가 생긴 셈이니 기록해 두면 됩니다.
시간 외에 봐야 할 것
시간만 보면 AX의 절반을 놓칩니다.
지연 시간(리드타임)
— 처리에 걸리는 총 시간입니다. 담당자가 3일에 한 번 몰아서 처리하던 일이 매일 처리되면, 작업 시간은 그대로여도 고객 경험은 완전히 달라집니다.
품질 편차
— 사람마다, 날마다 다르던 결과가 일정해집니다. 평균 품질이 그대로여도 편차가 줄면 관리 비용이 크게 내려갑니다.
속인성 해소
— "그 사람만 할 수 있던 일"이 문서화되고 시스템에 들어갑니다. 앞서 판단 기준을 꺼내는 과정 자체가 이 효과를 만듭니다. AX 프로젝트에서 가장 저평가되는 산출물입니다.
업무의 성격 변화
— 담당자가 정리·이관에 쓰던 시간이 판단·개선에 쓰는 시간으로 바뀌었는가. 이건 숫자로 잡기 어렵지만 인터뷰로 확인할 수 있습니다.
되돌아가지 않게 만드는 것
90일을 넘겨 정착한 사례와 조용히 사라진 사례의 차이는 대개 기술이 아닙니다.
담당자가 스스로 고칠 수 있는가
조건 하나 바꾸려면 외부에 요청해야 하는 구조면, 현실과 어긋나는 순간 그냥 안 쓰게 됩니다.
깨졌을 때 알 수 있는가
조용히 멈춘 자동화는 잘못된 결과보다 위험합니다. 실패 알림이 반드시 사람에게 도달해야 합니다.
기록이 남는가
왜 이 조건을 이렇게 정했는지가 남아 있지 않으면, 6개월 뒤 담당자가 바뀌었을 때 아무도 손대지 못합니다.
90일이 지나면 대개 두 갈래로 나뉩니다. 조용히 원래대로 돌아가거나, 다음 업무를 묻거나.
갈림길에서 방향을 정하는 건 성능이 아니라 기록입니다. 줄었다는 걸 설명할 수 있는 팀은 다음을 시작하고, 설명하지 못하는 팀은 조용히 멈춥니다.
다음 편은 그 다음 업무를 고르는 이야기입니다.
