2019년에 사내 챗봇을 만들었습니다. 당시 고객이 원한 건 더 정확한 답이었습니다. 누구도 기계가 알아서 일하게 해달라고 말하지 않았습니다. 그건 요구라기보다 공상에 가까웠으니까요.
지금은 질문이 바뀌었습니다. 사람들은 이 에이전트에게 어디까지 맡겨도 되는지 묻습니다. 무엇을 아는가에서 무엇을 할 수 있는가로, 다시 무엇을 맡길 수 있는가로 넘어왔습니다.
그런데 AI가 좋아지는 만큼 프로젝트가 잘되지는 않습니다. 에이전트가 넘어지는 곳은 대개 모델이 아닙니다. 필요한 데이터에 접근하지 못하거나, 업무 시스템을 조작할 권한이 없거나, 잘못 움직였을 때 되돌릴 방법이 없어서 멈춥니다. 마지막에는 결과에 누가 책임질 것인지가 남습니다.
예전 챗봇을 만들 때도 마지막까지 우리를 괴롭힌 건 정확도가 아니었습니다. 확신이 없는 질문에도 태연하게 답하는 것이 문제였습니다. 결국 점수가 기준을 넘지 못하면 답하지 않고 관련 문서만 보여주도록 만들었습니다. 정답률은 낮아졌지만 신뢰는 높아졌습니다. 사용자는 기계가 모르는 것은 용서해도, 모르면서 아는 척하는 것은 용서하지 않았습니다.
에이전트에서는 이 문제가 더 커집니다. 틀린 답을 내놓는 것과, 틀린 판단으로 메일을 보내고 데이터를 수정하는 것은 전혀 다른 일입니다.
그래서 에이전트 도입은 채팅창을 하나 더 만드는 프로젝트가 아닙니다. 회사 업무의 일부를 소프트웨어에 위임하는 일입니다. 모델을 고르기 전에 어떤 업무를 맡길지, 어떤 데이터를 보여줄지, 어디까지 실행하게 할지, 언제 사람에게 돌려보낼지를 먼저 정해야 합니다.
에이전트를 도입할지 말지는 곧 큰 질문이 아니게 될 겁니다. 대부분의 조직이 결국 쓰게 될 테니까요. 더 오래 남는 질문은 이것입니다. 우리 일을 잘한다는 것이 무엇인지, 우리는 이미 정의해 두었는가.