AI 에이전트 개발하며 깨달은 것 — 어떤 일은 그냥 유틸 도구가 낫다

요즘 사내 문의를 자동으로 분류해서 담당자에게 넘겨주는 AI 에이전트를 만들고 있습니다. 코드의 절반 가까이를 모델이 짜주는 시대인데, 이상하게도 개발하는 동안 브라우저 즐겨찾기에는 유틸리티 도구가 하나씩 늘었습니다. 몇 달 해보니 이유가 분명해졌습니다. 에이전트 개발이라는 게 결국 "모델이 뱉은 결과를 사람이 검증하는 일"의 반복이고, 검증만큼은 답이 하나로 정해진 도구가 빠르고 정확하기 때문입니다.

LLM은 같은 질문에도 매번 조금씩 다르게 답할 수 있습니다. 창의적인 작업에는 장점이지만, 검증 작업에서는 단점이 됩니다. 그래서 제 기준은 이렇게 정리됐습니다. 만들고 고치는 건 모델에게, 확인하고 검증하는 건 도구에게.

에이전트가 뱉은 JSON은 눈으로 못 읽는다

에이전트를 만들면 하루 종일 보게 되는 게 tool call 응답 JSON입니다. 문제는 이게 한 줄로 뭉개진 데다, content 안에 JSON이 문자열로 또 들어 있는 이중 이스케이프 구조라는 겁니다. 이걸 채팅창에 붙여넣고 "보기 좋게 정리해줘"라고 할 수도 있지만, 모델이 정리하면서 값을 미묘하게 바꿔버리는 경우를 몇 번 겪고 나서는 그만뒀습니다. 디버깅 중에 데이터가 바뀌면 그날 오후가 통째로 사라집니다.

Json 포맷터에 붙여넣으면 그대로 펼쳐집니다. 모델 응답에 자주 섞이는 trailing comma(마지막 쉼표)가 있어도 파싱해 주는 게 에이전트 디버깅에서는 특히 유용합니다.

LLM tool call 응답을 Json 포맷터에 넣은 화면 — trailing comma가 있어도 우측에 정리된다

구조가 깊어서 어디에 뭐가 있는지 감이 안 올 때는 Json 트리뷰로 접었다 펴면서 봅니다.

토큰을 채팅창에 붙여넣으면 안 된다

에이전트에 외부 API를 붙이면 인증 문제가 꼭 한 번은 터집니다. 401이 떨어지면 액세스 토큰(JWT)이 만료됐는지부터 확인하게 되는데, 여기서 습관적으로 토큰을 LLM 채팅창에 붙여넣는 분들이 있습니다. JWT는 서명만 안 보일 뿐 내용물은 누구나 열어볼 수 있는 구조라서, 토큰을 외부 서비스에 붙여넣는 건 자격증명을 통째로 넘기는 것과 같습니다. 대화 로그가 어디에 어떻게 남는지 우리는 모릅니다.

JWT 디코더는 브라우저 안에서만 동작하니 이 걱정이 없습니다. 만료 시각을 사람이 읽을 수 있는 시간으로 바로 보여줘서, iat와 exp를 epoch 숫자로 두고 암산할 일도 없습니다.

데모 토큰을 JWT 디코더에 넣은 화면 — 만료 여부와 페이로드가 바로 보인다

같은 이유로 웹훅 서명 검증용 시크릿을 다룰 때도 채팅이 아니라 HMAC 생성기처럼 로컬에서 도는 도구를 씁니다.

LLM이 짜준 정규식은 그럴듯하게 틀린다

문의 텍스트에서 주문번호를 뽑는 정규식을 모델에게 부탁하면 답은 3초 만에 옵니다. 문제는 그 답이 "거의 맞는" 경우가 많다는 겁니다. 한글이 섞인 경계 조건이나 하이픈 유무 같은 데서 조용히 틀리는데, 정규식은 눈으로 봐서는 틀린 걸 못 찾습니다.

그래서 모델이 준 정규식은 채택하기 전에 정규식 테스터에 실제 문의 샘플 열 개쯤 넣고 돌려봅니다. 매치 결과가 하이라이트로 보이니 어느 케이스가 새는지 바로 드러납니다. 이 습관 하나로 배포 후에 잡히던 버그가 배포 전에 잡히게 됐습니다.

cron, 타임스탬프, 프롬프트 diff

나머지는 짧게 정리합니다. 전부 "모델에게 물어봐도 되지만, 틀렸을 때 비용이 큰" 작업들입니다.

배치 스케줄 — 에이전트를 매일 아침 돌리려고 "평일 오전 9시 cron 표현식"을 물어보면 답은 오는데, 요일 필드나 서버 타임존에서 한 번씩 어긋납니다. 크론 표현식 빌더는 다음 실행 시각을 미리 보여주니 어긋나면 그 자리에서 보입니다.
로그 시간 맞추기 — 에이전트 로그와 외부 API 로그를 대조하다 보면 epoch 숫자가 계속 나옵니다. Unix 타임스탬프 변환기에 넣는 게 암산보다 빠르고 안 틀립니다.
프롬프트 버전 비교 — 시스템 프롬프트를 며칠 고치다 보면 뭘 바꿔서 좋아진 건지 기억이 안 납니다. 두 버전을 텍스트 비교기에 넣으면 바뀐 줄만 표시되니, 프롬프트 변경 이력을 리뷰할 때 이만한 게 없습니다.

정리

AI 에이전트를 만들수록 분업이 명확해집니다. 초안 작성, 코드 생성, 아이디어처럼 정답이 여러 개인 일은 모델이 압도적으로 빠릅니다. 반대로 JSON 구조 확인, 토큰 디코딩, 정규식 검증, cron 미리보기처럼 정답이 하나뿐인 일은 결정적으로 동작하는 도구가 낫습니다. 특히 토큰이나 시크릿이 걸린 작업이라면, 데이터가 브라우저 밖으로 나가지 않는 도구인지가 도구 선택의 첫 번째 기준이 됩니다.