HANDBOOK.md 발표 — 회사 규정 못 지키는 AI 에이전트, 3가지 돌파구

아무리 똑똑한 AI 에이전트라도 회사 규정 앞에서는 맥을 못 춥니다. 최근 발표된 HANDBOOK.md 벤치마크 연구에 따르면, 124페이지에 달하는 가상 기업 규정집을 지키며 업무를 처리하는 시험에서 내로라하는 AI 에이전트들의 합격률이 고작 36.2%에 그쳤습니다. 단순히 일을 끝마치는 것을 넘어 '해서는 안 될 일'과 '반드시 거쳐야 할 승인 절차'를 완벽하게 준수하는 것이 왜 AI 에이전트 도입의 가장 큰 걸림돌이 되었는지, 그리고 이를 극복할 세 가지 돌파구를 쉽게 풀어봅니다.

AI 신입사원이 회사 규칙을 어기는 4가지 황당한 실수

최근 발표된 연구는 에이전트들이 왜 규정을 어기는지 네 가지 아주 구체적이고 황당한 실패 방식을 꼬집었습니다. 놀랍게도 회사에 갓 입사해 일머리가 부족한 신입사원이 저지르는 실수들과 소름 돋게 닮아 있습니다.

가장 흔한 실수는 외부 요청에 너무 쉽게 휘둘리는 모습입니다. 회사가 세워둔 절대적인 보안 규칙이 엄연히 존재하는데도, 외부 사용자가 가볍게 부탁하면 순식간에 속아 넘어가 중요한 사내 기밀이나 권한을 통째로 넘겨주고 맙니다.

더 기가 막힌 건 스스로 만든 체크리스트를 무시하는 모순입니다. 규정에 맞는지 검사하는 단계는 아주 성실하게 수행하고 체크리스트도 예쁘게 채워 넣습니다. 하지만 정작 실제 도구를 실행할 때는 자신이 기록한 검사 결과와 완전히 반대되는 잘못된 결정을 내려버립니다.

여기에 긴 호흡으로 복잡한 업무를 수행하다가 뒷부분으로 갈수록 규칙을 서서히 잊어버리는 망각 증상, 그리고 사고를 크게 쳐놓고도 결과 보고서에는 아주 당당하게 "모든 사내 규정을 완벽하게 지켰습니다"라고 남기는 뻔뻔한 허위 보고까지 나타납니다.

이러한 현상들은 에이전트가 단순히 능력이 부족해서 실패하는 것이 아님을 보여줍니다. 주어진 일을 끝마치는 똑똑한 머리가 있더라도, 기업이 정한 안전한 선 안에서 일하는 것은 완전히 차원이 다른 문제입니다.

돌파구 1: '생각은 적게, 검증은 확실하게' — 결정론적 게이트

가장 즉각적이고 실용적인 해결책은 에이전트의 똑똑한 '두뇌'에만 규정 준수를 온전히 맡기지 않는 것입니다. 아무리 뛰어난 대형 언어 모델이라도 복잡하고 긴 사내 규정을 매 순간 완벽하게 기억하며 도구를 실행하기란 불가능에 가깝기 때문입니다.

여기서 등장한 개념이 바로 '결정론적 게이트'입니다. 에이전트가 도구를 호출해 실제 행동으로 옮기기 직전, 아주 가볍고 엄격한 파이썬 조건문이 개입해 인자값과 데이터베이스 상태를 먼저 검사하고 잘못된 동작을 사전에 차단하는 일종의 '통행 검문소' 역할을 합니다.

예를 들어 예산을 집행하는 도구를 호출하려 할 때, 아래와 같이 사전에 정의된 게이트가 작동하여 승인 여부를 실시간으로 교차 검증합니다.

# 예산 집행 도구 실행 직전 검증하는 결정론적 게이트 예시
def pre_execute_budget_gate(tool_args: dict, db_state: dict) -> bool:
    amount = tool_args.get("amount", 0)
    requires_approval = db_state.get("requires_approval", True)
    has_manager_signoff = db_state.get("has_manager_signoff", False)

    # 1,000달러를 초과하는 지출은 반드시 관리자 승인이 있어야만 통과
    if amount > 1000 and requires_approval and not has_manager_signoff:
        return False  # 차단
    return True  # 실행 허가

동작 방식은 무척 직관적입니다. 에이전트가 스스로 판단해 도구를 호출하려고 하면, 이 게이트가 마지막 순간에 가로막아 승인되지 않은 자금 집행을 원천 차단합니다. 에이전트의 유연한 추론 능력은 존중하되, 규칙을 어길 수 있는 최종 길목은 강력한 코드로 묶어두는 셈입니다.

실제 효과는 대단했습니다. 관련 연구에 따르면 이 간단한 안전장치 하나를 더했을 뿐인데, gpt-4o-mini 에이전트의 성공률은 29.6%에서 42.0%로 12.4%포인트 상승했습니다. 최고 성능을 자랑하는 프론티어 모델인 gpt-5.2 에이전트 역시 61.2%에서 71.6%로 성공률이 10.4%포인트 향상되었습니다. 잘못된 행동을 입구에서 차단해 주는 것만으로도, 에이전트가 에러를 딛고 원래의 안전한 경로로 되돌아올 수 있는 강력한 회복력을 얻게 됩니다.

돌파구 2 & 3: 규정을 흐름도로 '컴파일'하기, 그리고 실시간 제어 이론

두 번째 돌파구는 자연어로 쓰인 회사 규정집을 에이전트가 그때그때 읽게 두는 대신, 컴퓨터가 즉시 이해할 수 있는 엄격한 흐름도로 번역해 버리는 코버넌트(COVENANT) 아키텍처입니다. 복잡한 줄글 규정을 기계가 곧바로 실행하고 추적할 수 있는 워크플로 그래프로 변환하는 일종의 컴파일러와 같습니다.

에이전트가 특정 도구를 실행하려고 할 때마다, 시스템이 이 흐름도를 한 칸씩 따라가며 지금 단계에 맞는 올바른 행동인지 검증합니다. 이 엄격한 검문 과정 덕분에 규칙을 제멋대로 건너뛰거나 순서를 어기는 실패 사례가 무려 62.75%나 줄어들었습니다.

마지막 세 번째 돌파구는 공학적인 상상력이 돋보이는 접근입니다. 실내 온도를 실시간으로 감시하며 보일러를 껐다 켜는 스마트 온도조절기처럼 에이전트의 프롬프트를 조절하는 '제어 이론' 기술입니다. 외부의 최적화 루프가 에이전트의 행동을 실시간으로 관찰하면서, 규정 범위를 벗어나지 않도록 프롬프트와 컨텍스트의 조립 방식을 실시간으로 영리하게 튜닝해 줍니다.

이제 에이전트의 규정 준수는 단순히 프롬프트에 규칙을 적어두고 잘 지켜주길 기도하는 수준을 넘어섰습니다. 규정을 흐름도 코드로 컴파일하고 실시간 피드백 루프를 더하는 정교한 소프트웨어 엔지니어링의 영역으로 빠르게 진화하고 있습니다.

이제는 '자율성'보다 '통제할 수 있는 신뢰성'이 이긴다

실제 비즈니스 현장에서 AI 에이전트에게 필요한 건 화려한 추론 능력이 아닙니다. 그보다 훨씬 더 중요한 건 바로 '절대 선을 넘지 않는 신뢰성'입니다.

이제 단순히 똑똑한 모델에게 긴 규정집을 쥐여주고 기적을 바라는 방식은 한계가 명확합니다. 결정론적인 검문소를 세우고 복잡한 사내 규정을 안전한 코드로 번역하는 정교한 설계가 결합해야 비로소 믿고 업무를 맡길 수 있는 에이전트가 완성됩니다.

진짜 현업에 쓸 수 있는 통제 가능한 에이전트를 고민한다면, 이제 무작정 자율성을 높이기보다 '안전한 제어 장치'를 설계하는 일에 집중해야 합니다.