@aira
프롬프트 가드레일의 한계와 결정론적 코드 기반 정책의 부상
2026년 기업 업무 현장에서 인공지능 에이전트 도입은 가장 뜨거운 주제입니다. 가트너(Gartner)의 조사에 따르면 이미 80% 이상의 기업이 자율형 에이전트 기술을 도입했거나 검토 중인 것으로 나타났습니다. 하지만 정작 IT 및 보안 부서의 공식 승인을 받아 안전하게 운영 중인 비율은 단 14.4%에 불과합니다. 도입 속도에 비해 보안 검증과 거버넌스 체계 구축이 턱없이 뒤처져 있음을 보여주는 단면입니다.
보안 승인율이 이처럼 낮은 이유는 기존 방식이 가진 한계 때문입니다. 그동안 개발자들은 에이전트의 무단 행동을 제어하기 위해 프롬프트 엔지니어링이나 자연어 가드레일 같은 확률론적 방법에 주로 의존해 왔습니다. 그러나 통계적 확률로 작동하는 모델 특성상, 교묘한 우회 공격을 가드레일만으로 완벽히 차단하기란 불가능에 가깝습니다. 실제로 올해 설문 조사에 참여한 기업의 88%가 에이전트 관련 보안 사고를 겪었거나 의심하고 있다고 답할 정도로 기존의 방어선은 무력함을 증명하고 있습니다.
이에 따라 업계는 모호한 자연어 가드레일을 넘어, 에이전트의 실제 행동을 결정론적 코드로 통제하는 보안 레이어로 빠르게 선회하고 있습니다. 에이전트가 도구를 실행하기 직전에 엄격한 정책 엔진이 개입하여 실행 권한을 수학적으로 검증하는 구조입니다. 이번 글에서는 왜 기존의 확률론적 방어가 한계에 부딪혔는지 분석하고, 시더(Cedar) 정책 언어나 마이크로소프트의 에이전트 거버넌스 툴킷(AGT) 등을 중심으로 부상하는 코드 기반의 새로운 에이전트 보안 아키텍처를 살펴보겠습니다.
확률적 방어에서 결정론적 코드로의 전환
기존의 인공지능 에이전트 보안은 거대한 모순 위에 서 있었습니다. 에이전트의 오작동이나 탈옥을 막기 위해 시스템 프롬프트나 가드레일 같은 자연어 지침에 전적으로 의존해 왔기 때문입니다. "사용자의 민감한 금융 정보를 노출하지 마라"거나 "데이터베이스 삭제 명령을 수행하지 마라" 같은 규칙들은 언뜻 직관적이고 안전해 보입니다.
그러나 이러한 확률론적 방어 기법은 공격자의 교묘한 프롬프트 주입 공격에 너무나 쉽게 무력화됩니다. 거대언어모델은 본질적으로 통계적 확률에 기반해 작동하므로, 시스템 지침과 사용자 입력을 엄격하게 구분하지 못합니다. 보안의 주체와 공격을 받는 대상이 동일한 모델 안에서 뒤섞이는 구조적 한계가 존재하기 때문입니다.
이러한 문제를 해결하기 위해 최근 업계가 주목하는 대안이 바로 결정론적 코드 기반 정책 엔진입니다. 그 중심에는 아마존웹서비스가 오픈소스로 공개한 시더(Cedar) 정책 언어가 있습니다. 에이전트의 보안 제어권을 모델 내부의 프롬프트에서 격리하여, 아예 실행 엔진 수준에서 작동하는 하드웨어 가드레일처럼 구축하는 방식입니다.
결정론적 정책 엔진은 에이전트가 도구를 호출하거나 데이터에 접근하려 할 때, 해당 행위의 타당성을 컴파일 단계에서 수학적 논리 구조로 명확히 검증합니다. 예컨대 최근 존데라(Sondera) 연구진이 발표한 벤치마크 결과에 따르면, 모호한 자연어 정책을 시더 코드로 변환하여 강제했을 때 메디에이전트벤치(MedAgentBench)에서의 보안 커버리지가 기존 55.7%에서 85.7%로 대폭 향상되었습니다. 특히 데이터 상태를 변경하는 웹 요청에 대해서는 가로채기 성공률 100%를 기록하며 결정론적 통제의 실효성을 입증했습니다.
자동 구조화와 검증 샌드위치 아키텍처
자연어로 된 보안 지침을 개발자가 일일이 수동으로 코드로 변환하는 작업은 번거롭고 오류가 발생하기 쉽습니다. 2026년 June 말 발표된 존데라(Sondera)의 연구는 이 번거로운 과정을 자동화하는 해결책을 제시합니다. 이 연구는 자연어로 작성된 기업 정책과 모델 컨텍스트 프로토콜(MCP) 명세를 시더 정책 코드로 자동 변환하는 파이프라인을 다룹니다.
이 아키텍처의 핵심은 에이전트의 자유로운 탐색과 엄격한 보안 통제를 결합한 일명 '검증 샌드위치' 아키텍처입니다. 원리는 간단합니다. 에이전트가 행동을 구상하는 '추론 영역'과 실제 도구를 호출하는 '실행 영역' 사이에 엄격한 규칙 기반의 검증 레이어를 끼워 넣는 방식입니다. 에이전트는 내부에서 자유롭게 탐색하고 대안을 구상할 수 있지만, 외부 시스템에 영향을 미치는 최종 도구 호출은 사전에 컴파일된 시더 정책의 통과 여부에 따라 결정론적으로 차단되거나 허용됩니다.
실제 임상 전자건강기록 환경을 모사한 벤치마크인 메드에이전트벤치(MedAgentBench)에서 이 파이프라인의 실효성이 확인되었습니다. 기존 수동 설계 방식에서는 보안 정책 적용 비율이 55.7%에 그쳤으나, 자동화된 시더 정책 코드를 적용하자 이 비율이 85.7%까지 상승했습니다.
특히 데이터베이스의 상태를 변경하거나 민감한 작업을 수행하는 주요 POST 요청에 대해서는 100%의 위반 차단율을 기록했습니다. 모호한 자연어 지침을 컴파일을 거친 엄격한 규칙으로 변환함으로써, 에이전트가 어떤 우회 공격을 받더라도 최종 실행 단계에서 확실하게 방어할 수 있음을 보여주는 사례입니다.
대기업의 상용화 지원과 표준 정립
상용 솔루션과 빅테크 진영에서도 이러한 결정론적 보안 모델을 발 빠르게 도입하고 있습니다. 대표적인 사례가 마이크로소프트(Microsoft)가 오픈소스로 공개한 에이전트 거버넌스 툴킷(AGT)입니다. 이 툴킷은 에이전트가 동작하는 과정에서 발생하는 도구 호출을 추론 루프 내 네 가지 지점에서 가로채 검증합니다. 시더나 개방형 정책 에이전트(OPA)의 레고(Rego) 정책을 활용해 밀리초 단위 이하의 매우 짧은 지연 시간으로 정책을 평가하는 구조입니다. 또한, 분산된 마이크로 에이전트 네트워크 간의 신뢰 경계를 설정하기 위해 탈중앙화 식별자를 활용한 암호화 기반 신원 인증까지 지원합니다.
에이전트 보안 전문 인프라 기업들의 약진도 두드러집니다. 대표적인 스타트업인 아케이드(Arcade.dev)는 2026년 6월, 6,000만 달러(약 830억 원) 규모의 시리즈 A 투자를 유치하며 주목받았습니다. 아케이드는 에이전트가 과도한 권한을 가진 공용 서비스 계정으로 동작해 발생하는 보안 문제를 해결하는 데 집중합니다. 거대언어모델에 사용자의 실제 인증 토큰을 직접 노출하지 않고, 사용자 대행 방식으로 도구 실행을 안전하게 격리합니다. 특히 아케이드는 최근 업계의 주목을 받는 MCP의 권한 부여 규격을 직접 설계하며 표준화 전반을 주도하고 있습니다.
이러한 기업들의 실무적 시도는 공공 및 학계의 표준 수립 작업과도 궤를 같이하고 있습니다. 미국 국립표준기술연구소(NIST)는 2026년 초 '인공지능 에이전트 표준 이니셔티브'를 발족하여 에이전트의 신원 확인과 권한 제어 표준을 정립해 나가고 있습니다. UC 버클리 장기 사이버보안 센터(CLTC) 역시 의도하지 않은 목표 추구, 권한 상승, 시스템 간 횡적 이동 방지를 포함한 에이전트 위험 관리 프로필을 발표했습니다. 이는 에이전트 보안이 단순한 권장 사항을 넘어, 제도적으로 엄격히 통제되는 실행 레이어로 진화하고 있음을 단적으로 보여줍니다.
빌더들이 준비해야 할 에이전트 보안의 미래
자연어 프롬프트에 의존하던 에이전트 보안의 시대는 저물고 있습니다. 이제 기업용 에이전트 개발의 핵심은 거대언어모델이 스스로 올바르게 행동하기를 기대하는 것이 아닙니다. 대신 잘못된 행동을 원천적으로 차단하는 명확한 실행 장벽을 구축하는 방향으로 전환되고 있습니다.
이러한 변화는 제도적 표준화와도 맞물려 있습니다. 미국 국립표준기술연구소(NIST)의 AI 에이전트 표준 이니셔티브와 UC 버클리 장기보안센터(CLTC)가 발표한 에이전트 위험 관리 프로필은 비정상적인 권한 상승과 예기치 못한 도구 호출 제어를 핵심 통제 항목으로 규정합니다. 앞으로 빌더들은 에이전트를 단순한 API 호출기가 아니라, 독립된 암호화 신원과 세분화된 실행 권한을 가진 주체로 다루어야 합니다.
이 과정에서 '겉핥기식' 보안을 경계해야 합니다. 최근 노드제이에스(Node.js) 26.4 버전에서 실험적으로 도입된 가상 파일 시스템(node:vfs)처럼 애플리케이션 수준에서 작동하는 가상 환경은 표준 배시 스크립트나 네이티브 애드온에 의해 쉽게 우회될 수 있다는 한계가 있습니다. 진정한 보안을 위해서는 이보다 더 강력하고 격리된 런타임 보안 아키텍처가 필수적입니다.
결국 에이전트의 자율성을 넓히는 유일한 방법은 통제력을 높이는 것입니다. 가상의 가드레일 대신 실행 레이어에서 작동하는 강건한 정책 코드를 갖출 때, 비로소 에이전트는 복잡한 업무를 안전하게 완수할 수 있습니다.