추론 엔지니어링 — 에이전트 토큰 비용 최대 2.3배 아끼는 법

AI가 답을 내놓기 전에 스스로 깊이 생각하는 '테스트 시간 추론(Test-Time Compute)'이 요즘 뜨거운 화두입니다. 하지만 모든 질문에 똑같이 깊이 고민하게 만들면 엄청난 토큰 비용 폭탄을 맞게 됩니다. 이제 개발자들은 질문의 난이도와 불확실성을 따져가며 생각하는 시간과 예산을 똑똑하게 조절하는 '추론 엔지니어링'에 주목하고 있습니다.

모든 문제에 똑같은 깊이로 고민하고 있나요?

사람은 아주 단순한 질문을 받았을 때와 복잡한 수학 문제를 풀 때 뇌 에너지를 전혀 다르게 씁니다. 하지만 기존 에이전트 워크플로우는 질문의 난이도와 상관없이 매 단계마다 똑같은 깊이로 고민하도록 설계된 경우가 많습니다. 이 때문에 아주 간단한 작업에서도 불필요하게 많은 토큰을 소모하며 예산을 낭비하게 됩니다.

가장 큰 문제는 에이전트 루프가 정교하게 조율되지 않았을 때 발생하는 '비용 역전 현상'입니다. 단순히 단가가 저렴한 모델을 선택하면 비용이 아껴질 것 같지만, 비효율적인 반복 탐색이 이어지면 오히려 고성능 모델을 쓸 때보다 총비용이 훨씬 커지기도 합니다. 실제로 단가가 낮은 Gemini 3 Flash를 사용해 설계한 에이전트가 비효율적인 루프 탓에 고성능 모델인 GPT-5.4를 썼을 때보다 비용이 38%나 더 나온 사례도 보고되었습니다.

결국 에이전트가 마주한 상황의 불확실성을 스스로 평가하고, 그에 맞춰 생각의 예산을 유동적으로 조절하는 똑똑한 흐름 제어가 반드시 필요합니다.

불확실성과 경제성을 스스로 계산하는 프레임워크들

최근 학계와 산업계에서 발표된 기술들은 이 비용 문제를 아주 영리하게 풀어내고 있습니다. 대표적으로 캘리포니아 대학교 버클리 연구진 등이 발표한 CATTS는 의사결정이 헷갈리고 불확실할 때만 선택적으로 추론 능력을 극대화합니다. 에이전트 내부의 의견이 팽팽하게 대립할 때만 예산을 집중하는 방식입니다. 실제로 웹 에이전트 성능 평가 벤치마크인 WebArena-Lite에서 작업 성공률을 9.1% 높이면서도, 토큰 소모량은 최대 2.3배나 아끼는 놀라운 효율을 증명했습니다.

경제학적인 관점을 도입해 문제를 해결하려는 시도도 있습니다. CLEAR 프레임워크는 계산에 들어가는 토큰을 유한한 자원으로 보고, 각 연산의 한계 가치를 나타내는 '그림자 가격'을 계산합니다. 만약 특정 질문에 시간과 비용을 더 써봤자 손해가 날 것 같으면 과감하게 '합리적 포기'를 선언하고, 다른 성공 확률이 높은 연산에 남은 예산을 몰아줍니다. 여기에 더해 AVA 프레임워크는 사용자가 설정한 전체 예산 안에서 정밀 검증 단계를 유연하게 조율해, 쉬운 작업은 빠르게 통과시키고 복잡한 작업에서만 꼼꼼한 검증 루프를 돌립니다.

이러한 기술들은 복잡한 API나 소스코드를 세부적으로 수정하기보다, 에이전트가 생각하는 흐름의 구조적 설계도를 바꾸는 데 초점을 맞춥니다. 지금 단계에서는 세세한 구현 코드를 비교하는 것보다, 이처럼 불확실성과 비용을 저울질하는 개념적인 프레임워크 설계 패러다임의 변화를 이해하는 것이 훨씬 중요합니다.

여러 에이전트가 협업할 때의 추론 설계법

여러 개의 AI가 함께 일하는 멀티 에이전트 환경이라면 토큰 관리의 난이도는 더욱 올라갑니다. 에이전트끼리 서로 의견을 주고받다 보면 불필요한 질문과 답변을 끝없이 반복하며 순식간에 토큰 예산을 전부 써버리기 일쑤입니다.

이 문제를 해결하기 위해 등장한 대표적인 프레임워크가 바로 퓨처위버(FutureWeaver)입니다. 이 프레임워크는 과거에 성공적으로 협업했던 기록에서 가장 효율적인 소통 패턴을 스스로 추출해 모듈로 저장합니다. 에이전트들에게 가장 검증된 협업 방식만 담은 일종의 가이드북을 쥐여주는 셈입니다.

여기에 더해 퓨처위버는 똑똑한 이중 수준 계획 구조를 사용합니다. 개별 에이전트가 눈앞의 단기 작업을 처리하는 동시에, 상위 시스템이 전체 토큰 예산을 넘지 않도록 장기적인 추론 경로를 미리 내다보며 조율합니다. 당장의 실행력과 장기적인 예산 관리를 동시에 챙기는 고도의 자원 최적화 기술입니다.

이제 에이전트를 설계할 때 단순히 "서로 협업해서 문제를 풀어라"라는 프롬프트만 주는 시대는 지나가고 있습니다. 한정된 비용 안에서 각 에이전트가 언제, 어떻게, 얼마나 생각할지 시스템 수준에서 유기적으로 조율하는 구조가 멀티 에이전트의 새로운 표준이 되고 있습니다.

프롬프트 작성을 넘어 추론 설계의 시대로

과거에는 AI에게 좋은 답변을 받아내기 위해 프롬프트를 다듬는 데 집중했다면, 이제는 한정된 토큰 예산 안에서 AI가 얼마나 깊이 생각하게 만들지 결정하는 추론 설계가 핵심 경쟁력으로 떠오르고 있습니다. 단순히 최고 성능의 모델만 고집하기보다, 상황에 따라 자원을 똑똑하게 배분하는 인프라를 구축해야 하는 때입니다.

앞으로는 난이도에 맞게 생각의 깊이를 유연하게 조절하는 에이전트 시스템이 기본값으로 자리 잡을 것입니다. 지금 개발 중인 서비스가 있다면 무조건 깊은 고민을 강제하기보다, 해결할 문제의 난이도 곡선과 예산 제약 조건에 맞춰 자원을 유연하게 배분하는 동적 추론 설계를 직접 시도해 보세요.