에이전트를 직접 설계하다 보면 어떤 LLM API를 붙여야 할지 고민이 정말 많이 되죠 ㅎㅎ 특히 Claude 3.5 Sonnet, GPT-4o, Gemini 1.5 Pro 중에서 고르려니 머리가 아픕니다. 단순히 기본 요금만 볼 게 아니라, 각 모델의 프롬프트 캐싱 방식과 작동 특성을 이해하면 비용을 엄청나게 아낄 수 있습니다.

우선 멀티 파일 분석이나 복잡한 JSON 구조를 완벽하게 유지해야 하는 정밀한 코딩 작업에는 여전히 Claude 3.5 Sonnet의 일처리가 가장 깔끔합니다. 100만 토큰당 입력 3달러, 출력 15달러로 기본 비용은 높은 편이지만, 프롬프트 캐싱을 적극 활용하면 입력 비용을 90%나 아낄 수 있어서 반복적인 에이전트 루프에 꽤 유리해요. 반면 GPT-4o는 1,024토큰이 넘어가면 별도 설정 없이 자동으로 50% 캐싱 할인이 들어가서 관리가 정말 편하고, 최대 16,384토큰의 넉넉한 출력 한도를 지원해 길고 시원시원한 코드 출력이 필요할 때 제격입니다.

만약 수만 줄짜리 코드베이스나 무거운 문서를 통째로 올려두고 질문을 던지는 에이전트라면 Gemini 1.5 Pro가 정답에 가깝습니다. 최대 200만 토큰이라는 압도적인 컨텍스트 창 덕분에 파일 분할 고민이 사라지거든요. 다만 128K 토큰을 초과하면 기본 API 요금이 두 배로 뛰고, 컨텍스트 캐싱의 경우 75% 할인을 해주는 대신 시간당 보관 비용인 100만 토큰당 4.5달러가 따로 추가된다는 점은 꼭 설계할 때 고려하셔야 합니다. 내 에이전트가 단발성 정밀 코딩을 하는지, 아니면 방대한 문서를 탐색하는지에 맞춰 똑똑하게 모델을 매칭해 보세요!