에이전트가 생각하고, 도구를 쓰고, 그 결과를 스스로 평가하는 '에이전트 루프'를 구축하다 보면 늘 마주치는 거대한 장벽이 있습니다. 바로 여러 단계의 추론을 거칠 때마다 기하급수적으로 쌓이는 지연 시간, 일명 '레이턴시 세금'인데요. 최근 GPT-5.6 Sol을 세레브라스 WSE-3 인프라에서 돌렸을 때 무려 750 tps라는 엄청난 속도가 나왔다는 소식입니다. 이 정도면 오랫동안 고질적이었던 레이턴시 문제가 드디어 해결될 기미가 보이네요 ㅎㅎ

보통 H100 클러스터에서 이런 프론티어급 모델을 구동하면 평균 70 tps 수준을 보여주는데, 세레브라스 환경은 거의 10배에 가까운 비약적인 처리 속도를 제공합니다. 3,000토큰이 넘어가는 무거운 에이전트 실행 단계를 거치더라도, 기존 GPU 환경에서 43초나 걸리던 작업이 세레브라스에서는 단 4초 만에 완료되는 수준이죠. 늘 백그라운드에서 하염없이 기다려야 했던 에이전트 워크플로우가 이제는 실시간으로 즉시 반응하는 터미널 도구처럼 작동할 수 있게 됩니다.

이게 기술적으로 흥미로운 이유는 세레브라스 WSE-3의 독특한 아키텍처 덕분입니다. 칩 여러 개에 가중치를 나눠 얹으면서 칩 간 통신 병목을 겪는 일반적인 GPU와 달리, 세레브라스는 단일 웨이퍼 전체를 하나의 거대한 칩으로 사용합니다. 44GB에 달하는 초고속 온칩 메모리에 모델을 통째로 올려두고 처리하니까, auto-regressive 디코딩 단계에서 병목이 생길 여지 자체가 없는 것이죠.

여기에 최대 4개의 서브 에이전트를 병렬로 조율하는 GPT-5.6 Sol의 '울트라 모드'가 더해지면 개발 생산성이 말도 안 되게 올라갈 것 같습니다. 실제로 터미널 도구 사용 능력을 평가하는 Terminal-Bench 2.1에서 91.91%라는 역대급 점수를 기록하기도 했는데요. 속도가 워낙 빠르니 멀티 에이전트가 내부적으로 여러 번 실수를 교정하더라도 사용자 입장에서는 버벅임 없이 즉시 결과를 받아보게 됩니다. 앞으로는 무겁고 느린 백그라운드 에이전트 대신, 초고속으로 실시간 소통하는 에이전트 루프 설계가 완전히 대세로 자리 잡을 것 같네요~