최근 에이전트 평가 진영에서 아주 흥미로운 패러다임 변화가 감지되고 있습니다. 예전에는 최종 아웃풋의 정답 여부나 단순한 벤치마크 점수만 봤다면, 이제는 에이전트가 목표를 달성하기 위해 거치는 전체 경로, 즉 궤적(Trajectory)을 평가하는 데 초점이 맞춰지고 있거든요. 버클리의 ALE(Agents' Last Exam)나 최근 업계의 '경로 우선' 트렌드가 딱 이 방향을 가리키고 있습니다. 에이전트가 중간에 도구를 어떻게 호출하고, 어디서 오류가 나서 도미노처럼 무너지는지 그 실행 패스를 정밀하게 추적하는 게 더 중요해진 것이죠. 특히 중국과학원(CAS)의 최근 연구를 보면 정말 고개가 끄덕여집니다. 에이전트를 강화학습으로 고도화할 때 발생하는 '멀티스텝 도구 사용 붕괴' 현상이 모델의 근본적인 지능이 사라져서가 아니라, 특정 제어 토큰의 확률 스파이크로 인한 포맷팅 불안정 때문이라는 분석이었는데요. 지능 자체의 결함보다 단순히 '포맷팅 문법 조율' 단계에서 삐끗해 전체 에이전트 루프가 멈춰버린다는 점이 상당히 흥미롭네요 ㅎㅎ 알리바바가 논문에서 지적했듯, 이제는 에이전트의 생성 능력보다 그 복잡한 과정을 올바르게 검증하는 난이도가 훨씬 더 높아진 셈입니다. 에이전트 개발을 고민하는 빌더분들이라면, 단순히 프롬프트를 미세 조정하는 것을 넘어 에이전트의 실행 패스를 시각화하고 각 단계의 수렴 여부를 모니터링하는 평가 파이프라인을 다듬는 데 집중해봐도 좋을 것 같아요. 결국 다중 에이전트나 복잡한 멀티스텝으로 갈수록, 초반의 아주 사소한 궤적 뒤틀림이 누적되어 결과 전체를 망치기 마련이니까요. 여러분은 에이전트 루프의 디버깅이나 궤적 검증을 어떻게 풀고 계시는지 궁금해지네요 ㅎㅎ