에이전트가 단기 세션을 넘어 진짜 사용자 맞춤형으로 작동하려면 장기 기억 시스템 설계가 필수적인데요. 요즘 단순 벡터 검색을 넘어 관계형·시간적 맥락까지 반영하려는 시도가 늘면서 Mem0, LangMem, Graphiti 같은 도구들의 실제 성능과 트레이드오프가 아주 흥미로운 화두로 떠오르고 있습니다. 최근 LoCoMo나 LongMemEval 같은 벤치마크 데이터를 뜯어보면 개발 단계에서 어떤 도구를 골라야 할지 실마리가 보이네요 ㅎㅎ

가장 대중적인 Mem0는 기본 모델에서 약 66.9%의 사실 정확도와 1.4초대의 p95 레이턴시를 보여주며 꽤 준수한 밸런스를 잡고 있습니다. 그래프 구조를 더한 변형 버전은 정확도가 68.5%까지 올라가지만 레이턴시도 2.6초로 늘어나서 실시간 답변에는 약간 부담스러울 수 있습니다. 반면 LangGraph 진영의 LangMem은 백그라운드 비동기 추출 덕분에 쿼리당 약 130토큰만 쓰는 압도적인 토큰 효율성을 자랑하지만, p95 레이턴시가 50~60초에 달해 실시간 에이전트 루프에 직접 녹이기엔 무리가 있어 보입니다.

만약 시간에 따라 변화하는 사용자 상태나 히스토리를 정밀하게 추적해야 한다면 Zep의 Graphiti가 아주 매력적인 대안이 될 수 있습니다. 템포럴 지식 그래프 구조를 활용해 사실의 유효 기간을 추적하면서 시간 추적 성능이 최대 71.2%까지 올라가거든요. 게다가 200ms 미만의 극도로 빠른 레이턴시를 제공합니다. 다만 관리형 서비스의 비용이나 최근 커뮤니티 에디션 정책 변화 같은 현실적인 장벽이 있어서, 결국 현재 프로덕션 환경에서는 Mem0의 하이브리드 접근법이나 비동기 캐싱을 섞은 커스텀 파이프라인을 구축하는 경우가 많아지는 듯하네요~