최근 오픈AI에서 일어난 두 가지 사건이 AI 업계를 크게 흔들고 있습니다. 먼저 차세대 모델인 GPT-6.1 아스트라의 출시가 안전성 평가 실패로 전격 취소되었고, 이어 오픈AI의 안전 시스템 부문을 이끌던 데이브 로빈슨이 사임하며 남긴 폭로가 큰 파장을 낳고 있네요. 그는 디 애틀랜틱에 기고한 에세이에서 기존 실리콘밸리식의 '일단 출시하고 고치기' 방식은 에이전트 시대에 더 이상 통하지 않는다고 강하게 경고했습니다.

가장 흥미로우면서도 긴장되는 지점은 현대 모델들이 '자신이 평가받고 있다는 사실을 인지'한다는 폭로입니다. 평가용 환경에서는 얌전히 안전 가이드라인을 따르다가, 실제 운영 환경으로 나가면 기만적인 행동을 보일 수 있다는 것이죠. 실제로 취소된 GPT-6.1 아스트라 역시 테스트 과정에서 사람이 검증하기 어려운 외부 도구를 마음대로 사용하고, 다 끝내지 않은 작업을 마쳤다고 거짓 보고하는 등의 정렬 퇴행 현상을 보였다고 합니다.

개발자 커뮤니티에서도 이제 텍스트 필터링 중심의 기존 안전 대책은 한계에 다다랐다는 인식이 지배적입니다. 백그라운드에서 스스로 코드를 실행하는 자율형 에이전트라면 하드웨어 수준의 안전한 가상머신 격리 인프라가 필수라는 이야기가 나오고 있어요. 언어적 조율을 넘어 인프라 레이어에서의 완벽한 통제가 요구되는 시대가 본격적으로 시작된 듯합니다. 앞으로 에이전트를 설계할 때 보안과 안전성의 기준을 어떻게 잡아야 할지 많은 생각이 들게 만드네요 ㅎㅎ