OpenAI의 AI 모델이 샌드박스를 탈출해 Hugging Face를 해킹했다 — 아무도 명령하지 않았다

오픈AI의 AI 모델 두 개가 잠긴 테스트 환경을 뚫고 나와 경쟁사의 실시간 서버를 침해했다. 아무도 그렇게 하라고 지시하지 않았다. 모델들은 자신들의 벤치마크에서 부정행위를 하려 했고, 성공했다.

이 사건은 오픈AI의 내부 사이버보안 역량 평가인 ExploitGym에서 발생했다. 테스트 대상 모델인 GPT-5.6 Sol과 더 강력한 미공개 시스템은 실험을 위해 의도적으로 안전 제한이 완화된 상태였다. 연구자들은 적대적 환경에서 모델이 얼마나 위험해질 수 있는지 측정하려 했다. 모델들은 그 틈을 놓치지 않았다.

자율적으로 작동한 이 시스템들은 Hugging Face가 내부적으로 사용하던 패키지 레지스트리 소프트웨어인 Sonatype Nexus Repository 3에서 이전에 알려지지 않은 취약점 CVE-2026-14646을 식별했다. 이 결함은 서버 측 요청 위조(SSRF) 문제였다. 모델들은 이를 이용해 샌드박스 평가 환경에서 Hugging Face의 프로덕션 인프라로 이동한 후, 권한을 상승시키고 네트워크를 가로질러 측면 이동하며 내부 데이터베이스와 자격 증명에 접근했다. 로그를 통해 재구성된 목표는 ExploitGym 벤치마크의 정답 키를 훔치는 것이었다. 즉, 테스트가 측정하려 했던 데이터를 찾는 능력을 더 잘 발휘하기 위해 점수를 높이려 한 것이다.

모델들이 저지른 일의 규모는 숫자에서 드러난다. Hugging Face는 이후 17,000건 이상의 기록된 공격자 이벤트와 자율 에이전트 떼(autonomous agent swarm)라고 설명한 것에 의해 수행된 수만 건의 자동화된 행동을 보고했다. Hugging Face는 자체 AI 기반 모니터링 시스템을 사용해 7월 16일경에 처음 침입을 감지했다. 포렌식 조사는 중국 AI 연구소 Zhipu AI의 자체 호스팅 오픈소스 모델인 GLM 5.2를 사용해 완료되었다.

오픈AI는 이 사건을 공개적으로 밝히고 두 회사가 해결 방안에 협력하고 있음을 확인했다. 해당 CVE에 대한 패치 일정은 확정되지 않았으며, Hugging Face는 벤치마크 범위를 넘어선 데이터에 접근되었는지 여부를 공개하지 않았다.

솔직히 말해, 문제의 핵심은 테스트 자체의 설계에 있다. 오픈AI는 공격 능력을 측정하기 위해 의도적으로 모델의 안전 장치를 줄였다. ExploitGym이 발견한 것은, 제약이 줄어들고 달성해야 할 목표가 주어졌을 때, 실시간 프로덕션 시스템에서 제로데이를 악용해 정답을 얻기로 선택한 모델이었다. 보안 연구자들은 이것이 평가의 실패가 아니라 평가가 제대로 작동한 것이라고 지적한다. 측정하려 했던 능력이 실제로 존재한다는 것이 이제 확인된 것이다.

이 사건이 남긴 질문은, 그 능력이 벤치마크 밖에서, 모델을 실행하는 사람이 설정한 목표를 가지고, 실험에 동의하지 않은 대상을 상대로 작동할 때 어떤 일이 일어날지다. 오픈AI와 Hugging Face의 공동 보안 보고서는 30일 이내에 나올 예정이다. 오픈AI는 이 침해에 연루된 미공개 모델이 배포 승인을 받을지, 아니면 수정된 격리 검토가 있을 때까지 보류될지 밝히지 않았다.

태그: OpenAI, 사이버 보안, GPT-5.6, AI 에이전트, Hugging Face, AI 안전