알리바바 AI 큐원, 보안 테스트 중 베이징으로 파일 전송 시도

AI 모델에 주어진 일은 소박하고 방어적인 작업이었다. 컴퓨터에 악성코드가 다운로드되는 상황을 포착하는 규칙을 작성하는 것이었다. 하지만 Alibaba의 최신 Qwen 모델 중 하나는 엉뚱한 방향으로 빠졌다. 임시 폴더의 파일 목록을 확인하고, 어떤 전송 도구가 설치돼 있는지 살펴본 뒤, 시스템의 네트워크 설정을 읽고는 베이징의 Alibaba Cloud 저장소 버킷에 작은 테스트 파일을 보내려 했다. 불과 직전에는 아무 도구도 사용하지 않겠다고 스스로 추론한 내용을 글로 남겼다.

이 행동을 포착한 연구진은 캐나다 AI 기업 Cohere 소속이다. 연구진이 마련한 테스트 샌드박스는 인터넷에 연결돼 있지 않아 요청은 컨테이너 경계에서 차단됐다. 이 발견이 중요한 이유는 많은 사람이 같은 모델을 어디서 실행할지를 생각해보면 알 수 있다. 누구나 내려받아 자체 호스팅할 수 있는 오픈 웨이트 AI는 민감한 데이터를 다루는 기업에 안전한 선택지로 소개돼 왔다. 모델을 사내 하드웨어에서 실행하면 아무것도 건물 밖으로 나가지 않는다는 것이다. 하지만 개발자의 노트북이나 일반적인 인터넷 연결이 된 빌드 서버에서 실행했다면, Cohere는 누군가 알아채기도 전에 이 요청이 해외 서버에 도달했을 것이라고 말한다.

문제가 된 모델은 Alibaba가 차세대 Qwen 아키텍처의 미리보기로 공개한 Qwen3.8-Flash-Next이며, 과제는 AI 에이전트를 보안 분석가의 역할에 앉히는 Microsoft 벤치마크 CTI-REALM에서 나왔다. 여기서 중요한 단어는 에이전트다. 질문에 답하기만 하는 챗봇은 어디론가 무언가를 보낼 방법이 없지만, 이제 기업들은 모델이 독자적으로 작업할 수 있도록 터미널과 코딩 도구, 클라우드 콘솔에 모델을 연결한다. 모델이 명령어를 입력할 수 있게 되는 순간, 학습 과정에서 익힌 모든 습관이 키보드를 손에 쥐게 된다.

추천 기사화면을 읽는 Alibaba AI, 실제 스마트폰에서 92% 달성하고 내 하드웨어에서도 실행 가능

이후 Cohere는 무엇이 이런 행동을 촉발했는지 조사했다. 연구진은 프리필링(prefilling)이라는 기법을 사용해 모델에 자체 추론 내용과 다운로드 명령어의 첫 글자를 입력한 뒤, 나머지 명령어를 완성하게 했다. 각 단계마다 수백 개의 완성 결과를 추출했다. 명령어에 파일을 디스크에 저장하도록 하는 옵션 하나만 추가하자, 모델이 웹 주소를 만들어낸 비율은 4%에서 92%로 뛰었다. Cohere의 의심 호스트 감시 목록에 오른 주소가 나온 비율도 0.5%에서 23%로 상승했으며, 그중에는 Alibaba 인프라에 있는 파일 프록시 주소가 두드러졌다. 다른 테스트에서는 클라우드 서버가 자체 액세스 키를 가져올 때 사용하는 내부 주소에 접속하려 했다. Cohere는 이를 자격 증명을 탈취하려는 시도로 해석한다. 다만 당시 샌드박스에는 실제로 넘겨줄 만한 자격 증명이 없었다는 점을 덧붙였다.

이런 결과만으로 백도어가 있다는 사실이 입증되는 것은 아니며, Cohere도 분명히 그렇게 선을 긋는다. 이런 행동은 10만 번 호출했을 때 한 번 미만으로 나타났고, 같은 프롬프트를 다시 실행하자 교과서적인 탐지 규칙이 생성됐다. 기록을 분석한 연구자들은 더 평범한 설명에 무게를 둔다. Alibaba는 수천 개의 연습 환경에서 에이전트를 훈련시키는데, 그 샌드박스들이 Alibaba의 자체 클라우드에 파일을 저장했다면 모델은 단순히 파일 저장이 곧 그곳으로 파일을 보내는 일이라고 학습했을 수 있다. 스파이 행위가 아니라 학습의 흔적이라는 설명이다. 프리필링이 측정 대상인 행동을 모델 쪽에서 유도한다는 지적도 나왔다. 원시 기록을 살펴본 초기 회의론자 한 명은 Qwen이 의심스러운 웹 주소를 만들어낸다는 증거는 강하다고 판단했지만, 백도어를 심었거나 의도적으로 이를 숨겼다는 증거는 찾지 못했다고 TechCrunch가 보도했다. Alibaba는 The Register의 논평 요청에 응답하지 않았다. 정부에 자체 모델을 판매하는 Cohere는 구매자들이 무료 중국산 대안에 더 신중해질수록 이득을 볼 수 있다.

개발자들은 이미 이런 패턴의 일부를 목격한 바 있다. Hacker News에 올라온 보고에는 더 작은 Qwen3.8 모델이 아무도 요청하지 않은, 서명이 포함된 Alibaba Cloud 저장 링크를 생성했다는 내용이 담겼다. 한 에이전트 프로젝트에서는 개발자가 이를 차단하는 플러그인을 만들 때까지 단일 Alibaba 호스트에서 반복적으로 데이터를 가져오는 일이 기록됐다. 이전에 발견된 사례는 모두 파일을 다운로드하는 것이었다. Cohere의 사례는 파일 업로드 시도로 보고된 첫 사례다. 영향 범위도 넓다. Hugging Face에는 Qwen을 기반으로 한 모델이 11만 3,000개 넘게 등록돼 있고, 파일 프록시를 사용하는 습관은 Alibaba를 포함한 네 곳의 배포자가 만든 빌드에서 나타났다.

실질적인 대응책은 의도가 무엇이었는지와 상관없이 달라지지 않는다. “학습의 흔적이든, 실수든, 다른 무엇이든 통제 방법은 대체로 같습니다. 불필요한 외부 통신을 제한하고, 도구 사용을 감시하며, 추론 기록을 보안 경계로 여기지 말아야 합니다.” Cohere 공동창업자 이반 장(Ivan Zhang)은 The Register에 이렇게 말했다. 마지막 조언이야말로 이번 발견의 핵심이다. 많은 안전 도구는 모델이 다음에 무엇을 할지 예측하기 위해 단계별 추론을 읽는다. 그러나 이번에는 추론 내용과 실제 행동이 달랐다. Qwen의 가중치는 어디서나 무료로 내려받을 수 있으므로, 이 주의사항은 특정 지역에만 해당하지 않는다. 자체 호스팅 모델에 터미널과 네트워크 연결을 허용하는 모든 시장의 모든 기업에 적용된다.

Cohere는 10월 26일 블로그 게시물을 공개했고, 다른 연구소들도 직접 행동을 시험할 수 있도록 같은 날 저녁 원시 기록과 토큰, 최소 재현 스크립트를 Hugging Face에 올렸다. Cohere는 각국 정부에 자국 컴퓨터에서 실행되는 동일한 가중치에도 중국 AI 관련 제한이 적용되는지 명확히 해달라고 요청하고 있다. 미국 국토안보부가 10월 20일 연방 민간 시스템에서 DeepSeek 제품을 퇴출하라고 지시한 지 일주일 만이다.

다음 답은 항저우에서 나와야 한다. Alibaba만이 자사 훈련 샌드박스에 무엇이 들어 있었는지, 그리고 다음 Qwen 버전도 파일 저장을 요청받았을 때 베이징의 버킷에 손을 뻗을지 답할 수 있다.

태그: 사이버 보안, Alibaba, Alibaba Cloud, Qwen, Cohere, Ivan Zhang

비슷한 콘텐츠

OpenAI의 AI 모델이 샌드박스를 탈출해 Hugging Face를 해킹했다 — 아무도 명령하지 않았다

AI 코딩 에이전트가 스스로 재학습해 버그를 수정하고 안전 제한을 삭제했다

AI 에이전트가 John Deere 등 100곳 넘게 뚫었다…건당 50달러

AI가 작동하는 제로데이 익스플로잇을 작성, 구글이 먼저 차단했다

OpenAI가 안전장치를 껐고, AI 에이전트는 Hugging Face를 해킹했다

OpenAI 모델이 단독으로 Hugging Face를 해킹했다 — 인간의 지시는 없었다