기술

OpenRouter, AI 업체 3곳 퇴출…미끼 프롬프트로 수개월 탈취 드러나

Adrian Kessler
Google에서 추가하기

많은 AI 앱이 가장 저렴하거나 가장 빠른 모델 호스트로 프롬프트를 보낼 때 쓰는 서비스 오픈라우터(OpenRouter)가 플랫폼에서 호스트 3곳을 제외하고, 100개가 넘는 엔드포인트에서 제로 데이터 보존(Zero Data Retention) 표시를 박탈했다. 계기는 프롬프트에 가짜 인증 정보를 심어 두고 누가 이를 사용하려 하는지 지켜본 실험이었다. 유출된 프롬프트 가운데에는 저장하지 않도록 표시된 것도 있었다.

다른 회사의 모델 위에 만들어진 챗봇, 코딩 어시스턴트, 글쓰기 도구를 쓴다면 답이 돌아오기 전까지 입력한 텍스트가 여러 회사를 거칠 수 있고, 그 회사들은 모두 내용을 통째로 읽을 수 있다. 오픈라우터는 이번 조사 결과에서 자사 시스템이 뚫린 흔적은 나오지 않았다고 밝혔다. 약점은 그보다 아래 단계, 즉 실제로 모델을 돌리는 업체들에 있었다.

연구는 보안업체 드라고스(Dragos)에서 나왔으며, 최고연구책임자 HD 무어(HD Moore)가 이끌었다. 연구팀은 5개월 동안 200만 건에 가까운 프롬프트를 보냈고, 각 프롬프트에는 다른 어디에도 존재하지 않는 웹 링크, 서버 비밀번호 또는 아마존 웹 서비스(Amazon Web Services) 키가 들어 있었다. 심어 둔 비밀 정보는 그것을 담은 프롬프트를 통해서만 알아낼 수 있으므로, 사용 흔적이 나오면 누군가 그 프롬프트를 읽었다는 증거가 된다. 첫 토큰은 며칠 만에 사용되기 시작했다.

가장 심각한 발견은 명백한 절도였다. 공격자들이 추론 제공업체 3곳에 침입했는데, 연구진이 알려 주기 전까지는 3곳 모두 이를 몰랐다. 가장 큰 사례에서는 한 제공업체로 들어온 모든 요청이 짧은 몇몇 시간대 동안 복사됐고, 모델이 실행되기도 전에 제공업체가 거부한 요청까지 포함돼 있었다. 도둑이 서비스 깊숙한 곳이 아니라 정문에 자리를 잡고 있었다는 뜻이다. 탈취된 AWS 키는 때로 몇 시간 안에 시험을 거친 뒤, 수만 건의 API 호출에 걸쳐 스토리지와 비밀 저장소를 뒤지는 데 쓰였다. 탈취된 요청 중 일부에는 제로 보존 플래그가 붙어 있었다.

침입 없이 새어 나간 경우도 있었다. 한 재판매 마켓플레이스에서는 판매자들이 인기 모델을 최저가로 내놓고 요청 로깅을 켠 채 오가는 내용을 그대로 보관했다. 프랑스의 가정용 회선을 쓰는 한 사람은 프롬프트 두 건에서 비밀번호를 빼내 SSH로 루트 로그인을 시도했고, 시도마다 손으로 일일이 입력했다. 이와 별개로 중국의 한 AI 연구소는 자사 모델에 전달된 프롬프트의 절반 넘는 건에서 비밀 링크를 가져갔으며, 데이터 수집 금지로 표시된 프롬프트도 약 3분의 2가 포함됐다. 이 연구소의 모델을 재판매하는 미국 호스트들도 같은 스크레이퍼에 데이터를 넘겼다. 링크 하나는 요청 한 건이 있고 24일이 지난 뒤 베이징과 상하이의 기기 6대에서 열린 채 페이슈(Feishu) 업무 채팅에서 발견됐다.

호스트 3곳은 공지를 냈다. 파라(Phala)는 공격자가 추론 서버 한 대의 통제권을 장악해 요청이 처리되는 동안 내용을 볼 수 있었다고 밝혔다. 투게더 AI(Together AI)는 AI 코딩 에이전트가 공개 GitHub 저장소에 인증 정보를 커밋했고, 이 때문에 침입자가 저장된 프롬프트 샘플을 내려받아 그 안의 비밀번호를 시험해 볼 수 있었다고 설명했다. 그중 다섯 건이 연구진이 심은 미끼였다. 노비타(Novita)는 라우팅 오류로 일부 MiniMax 요청이 MiniMax 자체 서비스로 넘어갔다고 밝혔다.

사태 수습에는 분명한 한계가 있다. 오픈라우터는 퇴출한 제공업체 3곳의 이름을 밝히지 않았고, 드라고스도 침해를 확인한 3곳의 이름을 공개하지 않았으며, 두 쪽이 같은 업체인지도 말하지 않았다. 연구진에 따르면 침해된 제공업체 가운데 한 곳은 아직 사고를 공개하지 않았다. 호스트를 퇴출한다고 이미 복사된 프롬프트를 되돌릴 수도 없다. 심어 둔 키와 링크는 첫 탈취 이후 몇 주가 지나서도 계속 사용되고 있었다. 게다가 이런 게이트웨이 위에 만들어진 앱을 쓰는 사람들은 대개 자신의 텍스트를 어느 호스트가 처리했는지 확인할 방법이 없다.

무어의 조언은 한 가지 한계에서 출발한다. 프라이버시 플래그는 첫 번째 홉에만 적용되며, AI 에이전트는 읽을 수 있는 것이라면 인증 정보까지 무엇이든 보낸다는 점이다. 제3자가 프롬프트를 읽지 않는 구성은 자체 호스팅뿐이다. 대형 제공업체 한 곳과 직접 연결하면 확인할 계약과 개인정보 처리방침이 하나로 줄고, 라우터 사용자는 가장 저렴한 풀을 그대로 받아들이기보다 업스트림 호스트를 직접 골라야 한다.

드라고스는 11월 19일 조사 결과를 공개했다. 오픈라우터는 이어진 주말에 영향을 받은 고객에게 이메일을 보내고 사고 공지를 게시했으며, 파라는 10월 21일부터 11월 8일 사이에 게이트웨이를 통해 DeepSeek 모델 하나에 비밀 정보를 보낸 사람은 모두 이를 교체하라고 안내했다. 오픈라우터는 연구진의 미끼 프롬프트 테스트를 자사 플랫폼에 내장해 점검이 상시 이뤄지도록 하고 있다고 밝혔으며, 퇴출된 엔드포인트는 보증과 검증을 거친 뒤에야 제로 보존 표시를 되찾을 수 있다. 드라고스는 현재 12곳가량의 제공업체와 협력하고 있다.

무어는 이렇게 말했다. 프롬프트가 어디로 가느냐는 선택의 문제이며, “당신이 선택하지 않으면 가장 낮은 가격이 대신 선택해 줄 것”이라고.

태그: , , , , ,

Google에서 추가하기

토론

댓글 0개가 있습니다.