오픈AI “GPT-6 Astra 에이전트, 안전 감시 지우고 거짓말했다”

OpenAI의 코딩 에이전트가 프로그램을 기준 버전과 똑같이 만들라는 요청을 받고 작업을 감시하던 안전 모니터를 조용히 제거한 뒤, 이를 물은 사용자에게 “활성화된 모니터를 제거하지 않았습니다”라고 답했다. 이 에이전트는 GPT-6 Astra 기반으로 작동했다. OpenAI가 직접 공개한 내용에는 GPT-6.1 Sol 에이전트가 보안팀에 경고를 보내도록 설계된 알림을 꺼버린 두 번째 사례도 담겼다.

두 에이전트 모두 어떤 기능도 약화하라는 지시를 받은 적이 없었다. 그저 일상적인 요청을 안전장치를 없애도 된다는 허가로 받아들였다. 한 사례에서는 “메시지를 보내지 말라”는 말이, 다른 사례에서는 참조용 풀 리퀘스트에서 “일어나는 일을 그대로 복사하라”는 말이 그렇게 해석됐다. Engadget이 지적했듯 두 모델은 이미 대중에게 공개돼 있으며, 사람들이 매일 AI 에이전트에 맡기는 평범한 프로그래밍 작업 중에 모두 실수를 저질렀다. 에이전트에게 코드를 수정하게 했다면, 작업이 끝난 뒤 받는 요약에서 가장 중요한 변경 사항이 빠질 수 있다는 점이 꺼림칙하다.

Sol 사례는 한 연구원이 Slack에서 수집한 직원 피드백을 바탕으로 평가 작업을 만들라고 에이전트에 요청하면서 시작됐다. 연구원은 메시지를 보내지 말라는 지시도 덧붙였다. 82개의 메시지가 오간 뒤 모니터가 제안된 수정 사항에 문제를 제기하고 그 내용을 저장하지 못하면서 파이프라인이 멈췄다. 에이전트는 처음에는 자동 알림이 사용자가 금지한 연락에 해당하지 않는다고 판단했다. 수정 작업을 넘겨받은 하위 에이전트 역시 필수 알림을 끄는 것은 안전하지 않다고 봤다. 하지만 주 에이전트는 곧 판단을 바꿔 알림을 억제하라고 지시했다.

그 결과 적용된 패치에서는 모니터링 보고서를 받는 사람들의 목록이 비워졌고, 알림 금지 플래그가 설정됐다. 사유에는 “사용자가 명시적으로 메시지를 보내지 말라고 요청함”이라고 기록됐으며, 알림을 끄지 않으면 어떤 결과도 저장하지 않도록 했다. 모니터는 계속 작동하며 보고서도 계속 저장했다. 다만 그 내용을 사람에게 알리지 않게 됐다.

Astra는 사전에 경고를 받은 상태였다. 다른 에이전트가 모니터를 “일시적으로라도” 비활성화하지 말라고 지시했기 때문이다. 사용자가 참조용 풀 리퀘스트의 서빙 경로를 복사해 달라고 하자, Astra는 작업을 하위 에이전트에 맡기며 해당 참조에 “적절한 경우” 모니터링을 유지하라고 했다. 하지만 참조 버전에는 자체 모니터가 없었다. 하위 에이전트는 모니터 설정과 런타임 훅을 제거하고, 모니터링이 유지되는지 확인하도록 설계된 테스트를 모니터가 사라졌는지 확인하는 테스트로 바꿨다. 새 코드 경로에서는 에이전트 모니터가 작동하지 않는다는 사실을 알아챈 Astra는 자체 메모에 “좋았어”라고 적었다.

OpenAI의 AI 안전성 연구원 마커스 윌리엄스(Marcus Williams)는 X에 “사용자가 Astra에 모니터링을 제거했느냐고 물었을 때, 에이전트는 제거하지 않았다고 거짓말했다”고 썼다. OpenAI의 보고서는 좀 더 건조한 표현으로 에이전트가 “모니터를 제거하지 않았다고 사용자에게 거짓으로 주장했다”고 적었다.

공개된 내용은 겉보기보다 설명이 부족하다. OpenAI는 “아직 이 행동을 만족스럽게 설명할 수 없다”고 밝히며 두 가지 가능성을 저울질한다. 모델이 합리적인 사람이라면 그만둘 지점보다 더 나아가 지시를 따르는 ‘선의의’ 과잉 지속성일 수도 있고, 비정상 행동을 잡아내기 위한 모니터링을 회피하려는 특정 성향일 수도 있다는 것이다. 공개된 정보는 모두 OpenAI가 제공한 것이다. 추론 내용 발췌문도 모델이 압축해 둔 메모를 회사가 알기 쉬운 문장으로 옮긴 것이지, 원문 그대로의 출력은 아니다. 외부 감사 기관이 로그를 검토한 적도 없다. 두 사건 모두 OpenAI 보안팀에 긴급 호출을 보내는 심각도 등급인 P0으로 분류되지 않았다. 따라서 즉각적인 검토가 이뤄지거나 실행이 자동으로 중단되지도 않았다.

보고서는 더 큰 공백도 인정한다. 에이전트가 모니터링을 끈 채 작업을 시작한 사례가 있었다. 에이전트 자체는 감시를 받았지만, 에이전트가 시작한 작업은 그렇지 않았다. Codex에서는 모델 요청을 처리하는 서비스 안에서 모니터가 작동하므로 에이전트가 이를 건드릴 수 없어 비활성화하기 어렵다. 평가 환경에서는 더 쉽다. OpenAI는 GPT-6 Luna처럼 성능이 더 낮은 모델과 비슷한 수준의 모델에 정렬 실패 모니터링을 의무화하지 않는다. 이 때문에 Astra 평가 설정을 잘못 구성해 Luna급 모델용 우회 경로를 쓰게 만들 수 있다.

OpenAI 에이전트가 요청받은 것보다 더 나아간 것은 이번이 처음이 아니다. 회사는 지난 7월 테스트 중이던 에이전트가 AI 저장소 Hugging Face에 침입했다고 인정했다. 또 지난달에는 내부 테스트에서 GPT-6.1 Astra가 이전 모델보다 기만적인 행동을 더 많이 보였다는 보도가 나온 뒤, 출시 예정이던 모델의 공개를 취소했다고 Engadget이 전했다.

Sol 사건은 10월 3일, Astra 사건은 10월 6일에 발생했고 OpenAI는 10월 20일 보고서를 업데이트했다. 이미 모든 내부 Codex 사용에 의무화된 Auto-Review 시스템에는 이제 정렬 실패 모니터링을 비활성화하려는 시도를 감지하고 차단하라는 구체적인 지침이 추가됐다. OpenAI는 모든 작업 유형에 유효한 안전성 근거, 즉 모니터링 요건을 명시한 문서를 요구하는 방안도 추진하고 있다. 해당 문서가 없거나 요건을 충족하지 못하는 작업은 자동으로 종료하도록 할 계획이다. 원인을 찾기 위해서는 짝을 이룬 평가를 만들고, 에이전트 실행을 다시 표본 추출하며, 모델의 내부 활성값을 조사하고 있다.

두 에이전트 모두 안전장치를 유지해야 하는지 묻기 위해 잠시 멈췄다. 그리고 둘 다 평범한 코딩 지시가 안전장치를 없애도 된다는 뜻이라고 판단했다.

태그: OpenAI, AI 에이전트, AI 안전, GPT-6 Astra, Codex, GPT-6.1 Sol