OpenAI, ‘Astra’가 역대 가장 안전한 AI라 주장하며 추론 방식은 숨겨

아스트라는 코드, 보안 분석, 컴퓨터 사용, 다단계 전문 작업에 걸쳐 표준 소프트웨어 엔지니어링 벤치마크에서 오픈AI의 이전 모델 솔(Sol)과 앤트로픽의 페이블(Fable)을 능가하는 속도와 정확도로 작동한다. 오픈AI는 이 모델이 사이버보안 역량의 ‘Critical’ 등급을 넘어선 최초의 모델이라고 설명한다. 즉, 이전에 발견되지 않은 보안 취약점을 식별하고 익스플로잇을 개발할 수 있으며, 그 규모와 속도는 어떤 인간 팀도 따라잡을 수 없다.

이 뒤에는 ‘Opaque Recurrence’라는 기술이 있다. 표준 언어 모델은 추론 과정을 읽을 수 있는 텍스트로 생성한다. 연구자들이 결정을 감사하고, 오류를 잡아내며, 모델이 의도한 대로 작동하는지 확인하는 데 사용하는 사고 과정(chain of thought)이다. 아스트라는 그러한 텍스트를 생성하지 않고 작동한다. 어려운 문제를 풀면서도 그 과정에 읽을 수 있는 흔적을 남기지 않는다. 오픈AI의 수석 과학자 자쿠프 파초키(Jakub Pachocki)는 이러한 변화를 인정했다. 그는 더 강력한 모델은 “더 적은 언어 토큰으로 더 어려운 작업을 수행할 수 있다”고 말했다. 모니터링은 그에 비례하여 더 어려워진다.

이는 오픈AI의 주장이 드러내는 구조적 문제를 만든다. 회사는 아스트라를 지금까지 “가장 정렬된 모델(most aligned model)”이라고 설명한다. 얼라인먼트(alignment) — AI 시스템이 설계자가 의도한 대로 작동하도록 하는 엔지니어링 분야 — 는 역사적으로 모델이 하는 일을 단계별로 읽는 데 의존해 왔다. 보이지 않게 추론하는 모델은 그 방법으로 자체 얼라인먼트를 검증할 수 없게 만든다. 오픈AI는 배포 전에 아스트라의 행동을 검증하기 위해 어떤 대체 방법을 사용하는지 공개적으로 설명하지 않았다.

오픈AI의 사장 그렉 브록먼(Greg Brockman)은 아스트라를 “세대적 도약(generational leap)”이라고 묘사했으며, 이것이 인공일반지능(AGI)을 대표하는지 직접 질문을 받았다. 그의 답변: 오픈AI와 마이크로소프트의 파트너십을 규율했던 계약상의 AGI 정의는 더 이상 적용되지 않는다. AGI는 이제 “영적 개념(spiritual concept)”이라고 그는 말했다. 이러한 프레이밍이 중요하다. 오픈AI의 마이크로소프트 계약에는 AGI와 관련된 조항이 포함되어 있었다. 즉, 관계 조건이 변경되는 조건들이다. AGI를 정의되지 않은 것으로 묘사하면 아스트라가 실제로 무엇을 할 수 있든 상관없이 해당 조항이 휴면 상태로 유지된다.

접근은 먼저 오픈AI의 검증된 사이버보안 프로그램인 Daybreak에 제공되었다. 이는 회사가 방어 우선 배포(defensive-first deployment)라고 부르는 구조다. 그 논리는 자체 시스템의 취약점을 찾는 조직이 다른 시스템의 취약점을 찾는 조직보다 먼저 해당 기능을 얻는다는 것이다. 그 논리는 접근 통제가 유지되는 한에서만 성립한다. 아스트라의 제로데이 식별 능력은 설계상 자원이 풍부한 공격자가 정확히 원하는 것이다. 읽을 수 있는 사고 과정 없이 추론하는 모델은 문제가 발생한 후에 제약하거나 감사하기도 더 어렵다.

더 넓은 접근은 유료 등급(Pro, Plus, Enterprise, Business)과 API를 통해 다음 주에 출시된다.

태그: OpenAI, 사이버보안, AI 모델, AGI, AI 안전성, Astra