OpenAI, AGI 도래 선언. 인용한 벤치마크 점수는 37점 낮았다

젠슨 황(Jensen Huang)이 X에 올린 게시물은 단 한 문장과 축하로 끝났다. “ChatGPT에서 o1, 그리고 Astra까지 4년 만에 AGI가 도래했다. @OpenAI 팀 축하한다.” 그가 이 글을 올린 날은 9월 6일이었다. 3일 전, OpenAI의 사장 그렉 브록만(Greg Brockman)은 언론에 거의 같은 표현을 사용했다. “AGI 시대에 오신 것을 환영합니다.” 두 사람의 선언은 시차를 두고 나왔지만, 서로 이해관계를 보완하는 위치에 있었고, 대체로 확인사실로 받아들여졌다.

해당 주장의 근거가 된 벤치마크는 ARC-AGI-3였다. OpenAI는 GPT-6이라는 명칭으로 출시한 새로운 프런티어 모델 Astra가 ARC-AGI-3에서 99.9%, FrontierMath Tier 4에서 98%를 기록했다고 밝혔다. 표준 조건에서 이 수준의 점수는 실질적 단절을 의미한다—단순히 성능이 좋은 모델이 아니라, 이전 벤치마크들이 목표로 삼았던 영역에 도달한 것이다. ARC-AGI-3를 구축한 기관이 자체 평가 도구로 측정한 점수를 공개했다: 62.7%.

두 숫자 사이의 차이는 37%포인트다. 두 숫자 모두 실제 평가에서 나왔다. OpenAI의 내부 평가 도구와 벤치마크 제작자의 기준 평가 도구는 동일한 프로토콜이 아니며, 같은 모델도 각각 다른 점수를 낸다. ARC-AGI-3 기관이 기준 조건으로 사용하는 것—즉, 여러 모델을 비교할 때 유효하다고 간주하는 조건—에서 나온 점수는 62.7%였다. OpenAI의 내부 설정에서 나온 점수는 99.9%였다. 이 두 숫자의 차이는 강력한 벤치마크 결과와 도래 선언 사이의 차이와 같다.

AGI 축하 뒤에 숨은 칩 판매

Astra는 NVIDIA 칩으로 학습되었다. 황은 NVIDIA 칩을 판다. 한 CEO가 자사 제품을 만드는 데 사용된 하드웨어를 차세대 인프라로 정의하는 역사적 기준점을 고객이 넘었다고 공개적으로 축하할 때, 그 발표는 구조적으로 상업적 주장이다. 음모론이 아니다. 구조적 현실이다: 이해충돌이 명백했고, 프레이밍은 성능보다 도래에 초점을 맞추었으며, 대부분의 보도는 이를 아무런 논평 없이 받아들였다.

AI 인프라용 칩 시장은 내러티브에 따라 움직인다. 만약 Astra가 AGI라면, Astra를 학습시킨 모든 것은 AGI 이후 세계의 하드웨어가 된다—그리고 다음 학습 실행을 위해 칩을 구매하는 기업들은 그 벤치마크를 향해 구매할 것이다. 그런 점에서 젠슨 황의 축하는 제품 성명이기도 했다. 그 성명은 벤치마크 기관 자체가 다르게 측정한 숫자에 의존하고 있었다.

독립 검증이 보여주는 것과 보여주지 않는 것

기사 작성 시점 기준으로 Astra는 프런티어 모델을 평가하는 가장 주목받는 두 독립 평가 시스템인 Artificial Analysis Intelligence Index와 Arena.ai의 순위에 등장하지 않았다. 주요 프런티어 출시에 대한 독립 검증은 보통 며칠 안에 이루어진다. 여기서의 부재는 성능이 나쁘다는 증거가 아니다. 이는 이 정도 규모의 주장에 일반적으로 수반되는 외부 검증이 아직 이루어지지 않았음을 의미한다.

벤치마크 제작자가 공개한 62.7%는 반박이 아니다. 이전 벤치마크를 부풀렸던 최적화 트릭을 저항하도록 설계된 ARC-AGI-3에서 이 수준의 점수는 진정으로 강력하다. ARC-AGI-3의 이전 버전들은 포화 상태였다: 모델들이 테스트 문제와 유사한 학습 데이터를 흡수하여 새로운 추론 능력 향상 없이 숫자만 끌어올렸다. ARC-AGI-3는 문제 설계를 변경하여 패턴 검색이 아닌 추상화를 요구하도록 했다. 기준 평가 도구에서 이 테스트의 62.7%는 2년 전 존재했던 어떤 것보다 훨씬 높은 수치다.

이의를 제기한 연구자들은 이 점을 정확히 지적했다. 모델의 능력 자체가 그들의 표적은 아니었다. 성능에서 선언으로의 도약이 문제였다. “이 벤치마크에서 높은 점수를 받았다”와 “AGI가 도래했다” 사이에는 한 단계가 필요하다: 도래를 측정할 수 있는 안정적이고 합의된 AGI 정의. 그런 정의는 분야 전체에 존재하지 않는다. OpenAI는 자체 정의를 가지고 있다. OpenAI의 자체 정의에 따르면 Astra는 기준을 충족할 수 있다. 하지만 회사가 자체 작성한 정의에 대해 제품을 측정하는 것은 외부 기준에 의해 측정되는 것과는 다른 종류의 결과다.

정의 없이 내려진 문장

젠슨 황의 게시물에는 단서 조항이 없었다. “AGI가 도래했다”는 선언적 문장이다—‘어떤 측정 기준에 따르면’이나 ‘특정 정의 아래에서는’이 아니라 깔끔한 도래 선언이다. 그가 언급한 4년간의 발전 경로—ChatGPT, o1, Astra—는 능력의 궤적으로서 실제다. 그 시퀀스의 각 모델은 가능한 것을 확장했다. 그 시퀀스를 종착점이 있는 여정으로 프레이밍하고 종착점을 선언하는 것은 다른 주장을 한다: 도래는 여정과 구별 가능하며, 기울기가 아닌 선이 있고, Astra가 그 선을 넘었다고 말하는 것이다.

그 주장 뒤에 있는 벤치마크 숫자는 62.7%였다. 테스트를 만든 사람들이 그 숫자를 공개했다. AGI 선언이 측정인지 시장 움직임인지에 대한 의문은 9월 6일에 이미 존재했다. 보도는 대체로 그 질문을 묻지 않고 답했다.

태그: 인공지능, OpenAI, nvidia, Jensen Huang, AGI, ARC-AGI-3