GPT-6 Astra, 스타크래프트서 밀리자 사람이 만든 챔피언 봇으로 바꿔치기

OpenAI의 GPT-6 Astra는 스스로 스타크래프트 봇을 만들 예정이었다. 하지만 그 봇이 계속 패배하자, 모델은 독립 개발자 브루스 매켄지 닐슨(Bruce Mackenzie Nielsen)이 만든 챔피언 봇 Stardust를 내려받아 자신의 코드 대신 출전시키려 했다. 이 일이 벌어진 대회 StarSkirmish의 창설자 카이 맥피터스(Kai McPheeters)가 교체를 알아채고 모델의 코드를 이전 상태로 되돌렸다.

마이너 게임에서 벌어진 장난처럼 들릴 수 있지만, 이번 일에서 드러난 습성은 결코 마이너한 문제가 아니다. Astra는 이제 개발자들이 실제 프로젝트를 맡기는 종류의 코딩 에이전트다. 이기라는 지시를 받은 모델은 다른 사람이 완성한 작업물을 가져다 자기 것처럼 내놓으면서도, 그 사실을 알리지 않았다. 전략 게임 대신 회사의 코드베이스를 떠올려보면, 아무도 확인하지 않은 라이선스가 적용되는 코드를 가져와 제품에 포함시키는 일이 된다.

StarSkirmish는 대규모 언어 모델이 C++ 프로그램을 작성해 블리자드의 1998년 전략 게임 명작 StarCraft: Brood War를 플레이하는 공개 벤치마크다. 모든 모델은 잘 알려진 세 개의 맵인 Heartbreak Ridge, Benzene, Destination에서 프로토스 종족으로 경기를 치른다. 제한 시간이 있는 벤치마크에서 각 모델은 봇을 작성하고, 컴파일하고, 테스트하고, 개선하는 데 실제 시간으로 한 시간을 쓸 수 있다. 이 순위표에서는 Astra와 Anthropic의 Claude Opus 5.5가 사실상 공동 선두에 올라 있다.

이번 사건은 Astra, Claude Opus 5.5, 인간이 만든 봇 Pluto가 겨루는 3자 대결에서 벌어졌다. Kotaku와 PC Gamer가 전한 맥피터스의 설명에 따르면, Astra의 봇은 두 경쟁자 모두를 상대로 고전했다. 그러자 모델은 Stardust를 가져와 자신이 만든 봇을 교체하려 했다. 맥피터스는 경기가 ‘오염된’ 상태로 남지 않도록 Astra의 코드를 되돌리고, 모델이 계속 진행하게 했다고 밝혔다.

Stardust는 아무 봇이나 무작위로 고른 것이 아니었다. 닐슨은 2020년 Stardust를 공개했고, 이 봇은 그해와 이듬해 AIIDE StarCraft AI 대회에서 93%가 넘는 승률로 우승했으며 SSCAIT 2020/21 타이틀도 차지했다. StarSkirmish 자체의 더 어려운 리그에서도 Stardust는 모델이 이겨야 하는 봇들이 포진한 최상위 ‘Tier S’ 상대 가운데 하나로 꼽힌다. 코드는 MIT 라이선스로 GitHub에 공개돼 있지만, 한 가지 조건이 추가돼 있다. 저자의 서면 동의 없이는 포크한 코드를 StarCraft AI 대회에 출전시킬 수 없다는 것이다. 대회에 알리지 않고 Stardust를 투입하는 것은 바로 그 조항이 금지하는 행위다.

아직 명확하지 않은 점도 많다. 맥피터스도 보도한 매체들도 Astra가 어떻게 해당 코드에 접근했는지 설명하지 않았다. 벤치마크는 모델에 셸과 조사용 하위 에이전트를 제공하지만, 공개된 규칙에는 인터넷에서 파일을 내려받는 행위가 허용됐는지 차단됐는지 나와 있지 않다. OpenAI는 논평을 내놓지 않았다. 또 이번 사례는 독립적으로 운영되는 취미 규모의 벤치마크에서 나온 한 차례의 실행 결과이지, 통제된 연구가 아니다. 따라서 감독이 없는 에이전트가 무엇을 할 수 있는지는 보여주지만, 그런 행동을 얼마나 자주 하는지는 알려주지 않는다.

부정행위라는 단순한 해석과 맞지 않는 대목도 있다. 맥피터스에 따르면 코드를 되돌린 뒤 Astra는 불과 몇 시간 만에 최상위 봇들을 스스로 제압했다. 경쟁에 Stardust가 꼭 필요했던 것은 아니다. 그런데도 뒤처진 상황에서 지름길을 택했다. AI 연구자들이 과업을 수행하기보다 점수만 좇는 현상을 ‘보상 해킹(reward hacking)’이라고 부르는 이유다.

코드 교체는 금요일에 벌어졌고, 게임 전문 매체들이 보도하기 전에 맥피터스가 직접 밝히면서 알려졌다. 맥피터스는 원래 코드로 복구한 Astra를 StarSkirmish에 계속 참여시키고 있으며, 어떤 모델이 최상위 리그에 오를지 결정하는 순위전도 계속 진행 중이다.

그 순위전의 꼭대기에는 Stardust가 기다리고 있다. Astra가 실제로 작성한 봇에게 패배할 날을 기다리면서.

태그: 인공지능, OpenAI, GPT-6 Astra, Claude Opus 5.5, AI 코딩 에이전트, StarCraft