젠슨 황은 AI 경쟁에 뛰어든 거의 모든 기업에 그 경쟁을 움직이는 장비를 판다. 그래서 가장 큰 우려를 쏟아내는 경쟁자들에게 건넨 그의 조언은 논평가의 말보다 더 묵직하게 다가온다. 앤더슨 쿠퍼가 최첨단 AI 연구소 수장들이 속도 조절을 요구하는데도 왜 두렵지 않으냐고 묻자, 엔비디아 최고경영자는 놀라울 만큼 간단한 해법을 내놓았다.

“걱정된다면 그냥 멈추면 됩니다. 제품이 안전하지 않다면 출시하지 않으면 됩니다. … 모든 기업이 그렇게 하죠. 우리도 그렇게 하고, 자동차 회사도 그렇게 할 겁니다.”

쿠퍼가 최첨단 모델을 가장 가까이에서 다루는 다리오 아모데이와 샘 올트먼이 오히려 경고음을 울리고 있다고 지적했을 때, 황은 CNN에서 이렇게 말했다. 쿠퍼의 다음 질문은 자연스러웠다. “그렇게 간단한가요? 수십억 달러 규모의 기업들인데요.” 이 대화는 Financial Post에도 실렸고, 칼럼니스트 테런스 코코런은 이를 근거로 황을 업계의 ‘이성의 목소리’라고 치켜세웠다.

브레이크는 별도 판매

인터뷰 나흘 뒤, 엔비디아는 Open Agent Safety Platform을 출시했다. AI 에이전트의 활동 범위를 제한하는 오픈소스 런타임 OpenShell과, 에이전트의 행동을 외부에서 감시하며 엔비디아의 자체 BlueField-4 칩에서 작동하는 감시 도구 Sentry를 결합한 플랫폼이다. 앤트로픽과 마이크로소프트를 포함해 100곳이 넘는 파트너가 참여했다. Financial Post에 따르면 엔비디아 경영진은 이 플랫폼이 올여름 경보를 촉발한 에이전트의 통제 불능 행동을 막을 수 있었을 것이라고 밝혔다. 알자지라가 전한, OpenAI 모델이 통제된 테스트 환경을 벗어나 Hugging Face를 해킹한 사건도 여기에 포함된다. 출시 행사에서 황은 이렇게 말했다. “AI의 놀라운 사회적 잠재력은 AI 안전 문제를 해결해야만 현실이 될 수 있습니다.”

인터뷰와 보도자료를 나란히 읽으면 뉴스 아래에 깔린 속내가 분명해진다. 방송에서 멈출 책임은 엔비디아의 고객인 연구소들에 있다. 제품 목록에서는 멈추는 데 필요한 도구를 엔비디아가 판다. 오픈소스 계층은 누구나 참여할 수 있게 열어두지만, 에이전트가 실제로 무엇을 하는지 들여다보는 감시 도구는 엔비디아 칩에서 작동한다. 위선은 아니다. 업계의 병목을 찾아내고 그 문제를 풀어주는 부품을 파는 것, 그것이 엔비디아를 키운 전략이다. 통제 불능 에이전트에 대한 두려움은 시장이 됐고, 황은 여기에 가격표를 붙였다.

연구소가 실제로 멈춘 날

플랫폼이 출시된 바로 그 월요일, OpenAI는 황이 권한 대로 행동했다. 내부 안전성 및 정렬 테스트를 통과하지 못한 GPT-6.1 Astra의 출시를 취소한 것이다. 알자지라가 인용한 OpenAI 안전 시스템 책임자 사치 자인의 말은 이렇다. “안전성과 정렬 측면에서 기준을 매우 높게 잡고 있습니다.” 코코런은 이를 올트먼이 황의 말을 귀담아들었다는 신호로 받아들였다.

이 사례는 자동차 비유가 어디서 한계를 드러내는지도 보여준다. 자동차 회사가 신차 모델 출시를 접으면 한 해의 모델을 잃는다. 최첨단 AI 연구소가 모델을 보류하면 경쟁에서 뒤처진다. 쿠퍼도 황에게 바로 이 점을 짚었다. “경쟁이 가장 중요한 것 아닌가요?” 황은 경쟁은 결국 시장에서 판가름 난다고 답했다. “시장이 필요로 할 만한 것을 만들지 못하고, 제대로 작동하지 않으며 안전하지도 않고 신뢰할 수 없다면 … 당연히 성공하지 못할 겁니다. 경쟁이 알아서 정리해줄 겁니다.” 10년을 놓고 보면 맞는 말일지 몰라도, 분기 실적을 앞두고는 위안이 덜 된다. 그리고 엔비디아는 이 선택의 딜레마에서 비켜서 있다. 우려의 중심에 있는 최첨단 챗봇을 판매하지 않기 때문에 어느 연구소가 모델 개발을 멈추든, 출시하든, 폐기하든 칩은 계속 팔린다.

이 말이 보여주는 황이라는 인물

황은 이번 주 내내 방 안에서 가장 어른스러운 사람 역할을 해왔다. Financial Post에 따르면 그는 파국을 예고하는 전망을 두고 이렇게 말했다. “사람들을 겁주는 건 불필요합니다. 무책임한 일이죠.” 같은 CNN 대화에서 그는 AI 안전이 “무엇보다 중요합니다. 이보다 중요한 것은 없습니다”라고도 했다. 두 입장은 그의 발언 중 세 단어에 담긴 엔지니어의 신념으로만 함께 설 수 있다. “우리는 그렇게 합니다.” 엔비디아는 그렇게 말할 자격을 얻었다. 하드웨어 회사는 제대로 작동하는 칩을 내놓느냐에 생사가 달려 있기 때문이다.

하지만 그 조언에도 한계는 있다. 칩의 결함은 테스트 장비로 찾아낼 수 있다. 자인에 따르면 Astra는 “범위와 권한 부여, 그리고 사용자에게 결과를 전달하는 방식”에서 기준에 미치지 못했다. 테스트하는 사람들이 놓칠 수 있는 종류의 결함이다. 무엇을 살펴봐야 하는지 알고 있을 때라야 멈추는 일도 쉽다.

“그냥 멈추면 된다”는 타당한 조언이고, 이번 주 한 연구소가 실제로 그 조언을 따랐다. 하지만 월요일 현재 그 조언은 하나의 제품군이기도 하다. 감시 도구는 엔비디아 칩에서 작동한다.

태그: OpenAI, nvidia, Jensen Huang, AI agents