OpenAI Jalapeño 칩, 와트당 추론 효율 Nvidia Blackwell의 1.9배 달성

OpenAI가 자체 칩을 만들었다. 회사는 8월 25일 Hot Chips 컨퍼런스에서 Broadcom과 협력해 개발한 실리콘 설계인 Jalapeño를 발표했는데, 이 칩은 킬로와트당 초당 85,448개의 토큰을 처리하는 추론 성능을 제공한다. 현재 시장 표준인 엔비디아의 블랙웰 아키텍처는 같은 지표에서 44,960을 기록한다. 비율은 1.9배다.

이 지표가 중요한 이유는 추론이 AI 시스템이 실제 운영에서 실행되는 방식이기 때문이다. 훈련은 한 번 일어나지만, 추론은 누군가가 ChatGPT에 쿼리를 보내거나, API를 사용하거나, 언어 모델을 실행하는 애플리케이션과 상호작용할 때마다 발생한다. 대규모 추론 비용은 AI 서비스 경제성의 주요 동인이다. 추론 에너지 소비를 대략 절반으로 줄이는 칩이 널리 배포된다면, 모델 실행의 쿼리당 비용이 바뀐다.

응답 지연 시간이 제한 요소인 인터랙티브 작업 부하에서는 Jalapeño의 이점이 더욱 확대된다. Hot Chips 발표에 대한 SemiAnalysis 보고서는 해당 벤치마크에서 블랙웰보다 2.1~4.1배 더 나은 성능을 제시했다. 이 범위는 특정 작업 유형별 차이를 반영하며, 하한선이 더 보수적인 비교다.

이 칩은 추론만 처리한다. Jalapeño가 실행하도록 설계된 모델을 생성한 훈련 작업 부하는 실행하지 않는다. 이를 위해서는 여전히 엔비디아 하드웨어가 필요하다. Broadcom은 이 칩을 상용 제품으로 판매하지 않고 OpenAI와의 맞춤형 설계 계약에 따라 제조했다. 이 계약은 OpenAI가 상용 칩 시장에서 경쟁할 필요 없이 목적에 맞게 만들어진 추론 계층을 제공한다.

OpenAI의 배포 일정은 제한적이다. 소규모 출시는 2026년 말 이전에 계획되어 있으며, 더 광범위한 배포는 2027년 목표다. 이 칩은 아직 엔지니어링 샘플 단계에 있어, 생산 버전이 아직 대규모로 출하되지 않았음을 의미한다. Hot Chips의 벤치마크는 설계 목표를 나타내며, 검증된 생산 실행 결과가 아니다. 일반적으로 커스텀 실리콘의 컨퍼런스 발표와 운영 배포 사이의 격차는 수년 단위로 측정된다.

이번 발표는 대규모 AI 기업들이 커스텀 실리콘으로 전환하는 광범위한 추세에 부합한다. Google은 10년 동안 자체 Tensor Processing Units(TPU)를 운영해 왔다. Amazon은 AWS에서 Trainium과 Inferentia를 실행한다. Meta는 내부적으로 자체 추론 칩을 운영한다. OpenAI의 진입은 수억 명의 활성 사용자 규모에서 외부 GPU 공급업체에 전적으로 의존하는 경제성이 커스텀 설계 프로그램의 비용을 감수할 만하게 만들 정도로 어려워졌음을 확인시켜 준다.

태그: OpenAI, nvidia, AI 칩, Broadcom, Jalapeño, 추론