AMD가 Taalas 인수 — AI 모델 가중치를 실리콘에 새겨 엔비디아보다 48배 빠른 추론

AMD가 토론토에 기반을 둔 스타트업 탈라스(Taalas)를 인수한다. 이 회사는 AI 모델 가중치를 메모리에서 불러오는 대신 칩에 영구히 각인하는 반도체를 설계한다. 탈라스의 HC1 칩은 메타의 라마 3.1 8B에서 초당 16,960개 토큰을 생성한다. AMD는 이 수치가 엔비디아 GPU보다 48배, 추론 전용 칩 전문업체 세레브라스(Cerebras)보다 8.5배 빠른 것이라고 주장한다.

탈라스의 기술은 현재 AI 추론 방식의 구조적 비효율성을 활용한다. 표준 GPU는 유연하다: 어떤 모델이든 실행할 수 있고, 필요에 따라 작업을 전환하며, 모델이 업데이트되면 재프로그래밍할 수 있다. 하지만 그 유연성이 바로 병목 현상이다. 매 추론 요청마다 수십억 개의 모델 가중치를 고대역폭 메모리에서 연산 유닛으로 불러오는 과정은 지연 시간을 유발하며, GPU를 추가해도 이 문제를 해결할 수 없다.

탈라스는 제조 시점에 이 가중치를 칩의 실리콘에 직접 각인한다. 모델은 요청 시 가져오는 메모리가 아닌 하드웨어 자체에 존재한다. AMD가 광고하는 처리량 수치는 이러한 아키텍처 선택을 반영한다. 그러나 AMD도 그 대가를 과소평가하지 않는다: 특정 모델이 내장된 칩을 한 번 제조하면, 업데이트하려면 새로운 실리콘 테이프아웃(tape-out)이 필요하다. 탈라스는 모델 리프레시에 단 두 개의 금속층만 변경하면 되어 주기를 단축할 수 있다고 말하지만, 이 칩들은 최신 모델 버전에 즉시 적응할 수 없다.

AMD의 통합 계획에 따르면, 탈라스 칩은 추론에서 가장 시간이 많이 걸리는 단계인 토큰 생성을 담당하고, AMD의 인스팅트(Instinct) GPU는 각 요청 초기의 프리필(prefill)과 어텐션 연산을 처리한다. 결합된 시스템은 AMD의 헬리오스(Helios) 랙스케일 플랫폼에서 실행된다. 고정 모델 워크로드를 운영하는 클라우드 운영자(고객 서비스 봇, 문서 처리 파이프라인, 실시간 번역)에게 이 기술은 유연한 GPU 클러스터가 동등한 비용으로 따라잡을 수 없는 랙당 와트당 처리량을 약속한다.

이 계산이 업계의 모델 업데이트 속도를 견딜 수 있을지가 핵심 질문이다. 주요 연구소들은 현재 약 6개월마다 프로덕션 모델을 업데이트한다. 오늘 라마 3.1 8B에 고정된 칩은 후속 모델이 표준 배포 대상이 될 때 폐기될 필요가 있을 수 있다. 탈라스의 2금속층 리프레시 주장은 도움이 되지만, 실리콘 테이프아웃은 여전히 완료에 수개월이 걸린다. 이는 모델이 하드웨어 주기보다 더 빠르게 전환될 때 의미 있는 지연이다.

이번 인수는 엔비디아가 동일한 추론 속도 문제에 대한 다른 접근법인 그록(Groq)을 약 200억 달러에 인수한 지 7개월 만에 이루어졌다. 그록의 텐서 스트리밍 프로세서도 처리량에 최적화되어 있지만, 다른 모델을 불러올 수 있는 기능을 유지한다. AMD는 반대의 선택을 한 스타트업에 공개되지 않았지만 아마도 더 적은 금액을 지불했다.

구매자에게 탈라스 인수는 카탈로그가 아닌 로드맵에 속한다. 최대 200억 개 파라미터 모델을 대상으로 하는 HC2 칩은 아직 개발 중이다. 48배 성능 벤치마크는 특정 조건에서 HC1에 적용되며, 다양한 트래픽과 배치 크기를 가진 실제 배포에서는 다른 결과가 나올 것이다. 거래 마감은 규제 검토를 거쳐 2026년 4분기로 예상된다. HC1은 6나노 공정으로 2월에 출시되었으며, HC2의 출시일과 공정 노드는 아직 확인되지 않았다.

태그: AI 칩, AMD, 엔비디아, AI 추론, Taalas