지난 3년 동안 AI 논의는 누가 가장 큰 모델을 만드느냐에 쏠려 있었다. 덜 화려한 질문, 즉 그 모델이 하루 수백만 번씩 멈추지 않고 답하게 하려면 얼마가 드느냐는 질문이야말로 지금 돈이 새어 나가는 지점이다. 레드햇, IBM, 구글 클라우드, 코어위브, 엔비디아가 시작한 오픈소스 추론 프로젝트 llm-d가 1.0 버전에 도달했고, 그 겨냥점은 정확히 이 누수다.

작동 원리는 솔직하게 짚어 둘 필요가 있다. AI 에이전트는 질문 하나만 던지고 떠나지 않는다. 긴 세션을 유지하고, 같은 문서를 거듭 읽고, 병렬 보조 에이전트를 띄워 예측할 수 없는 순간에 하드웨어에 부하를 몰아준다. 이런 패턴에서는 맥락을 다루는 비용이 답을 만드는 비용보다 커질 수 있다. 코어위브의 AI/ML 엔지니어링 담당 부사장 샤디 사바는 대규모로 모델을 서비스하는 모든 팀이 “출력 자체보다 관리 비용이 더 드는 경우가 많은 맥락”이라는 문제에 부딪힌다고 말한다. llm-d의 해법은 라우팅이다. 각 요청을 그 맥락을 이미 캐시에 보유한 서버로 보내, 처음부터 다시 계산하지 않게 하는 것이다.

Fisheye view of a server rack in the Datarmor high-performance computing and AI centre in Brest — Image: Gregory Rocher, Ifremer / Wikimedia Commons (CC BY 4.0)

1.0의 핵심은 새로운 묘수보다 기존 기능을 몇 달씩 안심하고 돌릴 수 있게 만드는 데 있다. llm-d는 이미 vLLM, SGLang 같은 모델 서버 위에서 캐시 인지 라우팅, KV 캐시 오프로딩, 프리필과 디코드 단계를 서로 다른 머신으로 나누는 기능을 제공해 왔다. 새 버전은 지연에 민감한 요청과 폭발적으로 부하를 일으키는 에이전트가 서로를 굶기지 않고 하나의 GPU 플릿을 나눠 쓰도록 하는 우선순위·공정성 제어, 무중단 업데이트를 위한 고가용성 라우터, 안정적인 v1 설정 API, 그리고 여러 턴의 대화를 캐시된 상태 가까이에 붙잡아 두는 세션 인지 라우팅을 더했다.

발표에 담긴 성능 수치는 기여 기업들이 직접 진행한 시연에서 나온 것이므로 검증이 아닌 주장으로 읽어야 한다. 한 시연에서 연구진은 약 7,530억 개 파라미터의 오픈 웨이트 모델 GLM 5.2를 널리 보급된 엔비디아 GPU에서 구동해, 최고 분당 660만 개가 넘는 출력 토큰과 최대 3,000개의 동시 코딩 에이전트를 처리했다. 현재 클라우드 임대료 기준으로 토큰당 비용이 동급 상용 API 가격보다 5~10배 낮았다는 설명이다. IBM 리서치는 양자 오류 정정용 칩 설계 프로젝트에서 완전한 독점 구성 대비 추론 비용이 11.5배 낮았고 캐시 적중률은 약 98%였다고 밝혔다.

더 의미심장한 것은 이미 누가 기대고 있느냐다. 젯브레인즈는 코딩 에이전트 무료 요금제 ‘주니 라이트(Junie Lite)’ 트래픽의 상당 부분을 llm-d가 처리한다고 말한다. 디지털오션은 서버리스 추론을 그 위에서 운영하고, 미스트랄과 로블록스도 자사 서빙 계층을 이 프로젝트 위에 구축하고 있다고 설명한다. 구글 클라우드는 TPU와 엔비디아 GPU 제품군 전반에서 1.0을 구글 쿠버네티스 엔진(GKE)에 통합하고 있으며, AMD는 자사 인스팅트 가속기로 이를 확장하고 있다.

llm-d는 2025년에 출범해 현재 클라우드 네이티브 컴퓨팅 재단(CNCF)이 관리하며, 25개가 넘는 조직의 기여자 500여 명이 참여하고 있다. 1.0 버전은 2026년 10월 20일 새너제이에서 발표됐고 오픈소스 소프트웨어로 바로 이용할 수 있다.

그 결과는 힘의 이동이다. AI에서 비싼 부분이 학습이 아니라 서빙이라면, 서빙 계층을 쥔 쪽이 청구서를 쥔다. llm-d는 그 계층을 한 공급업체의 API에 가두지 않고 공유된 개방형 계층으로 남겨 두려는 시도다.

태그: nvidia, AI 에이전트, IBM, 대규모 언어 모델, Cloud Native Computing Foundation, CoreWeave