윌 나이트(Will Knight)는 로봇이 자기 고양이에게 먹이를 주길 바란다. 인공지능을 취재하는 WIRED 선임 기자인 그는 벵갈 고양이 리오나(Leona)를 키우며 한 가지 계획을 세웠다. 작은 보행 로봇이 리오나를 찾아 머리를 숙이고, 로봇 위에 얹도록 만든 수납칸에서 간식을 떨어뜨리는 것이다. 간식이 핵심 뉴스는 아니다. 로봇은 이미 소프트웨어 안에서 작동하며, 로봇공학 엔지니어가 보통 손으로 했을 훈련 작업 대부분을 AI 모델이 수행했다는 점이 중요하다.

이 로봇은 Hugging Face의 로보틱스 부문인 Pollen Robotics가 만든 오리 모양 이족보행 로봇 Microduck의 가상 모델이다. 나이트는 이 로봇이 넘어지지 않고 방 안을 돌아다니면서 근처의 벵갈 고양이를 찾아내도록 가르쳤다. 그는 예전 같으면 몇 주 걸렸을 작업이 몇 시간 만에 끝났다고 말한다. 그의 칼럼은 이를 로봇공학의 미래라고 부른다. 절반은 맞는 말이다. 훈련 과정은 크게 단축됐다. 하지만 그 과정의 양쪽에 놓인 것들은 거의 달라지지 않았다.

모델이 실제로 한 일

나이트는 OpenAI의 GPT-6 Sol을 Nous Research가 만든 에이전트 실행 환경 Hermes와 연결해, 강력한 AI 칩을 탑재한 데스크톱 컴퓨터 Nvidia DGX Spark에서 구동했다. 모델은 단순히 코드를 작성하는 데 그치지 않았다. Nvidia의 Isaac Sim을 통해 모의 오리를 제어하는 모델에 지시를 보내고, 오리가 움직이는 영상을 살펴본 뒤 진행 상황을 평가하고 훈련 방식을 어떻게 바꿀지 제안했다. 실행하고, 지켜보고, 조정하고, 다시 시도하는 것. 로봇 학습에서 느리고 눈에 띄지 않는 이 과정이 자동화된 것이다.

전문 연구실에서도 같은 변화가 나타나고 있다. UC Berkeley의 켄 골드버그(Ken Goldberg) 교수 연구팀은 OpenAI의 Astra 모델에 Nvidia 도구 Newton을 사용할 수 있게 한 뒤, 실제 로봇의 영상 클립을 보여주고 장면을 시뮬레이션으로 재구성해 보라고 했다. 골드버그는 WIRED에 “모두가 깜짝 놀란 건 한 시간도 안 돼 카메라 위치와 조명, 배경, 모든 재료의 설정값까지 갖춘 완전한 3D 시뮬레이션을 만들어냈다는 점”이라고 말했다. 그는 Astra가 실험을 실행하고 결과를 검토할 수도 있어 시뮬레이션에서 로봇을 훈련할 때 드는 지루한 작업 상당 부분을 맡는다고 덧붙였다.

이 방식에는 이제 이름도 붙었다. 골드버그와 Nvidia의 짐 팬(Jim Fan) 등이 참여한 프레임워크 ASPIRE는 대형 언어 모델이 로봇 제어 코드를 작성하고, 실패했을 때 실행 기록을 읽어 프로그램을 수정한 다음, 작동하는 해결책을 기술 라이브러리에 저장해 이후 작업에서 재사용하도록 한다. ToolNavs와 RuntimeWire에 따르면 팬의 Nvidia 연구실은 10월 중순 Apache 2.0 라이선스로 v1.0 코드를 GitHub에 공개했다. 한 시연에서는 로봇 팔이 루빅스 큐브를 푸는 법을 학습한다. 팬은 WIRED에 “큐브를 집어 들고 돌리려 하지만 각도가 맞지 않는다. 그러고는 아주, 아주 오랫동안 추론하지만, 시간이 흐르며 기술을 익혀 결국 풀어낸다”고 말했다.

값싸진 기술, 빌려 써야 하는 능력

‘바이브 로보틱스’라는 표현이 놓치는 대목이 있다. ASPIRE 논문은 성능이 기반이 되는 최첨단 모델의 성능에 따라 달라진다고 분명히 밝힌다. Anthropic의 Claude Opus 5.5를 사용했을 때 80개 LIBERO-Pro 조작 과제 전체에서 평균 성공률 99%를 기록했다고 보고했지만, 이는 아직 독립적으로 재현되지 않은 자체 보고 수치다. 프로젝트가 직접 공개한 한계 목록에는 시스템이 고정된 최첨단 모델에 의존하며, 더 작은 모델로도 같은 디버깅 과정을 이어갈 수 있는지는 검증되지 않았다고 적혀 있다.

이 점을 끝까지 따라가 보면 이렇다. 취미용 오리 로봇이든 버클리 연구실의 로봇 팔이든, 이제 자신이 호출할 수 있는 대형 모델만큼의 성능으로 학습한다. 과거 로봇공학의 진입 장벽이었던 엔지니어링 전문성이 사라진 것은 아니다. 그 상당 부분이 이제 제작자가 비용을 지불해 사용할 수 있는 최첨단 모델 안에 들어 있다.

오리는 여전히 배송을 기다린다

훈련 과정의 반대편에는 하드웨어가 있고, 나이트는 아직 자기 로봇을 기다리는 중이다. Pollen은 8월 말 Microduck을 399달러에 사전 주문받기 시작하면서 크리스마스 전 배송을 목표로 내걸었다. Business Insider는 Hugging Face 공동 창업자 토마스 울프(Thomas Wolf)의 말을 인용해 첫 24시간 동안 주문액이 260만 달러를 넘었다고 보도했고, 얼마 지나지 않아 결제 페이지에는 신규 주문 배송까지 4~6개월이 걸린다고 표시됐다. Gadget Flow에 따르면 현재 판매 페이지는 지금 사전 주문하면 2027년 4월 이후에나 배송된다고 안내한다. 시뮬레이션에서 훈련하는 것이 애초 계획된 방식이다. Pollen의 자체 작업 흐름에서는 소유자가 가상 오리로 동작을 훈련한 뒤 실제 로봇에 내보낸다. 하지만 몸체를 기다리는 제어 정책은 아직 러그나 소파 다리, 협조할 생각이 없는 고양이를 만나보지 못했다.

나이트는 나머지 문제도 솔직하게 털어놓는다. 그가 쓴 글에 따르면 오리에 탑재된 비전 시스템은 실제 제품에 적용할 만큼 제대로 작동하지 않는다. 마이클 잭슨(Michael Jackson)의 문워크를 가르치려고 모델에 GIF를 입력했을 때도 몇 시간 동안 애쓴 끝에 나온 것은 그가 ‘꽤 경쾌한 뒷걸음질’이라고 부른 동작이었다. ASPIRE 저자들 역시 실제 환경에 적용할 때 생기는 비슷한 공백으로 신뢰할 수 있는 성공 여부 판별, 안전한 초기화, 안전성 모니터링, 보정을 꼽는다. 이 모든 문제는 실제 공간에서 무슨 일이 일어났는지 파악하는 것과 관련돼 있다. 바로 시뮬레이터로는 알 수 없는 부분이다.

돈은 어디로 향하는가

그렇다고 관심이 식는 것은 아니다. 골드버그는 여러 산업용 로보틱스 및 자동화 기업이 이 접근법에 관심을 보였다고 말하며, 나이트는 속도가 빨라지면 제조업과 전자상거래에 큰 영향을 미칠 수 있다고 주장한다. 이번 주 오스틴에서 열린 Conference on Robot Learning에서 팬은 기조연설을 통해 Astra가 로봇 팔을 제어해, 주변에 놓여 있던 물감과 붓으로 금문교를 그리는 모습을 선보였다.

그 결과 달라지는 것은 실수가 발생하는 위치다. 로봇 동작을 훈련하는 데 몇 주가 아니라 몇 시간만 들게 되면 팀들은 훨씬 더 많은 동작을 훈련할 것이고, 시뮬레이터 밖에서도 안전한 동작을 가려내는 일이 귀해진다. 리오나의 밥그릇에 간식을 떨어뜨리지 못하는 정도라면 값싼 교훈이다. 실제 작업 현장에서 아무도 확인하지 않은, 모델이 작성한 기술을 실행하는 창고 로봇 팔이라면 큰 비용을 치러야 할 수도 있다.

태그: nvidia, Hugging Face, 로봇, Microduck, Pollen Robotics