TraviaTechPie Review

로봇을 움직이는 “뇌”는 지난 몇 년 동안 사실 하나가 아니었습니다. 장면을 보는 비전 모델이 따로 있고, 다음에 무슨 일이 벌어질지 상상하는 월드 모델이 따로 있고, 실제로 팔을 움직이는 VLA(비전-언어-행동) 모델이 또 따로 있었습니다.

관련해서 모델 회사가 로봇 회사 지분을 산 사건도 함께 참고하시면 좋습니다.

반대편 축인 온디바이스 소형 모델은 리퀴드 AI의 온디바이스 나노스 모델에서 다룹니다.

모델 세 개, 팀 세 개. 이걸 서로 말이 통하게 붙이는 일이 늘 골칫거리였습니다.

엔비디아가 2026년 5월 31일 GTC 타이페이에서 그 셋을 하나로 합친 피지컬 AI 파운데이션 모델을 내놓았습니다. 이름은 코스모스 3(Cosmos 3)입니다.

여기서 엔비디아가 붙인 표현이 핵심입니다. 이 모델을 “옴니모델(omnimodel)”이라고 부릅니다.

쉽게 풀면 이렇습니다. 코스모스 3는 텍스트, 이미지, 영상, 주변 소리, 그리고 행동까지 입력으로 받고, 같은 범위로 다시 출력해 냅니다.

그래서 장면을 보고 판단하는 비전-언어 모델 역할도 하고, “로봇이 저 컵을 밀면 어떻게 될까”를 영상으로 상상하는 월드 모델 역할도 하고, 실제 행동을 예측하는 뼈대 역할도 합니다.

구조는 ‘믹스처 오브 트랜스포머(mixture-of-transformers)’라는 방식을 썼습니다. 용어는 어렵지만 의도는 단순합니다. 따로 놀던 인지, 상상, 행동을 하나로 합친 것입니다.

버전은 몇 가지로 나뉩니다.

코스모스 3 슈퍼(Super)는 물리 정확도가 높은 버전으로, 로봇과 자율주행처럼 물리가 정확해야 하는 곳을 겨냥합니다. 코스모스 3 나노(Nano)는 빠른 버전으로, 영상과 행동 추론을 순식간에 처리합니다. 로봇 안에서 실시간으로 돌리는 코스모스 3 엣지(Edge)는 곧 나올 예정입니다.

슈퍼와 나노는 이미 공개됐습니다. 그리고 중요한 점이 하나 있습니다. 이 둘이 build.nvidia.com, 허깅페이스, 깃허브에 올라와 있습니다. 잠긴 API가 아니라 오픈 가중치로 공개했습니다.

성능에 대해 엔비디아는 코스모스 3가 세 범주로 나뉘는 8개 피지컬 AI 벤치마크에서 오픈 모델 가운데 1위라고 밝혔습니다. 월드 생성 정확도에서는 Artificial Analysis, Physics-IQ, PAI-Bench, R-Bench, 행동 정책(로봇을 얼마나 잘 움직이느냐)에서는 RoboLab과 RoboArena, 비전 이해에서는 VANTAGE-Bench와 TAR입니다. 회사가 스스로 내놓는 순위는 늘 조금 걸러 볼 필요가 있지만, 벤치마크 자체는 이 분야가 실제로 쓰는 기준들입니다.

학습 데이터도 규모가 큽니다. 엔비디아는 텍스트, 이미지, 영상, 소리, 행동 궤적까지 아우르는 수십억 개 샘플로 훈련했다고 밝혔습니다.

엔비디아는 모델만 낸 것이 아닙니다. 함께 ‘코스모스 연합(Cosmos Coalition)’도 발표했습니다. 오픈 월드 모델을 함께 만드는 AI 연구소와 로봇 기업들의 모임입니다. 참여사 면면이 흥미롭습니다. Agile Robots, Black Forest Labs, Generalist, LTX, Runway, Skild AI. 로봇 회사와 영상 생성 회사가 섞여 있습니다.

그렇다면 이것이 왜 신제품 하나 이상의 의미를 갖는지 짚어 보겠습니다.

이 분야가 계속 부딪히는 벽, 데이터와 정확히 맞물리기 때문입니다.

앞서 엔비디아의 ‘로봇 손재주 스케일링 법칙’을 다룰 때 핵심 주장이 이랬습니다. 로봇의 진짜 병목은 모터나 손이 아니라 학습 데이터라는 것입니다. 사람이 하나하나 시연해서는 수십억 개의 예시를 도저히 모을 수 없습니다.

그래서 이 분야가 점점 합의해 가는 해법이 시뮬레이션에서 데이터를 생성하는 것입니다. 그리고 물리적으로 그럴듯한 영상을 상상해 내는 월드 모델은, 그 생성 데이터를 믿을 만하게 만드는 바로 그 도구입니다.

코스모스 3는 여기에 깃발을 꽂은 셈입니다. 월드 모델을 판단하고 행동하는 같은 뇌 안에 합쳐 ‘데이터를 상상하고 거기서 배우는’ 고리를 하나로 닫는 것입니다. 관련 글에서 다룬 병목 이야기와 정확히 이어집니다.

그래서 “옴니모델”이라는 표현은 단순한 마케팅 이상입니다.

앞서 다룬 구글 딥마인드의 휴머노이드 제어용 VLA 모델에서는 인지, 추론, 저수준 제어를 별개 단계로 구성했습니다. 엔비디아는 정반대를 주장합니다. 모델을 따로 붙여 놓으면 손해가 나고, 하나로 통합한 뼈대가 더 깔끔한 길이라는 것입니다.

두 판돈이 모두 살아 있습니다. 아직 승자는 없습니다. 하지만 로봇의 뇌를 어떻게 만들 것인가를 두고 진짜 갈림길이 생겼고, 코스모스 3는 그중 ‘통합’ 쪽의 가장 분명한 선언입니다.

오픈으로 낸 점은 더 조용한 승부수입니다.

엔비디아가 최고의 피지컬 AI 모델을 API 뒤에 숨기고 빌려주는 세상도 충분히 가능했습니다. 그런데 슈퍼와 나노를 오픈 가중치로 공개했고, 연합까지 만들어 외부 연구소들이 같은 토대 위에서 개발하도록 유도합니다.

이것은 선의가 아닙니다. CUDA를 뽑아내지 못하게 만든 그 전략과 같은 수입니다. 로봇 스타트업과 자동차 회사가 전부 코스모스 위에서 개발하는 법을 배우면, 모델이 공짜라는 사실은 별로 중요하지 않습니다. 그 모델이 가장 잘 도는 GPU는 공짜가 아니기 때문입니다. 엔비디아는 모델을 팔 필요가 없습니다. 표준으로 자리 잡게 만들면 됩니다.

솔직히 짚어야 할 한계도 있습니다. 벤치마크는 로봇이 아닙니다. Physics-IQ에서 1등 하는 것과 기계가 실제로 빨래를 척척 개는 것은 다른 이야기입니다. 이 분야는 놀라워 보였지만 현실에서는 전혀 일반화되지 않은 데모로 가득합니다.

게다가 로봇 안에서 실시간으로 도는 코스모스 3 엣지는 아직 ‘곧 공개’ 상태입니다. 그리고 바로 그 실시간 온디바이스 단계가 피지컬 AI가 늘 현실의 벽에 부딪히는 지점입니다.

그래서 지금 맞는 시각은 “로봇 문제가 풀렸다”가 아닙니다. 도구의 형태가 자리를 잡아가고 있다는 것입니다.

일 년 전만 해도 “로봇의 뇌를 뭐가 돌리느냐”의 답은 모델 세 개를 억지로 겹쳐 입은 모습이었습니다. 지금 엔비디아의 답은 보고, 상상하고, 행동하는 하나의 모델입니다. 그리고 업계 전체가 그 형태를 따라오리라는 데 판돈을 걸었습니다.

이것이 끝까지 버틸지는 다음 장의 이야기입니다. 다만 그 다음 장이 실제로 시작됐고, 이미 손에 잡히는 형태로 나왔다는 것만은 분명합니다.

※ 정보 제공 목적이며 투자 권유가 아닙니다.

원문 출처 / Source: https://nvidianews.nvidia.com/news/nvidia-launches-cosmos-3-the-open-frontier-foundation-model-for-physical-ai

이미지: Gabriele Malaspina / Unsplash