헤르메스 에이전트 GTC 베를린 후기 — 젠슨 황이 피날레로 쓴 ‘프롬프트 하나로 로봇 학습’ 데모 (2026.10.23)

에이전트를 하나 붙여놓고 “이제 알아서 하겠지” 하고 기대했다가, 사흘 뒤에 열어보면 절반쯤에서 멈춰 있는 걸 발견한 경험이 있는 분들이라면 이번 소식이 유독 눈에 들어올 겁니다. 에이전트가 도구를 부르는 것과 일을 끝까지 끝내는 것은 완전히 다른 문제인데, 2026년 10월 21일 베를린에서 그 차이를 30분짜리 무대 데모로 보여준 장면이 나왔습니다.

무대에 오른 건 엔비디아 자사 제품이 아니었습니다. 노우스 리서치(Nous Research)의 오픈소스 에이전트 헤르메스 에이전트(Hermes Agent) 였고, 젠슨 황 CEO는 GTC 베를린 2026 기조연설의 마지막 순서로 이 데모를 배치했습니다. AI 에이전트를 실사용하는 입장에서, 이건 단순한 제품 홍보가 아니라 “에이전트 하네스가 어디까지 책임질 수 있는가”에 대한 기준선이 바뀐 사건이라고 봅니다.

GTC 베를린 2026 젠슨 황 기조연설 현장 2026년 10월 21일(현지시간) 독일 베를린 템포드롬에서 열린 GTC 베를린 2026 기조연설. 마지막 순서는 헤르메스 에이전트 데모였다 (출처: NVIDIA 공식 블로그)

📌 한줄 요약: 젠슨 황이 GTC 베를린 2026 기조연설 피날레에서 RTX 스파크 노트북 위의 헤르메스 에이전트에게 프롬프트 한 줄을 던졌습니다. 헤르메스는 자기 자신을 설치·설정한 뒤, 네모트론으로 장애물 코스를 설계하고, GPT-6 아스트라 + 프리캐드·블렌더·옴니버스로 시뮬레이션 환경을 세우고, 뉴턴·아이작 심·아이작 랩에서 수천 마리의 마이크로덕을 병렬 학습시킨 뒤, 검증된 정책을 ONNX로 내보내 SSH로 실물 로봇에 배포했습니다. 무대에는 마이크로덕 4마리가 실제로 걸어 나왔습니다. 핵심은 로봇이 아니라 여러 모델과 도구를 하나의 목표로 묶어 끝까지 밀어붙인 오케스트레이션입니다.

1. 무대에서 실제로 벌어진 일

데모의 출발점은 화려한 영상이 아니라 문장 하나였습니다. 젠슨 황은 무대에서 “에이전트를 만드는 방법은 에이전트에게 에이전트를 만들어 달라고 하는 것”이라는 취지로 소개한 뒤, RTX 스파크 노트북에서 헤르메스를 실행했습니다. 헤르메스는 스스로 설치되고 설정되는 과정을 거쳐, 곧바로 훨씬 어려운 작업을 배정받습니다. “이 로봇이 한 번도 가보지 못한 장애물 코스를 통과하도록 학습시켜라.”

그 다음부터는 사람이 개입할 지점이 거의 없습니다. 코스를 설계하고, 그 코스를 물리 시뮬레이터 안에 짓고, 학습 작업을 클라우드 GPU에 던지고, 돌아온 정책을 로컬에서 평가하고, 마지막에는 실물 로봇에 넣는 일까지 한 줄기로 이어집니다. 영상이 끝난 뒤 무대에는 마이크로덕 4마리가 등장했고, 앉아·서·눕기 같은 명령에 반응했습니다. 황 CEO는 이 로봇들을 향해 “너희는 RTX 스파크에서 태어났다”고 말했습니다.

GTC 베를린 2026 키노트 현장 전경 GTC 베를린 2026은 10월 20~22일 사흘간 진행됐고, 기조연설은 21일 템포드롬에서 열렸다 (출처: NVIDIA 공식 블로그)

이 장면이 눈에 띄는 이유는 모델 성능 자랑이 아니라는 점입니다. 요즘 에이전트 데모는 대부분 “우리 모델이 코드를 잘 짠다”로 끝납니다. 이번 데모는 반대로, 여러 모델과 여러 도구를 어떤 순서로 엮어야 실제 결과물이 나오는지를 보여줬습니다. 계획은 네모트론이, 형상 생성은 GPT-6 아스트라가, 물리 연산은 아이작이 맡는 식으로요. 하네스가 지휘자 역할을 한 셈입니다.

2. 단계별로 누가 무슨 일을 했나

데모에 등장한 구성 요소를 정리하면 아래와 같습니다. 각 단계마다 “가장 잘하는 부품”에 일을 넘기는 구조가 뚜렷합니다.

단계	담당	하는 일
에이전트 구성	헤르메스 에이전트	프롬프트 한 줄로 자기 환경을 설치·설정하고 전체 작업 지휘
코스 기획	네모트론(Nemotron)	장애물 코스 설계와 작업 분해
형상·장면 생성	GPT-6 아스트라, 프리캐드·블렌더·옴니버스 라이브러리	코스 형상 제작과 시뮬레이션 환경 조립
물리·학습	뉴턴, 아이작 심, 아이작 랩	물리 시뮬레이션과 병렬 강화학습 롤아웃
로컬 검증	RTX 스파크	학습된 정책을 로컬에서 로드해 평가
로봇 배포	ONNX + SSH	정책을 내보내 실물 마이크로덕으로 전송

여기서 실무적으로 중요한 건 로컬과 클라우드의 역할 분담입니다. 헤르메스 본체, 언어 모델, 도구 오케스트레이션, 프로젝트 파일, 최종 평가는 모두 RTX 스파크 노트북 안에서 돌아갑니다. 반면 수천 개 인스턴스를 동시에 굴리는 학습 연산만 클라우드 GPU로 넘깁니다. 결과 모델은 다시 노트북으로 돌아와 검증과 배포를 거칩니다.

GTC 베를린 2026 RTX 스파크 세그먼트 기조연설에서는 RTX 스파크와 DGX 스테이션이 “에이전트를 로컬에서 개발하는 PC”로 따로 소개됐다. RTX 스파크는 10월 16일부터 판매 중이다 (출처: NVIDIA 공식 블로그)

이 구조는 생각보다 실용적입니다. 민감한 프로젝트 파일과 일상적인 추론은 로컬에 두고, 기기 용량을 넘어서는 연산만 빌려 쓰는 방식이니까요. 노트북 한 대가 “강화학습 파이프라인 전체를 지휘”했다는 표현이 과장이 아닌 이유가 여기에 있습니다.

3. 숫자로 보면 더 분명해지는 것들

데모에 쓰인 수치를 뜯어보면 규모가 잡힙니다.

정책 입출력: 마이크로덕 정책은 로봇 상태를 나타내는 61개 값을 입력받아 14개 관절 목표 위치를 출력합니다.
학습 처리량: 거친 지형과 관절 유격(백래시)을 모사한 조건에서 초당 최대 125만 스텝 수준의 시뮬레이션이 가능하다고 알려져 있습니다.
모델 크기: 네모트론 3.5 볼트는 740억 파라미터지만 토큰당 실제로 활성화되는 건 약 90억 개입니다. 2비트 양자화로 24GB 메모리에 들어가 RTX 스파크급 기기에서도 돌아갑니다.
무대 등장: 마이크로덕 4마리. 25cm 키에 399달러짜리 오픈소스 바이페드(두 발) 로봇입니다.

숫자에서 읽어야 할 포인트는 “작은 모델로도 오케스트레이션이 되면 결과가 나온다”는 겁니다. 계획 단계에 740억 파라미터급을 통째로 굴릴 필요 없이, 필요한 추론만 로컬에서 처리하고 무거운 연산은 클라우드로 넘기는 분업이 성립한다는 뜻이니까요. 업무 자동화로 옮기면 이건 “비서 모델은 작게, 반복 연산은 크게” 라는 비용 설계와 같은 이야기입니다.

마이크로덕 로봇 공식 제품 이미지 마이크로덕은 허깅페이스 산하 폴렌 로보틱스가 만든 25cm 바이페드 로봇으로, 가격은 399달러다 (출처: 폴렌 로보틱스 공식 제품 페이지)

참고로 마이크로덕은 시뮬레이터와 학습 저장소가 함께 공개돼 있습니다. 실물이 없어도 아이작 랩에서 보행 과제를 돌려볼 수 있다는 뜻이라, 로봇을 사지 않고 파이프라인만 따라 해보려는 분들에게는 이쪽이 오히려 실습 재료가 됩니다.

4. 왜 이게 ‘그냥 데모’가 아닌가

이번 장면을 뉴스 가치가 있는 사건으로 보는 이유는 세 가지입니다.

첫째, 오픈소스 하네스가 빅테크 키노트의 피날레를 차지했습니다. GTC 기조연설 마지막은 통상 자사 하드웨어나 자사 모델이 독점합니다. 그 자리에 MIT 라이선스 오픈소스 에이전트가 들어갔다는 건, 엔비디아가 “에이전트 실행 계층”을 자사 스택의 일부로 편입해 보여주겠다는 의도로 읽힙니다. 같은 날 엔비디아는 에이전트를 안전하게 가두고 관찰하는 오픈셸 레퍼런스 아키텍처도 함께 발표했습니다. 에이전트를 띄우는 것과 통제하는 것을 한 묶음으로 제시한 겁니다.

둘째, 시뮬레이션-실물 전이(sim-to-real)를 사람이 손대지 않고 통과했습니다. 로봇 학습에서 진짜 어려운 건 학습 자체가 아니라, 시뮬레이션에서 잘 걷던 정책이 실물에서 무너지는 문제입니다. 이번 데모는 지형을 무작위화하고 관절 유격까지 모사해 그 간극을 줄인 뒤, ONNX로 내보내 SSH로 실물에 넣는 과정을 자동화된 흐름 안에 넣었습니다.

셋째, 모델 벤더 종속이 아닙니다. 계획은 네모트론, 형상 생성은 GPT-6 아스트라가 맡았습니다. 한 회사 모델로 다 처리한 게 아니라, 하네스가 여러 모델을 골라 쓰는 구조를 무대에서 증명한 셈입니다. 업무 자동화 관점에서 이건 “에이전트를 만들 때 모델 교체 비용을 낮게 가져갈 수 있다”는 신호입니다.

5. 솔직히, 데모는 데모입니다

무대가 화려할수록 재현 조건을 봐야 합니다. 이 데모를 그대로 따라 하려면 최소한 네 가지가 맞아야 합니다. 호환되는 로봇 자산(URDF·메시), 보상 함수 설계, 실물 로봇 캘리브레이션, 그리고 시뮬레이터와 런타임의 소프트웨어 버전 일치입니다. 하나만 어긋나도 정책은 걷지 못합니다.

또 하나, 이 데모는 어디까지나 각본이 있는 무대였습니다. 네트워크가 끊기거나 클라우드 학습 작업이 실패했을 때 에이전트가 스스로 복구하는 장면은 보여주지 않았습니다. 실제 운영에서는 그 실패 복구가 더 중요합니다. 에이전트가 파일을 지우거나 결제를 실행하는 종류의 작업이라면 승인 게이트와 감사 로그가 먼저 갖춰져야 하고, 이 부분은 아직 사용자가 직접 설계해야 하는 영역입니다.

마이크로덕 로봇 근접 촬영 마이크로덕은 관절 유격과 지형 변화를 모사한 조건에서 학습된 정책을 탑재한다. 재현에는 자산·보상 함수·캘리브레이션이 모두 맞아야 한다 (출처: 폴렌 로보틱스 공식 제품 페이지)

같은 날 헤르메스 쪽에서는 실무 릴리스도 나왔습니다. v0.22.3이 620여 개 PR을 묶어 안정 태그로 올라왔고, 몇 시간 뒤 v0.22.4가 데스크톱 제안 pill 제거, 플러그인 의존성 동의 단계 정리, 프로필별 승인 모드 표시 수정 등을 담아 이어졌습니다. 새로 설치하거나 업데이트하는 경우라면 v0.22.4를 기준으로 잡는 게 맞습니다.

6. 업무 자동화에 옮겨보면 체크할 것

로봇 데모를 자기 업무에 그대로 적용할 수는 없지만, 구조는 그대로 가져올 수 있습니다.

계획과 실행을 분리했는가 — 기획은 큰 모델, 반복 실행은 작은 모델·결정론적 스크립트로 나누면 비용이 크게 줄어듭니다.
중간 산출물을 파일로 남기는가 — 이번 데모는 코스 설계도, 시뮬레이션 씬, 학습 로그, 평가 결과가 각각 산출물로 남았습니다. 로그가 없으면 실패 원인을 못 찾습니다.
검증 단계를 로컬에 두었는가 — 최종 판정은 로컬에서 돌리는 편이 안전하고 빠릅니다.
실패했을 때 멈추는 규칙이 있는가 — 재시도 횟수, 승인 필요 작업, 되돌릴 수 없는 동작의 차단 목록을 미리 정해두는 게 좋습니다.
모델을 갈아끼울 수 있는가 — 특정 모델에 하드코딩하면 나중에 단가가 오를 때 손쓸 방법이 없습니다.

이 다섯 개는 로봇이든 문서 처리든 회의록 정리든 똑같이 적용됩니다. 결국 에이전트의 성패는 모델이 아니라 주변 배관에서 갈린다는 게, 이번 데모를 보고 다시 확인한 결론입니다.

7. 구매·도입 팁

로봇이 궁금한 경우: 마이크로덕은 399달러, 폴렌 로보틱스 공식 페이지에서 주문할 수 있습니다. 다만 인기 때문에 배송 대기가 길다는 이야기가 있으니 주문 전에 납기를 확인하시는 게 좋습니다. 실물 없이 학습 흐름만 보고 싶다면 공개된 학습 저장소와 아이작 랩 과제로 충분합니다.
로컬에서 에이전트를 굴리려는 경우: RTX 스파크는 10월 16일부터 판매 중입니다. 네모트론 3.5 볼트 74B를 24GB에 올리는 구성이 공식 예시로 제시됐으니, “노트북에서 에이전트 + 로컬 모델” 조합을 원하는 분께 현실적인 선택지입니다.
소프트웨어만 필요한 경우: 헤르메스 에이전트는 MIT 라이선스에 자체 호스팅이 가능해 무료로 시작할 수 있습니다. 이번 데모의 가치는 유료 기능이 아니라 오케스트레이션 패턴에 있으니, 데모 영상과 공개된 학습 저장소를 보고 자기 워크플로에 맞게 바꾸는 편이 효율적입니다.

에이전트를 도입했는데 “반은 하고 반은 멈춘다”는 느낌이 드는 분들이라면, 이번 데모에서 볼 것은 로봇이 아니라 단계마다 산출물을 남기고 다음 단계로 넘기는 구조입니다. 그 배관만 갖춰도 체감 완주율은 꽤 달라집니다. 가성비 좋은 자동화를 찾는 분께는, 새 도구를 사는 것보다 이 구조를 자기 업무에 한 번 옮겨보는 쪽을 먼저 권하고 싶습니다.

참고 자료

NVIDIA Blog, “GTC Berlin 2026: Live Updates From NVIDIA CEO Jensen Huang’s Keynote” (2026.10.21)
RuntimeWire, “Nous Research’s Hermes agent orchestrates robot training in Jensen Huang’s GTC demo” (2026.10.21)
AlphaSignal, “Nous Research’s Hermes Agent Trained a Real Robot From a Single Prompt” (2026.10.22)
Classmethod DevelopersIO, “I summarized Jensen Huang’s keynote at GTC Berlin 2026” (2026.10.21)
폴렌 로보틱스 마이크로덕 공식 제품 페이지, 노우스 리서치 헤르메스 에이전트 공식 문서