엔비디아가 찾아왔다 한국식으로 로봇 가르친다 (스카이인텔리전스 이재철 대표)

01핵심 개요

02핵심 내용 구조

1) 피지컬 AI와 스카이인텔리전스의 정체성

• 피지컬 AI는 로봇에 AI를 넣어 사람처럼 일하게 만드는 기술인데, 핵심은 "맥락을 이해하느냐"(변수가 생겼을 때 사람처럼 대응) vs "매뉴얼대로만 반응하느냐"의 차이입니다.
• 스카이인텔리전스는 로봇이 맥락을 이해하도록 만드는 "교재"와 "정답·오답 노트"를 만드는 회사로, 회사명(Sky Intelligence)도 "똑똑한 애들을 스카이(명문대)로 보낸다"는 학원 비유에서 왔습니다.
• 단순 비전(영상) 학습만으로는 부족한 이유: 로봇이 인지하는 세계는 물리 기반 세계이며, 접시 재질·미끄러움·빛의 반사 등 물리 데이터를 학습하지 않으면 로봇이 물건을 깨뜨립니다. 사람은 "계란은 얇아서 찢어진다"를 본능적으로 알지만 로봇은 그 경험이 전무한 "신생아 뇌"와 같다는 비유가 나옵니다.

2) 왜 시뮬레이션(디지털 트윈)에서 먼저 학습시키나

• 현실에서 아기(로봇)에게 불 앞에서 계란 프라이를 반복 훈련시키면 위험하고, 로봇이 망가지면 비용이 크기 때문에 가상 환경(시뮬레이션)에서 먼저 학습시킵니다.
• 시뮬레이션 환경은 "추적 가능·재사용 가능·수학적으로 계산 가능"해서, 틀렸을 때 어디가 틀렸는지 정확히 위치를 찾아낼 수 있다는 게 실사진 데이터와의 차이입니다.
• 시뮬레이션에서 100점(모의고사 만점)을 받아도 실제 현장(수능)에서는 조명·앵글·스크래치 등 변수 때문에 틀릴 수 있다는 "모의고사-수능" 비유로 현실 배포의 어려움을 설명합니다.

3) 100% 정확도가 필요한 이유와 "데이터 루프"

• 공장은 90~99%가 아니라 100% 정확도가 필요합니다 — 1%만 틀려도(헛발질) 뒤 라인이 멈추고 위험한 상황이 발생하며, 24시간 무인 가동되는 "다크 팩토리"에서는 그 1%의 엣지케이스가 나올 때까지 누군가 지켜봐야 하는 비효율이 생깁니다.
• 해결책은 "데이터 루프": 시뮬레이션에서 학습한 로봇을 실제 현장에 배포 → 틀리면 그 실패 데이터를 자동으로 다시 가상 환경으로 올려 오답노트처럼 재학습 → 재배포하는 과정을 100%가 될 때까지 반복합니다.
• 진행자는 이를 "한국식 교육"(학원에서 문제를 다 맞출 때까지 집에 안 보내는 방식)에 비유했고, 대표도 동의했습니다.

4) 합성 데이터의 정체와 필요성

• 합성 데이터는 단순 이미지가 아니라 RGB, 뎁스(깊이), 재질, 6DOF 포즈(위치·자세·방향), 파지점, 힘 등 물리 기반 수치가 전부 포함된 데이터입니다. 이 수치가 파라미터로 조절 가능해 "포토샵처럼" 스크래치·조명·온도 등 예외 케이스(엣지케이스)를 무한 생성할 수 있습니다.
• 필요성: 신제품 부품 100만 개를 실제로 다 찍어서 학습시키려면 비용이 막대합니다(금형 100만 개를 다 파야 함). 가상 환경에서는 수학적으로 라벨링된 데이터를 즉시 생성할 수 있어 비용이 훨씬 낮습니다.
• 생성형 AI로 만든 "그럴듯한 이미지"나 GPT식 텍스트/이미지 학습만으로는 부족합니다 — 정답·라벨·깊이 정보·메타데이터 등 추적 가능한 수학적 데이터가 없으면 로봇이 학습할 수 없다는 점을 강조합니다. 과기부 장관이 언급한 "합성 데이터 하나 만드는 데 10만 년이 걸린다"는 발언도 인용됩니다.

5) 기술 구현 — 옴니버스, CG와 산업 데이터의 결합

• 스카이인텔리전스는 엔비디아 옴니버스(Omniverse) 플랫폼 기반으로 디지털 트윈을 구현하며, CG(컴퓨터 그래픽) 전문가와 산업용 계측 데이터 전문가를 모두 보유해 서로 다른 두 "언어 체계"(CG 언어 vs 산업 계측 데이터 언어, 예: 조리개 값의 스케일 차이)를 통합합니다.
• 회사의 원래 사업은 명품 브랜드 보석·다이아몬드 등을 실제 촬영보다 더 정교하게 디지털로 구현하는 컨텐츠 기술이었고, 이 옴니버스 활용 역량을 눈여겨본 엔비디아가 먼저 산업용 로보틱스로의 피벗을 제안했습니다.
• 서비스는 SaaS가 아닌 PaaS(파스) 형태로 제공 — 고객사(공장) 내부 서버에 솔루션을 깔아주고 자체 엔지니어가 데이터를 넣으면 튜닝되도록 해, 데이터 유출 우려 없이 공장 내부에서만 돌아가게 설계했습니다.

6) 엔비디아·ABB 로보틱스와의 협업, 백서(화이트페이퍼)

• 엔비디아 옴니버스 팀이 먼저 스카이인텔리전스를 찾아와 ABB 로보틱스의 합성 데이터 프로젝트에 투입했으며, 이전에 5~6개 업체가 시도했지만 결과가 좋지 않았던 프로젝트였습니다.
• ABB 로보틱스(하드웨어·엔지니어링), 엔비디아(옴니버스 가상환경), 스카이인텔리전스(디지털 트윈·합성 데이터), 딜로이트(투자 관점 ROI 분석) 등 총 5개 회사가 공동으로 백서를 작성 — 1탄 발표 후 2탄은 GTC 베를린에서 공개 예정입니다.
• 대표는 "피지컬 AI는 한중일을 합치면 전 세계 제조 GDP의 절반을 차지한다"며, 제조 경험 데이터와 밸류체인이 한중일에 집중돼 있어 이 분야에서는 한국계 기업이 시총 10위 안에 들 가능성도 있다고 전망했습니다.

7) 활용 사례와 정밀도 수준

• 물류(우편물 뒤집기) 같은 상대적으로 큰 객체 작업은 난이도가 낮은 편이며, 오히려 사람이 아닌 로봇팔·비전 카메라를 천장에 설치하는 방식이 휴머노이드보다 10분의 1 가격으로 효율적이라고 설명합니다.
• 목표로 삼는 정밀도는 반도체 공장 수준 — 0.3~5mm급 초소형 부품을 비전 기반으로 인식해 다양한 환경에서도 정확히 조립하는 "정밀 제조"입니다.
• 서울대 AI연구원과 공동으로 데이터센터 서버 케이블(유선형 연성 물체)을 로봇이 파지·연결하는 프로젝트를 진행 중이며, 선이 가려지거나 다른 선이 빠지는 등 변수 상황에서도 맥락을 이해해 대응하도록 훈련시키고 있습니다. 사람과 달리 로봇은 퇴사하지 않고 배선 정보를 계속 추적 관리할 수 있다는 장점도 언급됩니다.

8) 비즈니스 모델과 경쟁 구도

• 합성 데이터 생성을 프로젝트 단위로 수주해 매출을 내고 있으며, 실제 매출 J커브는 공장에 양산 배치가 시작될 때부터 본격화될 것으로 전망합니다. 향후 구독형 과금(PaaS)과 생성한 합성 데이터 양에 따른 토큰 차감형 과금을 병행할 계획입니다.
• 경쟁사는 아직 많지 않은 초기 시장 — 홍콩 상장사 중 자율주행 기반 합성 데이터 회사, 인테리어 가상 렌더링 회사 등이 있지만, 산업 현장(제조)에서 합성 데이터 효과를 실증하는 회사는 드물다고 주장합니다.
• 지적재산권은 논문·특허로 보호하며, 로봇이 학습한 물리적 동작 지식(예: 케이블 파지 노하우)은 데이터센터마다 재사용 가능하다고 설명합니다(선을 꽂는 동작 자체는 범용으로 전이되지만, 파지력·환경 인식 등 세부 튜닝은 현장마다 재학습 필요).

03기술적 맥락

• 디지털 트윈: 실제 공장·현장을 가상 환경에 수학적으로 정확히 복제한 것으로, 이 안에서 로봇을 안전하고 반복적으로 훈련시킬 수 있습니다.
• 합성 데이터(Synthetic Data): 실제 촬영이 아니라 가상 환경에서 파라미터 기반으로 생성한 학습 데이터로, RGB 이미지 외에 뎁스·재질·6DOF 포즈 등 물리 정보가 함께 포함되어야 로봇이 학습 가능합니다.
• 엔비디아 옴니버스/아이작: 옴니버스는 디지털 트윈을 구현하는 3D 시뮬레이션 플랫폼, 아이작(Isaac)은 로봇 개발용 AI 플랫폼으로, 스카이인텔리전스는 이 생태계를 가장 잘 이해하는 팀 중 하나로 엔비디아에 소개되고 있습니다.

04전략적 의미

• 피지컬 AI의 병목은 텍스트·이미지 AI와 달리 "물리 세계 학습 데이터의 부재"이며, 이를 빠르게 해결하는 기업(합성 데이터·디지털 트윈 기업)이 공급망의 핵심 병목을 쥐게 됩니다.
• 제조업은 전 세계 GDP의 약 17%(이커머스는 5% 미만)를 차지하는 거대 시장으로, 파운데이션 모델 경쟁에서는 미국·중국이 앞서지만 제조 현장 데이터가 필요한 피지컬 AI 영역에서는 제조 인프라가 강한 한중일이 상대적으로 유리한 구도라는 분석입니다.
• 정부 차원에서 GPU 인프라를 먼저 깔아주는 등 기업이 아닌 국가 주도로 피지컬 AI 드라이브가 걸린 점이 한국에 유리한 신호로 해석됩니다.

05핵심 워크플로우·방법론

1. 현실 공장 환경을 디지털 트윈으로 정확히 복제(수치·파라미터 기반)
2. 물리 기반 합성 데이터(재질·조명·스크래치 등 엣지케이스 포함)를 대량 생성
3. 시뮬레이션 환경에서 로봇을 반복 학습시켜 "모의고사" 단계에서 정확도를 끌어올림
4. 실제 현장에 배포 후 실패(오답) 데이터를 자동으로 시뮬레이션 환경에 재입력하는 "데이터 루프"로 재학습
5. 100% 정확도 도달 시까지 이 루프를 반복한 뒤 양산(정식 배포)

06활용 시나리오

• 피지컬 AI·휴머노이드 로봇 산업에 투자하거나 관련주를 검토하는 사람이 "합성 데이터·디지털 트윈"이라는 밸류체인 상 병목 지점을 이해하는 데 참고할 수 있습니다.
• 제조업 공장에 로봇 자동화를 도입하려는 기업 실무자가 "왜 로봇만 사면 끝이 아니라 디지털 트윈·학습 인프라까지 함께 구축해야 하는지"를 이해하는 데 활용할 수 있습니다.
• 엔비디아의 피지컬 AI 생태계 확장 전략(옴니버스·아이작 기반 파트너십)을 파악하려는 투자자·산업 분석가가 ABB 로보틱스 백서 사례를 참고 자료로 쓸 수 있습니다.
• AI 스타트업 창업자가 "파운데이션 모델 경쟁이 아닌 버티컬(제조 현장) 데이터 인프라"로 차별화하는 전략 사례로 참고할 수 있습니다.

07현황 및 전망

• 스카이인텔리전스는 현재 프로젝트 기반 매출을 내는 초기 단계이며, 공장 양산 배포가 본격화되는 시점부터 매출이 J커브로 성장할 것으로 전망합니다.
• 대표는 피지컬 AI가 예상보다 빠르게 상용화되고 있다고 평가하면서도, 텍스트·이미지 AI(1~2년 만에 대중화)와 달리 물리 데이터 학습에는 여전히 상당한 시간이 필요하다고 진단합니다.
• 골든타임을 3년으로 보고 있으며, 한국이 정부 주도로 이 시기를 놓치지 않고 리드할 경우 피지컬 AI 분야에서 세계 시총 상위권에 한국 기업이 진입할 가능성이 있다고 전망합니다. 다만 이는 스카이인텔리전스 자체 관점의 낙관적 전망이라는 점은 감안해야 합니다.

08용어 사전