로봇은 어떻게 움직임을 배울까? 피지컬 AI를 학습시키는 방법
우리가 처음 자전거 타는 법을 배울 때를 떠올려 볼까요? 자전거의 생김새와 타는 방법을 눈으로 익힌다고 해서 바로 능숙하게 탈 수 있는 것은 아닙니다. 직접 페달을 밟고, 몸이 기울면 다시 균형을 잡는 과정을 반복하면서 조금씩 자전거를 타는 법을 익히게 됩니다.
로봇도 비슷합니다. 공장이나 물류창고, 우리 집 거실에서 로봇이 다양한 작업을 수행하려면 정해진 동작을 그대로 반복하는 것만으로는 부족합니다. 주변 상황을 파악하고 그에 맞는 행동을 선택하며, 예상과 다른 변화가 생겼을 때 움직임을 조정할 수 있어야 합니다.
이러한 능력을 학습하는 기반이 바로 데이터입니다. 피지컬 AI를 학습시키려면 사물의 모습이나 위치를 보여주는 정보뿐 아니라 어떤 상황에서 로봇이 어떤 행동을 했는지, 그 행동에 따라 주변 환경이 어떻게 달라졌는지처럼 인식과 행동, 결과가 연결된 경험 데이터가 필요합니다.
문제는 이러한 경험 데이터를 충분히 확보하기가 쉽지 않다는 것입니다. 같은 물건을 옮기는 작업이라도 물체의 크기와 무게, 놓인 위치, 주변 환경에 따라 필요한 움직임이 달라집니다. 로봇이 마주할 수많은 상황을 실제 환경에서 하나씩 재현하려면 많은 시간과 비용이 필요하고, 위험하거나 드물게 발생하는 상황은 반복하기도 어렵습니다.
그래서 피지컬 AI에서는 데이터의 양뿐 아니라 로봇이 다양한 환경과 상황을 학습하는 데 필요한 경험 데이터를 어떻게 효율적으로 확보할 것인가가 중요한 과제가 되고 있습니다.
그렇다면 로봇이 움직임을 배우는 데 필요한 경험 데이터는 어떻게 만들어지고 있을까요?
로봇에게 필요한 경험을 데이터로 만드는 방법
로봇의 학습 데이터를 확보하는 가장 직관적인 방법은 실제 로봇을 움직이면서 데이터를 수집하는 것입니다.
대표적인 방법은 텔레오퍼레이션(Teleoperation)으로 사람이 원격 조종 장치 등을 이용해 로봇을 직접 움직이며 작업을 수행하는 방식입니다. 예를 들어 사람이 로봇 팔을 조작해 테이블 위의 컵을 집어 다른 위치로 옮기면, 로봇에 장착된 카메라 영상과 관절의 위치 및 움직임, 로봇이 수행한 동작 등의 정보를 데이터로 수집할 수 있습니다. 이렇게 수집된 데이터는 로봇이 사람의 작업 방식을 참고해 행동을 학습하는 데 활용됩니다. 특히 실제 로봇의 신체 구조와 작업 환경에서 얻은 데이터라는 장점이 있습니다.
로봇이 스스로 시행착오를 거치며 행동을 학습하는 방법도 있습니다. 강화학습(Reinforcement Learning)은 로봇이 다양한 행동을 시도하고, 그 결과에 따른 보상을 바탕으로 더 나은 행동을 찾아가는 학습 방법입니다. 물체를 집는 작업이라면 로봇이 손의 위치나 움직임을 바꿔가며 물체를 잡아보고, 성공과 실패를 바탕으로 행동 전략을 개선하는 방식입니다. 이러한 학습 과정에서도 로봇의 상태와 행동, 결과에 관한 경험 데이터가 생성됩니다.
실제 로봇을 직접 움직이지 않고도 사람이 작업하는 모습을 촬영한 영상에서 학습에 필요한 정보를 얻는 방법도 있습니다. 사람이 물체를 집거나 도구를 사용하는 영상에는 작업 순서와 물체의 움직임, 행동에 따른 환경 변화 등이 담겨 있습니다. 다만 영상만으로는 물체의 무게나 마찰력, 접촉 과정에서 발생하는 힘, 정확한 관절 움직임 등을 파악하기 어려워 다른 데이터와 함께 활용하거나 추가적인 정보 추정 과정이 필요합니다.
이러한 방법만으로 로봇이 마주할 수많은 상황을 모두 학습하기는 어렵습니다. 실제 로봇을 반복적으로 움직이거나 다양한 시행착오를 경험하게 하려면 많은 시간과 비용이 필요하고, 작업 과정에서 물체나 장비가 손상될 위험도 있기 때문입니다. 사람의 작업 영상 역시 실제 로봇의 움직임이나 물리적 상호작용에 관한 정보를 모두 제공하지는 못합니다.
현실에서 얻기 어려운 경험을 가상세계에서
실제 공장이나 물류창고를 가상공간에 구현한다면 어떨까요? 현실의 장비를 계속 가동하지 않아도 물체의 위치나 작업 동선, 주변 장애물 등 다양한 조건을 바꿔가며 로봇의 움직임을 시험할 수 있습니다. 가상환경에서는 실제로 재현하기 어렵거나 위험한 상황도 반복적으로 실험할 수 있습니다.
이러한 가상환경을 구축하는 데 활용되는 기술 중 하나가 디지털트윈(Digital Twin)입니다. 디지털트윈은 현실의 공간과 설비, 로봇 같은 물리 시스템을 디지털 공간에 구현하고, 실제 시스템의 상태와 변화를 반영하는 기술입니다. 여기에 시뮬레이션을 결합하면 가상의 환경에서 로봇의 행동과 물체의 움직임을 실험하고, 학습에 필요한 데이터를 생성할 수 있습니다.
NC AI도 이러한 기술을 피지컬 AI 분야로 확장하고 있습니다. 글로벌 SOTA급 자체 3D 생성 모델과 고정밀 스캔 기술을 활용한 디지털트윈 ‘VAETKI Twin’을 개발하고 있으며, 실제 산업 현장과 로봇·설비를 정밀한 3D 가상환경으로 구현하고 현실의 데이터를 동기화하는 기술을 활용하고 있습니다. 이를 통해 실제 산업 현장의 특성을 반영한 시뮬레이션 환경에서 다양한 작업 조건을 실험하고, 로봇의 학습과 검증에 활용할 수 있는 기반을 구축하고 있습니다.
다만 가상환경이 현실을 완벽하게 재현하는 것은 아닙니다. 물체의 마찰이나 무게, 접촉 과정에서 발생하는 힘, 센서 오차 등 실제 환경의 복잡한 요소를 모두 정확하게 구현하기는 어렵습니다.
이러한 가상환경과 현실의 차이를 Sim-to-Real Gap(시뮬레이션-현실 격차)이라고 합니다. 따라서 가상환경에서 학습한 로봇의 행동이 실제 환경에서도 안정적으로 작동하는지 검증하고, 필요한 경우 실제 데이터를 활용해 학습을 보완하는 과정이 중요합니다.
현실의 변화를 예측하고 새로운 경험을 만드는 월드모델
가상환경을 구축하는 것과 함께 중요한 것은 그 안에서 현실 세계가 어떻게 변화하는지를 이해하고 재현하는 것입니다.
로봇이 다양한 상황에 대응하려면 현재 주변 환경을 파악하는 데 그치지 않고, 특정 행동을 했을 때 어떤 변화가 일어날지도 예측할 수 있어야 합니다. 예를 들어 로봇이 테이블 위의 물체를 밀거나 들어 올릴 때, 물체가 어느 방향으로 움직일지, 다른 물체와 부딪히면 어떤 변화가 발생할지 예측할 수 있다면 보다 적절한 행동을 선택하는 데 도움이 됩니다.
이러한 예측에 활용되는 기술이 월드모델(World Model)입니다. 월드모델은 환경과 물체의 움직임, 상태 변화를 학습하고 현재 상태나 행동을 바탕으로 앞으로 어떤 상황이 펼쳐질지 예측하는 AI 모델입니다. 로봇은 월드모델을 활용해 행동의 결과를 미리 가늠하거나 앞으로 수행할 행동을 계획할 수 있습니다.
월드모델은 로봇의 학습 데이터를 확보하는 데에도 활용될 수 있습니다. 특히 환경과 물체의 변화 패턴을 학습하고, 이를 바탕으로 다양한 조건에서 일어날 수 있는 상황을 영상 등의 형태로 생성할 수 있습니다. 예를 들어 주변 물체의 배치나 이동 방향, 작업 조건 등을 달리해 다양한 상황의 영상을 생성하는 방식입니다. 이렇게 생성된 데이터는 현실에서 직접 수집하기 어려운 상황을 보완하고, 로봇이 학습할 수 있는 경험의 범위를 넓히는 데 활용될 수 있습니다.
NC AI도 월드모델을 활용해 로봇 학습에 필요한 대규모 합성 데이터를 생성하는 파이프라인을 구축하고 있습니다. 예를 들어 눈이 내리는 공장이나 조명이 꺼진 야간 물류센터, 작업 중 예상치 못한 사람의 개입 등은 실제 환경에서 반복적으로 재현하고 데이터를 수집하기 어려운 상황입니다. NC AI는 프롬프트를 통해 이러한 환경과 조건을 변경하면서 다양한 상황의 합성 비디오 데이터를 생성하는 기술을 고도화하고 있습니다.
데이터 생성 속도도 주목할 만합니다. NC AI가 발표한 연구 성과에 따르면 A100 GPU 1대 기준 10초 분량의 비디오 데이터를 약 80초 만에 생성할 수 있습니다. 이를 바탕으로 H100 GPU 100대를 활용할 경우 약 1만 시간 분량의 합성 비디오 데이터를 11일 만에 생성할 수 있다는 처리 성능을 제시했습니다. 향후에는 반도체 클린룸과 철강 공정, 조선소 등 국내 제조 산업의 특성을 반영한 맞춤형 합성 데이터로 활용 범위를 넓힐 계획입니다.
이러한 기술은 실제 환경에서 데이터를 수집하기 어려운 국방 분야에서도 활용될 수 있습니다. 국방 환경은 지형과 기상, 주변 객체의 움직임 등 다양한 변수가 복합적으로 작용하며, 위험한 상황을 반복해서 재현하거나 충분한 학습 데이터를 확보하는 데 제약이 있기 때문입니다.
NC AI는 현대로템과 함께 국방과학연구소(ADD)가 발주한 ‘피지컬 AI 기반 통합 시뮬레이터 및 모듈형 로봇 시스템’ 국책 연구개발 과제에 참여해 차세대 로봇 파운데이션 모델을 위한 월드모델 개발을 주도하고 있습니다. 현실에서 반복하기 어려운 다양한 상황을 가상공간에서 재현하고, 무인 장비와 로봇의 학습·검증에 필요한 데이터 기반을 구축하는 것이 목표입니다.
사람의 움직임을 로봇의 학습 데이터로
사람이 이미 가지고 있는 움직임을 로봇 학습에 활용하려는 연구도 이어지고 있습니다. 사람이 걷고, 몸을 돌리고, 물건을 집거나 도구를 사용하는 움직임에는 다양한 작업 경험이 담겨 있습니다. 이러한 움직임을 데이터로 확보하면 로봇이 사람의 행동을 참고해 새로운 동작을 학습하는 데 활용할 수 있습니다.
이를 위한 대표적인 기술은 모션캡처(Motion Capture)로 사람의 신체 각 부위의 위치와 자세, 관절의 움직임 등을 시간의 흐름에 따라 정밀하게 기록해 동작을 디지털 데이터로 만드는 기술입니다.
하지만 사람과 로봇은 신체 구조가 서로 다르기 때문에 인간의 행동을 그대로 로봇에 적용할 수는 없습니다. 특히 휴머노이드는 사람과 유사한 형태를 가지고 있지만 신체 비율과 관절 구조, 움직일 수 있는 범위가 다릅니다. 이러한 차이를 해결하기 위해 활용되는 기술이 Human-to-Robot Retargeting(휴먼-로봇 리타게팅)입니다. 리타게팅은 사람의 동작을 로봇의 신체 조건에 맞게 변환하는 과정입니다. 사람의 움직임을 그대로 복사하는 대신 로봇의 관절 한계와 신체 비율, 발의 지지와 균형 조건 등을 고려해 실제 수행할 수 있는 움직임으로 바꿉니다.
예를 들어 사람이 팔을 들어 올리거나 몸을 돌리는 동작을 휴머노이드가 수행하려면 로봇의 관절이 움직일 수 있는 범위를 고려하면서도 넘어지지 않도록 균형을 유지해야 합니다. 단순히 자세를 비슷하게 만드는 것이 아니라 실제 로봇의 물리적 조건에 맞는 움직임으로 변환하는 것입니다.
NC AI는 게임과 콘텐츠 제작 과정에서 축적한 모션 데이터와 애니메이션 기술을 휴머노이드 학습 분야로 확장하고 있습니다. LG전자 등과 함께 수행하는 휴머노이드 국책과제에서 학습 기반 GMT(General Motion Tracking)의 초기 학습 데이터를 구축하고, 사람의 동작을 휴머노이드에 맞게 변환하는 Human-to-Robot Retargeting 파이프라인을 개발합니다.
이처럼 사람이 축적해 온 움직임을 로봇의 신체 조건에 맞는 데이터로 변환하면, 휴머노이드가 사람의 동작을 참고해 다양한 움직임을 학습하는 데 활용할 수 있습니다. 사람이 가진 동작 경험을 로봇이 학습할 수 있는 데이터로 바꾸는 것입니다.
다양한 경험을 연결해 확장되는 로봇의 학습
로봇이 다양한 환경에서 스스로 판단하고 움직이기 위해서는 그만큼 폭넓은 경험을 학습할 수 있어야 합니다. 이를 위해 피지컬 AI 분야에서는 실제 로봇과 사람에게서 얻은 데이터뿐 아니라 가상환경에서 생성한 데이터를 함께 활용하며 학습의 범위를 넓히고 있습니다.
각각의 데이터는 서로 다른 역할을 합니다. 실제 환경에서 얻은 데이터는 현실의 물리적 조건을 반영하고, 사람의 움직임과 영상은 다양한 작업 경험을 제공하며, 가상환경은 현실에서 재현하기 어려운 상황을 보완합니다. 이러한 데이터의 특성을 고려해 서로 연결하고 활용하는 것이 로봇의 학습 능력을 높이는 중요한 기반이 됩니다.
결국 피지컬 AI의 발전을 위해서는 단순히 많은 데이터를 확보하는 것을 넘어, 로봇이 배워야 할 다양한 경험을 어떻게 만들고 실제 움직임으로 연결할 것인지가 중요합니다. 로봇이 수행할 수 있는 작업과 활동 영역이 넓어질수록, 다양한 경험을 학습 데이터로 확보하고 활용하는 기술의 중요성도 더욱 커질 것입니다.
