가상에서 현실로, 조선소로 간 NC AI

AI의 무대가 화면 속에서 실제 산업 현장으로 넓어지고 있습니다. 피지컬 AI(Physical AI)는 현실의 환경과 상황을 이해하고, 이를 실제 물리적 행동으로 연결하는 기술입니다.

NC AI가 피지컬 AI의 가능성을 확인하고 있는 현장 중 하나는 거대한 선박을 만드는 조선소입니다. 복잡한 용접 공정을 AI가 이해하고, 나아가 실제 자동화까지 이어지게 하려면 어떤 기술과 준비가 필요할까요?

NC AI 피지컬 AI랩 멀티모달 AI팀 이새벽 팀장에게 피지컬 AI가 무엇인지, AI는 어떻게 제조 현장을 이해하는지, 그리고 NC AI가 조선소에서 어떤 기술을 만들어가고 있는지 들어봤습니다.

AI가 화면 밖으로 나오기 시작했다

우리가 익숙하게 사용해 온 AI는 주로 컴퓨터나 스마트폰 안에서 작동해 왔습니다. 필요한 정보를 찾거나 질문에 답하고, 최근에는 여러 도구를 활용해 스스로 계획을 세우고 복잡한 업무를 수행하는 에이전트 AI(Agent AI)로도 발전하고 있습니다.

이새벽 팀장은 피지컬 AI를 그다음 단계로 설명합니다. AI의 역할이 디지털 환경에 머무르지 않고, 실제 산업 현장에서 물리적인 장치와 연결되어 현실의 일을 수행하는 방향으로 확장되는 것입니다.

피지컬 AI라고 하면 가장 먼저 휴머노이드 로봇을 떠올리기 쉽지만 적용 범위는 더 넓습니다.
기존에 사람이 원격으로 조작하던 지게차나 크레인, 협동로봇은 물론 자율주행차와 드론 역시 피지컬 AI가 적용될 수 있는 영역입니다.

다만 현실에서 움직이는 AI에게는 단순히 주변을 인식하는 것 이상의 능력이 필요합니다. 앞으로 어떤 상황이 벌어질지 예측하고, 주변 환경을 이해한 뒤 적절한 행동을 선택해야 합니다.
작은 힘의 차이에도 물체가 손상될 수 있는 작업이라면 움직임 역시 정교하게 제어할 수 있어야 합니다.

이처럼 피지컬 AI는 현실을 이해하고 판단한 결과를 실제 행동으로 연결하는 AI라고 볼 수 있습니다.

NC AI가 이 과정에서 먼저 집중하고 있는 것은 바로 ‘현장을 이해하는 능력’입니다. AI가 실제로 움직이기 전에, 지금 눈앞에서 어떤 일이 벌어지고 있는지부터 제대로 알아야 하기 때문입니다.

피지컬 AI가 움직이기 전에, 먼저 현장을 이해해야 한다

산업 현장에서 AI가 제대로 작동하려면 가장 먼저 필요한 것은 지금 무슨 일이 일어나고 있는지를 정확하게 파악하는 능력입니다. NC AI 멀티모달 AI팀은 이 역할을 수행할 수 있는 기술로 시각언어모델(VLM, Vision-Language Model)을 연구하고 있습니다.

VLM은 이미지와 같은 시각적 입력을 바탕으로 장면 속 객체와 상황을 이해하는 모델입니다. 예를 들어 작업 현장의 이미지를 보고 어떤 설비가 놓여 있는지, 작업 대상이 어떤 상태인지, 서로 다른 이미지 사이에 어떤 변화가 생겼는지를 파악하는 식입니다.

NC AI는 2024년부터 세 차례에 걸쳐 VLM을 공개하며 관련 기술을 축적해 왔습니다. 학습에 필요한 데이터를 준비하고, 모델의 구조를 설계하며, 멀티노드 환경에서 대규모 학습을 진행해 온 경험도 갖고 있습니다.

이제 이 기술의 적용 대상이 일반적인 이미지 이해를 넘어 산업 현장으로 확장되고 있습니다. 제조 현장에서 생성되는 데이터를 목적에 맞게 가공하고 학습시키는 것은 물론, 실제 현장에서 사용할 수 있도록 엣지 디바이스 환경에 맞춰 모델을 최적화하는 과정까지 이어집니다.

특히 앞으로는 한 장의 이미지를 이해하는 것만으로는 충분하지 않습니다.
여러 이미지 사이의 의미 있는 차이를 파악하고, 영상 속 객체의 변화와 시간의 흐름까지 함께 이해해야 실제 공정에서 벌어지는 상황을 더 정확하게 판단할 수 있습니다.

NC AI가 조선소 프로젝트에서 먼저 풀고자 하는 문제도 이러한 '현장 이해'에서 시작합니다.
로봇을 곧바로 움직이게 하기보다, 먼저 AI가 용접 현장을 보고 공정의 상태를 이해할 수 있도록 만드는 것입니다.

그래서 NC AI는 조선소로 갔다

조선소에서 선박을 건조할 때 용접은 공정 전반에서 차지하는 비중이 큰 핵심 작업입니다. 선체를 구성하는 구조물을 연결하고 품질을 확보해야 하기 때문에, 작업 속도와 정확도는 전체 건조 일정과 생산성에도 직접적인 영향을 줍니다.

하지만 현장에서는 숙련 인력 감소라는 문제도 함께 커지고 있습니다. 오랜 경험이 필요한 용접 작업의 특성상 숙련자의 노하우 의존도가 높은데, 고령화와 인력 이탈이 이어지면서 이를 어떻게 보완할지가 중요한 과제로 떠오르고 있습니다.

NC AI가 조선소에서 진행하고 있는 프로젝트는 이런 현실적인 문제에서 출발합니다.
다만 현재 단계의 목표는 로봇이 모든 용접 작업을 바로 수행하게 만드는 것이 아닙니다. 먼저 현장의 시각 정보를 바탕으로 용접 공정 자체를 이해하고, 작업 대상과 상태를 판단할 수 있는 AI를 만드는 데 초점을 두고 있습니다.

예를 들어 AI가 어떤 부위를 보고 있는지, 지금 공정이 어느 단계에 있는지, 용접 대상이 어떤 상태인지 등을 파악할 수 있어야 이후의 자동화도 가능해집니다. 즉, 실제 장비 제어에 앞서 공정을 해석할 수 있는 지능을 먼저 만드는 단계라고 볼 수 있습니다.

조선소 프로젝트는 단순히 하나의 AI 모델을 현장에 적용하는 데 그치지 않습니다.
피지컬 AI가 실제 제조 환경에서 어디까지 현장을 이해하고 판단할 수 있는지를 검증하는 과정이기도 합니다.

AI 엔지니어가 용접 용어부터 공부한 이유

제조 현장 자체가 완전히 낯선 것은 아니었습니다. 이전 직장에서도 제조업 기반의 SI 업무를 경험했기 때문입니다. 하지만 조선업, 그중에서도 용접 공정은 또 다른 영역이었습니다.

프로젝트를 시작하면서 가장 먼저 해야 했던 일 중 하나는 용접 공정의 절차와 현장에서 사용하는 용어를 익히는 일이었습니다. 조선소에서는 일본어식 현장 은어와 영어 축약어, 한자어가 함께 사용되는 경우가 많아 처음에는 하나의 별도 언어처럼 느껴질 정도였다고 합니다.

이 과정은 단순히 새로운 용어를 외우는 데 그치지 않습니다. 같은 장면을 보더라도 현장의 공정과 작업 방식을 이해하지 못하면 무엇이 중요한 정보인지 판단하기 어렵습니다. 어떤 상태가 정상인지, 무엇을 구분해야 하는지, 실제 작업자가 어떤 기준으로 판단하는지를 알아야 AI가 학습해야 할 데이터와 문제도 구체화할 수 있습니다.

이새벽 팀장은 실제 프로젝트의 성패를 가르는 요소로 도메인과 현장에 대한 이해를 강조합니다.
머신러닝 엔지니어가 모델만 바라보는 것이 아니라 고객을 직접 만나고, 현장에서 어떤 문제가 발생하는지 확인하며, 작업자들이 사용하는 언어와 기준을 함께 이해해야 한다는 것입니다.

산업 현장에 AI를 적용하는 일은 기술을 가져다 놓는 것만으로 끝나지 않습니다. 현장의 문제를 기술의 언어로 바꾸고, 다시 실제로 사용할 수 있는 형태로 연결하는 과정이 함께 필요합니다.

조선소에서 시작된 피지컬 AI는 어디까지 갈까

조선소 프로젝트는 하나의 적용 사례이지만, NC AI가 바라보는 피지컬 AI의 범위는 더 넓습니다. 조선소에서 쌓는 현장 이해 기술과 경험은 서로 다른 환경과 공정을 가진 산업으로도 확장될 수 있습니다.

제조 현장에서는 설비와 공정의 상태를 더 정교하게 파악해 스마트팩토리의 자동화 수준을 높이는 데 활용될 수 있습니다. 물류에서는 수많은 물건을 빠르게 구분하거나 자율주행 로봇이 주변 환경을 이해하고 이동하는 데 필요한 기반 기술이 될 수 있습니다.

사람이 직접 접근하기 어려운 환경에서도 활용 가능성이 있습니다. 국방 분야에서는 위험 지역을 탐색하는 무인 로봇이 주변 상황을 인식하도록 돕는 역할을 할 수 있고, 방송을 비롯한 다양한 산업에서도 시각 정보를 이해하는 AI의 활용 범위는 계속 넓어질 수 있습니다.

NC AI는 현재 제조뿐 아니라 물류, 국방, 방송 등 여러 분야의 기업들과 협업하거나 적용 가능성을 검토하고 있습니다.
중요한 것은 특정 산업에 하나의 모델을 그대로 적용하는 것이 아니라, 각 현장의 데이터와 작업 방식에 맞게 AI가 무엇을 보고 이해해야 하는지를 다시 정의하는 것입니다.

조선소에서 시작한 경험이 쌓일수록, 피지컬 AI가 이해해야 할 현실의 범위도 함께 넓어지고 있습니다.

목표는 100% 자동화

피지컬 AI의 최종 목표는 사람이 하던 일을 단순히 보조하는 데 머무르지 않습니다. 이새벽 팀장은 장기적으로 100% 자동화를 목표로 해야 한다고 말합니다.

물론 실제 산업 현장은 한 번에 완전 자동화로 전환되기 어렵습니다. 용접 공정만 해도 이미 일부는 자동화되거나 반자동화되어 있지만, 작업 환경과 조건에 따라 사람의 판단과 개입이 필요한 영역도 남아 있습니다.

초기에는 사람이 중간 과정에 참여하는 Human-in-the-loop 방식으로 시작해, 기술과 현장 데이터가 축적될수록 자동화 범위를 넓혀가는 과정이 필요합니다.

이 과정에서 무엇보다 중요한 것은 안전입니다.
피지컬 AI는 화면 속에서 결과를 만들어내는 기술과 달리 실제 장비와 로봇을 움직입니다.

작은 판단 오류도 사람이나 설비에 영향을 줄 수 있기 때문에, 모델의 성능만큼이나 현장에 대한 정확한 이해와 안정적인 제어가 중요합니다.

그래서 피지컬 AI의 성능은 벤치마크 점수만으로 평가하기 어렵습니다.
실제 환경에서도 안정적으로 작동하고, 예상하지 못한 상황에서도 안전을 유지할 수 있는지까지 함께 확인해야 합니다.

이새벽 팀장은 지금 산업계에 “피지컬 AI라는 거대한 파도”가 몰아치고 있다고 표현합니다.
그리고 NC AI는 그 파도 위에서 실제 산업 현장에 필요한 기술을 하나씩 만들어가고 있습니다.

“5년 뒤에는 한 명의 프로 서퍼가 되어 있지 않을까요? 그때는 우리가 개척한 파도가 하나의 거대한 흐름이 되어 있기를 기대합니다.”