월드모델

2025년 하반기부터 2026년 사이, ‘월드모델(World Model)’은 AI 업계에서 가장 뜨거운 단어가 되었습니다. 구글 딥마인드는 실시간으로 걸어 다닐 수 있는 세계를 만드는 Genie 3를 공개했고, 얀 르쿤은 메타를 떠나 월드모델 스타트업 AMI Labs를 세워 10억 달러가 넘는 시드 투자를 받았으며, 페이페이 리의 World Labs도 10억 달러를 추가로 유치했습니다. 엔비디아는 로봇·자율주행용 Cosmos 3를, 한국 정부는 340억 원 규모의 ‘월드모델 국산화’ 사업을 시작했습니다.

그런데 이 단어는 사람마다 전혀 다른 것을 가리킵니다. 누군가는 ‘게임처럼 조작할 수 있는 영상 생성기’를, 누군가는 ‘로봇의 머릿속 예측 엔진’을, 또 누군가는 ‘3D 공간을 만들어 주는 도구’를 월드모델이라 부릅니다. AMI Labs 쪽 인사가 “6개월 안에 모든 회사가 투자를 받으려고 스스로를 월드모델이라고 부를 것”이라고 꼬집었을 정도입니다.⁸

이 문서는 그 혼란을 정리하는 데 목적이 있습니다. 구성은 다음과 같습니다.

• 1~2장은 개념과 배경입니다. 처음 접하는 분은 여기까지만 읽어도 대화에 참여할 수 있습니다.
• 3~5장은 역사, 내부 구조, 분류 체계입니다. 기술적 뼈대를 이해하고 싶은 분을 위한 부분입니다.
• 6~8장은 실제 모델과 기업, 핵심 논쟁, 응용 분야입니다.
• 9장은 영상·게임·콘텐츠 제작자의 관점에서 지금 쓸 수 있는 것과 아직 안 되는 것을 정리했습니다.
• 10~12장은 한계, 한국의 현황, 앞으로 볼 지표입니다. 부록에는 용어집, 단계별 필독 목록, 참고문헌이 있습니다.

한 문장 정의

구글 딥마인드는 월드모델을 이렇게 정의합니다. “세계에 대한 이해를 바탕으로 세계의 일부를 시뮬레이션해서, 에이전트가 환경이 어떻게 변할지, 그리고 자신의 행동이 환경에 어떤 영향을 줄지 예측할 수 있게 하는 AI 시스템.”¹ 체화 AI 분야의 종합 서베이도 같은 취지로 월드모델을 “환경의 동역학을 포착하는 내부 시뮬레이터”라고 부릅니다.³⁴ 한국 소프트웨어정책연구소(SPRi)는 “인공지능이 물리 세계의 구조와 동역학을 이해하고 미래 상태를 예측하는 기술”이라고 정리했습니다.²⁵

세 정의에 공통으로 들어 있는 요소는 세 가지입니다. ① 세계의 현재 상태를 압축해서 표현하고, ② 시간이 흐르거나 행동이 가해질 때 다음 상태를 예측하며, ③ 그 예측을 의사결정에 활용합니다.

세 가지 비유

① 캐치볼 하는 사람

날아오는 공을 잡을 때 우리는 뉴턴 방정식을 풀지 않습니다. 대신 “저 속도로 저 각도면 대략 저기로 떨어진다”는 감각으로 손을 미리 뻗습니다. 이 감각이 뇌 속의 월드모델입니다. 1943년 심리학자 케네스 크레이크(Kenneth Craik)는 생명체가 머릿속에 외부 현실의 ‘축소 모형(small-scale model)’을 지니고 다니며, 실제로 행동하기 전에 여러 대안을 그 모형 안에서 시험해 본다는 가설을 내놓았습니다. 이것이 개념의 뿌리입니다.⁵⁰

② 초보 운전자와 베테랑 운전자

베테랑은 골목에서 공이 굴러 나오면 곧 아이가 뛰어나올 것을 예상하고 속도를 줄입니다. 아직 일어나지 않은 미래를 머릿속에서 먼저 굴려 본 것이지요. 자율주행 업계가 월드모델에 매달리는 이유가 여기 있습니다. 실제 도로에서는 거의 일어나지 않는 위험 상황을 가상으로 수십억 번 겪게 할 수 있기 때문입니다.⁴

③ 자각몽 속의 연습

2018년 데이비드 하(David Ha)와 위르겐 슈미트후버(Jürgen Schmidhuber)의 논문 〈World Models〉는 AI가 자신이 학습한 세계 모형 안에서, 즉 ‘꿈속에서’ 운전과 게임을 연습한 뒤 그 실력을 실제 환경으로 옮길 수 있음을 보였습니다.³⁷ 오늘날 Dreamer 4가 실제 게임을 한 번도 하지 않고 영상 데이터와 상상 속 연습만으로 마인크래프트 다이아몬드를 캔 것도 같은 원리의 확장입니다.⁷

헷갈리기 쉬운 이웃 개념

이유 1 — 언어만으로는 부족하다는 반성

얀 르쿤은 오래전부터 “언어는 대역폭이 너무 낮고 파생적인 신호라서 주된 학습 신호가 될 수 없으며, 인간과 동물의 지능은 세상을 관찰하고 그 안에서 행동하며 배운 것”이라고 주장해 왔습니다.⁹ 네 살 아이는 책을 한 권도 읽지 않고도 컵을 밀면 떨어진다는 것을 압니다. 그 아이가 눈으로 받아들인 시각 정보의 양은 LLM이 학습하는 텍스트의 양과 비슷하거나 더 많다는 것이 르쿤이 강연에서 즐겨 드는 비유입니다.

이 주장이 2025년 이후 힘을 얻은 이유는 LLM이 발전을 멈춰서가 아니라, AI를 공장·도로·가정에 투입하려는 요구가 커졌기 때문입니다. 텍스트를 잘 다루는 모델에 “이 상자를 들면 옆 상자가 무너질까?”를 판단하게 하려면 다른 종류의 지식이 필요합니다.

이유 2 — 물리 세계 데이터의 절대적 부족

류제명 과학기술정보통신부 제2차관은 2026년 6월 피지컬 AI 선도사업 착수보고회에서 이 문제를 이렇게 요약했습니다.

“현실에서 이를 모두 수집하기에는 너무나도 막대한 비용과 시간이 소요되고, 실제 데이터만으로는 실패 사례나 예외적인 위험 상황에 대한 충분한 학습이 사실상 불가능하다.”— 류제명 과기정통부 2차관, 2026. 6. 9.²⁷

World Labs도 물리적으로 정확한 시뮬레이션 데이터는 인터넷 영상에 비해 “몇 자릿수(orders of magnitude)” 부족하다고 설명합니다.¹¹ 월드모델은 이 공백을 메우는 ‘데이터 공장’이자, 로봇이 실패해도 다치지 않는 ‘연습장’이 됩니다.

이유 3 — 기술이 임계점을 넘었다

2024년 초까지 상호작용형 월드모델은 초당 1프레임 수준이었고 몇 초만 지나면 세계가 무너졌습니다. 2024년 말 Genie 2는 10~20초를 버텼고, 2025년 8월 Genie 3는 720p·초당 24프레임으로 수 분간 일관된 세계를 실시간 생성했습니다.¹³ “데모”가 “써 볼 수 있는 물건”으로 넘어간 순간, 산업의 관심이 쏠렸습니다.

이유 4 — 돈의 흐름

시장의 반응도 컸습니다. 2026년 1월 구글이 일반 유료 사용자에게 Project Genie를 공개하자 유니티, 로블록스, 테이크투 등 게임 관련 주가가 크게 하락했다는 보도가 이어졌습니다.³ “게임을 만드는 방식 자체가 바뀔 수 있다”는 기대와 공포가 동시에 반영된 장면입니다.

월드모델은 새로운 아이디어가 아닙니다. 〈Not Boring〉 에세이는 역사를 다섯 개의 물결로 나눕니다. 이론적 토대(1990~91), 가능성 증명(2018~19), 인간 수준 성능(2020~22), 현실 세계와의 상호작용(2023~24), 그리고 지금의 배치 단계입니다.³⁵ 아래 연표는 이 구분을 따르되 최신 사건을 보강했습니다.

부품 1 — 인코더: 세계를 요약하기

카메라 한 장면에는 수백만 개의 픽셀이 있지만, 결정을 내리는 데 필요한 정보는 “컵이 탁자 끝에 있다” 정도입니다. 인코더는 관측을 이런 요약본(잠재 상태, latent state)으로 압축합니다. 하 & 슈미트후버의 2018년 모델은 이 역할을 VAE가 맡았고,³⁷ 최근에는 대형 비전 트랜스포머가 이 일을 합니다. 좋은 인코더는 나뭇잎의 흔들림처럼 예측할 수 없고 쓸모도 없는 정보는 버리고, 물체의 위치·속도처럼 중요한 정보는 남깁니다. 르쿤의 JEPA는 바로 이 “버릴 것은 버린다”를 설계 원칙으로 삼습니다.⁹

부품 2 — 동역학 예측기: 미래를 굴리기

월드모델의 심장입니다. 현재 상태와 행동을 받아 다음 상태를 내놓습니다. 이를 반복하면 몇 초, 몇 분 뒤의 미래까지 ‘롤아웃(rollout)’할 수 있습니다. 구현 방식은 크게 둘입니다.

• 자기회귀(autoregressive): 한 단계씩 순서대로 다음을 예측합니다. 사용자의 입력을 매 단계 반영할 수 있어 실시간 상호작용에 유리합니다. Genie 3, GWM-1이 이 방식입니다.¹⁵
• 전역 예측(global difference prediction): 미래 구간 전체를 한꺼번에 추정합니다. 품질은 높지만 중간 개입이 어렵습니다. 전통적인 영상 생성 모델에 가깝습니다.³⁴

최근에는 두 방식을 섞은 ‘자기회귀 확산(autoregressive diffusion)’이 주류가 되었습니다. 한 덩어리(chunk)씩 확산 모델로 고품질 프레임을 만들되, 덩어리 사이는 자기회귀로 이어 붙이는 방식입니다.

부품 3 — 행동: 무엇이 ‘조작’인가

행동은 게임 패드 입력(WASD, 카메라 회전)일 수도, 로봇 관절 명령일 수도, 자동차 조향일 수도, “비가 오게 해”라는 텍스트일 수도 있습니다. Genie 3의 ‘프롬프트형 세계 이벤트’는 텍스트를 행동으로 쓰는 예입니다.¹ Waymo World Model은 주행 행동, 도로 배치, 언어 세 가지를 모두 제어 입력으로 받습니다.⁴

문제는 인터넷 영상에는 “이때 어떤 버튼을 눌렀는지”라는 라벨이 없다는 점입니다. 여기서 두 가지 해법이 나왔습니다. Genie 1은 영상 속 프레임 변화로부터 잠재 행동(latent action)을 스스로 추론했고,³ Dreamer 4는 소량의 행동 라벨 데이터로 ‘행동 조건화’를 배우고 대부분의 지식은 라벨 없는 영상에서 얻었습니다.⁷ V-JEPA 2도 100만 시간 넘는 영상으로 사전학습한 뒤 62시간 미만의 로봇 영상만 추가해 행동 조건부 모델(V-JEPA 2-AC)을 만들었습니다.⁵

부품 4 — 기억: 세계가 무너지지 않게

뒤돌아봤다가 다시 앞을 봤을 때 건물이 그대로 있어야 합니다. 이것이 ‘일관성’이고, 월드모델의 가장 어려운 과제입니다. Genie 2는 10~20초, Genie 3는 약 1분 전까지의 시각 기억을 유지합니다.³¹ 기억을 늘리는 방법으로는 과거 프레임을 길게 참조하는 방식, 3D 표현(가우시안 스플랫·메시)을 별도로 유지하는 방식, 외부 데이터를 검색해 붙이는 방식이 경쟁 중입니다. 네이버 Seoul World Model은 실제 스트리트뷰 이미지를 검색해 계속 ‘재접지(re-grounding)’하는 방식으로 수백 미터 이동에도 공간을 유지했습니다.²⁴

부품 5 — 디코더: 그릴 것인가, 말 것인가

예측한 상태를 사람이 볼 수 있는 화면으로 바꾸는 부품입니다. 게임·영상·시뮬레이터처럼 사람이 봐야 하는 용도에는 필수이지만, 로봇이 계획만 세우면 되는 경우에는 필요 없습니다. 이 부품을 두느냐 마느냐가 7장의 대논쟁으로 이어집니다.

부품 6 — 플래너와 정책: 상상을 행동으로

여러 후보 행동을 월드모델 안에서 굴려 보고 결과가 가장 좋은 행동을 고릅니다(모델 예측 제어, MPC). 또는 월드모델 안에서 강화학습으로 정책을 훈련한 뒤 현실에 배치합니다. Dreamer 4는 후자로, 2만 번 넘는 마우스·키보드 조작이 필요한 과제를 상상 속 훈련만으로 해냈습니다.⁷

공간 표현의 네 가지 방식

세계를 무엇으로 담느냐도 중요한 설계 선택입니다. 2025년 체화 AI 서베이는 네 가지로 나눕니다.³⁴

지도 1 — 두 갈래: 잠재형 vs 생성형

가장 널리 쓰이는 구분입니다.⁴⁶³⁵

지도 2 — 페이페이 리의 세 유형: 렌더러 · 시뮬레이터 · 플래너

World Labs는 2026년 6월, 출력물을 기준으로 월드모델을 세 가지로 나누었습니다.¹¹

World Labs는 이 가운데 시뮬레이터가 핵심(linchpin)이라고 주장합니다. 시뮬레이션을 잘하면 렌더링과 계획은 따라오지만, 그 반대는 성립하지 않는다는 논리입니다.¹¹ 물론 이는 3D 시뮬레이터 쪽에 선 회사의 관점이라는 점도 함께 기억해 둘 필요가 있습니다.

지도 3 — SPRi의 한국형 분류

소프트웨어정책연구소는 2026년 5월 보고서에서 패러다임과 목적 두 축으로 나눴습니다.²⁵

• 패러다임별: 명시적(미래를 이미지·영상으로 직접 생성, 해석성 높고 계산 비용 큼) / 암묵적(추상 공간에서만 계산, 효율적이지만 해석 어려움) / 시뮬레이터 기반(기존 물리 엔진 활용) / 하이브리드(여러 방식 통합, 예: Genie 2)
• 목적별: 비디오 생성(Genie 등) / 자율주행(테슬라 월드모델, DriveDreamer 등) / 자율 에이전트(Dreamer, JEPA 등)

지도 4 — 학술 서베이의 세 축

2025년 체화 AI 월드모델 서베이(Li 외)는 기능·시간·공간 세 축을 제안했습니다.³⁴

• 기능: 특정 과제의 의사결정에 묶인 모델(decision-coupled) vs 범용 시뮬레이터(general-purpose)
• 시간: 순차 시뮬레이션(자기회귀) vs 전역 차이 예측(병렬)
• 공간: 전역 잠재 벡터 / 토큰 시퀀스 / 공간 격자 / 분해 렌더링 표현(4장 표 참조)

태그의 잠재형은 추상 공간 예측, 나머지는 픽셀·3D를 생성하는 모델을 뜻합니다. 수치는 각 기업의 발표 기준입니다.

전선 1 — 르쿤 대 생성형 진영

르쿤의 입장은 분명합니다. 픽셀 하나하나를 예측하는 것은 “예측할 수 없고 무관한 엔트로피”에 모델의 용량을 낭비하는 일이라는 것입니다. 나뭇잎이 정확히 어떻게 흔들릴지는 아무도 예측할 수 없고, 알 필요도 없습니다. 그래서 JEPA는 원본 픽셀이 아니라 추상적 표현을 예측하고, 행동의 결과를 예측해 “행동하기 전에 계획”하는 데 집중합니다.⁹ TIME은 르쿤이 Sora 같은 영상 생성기를 월드모델로 인정하지 않는다고 정리했습니다.³⁶

반대편은 “충분히 사실적으로 렌더링할 수 있다면 그 렌더링이 곧 이해”라는 입장에 가깝습니다.⁴⁶ General Intuition 측은 픽셀 수준의 디테일이 해석 가능성을 주고, 사람이 결과를 눈으로 검증할 수 있게 한다고 봅니다.³⁵ 무엇보다 생성형 월드모델은 이미 게임·자율주행 검증·데이터 생성이라는 ‘팔리는 쓰임새’를 확보했습니다.

전선 2 — 사실감은 이해가 아니다

이 전선에서는 실증 연구가 쌓였습니다.

• Physics-IQ(딥마인드·INSAIT, 2025): 유체·광학·고체역학·자기·열역학 문제로 Sora, Runway, Pika, Lumiere 등을 시험한 결과, 물리적 이해는 “심각하게 제한적이며 시각적 사실감과 무관”했습니다. 다만 일부 사례에서는 성공해, 관찰만으로 일부 원리를 배울 가능성은 열어 두었습니다.³⁰
• WorldArena(2026. 2.): 체화 월드모델을 16개 지표로 평가한 결과, “높은 시각 품질이 곧 강한 체화 과제 능력으로 이어지지 않는다”는 결론을 냈습니다. 특히 행동 계획 성능과 시각 품질의 상관은 피어슨 r = 0.36에 그쳤습니다.³²
• PlayWorld(2026. 8.): Genie 3를 포함한 9개 상호작용형 모델을 AI 플레이어로 장시간 시험한 결과, 보이는 구조는 잘 유지하지만 시야 밖에서 일어나야 할 변화와 지속적인 상태 변화에 약했고, 같은 장소로 돌아오면 랜드마크가 다른 위치에 다시 생성되는 문제가 드러났습니다.³³

전선 3 — LLM 속에는 월드모델이 있는가

있다는 쪽의 증거. 오셀로 기보만 학습한 GPT가 내부에 판의 상태를 표상한다는 연구(Othello-GPT, 2023),⁴² LLM 내부에서 지명의 위도·경도와 사건의 시점이 선형적으로 읽힌다는 연구(Gurnee & Tegmark)⁴¹가 대표적입니다.

없다는 쪽의 증거. 하버드·MIT 연구진(Vafa 외, ICML 2025)은 행성 궤도 데이터로 학습해 궤적 예측을 아주 잘하는 모델도, 새로운 물리 과제에 적응시켜 보면 뉴턴의 힘 법칙을 적용하지 못한다는 것을 보였습니다. 모델은 법칙 대신 “과제별 휴리스틱”을 익혔다는 것입니다.³¹ 케플러의 관측이 뉴턴의 법칙으로 이어진 것처럼, 예측을 잘하는 것과 원리를 발견하는 것은 다른 일이라는 지적입니다. 게리 마커스 역시 생성형 AI가 견고한 세계 모델을 형성하지 못한다는 비판을 꾸준히 제기해 왔습니다.⁴⁹

“예측 정확도가 높다고 해서 세계에 대한 올바른 귀납적 편향을 가진 것은 아니다.”— Vafa, Chang, Rambachan, Mullainathan (ICML 2025) 요지³¹

논쟁을 읽는 법

세 전선 모두 결국 하나의 질문으로 모입니다. “이 모델을 어디에 쓸 것인가?” 사람이 볼 영상을 만드는 데는 그럴듯함으로 충분할 수 있습니다. 하지만 로봇이 유리컵을 잡거나 자동차가 브레이크를 밟는 데는 정확함이 필요합니다. WorldArena가 시각 품질이 아닌 ‘기능적 유용성’을 따로 재는 이유가 여기에 있습니다.³²

자율주행: 가장 먼저 돈이 되는 곳

자율주행이 앞서는 이유는 명확합니다. 방대한 주행 영상이 이미 있고, 실제 도로 시험은 느리고 비싸며, 가장 중요한 사고 상황은 거의 일어나지 않습니다. Waymo는 월드모델로 Waymo Driver가 “가상 세계에서 수십억 마일을 달리며 복잡한 시나리오를 익힌다”고 설명합니다.⁴ Wayve는 GAIA-3로 합성 시험의 기각률을 5분의 1로 줄였다고 밝혔습니다.²⁰

로보틱스: 데이터 가뭄의 해법

로봇 분야는 2025년 한 해 407억 달러를 유치했고, 이는 전체 벤처 투자의 9%였습니다(CB Insights).²⁹ 월드모델은 세 가지 방식으로 쓰입니다. ① 실제로 모으기 어려운 조작 데이터를 생성하고, ② 새 로봇 정책을 실물 없이 가상으로 채점하며(“원자가 아니라 비트로 평가”), ③ 로봇이 행동하기 전에 결과를 미리 굴려 봅니다. 한국 정부의 선도사업이 “로봇 동작 성공률 20%p 향상”을 목표로 내건 것도 이 흐름입니다.²⁶

게임: 기대와 공포가 공존하는 곳

Project Genie는 “게임을 코딩하지 않고 생성하는 시대”를 예고했지만, 60초 제한과 조작의 불안정성이 보여 주듯 아직 완성된 게임을 대체하지는 못합니다.² 현재 가장 현실적인 쓰임새는 기획 단계의 빠른 프로토타이핑(Muse의 포지셔닝)과, 사람처럼 플레이하는 에이전트 훈련(General Intuition)입니다.²²²¹

지구 과학: 조용하지만 가장 오래된 성공

TIME 칼럼에서 전 NASA 기후과학자 셀린 헤르바이어는 월드모델을 지구 시스템 문제로 확장해야 한다고 주장합니다. 신경망 기상 모델은 이미 많은 지표에서 물리 기반 예보를 앞서지만 극한 기상 예측에서는 여전히 뒤처지며, 지구가 한 번도 겪어 보지 않은 상태(예: 대서양 순환 붕괴 이후)는 예측할 수 없다는 한계도 함께 짚었습니다.³⁶

영상 생성 AI와 무엇이 다른가

Seedance, Kling, Veo 같은 영상 생성 모델은 한 번에 한 샷을 만들어 냅니다. 샷을 여러 개 만들면 같은 방이라도 창문 위치나 조명이 조금씩 달라지고, 이를 맞추느라 레퍼런스 이미지와 프롬프트를 반복해서 조정하게 됩니다. 월드모델 계열 도구는 먼저 하나의 세계(세트)를 만들고, 그 안에서 카메라를 움직여 여러 샷을 뽑는 방식이라 연속성 문제를 구조적으로 줄여 줍니다.

지금 쓸 수 있는 워크플로: ‘가상 백롯’

World Labs가 소개한 영화 제작 사례는 다음 여섯 단계를 따릅니다.⁴⁵

1. 세계 생성 — 깊이와 조명이 일관된 3D 세트를 만든다(Marble).
2. 카메라 탐색 — 세트 안을 걸어 다니며 여러 앵글로 프레이밍한다.
3. 소스 추출 — 합성용 스틸과 플레이트를 내보낸다.
4. 인물 합성 — AI로 만든 캐릭터를 환경에 얹는다.
5. 애니메이션 — 영상 생성 도구로 움직임과 타이밍을 입힌다.
6. 최종 편집 — 사운드 디자인, 색보정, 편집으로 마무리한다.

사례에 참여한 한 제작자는 “세트를 고정하고 나니 움직임과 감정을 마음껏 실험할 수 있었다. 공간이 연출할 수 있는 단단한 무언가를 줬다”고 말했습니다.⁴⁵ 한 번 만든 세트는 여러 에피소드에 걸쳐 재사용할 수 있어, 시리즈물이나 숏드라마처럼 같은 공간이 반복되는 포맷에 특히 유리합니다.

아직 기다려야 하는 것

• 긴 연속 장면: Genie 3의 시각 기억은 약 1분이고, 장시간 탐험하면 같은 장소가 다르게 재생성됩니다.¹³³
• 화면 속 글자: 간판·자막 같은 텍스트 렌더링은 공식 한계로 명시돼 있습니다.¹
• 여러 인물의 상호작용: 독립적으로 움직이는 여러 에이전트 간의 복잡한 상호작용은 아직 어렵습니다.¹
• 정확한 물리: 제품 광고처럼 액체·천·파손을 정확히 보여 줘야 하는 장면은 여전히 검증이 필요합니다.³⁰

교육 현장에서 가르칠 것

영상 연출 교육의 관점에서 월드모델은 ‘프롬프트 작성’보다 공간 설계와 카메라 연출의 가치를 다시 끌어올립니다. 세계가 먼저 있고 카메라가 그 안을 움직이는 구조이기 때문에, 블로킹·동선·렌즈 선택 같은 전통적 연출 역량이 결과물의 질을 좌우합니다. 실습 과제로는 “Marble로 세트 하나를 만들고, 그 안에서 서로 다른 감정을 전달하는 세 개의 샷을 설계하라” 같은 방식이 적합합니다. (이 문서의 제안)

안전과 사회적 쟁점

딥마인드는 Genie 3를 처음에 학계·창작자 대상의 제한적 연구 프리뷰로만 공개했고,¹ Project Genie도 “여러 산업의 신뢰할 수 있는 테스터”의 의견을 받아 단계적으로 열었습니다.² 실제 도시를 정밀하게 재현하는 기술(Seoul World Model 등)이 발전할수록 사생활·보안·조작된 영상 문제도 함께 논의돼야 합니다. 이 부분은 아직 연구보다 정책 논의가 뒤처진 영역입니다. (이 문서의 판단)

정부: 피지컬 AI 선도기술개발 사업

기업과 연구

• 네이버: Seoul World Model(2026. 3.). 검색 증강으로 실제 스트리트뷰에 접지해 서울·부산 등에서 수백 미터 규모의 일관된 도시 영상을 생성했습니다.²⁴
• LG전자: 국책 선도사업 주관. 엔비디아 Cosmos 3의 로보틱스 개발 파트너 명단에도 올랐습니다.¹²
• 삼성: AMI Labs 투자자로 참여했고,⁸ Cosmos 3 로보틱스 파트너로도 이름을 올렸습니다.¹²
• 두산: Cosmos 3 로보틱스 파트너.¹²
• NC AI: SPRi 보고서가 한국의 파운데이션 모델 사례로 꼽았고,²⁵ 2026년 9월에는 LG전자와 휴머노이드 국책과제에서 협력한다는 보도가 나왔습니다.⁵¹

SPRi의 정책 제언

소프트웨어정책연구소는 월드모델을 “피지컬 AI, 자율주행, 가상융합의 핵심 인프라”로 규정하고 세 방향을 제안했습니다.²⁵

• 인프라: 제조 특화 물리 데이터셋 구축, 고충실도 가상 환경 개발, 현장 기반 실증 루프
• 기술: Sim-to-Real 정합성 확보, 가상 센서·시스템 식별 등 물리 기반 기술 통합, 표준화·플랫폼화
• 산업: 물류·국방·가상융합 등 도메인 특화 월드모델 육성, VLA-시뮬레이션-제조 데이터를 통합한 국가 플랫폼

이 장은 앞의 자료를 바탕으로 한 이 문서의 종합 판단입니다. 예측이 아니라, 뉴스를 읽을 때 무엇을 봐야 하는지에 대한 체크리스트로 활용하시기 바랍니다.

맺으며

월드모델은 “AI가 세계를 말로 설명하는 단계”에서 “세계를 머릿속에서 굴려 보고 행동하는 단계”로 넘어가려는 시도입니다. 2025~2026년은 이 아이디어가 논문 속 개념에서 제품과 국가 전략으로 옮겨 온 시기로 기록될 것입니다. 동시에 벤치마크들은 그럴듯한 영상과 실제 이해 사이의 거리가 여전히 멀다는 것을 보여 줍니다.

르쿤의 표현을 빌리면 인간과 동물의 지능은 “세상을 관찰하고 그 안에서 행동하며 배운 것”입니다.⁹ 월드모델 경쟁은 결국 기계에게 그 경험을 어떻게 줄 것인가의 경쟁이며, 그 답이 픽셀일지, 추상적 표현일지, 둘의 결합일지는 아직 열려 있습니다.

1단계 — 입문 (개념 잡기)

• SPRi 이슈리포트 〈월드 모델: 현실을 이해하는 AI의 진화〉 — 한국어로 된 가장 체계적인 정리²⁵
• 딥마인드 〈Genie 3: A new frontier for world models〉 — 데모 영상과 함께 보기¹
• TIME 〈World Models Are AI’s Next Frontier〉³⁶

2단계 — 고전 (뿌리 이해)

• Ha & Schmidhuber 〈World Models〉(2018) — 인터랙티브 웹 버전이 특히 좋음³⁷
• LeCun 〈A Path Towards Autonomous Machine Intelligence〉(2022)³⁸
• OpenAI 〈Video generation models as world simulators〉(2024)³⁹

3단계 — 최신 핵심 논문

• V-JEPA 2(잠재형의 대표)⁵ · Dreamer 4(상상 속 훈련)⁷ · Cosmos 3 기술 보고서(통합형)¹³ · Seoul World Model(실세계 접지)²⁴

4단계 — 비판과 평가

• Physics-IQ³⁰ · Vafa 외 〈What Has a Foundation Model Found?〉³¹ · WorldArena³² · PlayWorld³³

5단계 — 지형도와 산업

• 체화 AI 월드모델 서베이³⁴ · 〈Not Boring〉 World Models 에세이³⁵ · CB Insights 피지컬 AI 마켓맵²⁹