DEV Community

Richard Minsoo Go
Richard Minsoo Go

Posted on

World Models for Physical AI — Ch.07: Video and Vision World Models [KR]

STATERA Library · Series 09 · Volume 07 · Chapter 07 · KR
Source: https://github.com/Statera-Library/09_Vol_07_World_Models_for_Physical_AI/blob/main/Chapter_07_Video_and_Vision_World_Models/Chapter_07_Video_and_Vision_World_Models_KR.md

Volume 07. World Models for Physical AI

Chapter 07. Video and Vision World Models

07.01. Visual World Modeling

시각적 월드 모델링(Visual World Modeling)은 시각적 관찰(Visual Observation)을 단순히 인식(Recognition)을 위한 입력으로 취급하는 것이 아니라, 에이전트(Agent)가 물리적 세계(Physical World)에 대한 내부 표현(Internal Representation)을 구성하는 지속적인 정보원으로 취급합니다. 로봇은 이미지(Image)나 비디오(Video)를 관찰하고, 공간적 구조(Spatial Structure)와 의미론적 구조(Semantic Structure)를 추출하며, 시간적 연속성(Temporal Continuity)을 활용하여 환경(Environment)이 어떻게 변화하는지를 추론합니다. 이러한 관점에서 비전(Vision)은 객체(Object), 표면(Surface), 움직임(Motion), 장면 관계(Scene Relationship)를 표현하면서 예측(Prediction)과 행동(Action)에 필요한 정보를 유지하는 월드 모델(World Model)의 일부가 됩니다. 이를 통해 시각적 인식(Visual Perception)에서 내부적이고 예측 가능한 환경 모델(Internal Predictive Model)로 연결되는 기반이 형성됩니다.

시각적 월드 모델(Visual World Model)은 현재 보이는 것뿐만 아니라 합리적으로 예상할 수 있는 다음 상태(Next State)까지 표현해야 합니다. 하나의 이미지는 물리적 상태(Physical State)에 대한 부분적인 관찰(Partial Observation)만 제공하기 때문에 객체가 가려져 있을 수 있고, 움직임이 모호할 수 있으며, 깊이(Depth)나 미래 행동(Future Behavior)이 직접 관찰되지 않을 수도 있습니다. 따라서 시간적 시퀀스(Temporal Sequence)가 필수적입니다. 시간에 따라 관찰된 정보를 비교함으로써 모델은 장면 동역학(Scene Dynamics), 객체 움직임(Object Motion), 카메라 움직임(Camera Motion), 지속적인 환경 구조(Persistent Environmental Structure)를 추정할 수 있습니다. 따라서 시각적 모델링(Visual Modeling)은 개별 프레임(Frame)을 독립적으로 해석하는 문제가 아니라 시간적으로 일관된 표현(Temporally Coherent Representation)을 유지하는 문제가 됩니다.

비디오(Video)는 시간적 전이(Temporal Transition)와 물리적 결과(Physical Consequence)에 대한 정보를 포함하기 때문에 월드 모델링(World Modeling)을 위한 더욱 풍부한 기반을 제공합니다. 모델은 단순히 이미지(Image)와 레이블(Label)의 대응 관계만 학습하는 것이 아니라, 시각적 상태(Visual State)가 한 순간에서 다음 순간으로 어떻게 변화하는지를 학습할 수 있습니다. 이를 통해 다음 상태 예측(Next-State Prediction), 다중 단계 예측(Multi-Step Prediction), 움직임 및 장면 동역학(Scene Dynamics)에 대한 추론이 가능해집니다. 이러한 모델은 객체가 움직일 것인지, 자유 공간(Free Space)이 사라질 것인지, 또는 로봇 자신의 움직임이 미래 관찰(Future Observation)을 어떻게 변화시킬 것인지를 예측할 수 있습니다. 따라서 비전(Vision)은 수동적인 관찰에서 환경 변화(Environmental Change)를 예상하는 메커니즘으로 발전합니다.

시각적 월드 모델(Visual World Model)이 사용하는 표현(Representation)은 픽셀 공간(Pixel Space) 또는 보다 압축된 잠재 공간(Latent Space)에 존재할 수 있습니다. 픽셀 공간 예측(Pixel-Space Prediction)은 미래의 시각적 관찰(Future Visual Observation)을 직접 재구성하려 하기 때문에 세부적인 외관 정보를 보존할 수 있지만, 상당한 계산량(Computation)을 요구할 수 있으며 물리적으로 중요하지 않은 세부 사항에 모델의 용량을 사용하게 만들 수 있습니다. 반면 잠재 예측(Latent Prediction)은 관찰을 학습된 표현으로 인코딩(Encoding)하고 그 표현 공간에서 미래 상태(Future State)를 예측합니다. Physical AI에서 이러한 차이는 중요합니다. 월드 모델이 모든 픽셀을 재현할 필요는 없으며, 예측(Prediction), 계획(Planning), 행동(Action)에 필요한 공간적(Spatial), 시간적(Temporal), 의미론적(Semantic), 동역학적(Dynamic) 정보를 보존하는 것이 핵심이기 때문입니다.

자기회귀 시각 모델(Autoregressive Visual Model)은 이전 예측을 이후 예측을 위한 문맥(Context)으로 사용하면서 미래 상태를 순차적으로 생성합니다. 이러한 구조는 시간적 변화(Temporal Evolution)를 자연스럽게 표현할 수 있지만, 예측 지평(Prediction Horizon)이 길어질수록 예측 오류(Prediction Error)가 누적될 수 있습니다. 하나의 예측 상태에서 발생한 작은 오류가 다음 예측에 영향을 주고, 이후 상태가 진행될수록 점차적으로 왜곡될 수 있습니다. 따라서 장기 지평(Long Horizon)에서 유용한 예측을 유지하기 위해서는 다중 단계 학습(Multi-Step Training), 시간적 일관성 목적 함수(Temporal Consistency Objective), 적절한 잠재 표현(Latent Representation)이 중요해질 수 있습니다. 목표는 단순히 시각적으로 그럴듯한 프레임을 생성하는 것이 아니라, 물리적으로 의미 있는 세계 상태의 궤적(Trajectory of World States)을 유지하는 것입니다.

확산 기반 비디오 월드 모델(Diffusion-Based Video World Model)은 미래의 시각적 관찰이 단 하나의 결정론적 결과를 갖는다고 가정하기보다는 가능한 미래 관찰의 분포(Distribution)를 모델링하는 또 다른 접근법을 제공합니다. 이는 미래가 본질적으로 불확실하거나 여러 가능성을 갖는 경우에 특히 중요합니다. 예를 들어 보행자는 여러 방향 중 하나로 움직일 수 있고, 다른 로봇은 서로 다른 궤적을 선택할 수 있으며, 객체는 여러 가지 방식으로 환경과 상호작용할 수 있습니다. 생성 모델(Generative Model)은 이러한 대안들을 표현할 수 있으므로 월드 모델은 불확실성을 하나의 예측으로 축소하지 않고 여러 가능한 미래(Multiple Possible Futures)를 표현할 수 있습니다.

공간-시간 트랜스포머(Spatial-Temporal Transformer)는 공간과 시간 모두에서 관계를 모델링하기 위한 자연스러운 구조를 제공합니다. 시각적 관찰에는 이미지 영역(Image Region) 사이의 공간적 의존성(Spatial Dependency)과 연속적인 관찰 사이의 시간적 의존성(Temporal Dependency)이 동시에 존재합니다. 따라서 어텐션 메커니즘(Attention Mechanism)은 관련된 영역과 시점을 연결하면서 장면의 변화에 대한 표현을 구성할 수 있습니다. Physical AI에서는 이를 통해 객체의 외관(Appearance), 상대적 위치(Relative Position), 움직임(Motion), 시간적 문맥(Temporal Context)을 하나의 예측 구조 안에서 통합할 수 있습니다. 결과적으로 각각의 관찰을 독립적인 시각 샘플로 취급하는 대신 객체와 장면이 어떻게 변화하는지를 추론할 수 있는 표현을 구축할 수 있습니다.

움직임(Motion), 객체(Object), 장면 동역학(Scene Dynamics)은 시각적 월드 모델링(Visual World Modeling)의 또 다른 중요한 계층을 구성합니다. 유용한 모델은 지속적인 환경 구조(Persistent Environmental Structure)와 일시적인 움직임(Transient Motion)을 구분하고, 개별 객체가 주변 장면과 어떻게 관계를 맺는지를 이해해야 합니다. 도로, 벽, 건물, 지형과 같은 정적 구조(Static Structure)는 공간적 문맥(Spatial Context)을 제공하는 반면, 차량, 보행자, 다른 로봇과 같은 동적 개체(Dynamic Entity)는 변화하는 상태를 만들어냅니다. 이러한 요소들을 함께 모델링하면 객체와 환경 사이의 상호작용을 표현할 수 있으며, 이는 미래 상태가 외부의 움직임뿐만 아니라 에이전트 자신의 행동에도 의존하는 경우에 필수적입니다.

다중 시점 및 3D 인식 비디오 모델링(Multi-View and 3D-Aware Video Modeling)은 시각적 월드 모델링을 단일 카메라 관점에서 확장합니다. 여러 카메라는 서로 보완적인 관찰을 제공하여 가림(Occlusion)을 줄이고 공간적 이해(Spatial Understanding)를 향상시킬 수 있으며, 3D 인식 표현(3D-Aware Representation)은 개별 이미지로부터 추론하기 어려운 기하학적 관계(Geometric Relationship)를 보존할 수 있습니다. 이는 여러 관점에서 주변 환경을 관찰하고 이동하면서 변화하는 카메라 자세(Camera Pose)와 시간에 걸쳐 일관된 환경 이해를 유지해야 하는 이동 로봇(Mobile Robot)과 자율주행 차량(Autonomous Vehicle)에 특히 중요합니다. 따라서 월드 모델은 관점(Viewpoint), 시간(Time), 카메라 자세가 변화하더라도 일관성을 유지할 수 있는 표현으로부터 이점을 얻습니다.

로보틱스(Robotics)에서 시각적 월드 모델링은 시각적 예측(Visual Prediction)이 물리적 상호작용(Physical Interaction)과 연결될 때 가장 큰 가치를 갖습니다. 로봇은 단순히 환경을 관찰하는 것이 아니라 환경 속에서 이동하고 행동을 통해 환경을 변화시킵니다. 따라서 유용한 시각적 월드 모델은 내비게이션(Navigation), 조작(Manipulation), 충돌 회피(Collision Avoidance), 궤적 평가(Trajectory Evaluation), 의사결정(Decision Making)을 지원할 수 있는 정보를 제공해야 합니다. 비디오 예측(Video Prediction)은 가능한 미래 관찰에 대한 내부 시뮬레이션(Internal Simulation) 역할을 할 수 있으며, 잠재 표현(Latent Representation)은 추론을 위한 보다 효율적인 상태 공간(State Space)을 제공할 수 있습니다. 이를 통해 시각적 인식(Visual Perception), 세계 상태 예측(World-State Prediction), 계획(Planning), 제어(Control)가 직접 연결됩니다.

Physical AI에서 시각적 월드 모델링의 전체적인 역할은 기존 컴퓨터 비전(Computer Vision)보다 더 광범위합니다. 시각적 관찰과 물리적 행동 사이에서 시간적이고 예측적인 계층(Temporal and Predictive Layer)을 제공합니다. 모델은 시각적 증거(Visual Evidence)를 입력받고 현재 세계에 대한 표현을 구성하며, 시간적 문맥을 유지하고 가능한 미래 상태를 예측하여 이러한 예측을 하위 계획(Planning) 및 제어(Control) 과정에 제공합니다. 보다 넓은 월드 모델(World Model) 구조에서 시각적 모델링은 BEV 표현(BEV Representation), 점유 예측(Occupancy Prediction), 멀티모달 센싱(Multimodal Sensing), 행동 조건부 동역학(Action-Conditioned Dynamics), 불확실성 추정(Uncertainty Estimation), 계획(Planning)을 보완합니다. 핵심 목표는 지속적인 시각적 경험(Continuous Visual Experience)을 물리적 의사결정(Physical Decision Making)에 유용하게 사용할 수 있는 예측적 내부 모델(Predictive Internal Model)로 변환하는 것입니다.

07.02. Video Prediction as World Modeling

비디오 예측(Video Prediction)은 모델이 시각적 관찰(Visual Observation)이 시간에 따라 어떻게 변화하는지를 학습하는 직접적인 월드 모델링(World Modeling)의 형태로 이해할 수 있습니다. 각각의 이미지를 독립적인 인식 결과(Perception Result)로 취급하는 대신, 모델은 과거 프레임(Frame)의 시퀀스를 입력받아 미래의 시각적 상태(Visual State)를 예측합니다. 이를 통해 비디오(Video)에 존재하는 시간적 연속성(Temporal Continuity)이 환경 동역학(Environmental Dynamics)을 이해하기 위한 학습 신호(Learning Signal)로 변환됩니다. Physical AI에서 목표는 단순히 시각적으로 현실적인 이미지를 생성하는 것이 아니라, 관찰된 세계에서 어떤 요소가 지속되고, 변화하고, 상호작용하며, 미래의 의사결정(Decision Making)에 중요해지는지를 학습하는 것입니다.

기본적인 비디오 예측(Video Prediction)은 시간 t, t+1, t+2에서의 프레임과 같은 관찰 시퀀스(Observation Sequence)로부터 시작하여 미래 시점의 프레임을 예측합니다. 과거 프레임은 현재 장면에 대한 문맥(Context)을 제공하고, 예측된 시퀀스는 해당 장면이 앞으로 어떻게 변화할 수 있는지를 나타냅니다. 월드 모델(World Model)의 관점에서 이러한 예측 프레임은 단순한 이미지가 아니라 시각적 관찰(Visual Observation)의 형태로 표현된 미래 세계 상태(Future World State)의 추정값입니다. 모델은 현재 관찰과 미래 관찰을 연결하는 시간적 전이(Temporal Transition)를 학습함으로써 환경 변화를 예측하는 내부 메커니즘(Internal Mechanism)을 구성합니다.

비디오 예측(Video Prediction)의 가치는 물리적 환경(Physical Environment)이 강한 시간적 규칙성(Temporal Regularity)을 가지고 있다는 사실에서 비롯됩니다. 도로, 건물, 지형과 같은 정적 구조(Static Structure)는 대체로 지속되는 반면, 차량, 보행자, 로봇과 같은 객체는 움직임과 상호작용(Interaction)에 따라 위치와 상태를 변화시킵니다. 충분한 성능을 갖춘 모델은 모든 프레임에 수작업으로 라벨(Label)을 지정하지 않더라도 대규모 비디오 데이터로부터 이러한 패턴을 학습할 수 있습니다. 시간적 연속성 자체가 감독 신호(Supervision)가 되어, 모델이 자연적으로 발생하는 시각적 시퀀스로부터 움직임(Motion), 장면 구조(Scene Structure), 객체 지속성(Object Persistence), 환경 동역학(Environmental Dynamics)에 대한 표현을 발견하도록 합니다.

핵심적인 문제 중 하나는 미래가 과거의 관찰만으로 유일하게 결정되지 않는다는 것입니다. 보행자는 계속 걸어갈 수도 있고, 멈출 수도 있으며, 방향을 바꿀 수도 있습니다. 다른 차량 역시 가속하거나, 제동하거나, 방향을 전환할 수 있습니다. 따라서 유용한 비디오 월드 모델(Video World Model)은 하나의 결정론적 연속 결과(Deterministic Continuation)만 생성하기보다는 여러 개의 가능한 미래(Multiple Plausible Futures)를 표현할 수 있어야 합니다. 확률적 예측(Probabilistic Prediction) 또는 다중 모달 예측(Multimodal Prediction)은 가능한 여러 미래 궤적(Future Trajectory)이나 시각적 상태(Visual State)를 생성함으로써 이러한 불확실성(Uncertainty)을 표현할 수 있습니다. 이는 Physical AI에서 특히 중요합니다. 계획(Planning)과 의사결정(Decision Making)은 하나의 예측된 미래가 확실하다고 가정하는 것이 아니라 가능한 결과들을 고려해야 하기 때문입니다.

비디오 예측(Video Prediction)은 물리적 에이전트(Physical Agent)의 행동(Action)에 의해 조건화될 수도 있습니다. 동일한 시각적 상태(Visual State)라도 로봇이 가속하거나, 회전하거나, 정지하거나, 팔을 움직이거나, 다른 궤적을 따라가는지에 따라 서로 다른 방식으로 변화할 수 있습니다. 따라서 행동 조건부 예측(Action-Conditioned Prediction)은 월드 모델을 수동적인 미래 예측에서 환경과의 인과적 상호작용(Causal Interaction)을 향한 단계로 확장합니다. 현재의 시각적 문맥과 후보 행동 시퀀스(Candidate Action Sequence)가 주어지면 모델은 시각적 세계가 어떻게 변화할지를 예측할 수 있습니다. 이는 로봇이 실제 환경에서 행동을 실행하기 전에 여러 행동을 내부적으로 평가하는 상상 기반 계획(Imagination-Based Planning)의 기반을 형성합니다.

미래 비디오(Future Video)의 표현은 직접적인 픽셀 공간(Pixel Space)이나 학습된 잠재 표현(Learned Latent Representation)을 통해 구성할 수 있습니다. 픽셀 공간 예측(Pixel-Space Prediction)은 미래 이미지를 재현하려 하기 때문에 상세한 시각 정보를 보존할 수 있지만, 텍스처(Texture), 조명(Lighting), 센서 노이즈(Sensor Noise), 미세한 외관 정보와 같이 물리적 의사결정에 중요하지 않을 수 있는 많은 요소까지 모델링해야 합니다. 반면 잠재 예측(Latent Prediction)은 보다 압축된 의미 있는 구조에 집중합니다. Physical AI에서는 이러한 방식이 유리할 수 있습니다. 월드 모델이 계산 자원을 기하학(Geometry), 움직임(Motion), 객체(Object), 상호작용(Interaction) 및 추론(Reasoning)과 제어(Control)에 필요한 정보에 집중할 수 있기 때문입니다.

서로 다른 모델 아키텍처(Model Architecture)는 시간적 변화를 학습하기 위한 서로 다른 메커니즘을 제공합니다. 자기회귀 모델(Autoregressive Model)은 미래 상태를 순차적으로 예측하면서 이전 예측을 다음 예측을 위한 문맥으로 사용합니다. 이러한 방식은 시간적 의존성(Temporal Dependency)을 자연스럽게 표현하지만 장기 예측 지평(Long Prediction Horizon)에서는 오류 누적(Error Accumulation)이 발생할 수 있습니다. 확산 기반 접근법(Diffusion-Based Approach)은 가능한 미래 관찰의 분포를 모델링하여 복잡하고 다중 모달적인 미래를 표현할 수 있지만 상당한 계산량(Computation)을 요구할 수 있습니다. 순환 모델(Recurrent Model)은 시간적 상태(Temporal State)를 명시적으로 유지하고, 트랜스포머 기반 아키텍처(Transformer-Based Architecture)는 어텐션(Attention)을 사용하여 공간과 시간에 걸쳐 정보를 연결합니다. 잠재 동역학 모델(Latent Dynamics Model)과 JEPA와 같은 자기지도 예측 아키텍처(Self-Supervised Predictive Architecture)는 모든 미래 픽셀을 재구성하는 대신 표현 자체를 예측하는 또 다른 접근법을 제공합니다.

장기 지평 예측(Long-Horizon Prediction)은 비디오 예측이 Physical AI 월드 모델의 일부가 될 때 특히 중요합니다. 바로 다음 프레임만 예측하는 모델은 단기적인 외관 변화는 포착할 수 있지만 계획(Planning)에 필요한 지속적인 구조(Persistent Structure)를 학습하지 못할 수 있습니다. 그러나 예측 지평이 길어질수록 작은 오류들이 누적되어 예측 시퀀스가 물리적으로 의미 있는 행동에서 벗어날 수 있습니다. 따라서 학습 목적 함수(Training Objective)는 여러 미래 단계에 걸쳐 시간적 일관성(Temporal Consistency)과 안정적인 표현(Stable Representation)을 유지하도록 설계되어야 합니다. 정확한 픽셀 수준의 예측이 점점 불확실해지더라도 모델은 시간에 걸쳐 중요한 구조를 유지해야 합니다.

비디오 예측은 여러 수준의 세계 이해(World Understanding)를 지원할 수 있습니다. 시각적 수준(Visual Level)에서는 미래 이미지와 외관 변화를 예측할 수 있습니다. 객체 수준(Object Level)에서는 객체가 어디로 이동할 수 있는지와 객체 간 관계가 어떻게 변화할 수 있는지를 표현할 수 있습니다. 장면 수준(Scene Level)에서는 자유 공간(Free Space), 점유(Occupancy), 시점(Viewpoint), 환경 구조(Environmental Structure)의 변화를 예측할 수 있습니다. 의사결정 수준(Decision Level)에서는 예측된 미래를 활용하여 후보 궤적(Candidate Trajectory)과 행동(Action)을 평가할 수 있습니다. 이렇게 비디오 예측은 인식(Perception)과 계획(Planning) 및 제어(Control)를 연결하는 중간 표현(Intermediate Representation)으로 발전하며, 독립적인 컴퓨터 비전(Computer Vision) 작업에 머무르지 않게 됩니다.

로보틱스(Robotics)에서 비디오 예측의 실질적인 가치는 가능한 미래 관찰에 대한 내부 시뮬레이션(Internal Simulation)을 제공하는 능력에 있습니다. 이동 로봇(Mobile Robot)은 과거의 카메라 관찰(Camera Observation)을 사용하여 계획된 경로를 따라 발생할 환경 변화를 예측할 수 있으며, 매니퓰레이터(Manipulator)는 상호작용 과정에서 객체와 시각적 관계가 어떻게 변화할지를 예측할 수 있습니다. 자율주행 차량(Autonomous Vehicle)은 주변 교통 상황의 변화를 예측하고 특정 주행 기동(Maneuver)이 계속 안전한지를 평가할 수 있습니다. 각각의 경우에서 모델은 실제 행동이 발생하기 전에 그 결과를 추론할 수 있는 메커니즘을 제공하여, 직접적인 시행착오(Trial and Error)를 통해 모든 결과를 학습해야 하는 필요성을 줄여줍니다.

비디오 예측의 더 넓은 의미는 인식을 예측 능력(Foresight)으로 변환하는 데 있습니다. 기존의 인식 시스템은 주로 현재 무엇이 보이는지를 판단하는 반면, 예측적 월드 모델(Predictive World Model)은 다음 순간에 세계가 어떻게 보일 수 있는지, 그리고 서로 다른 조건에서 어떻게 변화할 수 있는지를 추정하려 합니다. 이러한 예측은 환경 예측(Anticipation), 위험 평가(Risk Assessment), 궤적 계획(Trajectory Planning), 행동 평가(Action Evaluation), 적응형 제어(Adaptive Control)를 지원할 수 있습니다. 더 넓은 월드 모델(World Model) 구조에서 비디오 예측은 잠재 동역학(Latent Dynamics), BEV 및 점유 표현(BEV and Occupancy Representation), 행동 조건부 모델(Action-Conditioned Model), 불확실성 추정(Uncertainty Estimation), 계획(Planning)과 자연스럽게 연결됩니다. 궁극적인 목적은 비디오 자체를 생성하는 것이 아니라, Physical AI 시스템이 실제 세계에서 행동하기 전에 미래를 추론할 수 있도록 하는 예측적 내부 모델(Predictive Internal Model)을 제공하는 것입니다.

07.03. Pixel Space vs Latent Video Prediction

픽셀 공간 비디오 예측(Pixel-Space Video Prediction)과 잠재 공간 비디오 예측(Latent-Space Video Prediction)은 예측적 시각 월드 모델(Predictive Visual World Model)을 구축하기 위한 근본적으로 서로 다른 두 가지 전략을 나타냅니다. 픽셀 공간 예측(Pixel-Space Prediction)은 미래 이미지를 직접 재구성하거나 생성하려 하며, 텍스처(Texture), 조명(Lighting), 색상(Color), 미세한 시각 구조(Fine Visual Structure)와 같은 세부적인 외관 정보를 보존합니다. 잠재 공간 예측(Latent-Space Prediction)은 먼저 관찰(Observation)을 압축된 학습 표현(Learned Representation)으로 변환한 다음, 그 표현이 시간에 따라 어떻게 변화하는지를 예측합니다. 따라서 핵심적인 차이는 월드 모델(World Model)이 미래의 픽셀(Future Pixels)을 예측하는지, 아니면 물리적 상태(Physical State)를 표현하는 미래 표현(Future Representation)을 예측하는지에 있습니다.

픽셀 공간 예측(Pixel-Space Prediction)은 실제 이미지 또는 비디오 관찰(Video Observation)을 예측 대상으로 사용하기 때문에 풍부한 시각 정보를 보존할 수 있다는 장점이 있습니다. 따라서 사실적인 비디오 생성(Realistic Video Synthesis), 상세한 장면 재구성(Detailed Scene Reconstruction), 또는 외관 정보 자체가 중요한 응용에 적합합니다. 그러나 모델은 물리적 추론(Physical Reasoning)에 거의 중요하지 않을 수 있는 다양한 변화까지 학습해야 합니다. 여기에는 조명 변화(Illumination Changes), 텍스처 세부 사항(Texture Details), 센서 노이즈(Sensor Noise), 작은 픽셀 수준의 변화(Pixel-Level Variations) 등이 포함됩니다. 결과적으로 상당한 모델 용량(Model Capacity)과 계산 자원(Computation)이 기본적인 물리 구조를 이해하기보다 시각적 세부 사항을 재현하는 데 사용될 수 있습니다.

잠재 공간 예측(Latent-Space Prediction)은 관찰을 월드 모델(World Model)과 관련성이 높다고 판단되는 정보를 보존하도록 설계된 저차원 표현(Lower-Dimensional Representation)으로 인코딩(Encoding)하는 다른 접근법을 사용합니다. 모든 미래 픽셀을 예측하는 대신, 모델은 객체 정체성(Object Identity), 공간적 관계(Spatial Relationships), 움직임(Motion), 장면 구조(Scene Structure), 시간적 변화(Temporal Evolution)와 같은 의미 있는 특성을 포함하는 미래 잠재 상태(Future Latent State)를 예측합니다. 이는 관찰(Observation)과 예측(Prediction) 사이에 정보 병목(Information Bottleneck)을 형성합니다. 학습된 잠재 공간(Latent Space)이 잘 설계되어 있다면 관련성이 낮은 시각적 변화를 제거하면서도 예측(Prediction), 계획(Planning), 제어(Control)에 필요한 정보는 보존할 수 있습니다.

이러한 차이는 미래가 불확실할 때 특히 중요해집니다. 조명, 텍스처, 센서 노이즈 및 작은 환경 변화는 기본적인 물리 상태(Physical State)가 유사하더라도 상당한 시각적 차이를 만들기 때문에 정확한 미래 픽셀(Future Pixels)을 예측하는 것은 어려울 수 있습니다. 잠재 표현(Latent Representation)은 이러한 시각적으로 서로 다른 결과들 사이에서 안정적인 구조(Stable Structure)와 공통 동역학(Common Dynamics)에 집중할 수 있습니다. 모든 픽셀을 정확하게 예측하려 하기보다는 가능한 미래의 중요한 측면을 표현하고, 시간적 지평(Temporal Horizon)이 길어질수록 보다 안정적인 예측을 유지할 수 있습니다.

계산 효율성(Computational Efficiency) 역시 중요한 고려 사항입니다. 픽셀 공간 비디오 예측(Pixel-Space Video Prediction)은 일반적으로 매우 고차원의 데이터를 처리합니다. 각각의 프레임에는 많은 수의 픽셀과 여러 색상 또는 센서 채널이 포함되기 때문입니다. 따라서 많은 프레임을 예측하려면 상당한 계산량, 메모리(Memory), 대역폭(Bandwidth)이 필요합니다. 잠재 표현(Latent Representation)은 원본 이미지보다 훨씬 작을 수 있으므로 시간적 동역학(Temporal Dynamics)을 보다 압축된 공간에서 모델링할 수 있습니다. Physical AI에서는 이러한 감소가 특히 중요할 수 있습니다. 월드 모델 추론(World-Model Inference)이 내비게이션(Navigation), 계획(Planning), 제어(Control) 과정에서 실시간으로 반복적으로 수행되어야 하고, 엣지 컴퓨팅(Edge Computing)의 제약도 동시에 고려해야 하기 때문입니다.

잠재 공간 예측(Latent-Space Prediction)은 멀티모달 월드 모델링(Multimodal World Modeling)을 위한 자연스러운 기반도 제공합니다. 카메라 이미지(Camera Image), LiDAR, 깊이(Depth), 레이더(Radar), IMU, 행동(Action), 자기수용감각 정보(Proprioceptive Information)는 서로 매우 다른 원시 데이터 구조(Raw Data Structure)를 가지므로 모든 모달리티(Modality)를 직접 예측하는 것은 어렵습니다. 대신 이러한 이질적인 관찰(Heterogeneous Observation)을 서로 호환 가능한 잠재 표현(Compatible Latent Representation)으로 인코딩할 수 있습니다. 그러면 월드 모델은 공유된 예측 공간(Shared Predictive Space)에서 시간적 전이(Temporal Transition)를 학습할 수 있습니다. 이를 통해 각 센서 모달리티마다 완전히 별개의 예측 시스템을 유지하는 대신 물리적 세계에 대한 통합된 내부 표현(Unified Internal Representation)을 구축할 수 있습니다.

유용한 잠재 공간(Latent Space)은 그 자체로 높은 수준의 요구 사항을 만족해야 합니다. 지나치게 강한 압축(Excessive Compression)은 서로 다른 물리 상태를 구별하는 데 필요한 정보를 제거할 수 있으며, 반대로 압축이 충분하지 않으면 관련성이 낮은 시각적 변화가 지나치게 많이 보존될 수 있습니다. 따라서 모델은 너무 넓지도 않고 너무 좁지도 않은 정보 병목(Information Bottleneck)을 필요로 합니다. 유사한 물리 상태(Physical State)는 서로 관련된 표현을 가져야 하며, 동시에 기하학(Geometry), 움직임(Motion), 객체 관계(Object Relationship), 환경 상태(Environment State)의 의미 있는 변화는 서로 구별될 수 있어야 합니다. 따라서 잠재 공간의 품질(Quality)과 구조(Geometry)는 결과적인 월드 모델의 유용성을 결정하는 핵심 요소가 됩니다.

표현 붕괴(Representation Collapse)는 잠재 예측(Latent Prediction)에서 또 하나의 중요한 문제입니다. 서로 다른 관찰이 거의 동일한 표현으로 매핑되면 예측기는 안정적으로 보일 수 있지만 중요한 세계 상태(World State)를 구별하는 능력을 잃을 수 있습니다. 따라서 유용한 잠재 공간은 충분한 분산(Variance), 다양성(Diversity), 구조(Structure)를 유지해야 합니다. 학습 목적 함수(Training Objective), 정규화 전략(Normalization Strategy), 비대칭 인코더(Asymmetric Encoder), 적절한 예측 대상(Prediction Target) 등을 활용하여 의미 있는 정보를 보존할 수 있습니다. 목표는 단순히 잠재 예측값을 수치적으로 서로 유사하게 만드는 것이 아니라, 시간적 변화(Temporal Change)가 물리적 세계의 의미 있는 변화에 대응하는 표현을 만드는 것입니다.

예측 대상(Prediction Target)의 선택 역시 모델이 무엇을 학습하는지를 결정할 수 있습니다. 미래의 시간 단계를 예측하면 시간적 동역학(Temporal Dynamics)을 학습할 수 있고, 마스킹된 영역(Masked Region)을 예측하면 공간적 추론(Spatial Reasoning)을 촉진할 수 있으며, 서로 다른 시점(Viewpoint)을 연결하면 다중 시점 이해(Multi-View Understanding)를 구축할 수 있고, 서로 다른 센서 모달리티를 연결하면 공유 표현(Shared Representation)을 학습할 수 있습니다. 이러한 전략을 통해 예측(Prediction)은 완전한 수작업 주석(Manual Annotation)을 요구하지 않는 자기지도 학습(Self-Supervised Learning) 메커니즘이 될 수 있습니다. 모델은 관찰 자체에 포함된 구조를 이용하여 학습하고, 누락된 표현(Missing Representation), 미래 표현(Future Representation), 또는 대체 표현(Alternative Representation)을 예측 대상으로 활용합니다.

Physical AI에서 잠재 비디오 예측(Latent Video Prediction)은 행동 조건부 동역학(Action-Conditioned Dynamics)과 결합될 때 특히 강력해집니다. 현재 잠재 상태(Current Latent State)는 후보 행동 시퀀스(Candidate Action Sequence)와 결합될 수 있으며, 월드 모델은 해당 행동에 따라 잠재 상태가 어떻게 변화할지를 예측할 수 있습니다. 그런 다음 여러 미래 롤아웃(Multiple Future Rollouts)을 생성하고 비용(Cost), 보상(Reward), 위험(Risk), 목표 적합성(Goal Compatibility) 또는 기타 계획 기준(Planning Criteria)에 따라 비교할 수 있습니다. 이는 잠재 예측을 내부 시뮬레이션 메커니즘(Internal Simulation Mechanism)으로 변환합니다. 따라서 로봇은 물리적 환경에서 행동을 실행하기 전에 표현 공간(Representation Space)에서 가능한 미래를 평가할 수 있습니다.

따라서 픽셀 공간 예측(Pixel-Space Prediction)과 잠재 공간 예측(Latent-Space Prediction)의 관계를 단순히 좋은 방법과 나쁜 방법 중 하나를 선택하는 문제로 이해해서는 안 됩니다. 픽셀 예측은 상세한 시각적 재구성(Visual Reconstruction)을 제공하며 외관의 충실도(Appearance Fidelity)가 중요할 때 유용할 수 있는 반면, 잠재 예측은 추론(Reasoning)에 적합하고 의미론적으로 유용하며 계산 효율적인 표현(Computationally Efficient Representation)을 강조합니다. 생성형 비디오 모델(Generative Video Model)은 일반적으로 외관, 텍스처, 조명, 노이즈를 모델링해야 하지만, 잠재 예측 아키텍처(Latent Predictive Architecture)는 구조(Structure)와 동역학(Dynamics)에 보다 직접적으로 집중할 수 있습니다. Physical AI 시스템에서는 두 접근법이 함께 존재할 수 있으며, 픽셀 공간 생성은 시각적 재구성을 지원하고 잠재 예측은 추론과 제어를 위한 핵심 예측 표현(Core Predictive Representation)으로 활용될 수 있습니다.

이러한 차이가 갖는 더 넓은 의미는 월드 모델이 세계 전체를 눈에 보이는 그대로 재현하지 않고도 그것을 이해하고 예측할 수 있다는 데 있습니다. Physical AI에서 더 중요한 질문은 학습된 표현이 변화의 예측(Anticipation of Changes), 객체와 움직임의 이해(Understanding of Objects and Motion), 가능한 미래에 대한 추론(Reasoning about Alternative Futures), 계획과 제어(Planning and Control)에 필요한 정보를 보존하는가 하는 것입니다. 따라서 압축된 잠재 월드 모델(Compact Latent World Model)은 고차원 인식(High-Dimensional Perception)과 물리적 의사결정(Physical Decision Making) 사이를 연결하는 실용적인 다리가 될 수 있으며, 특히 장기 예측(Long-Horizon Prediction), 멀티모달 센싱(Multimodal Sensing), 불확실성(Uncertainty), 실시간 계산(Real-Time Computation)을 동시에 처리해야 하는 Physical AI 시스템에서 중요한 역할을 할 수 있습니다.

07.04. Autoregressive Video Models

자기회귀 비디오 모델(Autoregressive Video Model)은 미래의 시각적 상태(Visual State)를 순차적으로 예측하며, 한 시간 단계에서 예측된 상태를 다음 단계의 입력 일부로 사용합니다. 미래 시퀀스 전체를 독립적으로 생성하는 대신, 모델은 학습된 전이 함수(Transition Function)를 반복적으로 적용하여 예측 지평(Prediction Horizon)을 확장합니다. 현재 상태 (s_t)가 주어지면 다음 상태 (\hat{s}*{t+1})을 추정하고, 그 예측값을 다시 사용하여 (\hat{s}*{t+2})를 추정하며, 원하는 지평까지 이 과정을 반복합니다. 이러한 단순한 재귀 구조(Recursive Structure)는 국소적인 예측 모델(Local Prediction Model)을 미래 궤적(Future Trajectory)을 생성하는 메커니즘으로 확장합니다.

자기회귀 예측(Autoregressive Prediction)의 핵심적인 특징은 모델의 예측값이 이후 예측 단계로 다시 입력되는 것입니다. 첫 번째 전이(Transition)에서는 모델이 관찰된 상태(Observed State)를 입력받아 다음 상태를 예측합니다. 이후 단계에서는 입력에 직접 관찰된 상태보다 모델이 생성한 상태가 점점 더 많이 포함됩니다. 이를 통해 짧은 시간 전이(Short-Term Transition)를 학습한 모델이 다중 단계 롤아웃(Multi-Step Rollout)을 수행하고 장기적인 변화(Long-Term Evolution)를 근사할 수 있습니다. 비디오 월드 모델링(Video World Modeling)에서 예측되는 상태는 완전한 이미지(Complete Image), 비디오 표현(Video Representation), BEV 상태(BEV State), 점유 표현(Occupancy Representation), 객체 상태(Object State), 또는 다른 학습된 잠재 표현(Learned Latent Representation)이 될 수 있습니다.

자기회귀 비디오 모델링(Autoregressive Video Modeling)은 행동(Action)을 전이 과정에 포함할 수도 있습니다. 전이를 단순히 (s_{t+1}=f(s_t))로 표현하는 대신, 현재 상태와 행동을 함께 사용하여 (\hat{s}_{t+1}=f(s_t,a_t))와 같은 관계를 구성할 수 있습니다. 이후의 예측은 예측된 상태와 다음 행동 모두에 의존할 수 있습니다. 이를 통해 동일한 현재 시각적 상태(Current Visual State)에 서로 다른 행동 시퀀스(Action Sequence)를 적용했을 때 서로 다른 미래 궤적(Future Trajectory)을 생성할 수 있습니다. Physical AI에서는 이것이 인식(Perception), 행동(Action), 미래 예측(Future Prediction), 내부 시뮬레이션(Internal Simulation)을 직접 연결하는 기반이 됩니다.

자기회귀 모델(Autoregressive Model)이 표현하는 상태는 원시 픽셀 공간(Raw Pixel Space)에 반드시 머물 필요가 없습니다. 이미지와 비디오를 직접 예측할 수도 있지만, 동일한 순차적 메커니즘을 BEV 표현(BEV Representation), 점유 맵(Occupancy Map), 객체 추적(Object Track), 로봇 자세(Robot Pose), 의미론적 특징(Semantic Feature), 또는 잠재 상태(Latent State)에 적용할 수도 있습니다. 이러한 유연성은 자기회귀 예측을 다양한 세계 상태 표현(World-State Representation)에 적용할 수 있는 일반적인 시간 모델링 메커니즘(Temporal Modeling Mechanism)으로 만들어 줍니다. Physical AI 아키텍처에서는 시각 인코더(Visual Encoder)가 관찰을 상태 표현(State Representation)으로 변환하고, 자기회귀 동역학 모델(Autoregressive Dynamics Model)이 해당 표현이 어떻게 변화하는지를 반복적으로 예측할 수 있습니다.

자기회귀 모델링(Autoregressive Modeling)의 주요 장점 중 하나는 다양한 예측 지평(Prediction Horizon)에 유연하게 대응할 수 있다는 것입니다. 모델은 가능한 모든 미래 지평마다 별도의 출력 헤드(Output Head)를 반드시 필요로 하지 않으며, 동일한 전이 메커니즘(Transition Mechanism)을 반복적으로 적용할 수 있습니다. 짧은 롤아웃(Short Rollout)은 몇 개의 미래 단계만 생성할 수 있고, 긴 롤아웃(Long Rollout)은 동일한 과정을 여러 단계에 걸쳐 계속 수행할 수 있습니다. 이러한 특성 때문에 자기회귀 모델은 상상(Imagination), 시뮬레이션(Simulation), 계획(Planning), 모델 예측 제어(Model Predictive Control), What-if 분석(What-If Analysis)에 특히 적합합니다. 동일한 학습된 전이 모델(Learned Transition Model)이 구조를 근본적으로 변경하지 않고도 서로 다른 시간적 요구 사항을 지원할 수 있습니다.

가장 큰 어려움은 오류 누적(Error Accumulation)입니다. 첫 번째 예측 단계에서는 모델이 관찰된 상태를 기반으로 작동하지만, 이후의 예측은 이전 예측에 포함된 오류에 점점 더 의존하게 됩니다. 위치(Position), 움직임(Motion), 객체 외관(Object Appearance), 장면 구조(Scene Structure)의 작은 부정확성이 롤아웃 과정에서 전파되어 시간이 지날수록 더 커질 수 있습니다. 장기 예측(Long-Horizon Prediction)은 결국 물리적으로 의미 있는 행동(Physically Meaningful Behavior)에서 벗어날 수 있습니다. 시간적 일관성 목적 함수(Temporal Consistency Objective), 다중 단계 학습(Multi-Step Training), 적절한 상태 표현(State Representation), 불확실성 모델링(Uncertainty Modeling), 물리적 제약(Physical Constraint)은 이러한 오류 누적을 줄이고 유용한 예측을 유지하는 데 도움을 줄 수 있습니다.

학습 전략(Training Strategy)은 자기회귀 롤아웃(Autoregressive Rollout)의 안정성에 큰 영향을 미칩니다. 교사 강요(Teacher Forcing)는 각 예측 단계에서 실제 정답 이력(Ground-Truth History)을 입력으로 사용하여 모델을 학습할 수 있으며, 안정적인 학습 신호를 제공하지만 학습과 추론 사이에 차이를 만듭니다. 실제 롤아웃에서는 모델이 자신의 예측을 입력으로 사용해야 하기 때문에 학습 과정에서 경험하지 못했던 상태를 만나게 됩니다. 예정된 샘플링(Scheduled Sampling)은 실제 정답 입력을 모델의 예측으로 점진적으로 대체할 수 있으며, 다중 단계 학습(Multi-Step Training)은 여러 미래 예측을 직접 감독할 수 있습니다. 이러한 접근법은 학습 과정과 장기 자기회귀 추론(Long Autoregressive Inference) 사이의 차이를 줄이는 것을 목표로 합니다.

자기회귀 롤아웃(Autoregressive Rollout)은 계획(Planning)과 결합될 때 특히 유용합니다. Physical AI 시스템은 여러 후보 행동 시퀀스(Candidate Action Sequence)를 월드 모델(World Model)에 제공하고, 모델을 사용하여 각각에 대응하는 미래 궤적(Future Trajectory)을 예측할 수 있습니다. 각각의 롤아웃은 목표 진행도(Goal Progress), 충돌 위험(Collision Risk), 안정성(Stability), 에너지 또는 계산 비용(Energy or Computational Cost), 편안함(Comfort), 기타 작업 제약(Task Constraint)에 따라 평가될 수 있습니다. 시스템은 예측된 시퀀스 가운데 가장 적합한 것을 선택하고, 새로운 상태를 관찰하기 전에 적절한 즉각적인 행동만 실행할 수 있습니다. 이후 이 과정이 반복되면서 관찰(Observe), 예측(Predict), 평가(Evaluate), 행동(Act), 재계획(Replan)의 폐루프(Closed Loop)가 형성됩니다.

이러한 구조는 월드 모델이 실제 행동을 실행하기 전에 가능한 결과를 평가하는 내부 메커니즘을 제공한다는 점에서 모델 예측 제어(Model Predictive Control)와 밀접하게 관련됩니다. 모든 후보 행동을 실제 환경에서 직접 시험하는 대신, 시스템은 학습된 모델(Learned Model) 내부에서 예상되는 결과를 시뮬레이션할 수 있습니다. 이를 통해 궤적 평가(Trajectory Evaluation), 위험 평가(Risk Assessment), 안전 추론(Safety Reasoning), What-if 분석(What-If Analysis)이 가능해집니다. 따라서 자기회귀 예측의 가치는 단순한 비디오 생성(Video Generation)을 넘어섭니다. 자기회귀 모델은 에이전트가 가능한 미래를 상상하고 예측된 결과를 기반으로 행동을 선택할 수 있는 계산 공간(Computational Space)을 제공합니다.

자기회귀 순차 예측(Autoregressive Sequential Prediction)과 직접적인 다중 지평 예측(Direct Multi-Horizon Prediction) 사이에는 중요한 계산적 절충(Computational Trade-Off)이 존재합니다. 자기회귀 모델은 동일한 전이 함수를 반복 적용하여 예측 지평을 확장할 수 있기 때문에 유연하지만, 추가적인 각 단계마다 또 하나의 예측이 필요하므로 추론 지연(Inference Latency)이 증가합니다. 직접적인 다중 지평 모델(Direct Multi-Horizon Model)은 여러 미래 상태를 병렬로 예측할 수 있어 더 빠른 추론을 제공할 수 있지만, 서로 다른 지평에 대한 유연성이 떨어질 수 있으며 보다 특화된 예측 구조가 필요할 수 있습니다. 따라서 어떤 접근법을 선택할지는 유연성(Flexibility), 정확도(Accuracy), 예측 지평(Horizon Length), 실시간 요구 사항(Real-Time Requirement) 사이의 균형에 따라 결정됩니다.

Physical AI에서 자기회귀 비디오 모델링(Autoregressive Video Modeling)은 인식(Perception)과 미래 예측(Foresight) 사이를 연결하는 다리로 이해할 수 있습니다. 인식은 현재 세계를 관찰하고, 자기회귀 월드 모델(Autoregressive World Model)은 그 세계가 어떻게 변화할지를 예측하며, 계획은 실행 전에 가능한 행동을 평가하기 위해 이러한 예측 궤적을 사용합니다. 메모리(Memory), 행동 조건화(Action Conditioning), 불확실성 추정(Uncertainty Estimation), 멀티모달 센싱(Multimodal Sensing), 물리적 지식(Physical Knowledge)이 결합되면 자기회귀 예측은 단순한 순차적 비디오 생성(Sequential Video Generation)을 넘어섭니다. 이는 새로운 관찰을 통해 지속적으로 이해를 업데이트하면서, 구현된 시스템(Embodied System)이 내부적으로 미래를 상상하고, 평가하고, 행동할 수 있도록 하는 내부 상상 메커니즘(Internal Imagination Mechanism)이 됩니다.

07.05. Diffusion Based Video World Models

확산 기반 비디오 월드 모델(Diffusion-Based Video World Model)은 미래를 하나의 결정론적 단계(Deterministic Step)로 직접 예측하는 대신, 점진적인 잡음 제거 과정(Gradual Denoising Process)을 학습하여 가능한 미래의 시각적 상태(Visual State)를 생성합니다. 모델은 잡음이 포함된 표현(Noisy Representation)에서 시작하여 구조화된 미래 비디오(Future Video) 또는 잠재 시각 상태(Latent Visual State)가 나타날 때까지 반복적으로 잡음을 제거합니다. 이러한 접근법은 물리적 환경의 미래가 거의 항상 하나로 결정되지 않는다는 점에서 월드 모델링(World Modeling)에 매력적입니다. 서로 다른 궤적(Trajectory), 객체 움직임(Object Motion), 상호작용(Interaction)이 모두 가능한 경우가 많기 때문에, 모델은 모든 상황을 하나의 예측으로 강제하기보다 가능한 미래의 분포(Distribution of Possible Futures)를 표현할 수 있습니다.

확산 과정(Diffusion Process)은 서로 보완적인 두 방향으로 이해할 수 있습니다. 학습 과정(Training)에서는 깨끗한 비디오 시퀀스(Clean Video Sequence) 또는 미래 상태(Future State)에 여러 단계에 걸쳐 점진적으로 잡음을 추가하여 단순한 잡음 분포(Noise Distribution)에 가까워지도록 만듭니다. 모델은 각 단계에서 잡음을 제거하는 데 필요한 정보를 예측함으로써 이 과정을 역으로 수행하는 방법을 학습합니다. 생성 과정(Generation)에서는 무작위 잡음(Random Noise)에서 시작하여 학습된 잡음 제거 변환(Denoising Transformation)을 반복적으로 적용합니다. 최종 결과는 학습된 미래 관찰의 가능한 분포(Distribution of Possible Future Observations)에서 하나의 샘플(Sample)로 생성된 구조화된 비디오 시퀀스(Structured Video Sequence)가 됩니다.

비디오 월드 모델(Video World Model)에서 생성된 시퀀스는 단순히 시각적 외관(Visual Appearance) 이상의 정보를 표현해야 합니다. 객체(Object), 공간적 관계(Spatial Relationship), 움직임(Motion), 장면 구조(Scene Structure), 시간적 연속성(Temporal Continuity)과 같은 물리적 환경의 의미 있는 특성을 보존해야 합니다. 따라서 확산 모델(Diffusion Model)은 픽셀 공간(Pixel Space)에서 직접 작동할 수도 있고, 학습된 잠재 표현(Learned Latent Representation) 내부에서 작동할 수도 있습니다. 픽셀 공간 확산(Pixel-Space Diffusion)은 세밀한 시각적 미래(Visual Future)를 생성할 수 있는 반면, 잠재 확산(Latent Diffusion)은 계산 자원을 물리적 세계 상태(Underlying World State)의 압축된 표현에 집중할 수 있습니다. 이러한 차이는 확산 기반 비디오 모델링을 보다 넓은 픽셀 공간 대 잠재 공간(Pixel-Space vs. Latent-Space) 설계 선택과 직접 연결합니다.

확산 기반 예측(Diffusion-Based Prediction)의 중요한 장점 중 하나는 다중 모달 미래(Multimodal Futures)를 표현할 수 있다는 것입니다. 동일한 현재 관찰(Current Observation)이 주어지더라도 보행자는 여러 방향으로 이동할 수 있고, 차량은 서로 다른 차선을 선택할 수 있으며, 다른 로봇은 서로 다른 유효한 행동(Valid Behavior)을 수행할 수 있습니다. 결정론적 예측기(Deterministic Predictor)는 이러한 가능성을 하나의 평균적인 결과로 압축하는 경향이 있으며, 그 결과 실제로 물리적으로 가능한 궤적과 일치하지 않는 결과를 생성할 수도 있습니다. 반면 확산 모델은 학습된 분포에서 샘플링(Sampling)함으로써 여러 개의 가능한 미래를 생성할 수 있습니다. 이를 통해 월드 모델 예측(World-Model Prediction)에서 불확실성(Uncertainty)과 다양성(Diversity)을 표현하는 자연스러운 메커니즘을 제공합니다.

조건화 정보(Conditioning Information)는 확산 모델이 어떤 미래 분포(Future Distribution)를 생성할지를 결정합니다. 현재 비디오 프레임(Current Video Frame)은 시각적 문맥(Visual Context)을 제공할 수 있으며, BEV 표현(BEV Representation), 점유 상태(Occupancy State), 객체 추적(Object Track), 깊이(Depth), LiDAR, 로봇 상태(Robot State), 언어(Language)와 같은 추가 정보가 생성 과정을 유도할 수 있습니다. Physical AI에서 가장 중요한 것은 행동(Action) 역시 조건 변수(Conditioning Variable)가 될 수 있다는 점입니다. 특정 조향 명령(Steering Command), 속도(Velocity), 팔 움직임(Arm Movement), 내비게이션 행동(Navigation Action)은 예측되는 미래에 영향을 줄 수 있습니다. 따라서 동일한 현재 세계 상태(Current World State)라도 서로 다른 행동에 조건화하면 서로 다른 미래를 생성할 수 있습니다.

행동 조건화(Action Conditioning)는 확산 기반 비디오 생성을 상호작용형 월드 모델 메커니즘(Interactive World-Model Mechanism)으로 변화시킵니다. 단순히 환경이 다음 순간에 어떻게 보일지를 묻는 것이 아니라, 특정 행동을 실행했을 경우 환경이 어떻게 보일 수 있는지를 모델에 요청할 수 있습니다. 여러 후보 행동 시퀀스(Candidate Action Sequence)를 입력하고 이에 대응하는 미래 궤적을 확산 모델이 생성하도록 할 수 있습니다. 이후 이러한 예측 결과를 안전성(Safety), 목표 진행도(Goal Progress), 충돌 위험(Collision Risk), 효율성(Efficiency) 또는 기타 작업 기준(Task Criteria)에 따라 비교할 수 있습니다. 결과적으로 월드 모델은 로봇이 행동하기 전에 가능한 결과를 평가하기 위한 내부 시뮬레이터(Internal Simulator) 역할을 하게 됩니다.

자기회귀 비디오 예측(Autoregressive Video Prediction)과 비교했을 때 미래 상태가 생성되는 방식에는 중요한 차이가 있습니다. 자기회귀 모델은 일반적으로 한 단계씩 미래를 생성하며 각각의 예측을 다음 단계의 입력으로 사용합니다. 반면 확산 모델은 잡음에서 시작하여 반복적인 정제(Iterative Refinement)를 통해 하나의 완전한 샘플을 구성합니다. 이는 모든 미래 프레임이 바로 이전에 생성된 프레임에 직접 의존하는 단순한 연쇄 구조가 아니기 때문에 일부 형태의 순차적 오류 전파(Sequential Error Propagation)를 줄일 수 있습니다. 그러나 확산 모델 역시 여러 번의 잡음 제거 연산(Denoising Operation)을 필요로 하며, 긴 비디오 전체에서 시간적 일관성(Temporal Consistency)을 유지하는 것은 여전히 중요한 모델링 과제입니다.

따라서 시간적 일관성(Temporal Consistency)은 확산 기반 비디오 월드 모델의 핵심 요구 사항입니다. 개별적으로 생성된 프레임이 현실적으로 보이더라도 전체 시퀀스가 물리적 연속성(Physical Continuity)을 위반할 수 있습니다. 객체의 형태가 예상하지 못하게 변하거나, 궤적이 일관성을 잃거나, 프레임 사이에서 장면의 기하학(Scene Geometry)이 변화할 수 있습니다. 유용한 월드 모델은 움직임(Motion), 객체 정체성(Object Identity), 공간적 관계(Spatial Relationship), 환경 구조(Environmental Structure)가 시간에 따라 일관성을 유지하도록 생성 과정을 제약해야 합니다. 공간-시간 아키텍처(Spatiotemporal Architecture), 잠재 동역학(Latent Dynamics), 여러 프레임에 걸친 어텐션(Attention Across Multiple Frames), 적절한 시간적 목적 함수(Temporal Objective)는 단순히 프레임별로 현실적인 결과가 아니라 변화하는 세계 상태(Evolving World State)로서 일관된 미래를 생성하는 데 도움을 줄 수 있습니다.

확산 모델(Diffusion Model)은 효율성을 향상시키기 위해 학습된 잠재 동역학(Learned Latent Dynamics)과 통합될 수도 있습니다. 고해상도 비디오에 직접 확산 과정을 적용하는 대신, 관찰을 먼저 압축된 잠재 토큰(Compact Latent Token) 또는 특징 표현(Feature Representation)으로 인코딩할 수 있습니다. 이후 확산 과정은 이러한 저차원 공간(Lower-Dimensional Space)에서 작동하여 미래 동역학(Future Dynamics)을 보다 효율적으로 모델링할 수 있습니다. 디코더(Decoder)는 필요할 경우 생성된 잠재 상태를 다시 시각적 관찰(Visual Observation)로 변환할 수 있습니다. 이러한 구조는 세계를 표현하는 문제와 세밀한 외관을 생성하는 문제를 분리하며, 확산 기반 월드 모델링을 Physical AI 시스템에서 보다 실용적으로 만들 수 있습니다.

불확실성(Uncertainty)은 월드 모델링에 확산 모델을 사용하는 또 하나의 중요한 이유입니다. 물리적 미래에는 예측 가능한 요소와 예측하기 어려운 요소가 모두 존재하며, 모델이 항상 하나의 결과에 대해 높은 확신을 표현해서는 안 됩니다. 학습된 조건부 분포(Conditional Distribution)에서 여러 궤적을 샘플링함으로써 확산 월드 모델은 계획 시스템(Planning System)에 여러 대안적 미래를 제시할 수 있습니다. 이러한 샘플은 확정된 예측(Guaranteed Prediction)이 아니라 가능한 결과(Possible Outcome)로 해석할 수 있습니다. 따라서 계획 시스템은 가장 가능성이 높은 미래뿐만 아니라 확률은 낮더라도 중요한 안전 위험(Safety Risk)을 포함할 수 있는 미래까지 고려할 수 있으며, 이를 통해 불확실성이 의사결정(Decision Making)에 직접 영향을 미치도록 할 수 있습니다.

확산 모델의 계산 비용(Computational Cost)은 중요한 한계입니다. 미래 시퀀스를 생성하려면 일반적으로 여러 번의 잡음 제거 단계(Denoising Step)가 필요하며, 각 단계에서 상당한 규모의 신경망 연산(Neural Network Evaluation)이 요구될 수 있습니다. 고해상도 비디오는 이러한 부담을 더욱 증가시킵니다. Physical AI에서는 예측이 엣지(Edge) 또는 로봇 탑재 컴퓨팅 플랫폼(Onboard Computing Platform)에서 반복적으로 실행되어야 하기 때문에 이것이 중요한 제약이 될 수 있습니다. 따라서 잠재 확산(Latent Diffusion), 효율적인 잡음 제거 스케줄(Denoising Schedule), 샘플링 단계 감소(Reduced Sampling Steps), 모델 압축(Model Compression), 대체 생성 방법(Alternative Generation Method)은 실시간 로봇 시스템에서 확산 기반 월드 모델을 배치하기 위한 중요한 엔지니어링 전략이 될 수 있습니다.

완전한 Physical AI 아키텍처에서 확산 기반 비디오 예측(Diffusion-Based Video Prediction)은 인식(Perception)과 계획(Planning) 사이에서 생성형 미래 모델링 계층(Generative Future-Modeling Layer)을 구성할 수 있습니다. 현재 관찰은 세계 표현(World Representation)으로 인코딩되고, 후보 행동(Candidate Action) 또는 문맥 정보(Contextual Information)가 생성 모델(Generative Model)을 조건화하며, 확산 과정은 하나 이상의 가능한 미래 궤적을 생성합니다. 계획기는 이러한 미래들을 평가하고 적절한 행동을 선택하며, 선택된 행동은 물리적 환경에서 실행됩니다. 새로운 관찰은 다시 시스템으로 입력되어 세계 상태(World State)를 업데이트하고 또 다른 예측 주기를 시작합니다. 이러한 구조에서 확산 모델은 단순한 비디오 생성(Video Generation)을 넘어, Physical AI가 실제로 행동하기 전에 가능한 물리적 미래를 추론할 수 있도록 하는 확률적 상상 메커니즘(Probabilistic Imagination Mechanism)을 제공합니다.

07.06. Spatial Temporal Transformers

공간-시간 트랜스포머(Spatial-Temporal Transformer)는 트랜스포머 아키텍처(Transformer Architecture)를 정적인 시각적 이해(Static Visual Understanding)에서 공간(Spatial)과 시간(Temporal)을 함께 모델링하는 방식으로 확장합니다. 기존의 비전 모델(Vision Model)이 하나의 이미지 안에서 공간적 관계를 분석할 수 있다면, 공간-시간 트랜스포머는 일련의 관찰(Observation)을 공간과 시간이라는 두 차원에 분포된 하나의 통합된 토큰 집합(Unified Token Set)으로 취급합니다. 월드 모델링(World Modeling)에서는 이를 통해 객체(Object)와 구조(Structure)가 어디에 위치하는지뿐만 아니라 시간에 따라 그 관계가 어떻게 변화하는지도 학습할 수 있습니다. 이러한 표현은 시각적 인식(Visual Perception)을 시간적 예측(Temporal Prediction) 및 물리적 추론(Physical Reasoning)과 연결할 수 있습니다.

비디오(Video)는 연속된 프레임에서 추출된 공간적 패치(Spatial Patch) 또는 시각적 토큰(Visual Token)의 집합으로 표현할 수 있습니다. 각각의 프레임을 독립적으로 처리하는 대신, 토큰에 공간적 위치(Spatial Position)와 시간적 위치(Temporal Position)를 함께 부여하여 시공간 토큰 공간(Spatiotemporal Token Space)을 구성합니다. 이후 어텐션(Attention)은 동일한 프레임 내부의 정보, 서로 다른 영역의 정보, 또는 서로 다른 시점에서 대응되는 영역 사이의 정보를 연결할 수 있습니다. 이를 통해 모델은 시간 (t)에서 관찰된 객체를 이전 및 이후의 모습과 연결할 수 있으며, 객체의 지속성(Persistence), 움직임(Motion), 상호작용(Interaction), 장면 변화(Scene Evolution)를 학습하는 메커니즘을 제공합니다.

핵심 연산은 시공간 토큰(Spatiotemporal Token)에 대한 어텐션입니다. 공간 어텐션(Spatial Attention)은 장면의 영역들 사이의 관계를 포착하고, 시간 어텐션(Temporal Attention)은 시간에 따른 관찰 사이의 의존성을 포착합니다. 이 두 차원은 하나의 통합된 어텐션으로 함께 모델링할 수도 있고, 각각을 별도의 단계로 처리한 다음 결합할 수도 있습니다. 통합 어텐션(Joint Attention)은 복잡한 상호작용을 표현하는 데 뛰어나지만 이미지 해상도와 비디오 길이가 증가하면 계산 비용이 크게 증가할 수 있습니다. 따라서 효율적인 아키텍처(Efficient Architecture)는 중요한 월드 모델링 관계를 유지하면서 계산량을 줄이기 위해 지역 영역(Local Region), 선택된 토큰(Selected Token), 구조화된 시간 윈도우(Structured Temporal Window) 등에 어텐션을 제한하는 경우가 많습니다.

Physical AI에서 공간-시간 어텐션(Spatial-Temporal Attention)은 물리적 사건(Physical Event)이 본질적으로 공간과 시간에 걸쳐 분산되어 있기 때문에 특히 유용합니다. 움직이는 차량은 변화하는 공간 영역을 차지하고, 보행자는 궤적(Trajectory)을 따라 움직이며, 로봇 자체의 움직임은 카메라 시점(Camera Viewpoint)을 변화시키는 동시에 주변 환경은 비교적 안정적으로 유지됩니다. 트랜스포머는 이러한 패턴을 하나의 공유 표현(Shared Representation)으로 통합하여 객체의 움직임(Object Motion)과 자기 움직임(Self-Motion)을 구분하고, 일시적인 시각 변화(Temporary Visual Change)와 지속적인 장면 구조(Persistent Scene Structure)를 구별하는 데 도움을 줄 수 있습니다. 이는 각 비디오 프레임을 독립적인 관찰로 취급하는 것보다 미래 상태(Future State)를 예측하기 위한 더욱 풍부한 기반을 제공합니다.

공간-시간 트랜스포머(Spatial-Temporal Transformer)는 여러 형태의 표현(Representation)에서 작동할 수 있습니다. 원시 이미지 패치(Raw Image Patch)는 상세한 시각 정보를 제공하는 반면, 잠재 토큰(Latent Token)은 효율적인 예측을 위한 보다 압축된 표현을 제공합니다. BEV 토큰(BEV Token)은 공통 공간 좌표계(Common Spatial Coordinate System)에서 환경을 표현할 수 있으며, 점유 토큰(Occupancy Token)이나 복셀 토큰(Voxel Token)은 3차원 구조를 표현할 수 있습니다. 객체 중심 토큰(Object-Centric Token)은 추적된 개체(Tracked Entity)와 그 궤적을 표현할 수 있습니다. 이러한 표현은 깊이(Depth), LiDAR, IMU, 자기수용감각(Proprioception), 로봇 상태(Robot State), 행동(Action) 토큰과 결합될 수도 있으며, 이를 통해 트랜스포머는 물리적 세계에 대한 멀티모달 시간 표현(Multimodal Temporal Representation)을 구축할 수 있습니다.

시간적 모델링(Temporal Modeling)은 월드 모델 예측(World-Model Prediction)에서 특히 중요합니다. 현재 관찰만으로는 물리적 상태를 결정하기에 충분하지 않을 수 있기 때문입니다. 하나의 이미지만으로는 객체가 정지해 있는지, 가속하고 있는지, 접근하고 있는지, 멀어지고 있는지를 알기 어려울 수 있습니다. 시퀀스(Sequence)는 속도(Velocity), 궤적(Trajectory), 상호작용(Interaction), 시간적 문맥(Temporal Context)을 추론하는 데 필요한 정보를 제공합니다. 공간-시간 어텐션은 이전 관찰의 정보가 현재 상태의 해석에 영향을 줄 수 있도록 합니다. 따라서 모델은 최신 프레임 하나에만 의존하는 것이 아니라 최근 이력(Recent History)을 포함하는 상태 표현을 구성할 수 있습니다.

긴 비디오 시퀀스(Long Video Sequence)는 표준 자기 어텐션(Standard Self-Attention)이 토큰 수에 따라 계산량이 증가하기 때문에 큰 계산적 문제를 만듭니다. 이미지 해상도가 증가하면 공간 토큰 수가 증가하고, 비디오 시간이 길어지면 시간 토큰 수가 증가합니다. 두 요소가 동시에 증가하면 전체 어텐션(Full Attention)은 실시간 Physical AI에 적용하기 어려울 정도로 높은 계산 비용을 요구할 수 있습니다. 윈도우 어텐션(Window Attention), 이동 윈도우(Shifted Window), 희소 어텐션(Sparse Attention), 변형 가능한 어텐션(Deformable Attention), 토큰 가지치기(Token Pruning), 계층적 토큰 병합(Hierarchical Token Merging)과 같은 효율적인 메커니즘은 이러한 부담을 줄일 수 있습니다. 이러한 방법은 불필요한 계산을 줄이면서 중요한 공간-시간 관계를 유지하는 것을 목표로 합니다.

계층적 처리(Hierarchical Processing)는 확장성을 향상시키는 또 다른 방법입니다. 초기 계층(Early Layer)은 지역적인 시각 특징(Local Visual Feature)과 짧은 시간적 문맥(Short Temporal Context)을 처리하고, 더 깊은 계층에서는 정보를 점진적으로 더 넓은 공간 영역과 더 긴 시간적 지평(Temporal Horizon)으로 결합할 수 있습니다. 표현이 더욱 추상화되면서 토큰 병합(Token Merging)은 중복 정보를 줄일 수 있으며, 시간적 집계(Temporal Aggregation)는 모든 프레임을 전체 해상도로 유지하지 않고도 지속적인 정보를 보존할 수 있습니다. 이러한 계층적 처리는 월드 모델에 유용합니다. 빠르게 변화하는 국소적 움직임부터 느리게 변화하는 장면 구조와 장기적인 환경 변화까지 물리적 현상이 서로 다른 시간 및 공간 규모에서 발생하기 때문입니다.

공간-시간 트랜스포머는 시간적 비디오 데이터가 자연스럽게 예측 대상을 제공하기 때문에 자기지도 학습(Self-Supervised Learning)도 지원할 수 있습니다. 모델은 마스킹된 공간 영역(Masked Spatial Region)을 재구성하거나, 미래 토큰(Future Token)을 예측하거나, 시간에 따른 표현의 일관성(Representation Consistency)을 유지하거나, 서로 다른 시점의 관찰을 연결하도록 학습할 수 있습니다. 이러한 목적 함수(Objective)는 모든 프레임에 대해 조밀한 수작업 라벨(Dense Manual Label)을 요구하지 않고도 유용한 구조를 학습하도록 모델을 유도합니다. 월드 모델 환경에서는 단순히 객체를 인식하는 것이 아니라 움직임, 기하학(Geometry), 시간적 연속성(Temporal Continuity), 미래 상태 예측에 필요한 정보를 보존하는 표현을 학습하는 것이 목표입니다.

행동 조건화(Action Conditioning)는 공간-시간 표현을 수동적 관찰(Passive Observation)에서 상호작용형 월드 모델링(Interactive World Modeling)으로 확장합니다. 후보 행동(Candidate Action)을 추가 토큰 또는 조건 정보(Conditioning Information)로 표현하여 시각적 이력(Visual History)과 함께 통합할 수 있습니다. 그러면 모델은 서로 다른 행동에 따라 공간-시간 상태가 어떻게 변화할지를 추정할 수 있습니다. 예를 들어 서로 다른 조향 명령(Steering Command)은 서로 다른 미래 궤적을 만들 수 있으며, 매니퓰레이터(Manipulator)의 행동은 객체의 위치와 외관을 변화시킬 수 있습니다. 이는 후보 롤아웃(Candidate Rollout)을 생성하고, 예측된 결과를 비교하며, 실제 행동을 실행하기 전에 계획(Planning)을 통해 행동을 선택하는 기반을 제공합니다.

로보틱스(Robotics)에서 공간-시간 트랜스포머는 멀티모달 인식(Multimodal Perception)과 월드 모델 기반 계획(World-Model-Based Planning) 사이의 중요한 계층을 구성할 수 있습니다. 카메라(Camera), LiDAR, 레이더(Radar), IMU, 자기수용감각(Proprioception), 로봇 상태(Robot State), 행동 정보(Action Information)는 트랜스포머에 입력되기 전에 공간 및 시간 인코딩(Spatial and Temporal Encoding)을 통해 정렬될 수 있습니다. 이렇게 생성된 표현은 객체 추적(Object Tracking), 움직임 예측(Motion Forecasting), 점유 또는 광류 예측(Occupancy or Flow Prediction), 장면 이해(Scene Understanding), 미래 상태 추정(Future-State Estimation)을 지원할 수 있습니다. 이후 계획기는 이러한 예측을 사용하여 궤적과 행동을 평가할 수 있습니다. 새로운 관찰은 지속적으로 표현을 업데이트하여 인식--예측--계획--행동(Perception--Prediction--Planning--Action)의 폐루프(Closed Loop)를 형성합니다.

따라서 핵심적인 과제는 표현력이 높은 시공간 추론(Expressive Spatiotemporal Reasoning)과 계산 효율성(Computational Efficiency), 시간적 신뢰성(Temporal Reliability) 사이의 균형을 맞추는 것입니다. 유용한 모델은 물리적 행동에 중요한 관계를 보존하면서 불필요한 시각적 세부 사항에 대한 중복된 어텐션을 피해야 합니다. 또한 긴 시퀀스에 걸쳐 일관성을 유지하고, 누락되거나 잡음이 포함된 관찰을 처리하며, 실시간 지연(Real-Time Latency)과 하드웨어 제약(Hardware Constraint) 안에서 작동해야 합니다. 더 넓은 월드 모델 아키텍처(World Model Architecture)에서 공간-시간 트랜스포머는 시각적 관찰(Visual Observation), 시간적 동역학(Temporal Dynamics), 멀티모달 상태 표현(Multimodal State Representation), 미래 예측(Future Prediction), 행동 조건부 추론(Action-Conditioned Reasoning)을 연결하는 유연한 백본(Backbone)을 제공합니다. 그 중요성은 비디오를 독립적인 이미지들의 연속으로 취급하는 것을 넘어, 물리적 세계가 공간과 시간에 걸쳐 어떻게 변화하는지를 표현하는 구조화된 모델(Structured Model)로 변환한다는 데 있습니다.

07.07. Motion Object and Scene Dynamics

움직임(Motion), 객체(Object), 장면 동역학(Scene Dynamics)은 시각적 월드 모델(Visual World Model)이 정적인 장면 이해(Static Scene Understanding)를 넘어설 수 있도록 하는 핵심적인 시간적 구조(Temporal Structure)를 형성합니다. 하나의 관찰(Observation)은 특정 순간에 환경이 어떻게 보이는지를 설명하지만, 물리적 에이전트(Physical Agent)는 객체가 어떻게 움직이는지, 장면이 어떻게 변화하는지, 그리고 자신의 움직임이 관찰에 어떤 영향을 미치는지를 이해해야 합니다. 따라서 유용한 월드 모델(World Model)은 지속적인 장면 구조(Persistent Scene Structure)와 동적 개체(Dynamic Entity)를 구분하고, 로봇, 객체, 환경 사이의 시간적 관계(Temporal Relationship)를 학습해야 합니다. 이는 미래 세계 상태(Future World State)를 예측하기 위한 기반이 됩니다.

객체 동역학(Object Dynamics)은 개별 개체(Entity)가 시간에 따라 위치(Position), 속도(Velocity), 방향(Orientation), 외관(Appearance), 상호작용 상태(Interaction State)를 어떻게 변화시키는지를 설명합니다. 차량, 보행자, 로봇, 조작 가능한 객체(Manipulable Object)는 서로 다른 움직임 패턴(Motion Pattern)을 따르고 주변 환경에 서로 다르게 반응할 수 있습니다. 월드 모델은 객체 중심 상태(Object-Centric State)를 사용하여 이러한 개체를 명시적으로 표현하거나, 학습된 특징(Learned Feature)을 통해 암묵적으로 표현할 수 있습니다. 특히 관찰 사이에서 객체의 정체성(Object Identity)을 추적하는 것은 중요합니다. 예측을 위해서는 연속성(Continuity)이 필요하기 때문입니다. 모델은 시간 (t+1)의 객체가 시간 (t)에서 관찰된 동일한 개체라는 것을 이해해야 하며, 각각의 프레임을 서로 관련 없는 장면으로 취급해서는 안 됩니다.

장면 동역학(Scene Dynamics)은 개별 객체를 추적하는 것만으로는 이해할 수 없는 변화를 설명합니다. 자유 공간(Free Space)이 점유될 수 있고, 장애물(Obstacle)이 이전에 통과할 수 있었던 영역을 차단할 수 있으며, 조명이나 날씨가 시각적 관찰(Visual Observation)을 변화시킬 수 있고, 여러 개체 사이의 관계(Relationship)가 변화할 수 있습니다. 따라서 장면 동역학은 객체 움직임과 환경 구조(Environmental Structure) 및 문맥(Context)을 결합합니다. 월드 모델은 환경의 어떤 부분이 지속되고 어떤 부분이 변화하는지를 학습하는 동시에, 로봇이 장면을 통과하며 이동하더라도 일관성을 유지하는 표현(Representation)을 유지해야 합니다.

특히 중요한 문제는 자기 움직임(Ego-Motion)과 환경 움직임(Environmental Motion)을 구분하는 것입니다. 로봇이나 차량이 움직이면 건물, 도로 또는 다른 정적인 구조가 실제로 정지해 있더라도 카메라에는 겉보기 움직임(Apparent Motion)이 나타납니다. 동시에 차량과 보행자는 로봇과 독립적으로 움직일 수 있습니다. 따라서 월드 모델은 관찰된 변화가 에이전트 자신의 움직임에서 비롯된 것인지, 다른 객체에서 비롯된 것인지, 또는 실제 환경 변화(Actual Environmental Change)에서 비롯된 것인지를 추론해야 합니다. 시간적 문맥(Temporal Context), 기하학적 관계(Geometric Relationship), 오도메트리(Odometry), IMU 정보, 멀티모달 센싱(Multimodal Sensing)은 이러한 변화의 원인을 분리하는 데 도움을 줄 수 있습니다.

시간적 문맥(Temporal Context)은 움직임과 동역학을 추정하는 데 필요한 증거를 제공합니다. 일련의 관찰을 사용하면 하나의 프레임만으로는 안정적으로 결정하기 어려운 속도, 가속도(Acceleration), 궤적(Trajectory), 상호작용 패턴(Interaction Pattern), 지속적인 구조(Persistent Structure)를 추론할 수 있습니다. 최근 관찰(Recent Observation)은 시간적 표현(Temporal Representation)으로 인코딩되고 여러 예측 지평(Multiple Prediction Horizon)에 걸쳐 미래 상태를 예측하는 데 사용될 수 있습니다. 단기 예측(Short-Term Prediction)은 빠른 움직임과 즉각적인 상호작용을 포착할 수 있으며, 장기 예측(Longer-Horizon Prediction)은 지속적인 장면 구조와 변화하는 환경 조건(Environmental Condition)을 표현할 수 있습니다. 이러한 시간적 계층(Temporal Hierarchy)은 계획(Planning)과 제어(Control)에 중요합니다.

객체 중심 표현(Object-Centric Representation)과 관계적 표현(Relational Representation)은 동역학을 더욱 명시적으로 만들 수 있습니다. 전체 장면을 구분되지 않은 특징 맵(Feature Map)으로 표현하는 대신, 월드 모델은 개별 개체에 대한 상태와 개체 사이의 관계를 유지할 수 있습니다. 객체 상태(Object State)는 정체성(Identity), 자세(Pose), 속도, 범주(Category), 크기(Size), 방향, 상호작용 상태 등을 포함할 수 있습니다. 관계(Relationship)는 에이전트와 에이전트, 에이전트와 객체, 객체와 객체, 그리고 주변 장면 사이의 영향을 표현할 수 있습니다. 이후 그래프 기반 메커니즘(Graph-Based Mechanism)이나 어텐션 기반 메커니즘(Attention-Based Mechanism)을 사용하여 이러한 개체들이 서로 어떻게 영향을 미치고 그 관계가 시간에 따라 어떻게 변화하는지를 모델링할 수 있습니다.

Physical AI는 부분 관측성(Partial Observability) 환경에서도 작동하며, 이 경우 환경의 중요한 부분이 가려지거나 이용할 수 없을 수 있습니다. 객체가 일시적으로 가려질 수 있고, 센서가 고장 날 수 있으며, 현재 시점에서는 특정 영역을 볼 수 없을 수도 있습니다. 유능한 동역학 모델(Dynamics Model)은 시간적 이력(Temporal History)과 상호보완적인 관찰(Complementary Observation)을 이용하여 누락된 정보를 추론할 수 있어야 합니다. 마스킹 예측(Masked Prediction)과 멀티모달 융합(Multimodal Fusion)은 모델이 누락된 영역을 재구성하거나 예측하도록 유도할 수 있으며, 카메라, LiDAR, 레이더, IMU, 자기수용감각(Proprioceptive Information)은 상호보완적인 증거를 제공합니다. 목표는 관찰이 불완전하거나 잡음이 포함되어 있더라도 유용한 세계 상태(World State)를 유지하는 것입니다.

움직임과 장면 동역학은 또한 여러 수준의 추상화(Multiple Levels of Abstraction)에서 표현되어야 합니다. 낮은 수준(Low Level)에서는 동역학이 물리적 움직임(Physical Motion), 접촉(Contact), 마찰(Friction), 휠 슬립(Wheel Slip), 관절 움직임(Joint Movement) 등을 포함할 수 있습니다. 중간 수준(Intermediate Level)에서는 객체 궤적(Object Trajectory), 상호작용, 행동 패턴(Behavioral Pattern)을 표현할 수 있습니다. 더 높은 수준(High Level)에서는 도로가 차단되는 상황, 보행자가 횡단하는 상황, 객체에 접근할 수 있게 되는 상황과 같은 사건(Event)과 의미론적 변화(Semantic Change)를 표현할 수 있습니다. 실용적인 월드 모델은 모든 물리 변수를 재현할 필요는 없으며, 미래 예측, 계획, 제어와 관련된 동역학 수준을 보존해야 합니다.

행동 조건화(Action Conditioning)는 동역학 모델링을 관찰에서 상호작용으로 확장합니다. 미래 상태는 환경이 자연스럽게 변화하는 방식뿐만 아니라 로봇이 무엇을 하는지에도 의존합니다. 현재의 잠재 상태(Latent State)와 행동 또는 행동 시퀀스(Action Sequence)가 주어지면 동역학 모델은 이에 대응하는 미래 상태를 예측할 수 있습니다. 따라서 서로 다른 조향 명령(Steering Command), 내비게이션 의사결정(Navigation Decision), 조작 행동(Manipulation Action)은 서로 다른 예측 궤적을 생성할 수 있습니다. 반사실적 롤아웃(Counterfactual Rollout)을 사용하면 시스템은 실제 환경에서 모든 대안을 직접 실행하지 않고도 서로 다른 행동에서 어떤 일이 발생할 수 있는지를 질문할 수 있으며, 이를 통해 동역학 모델링과 내부 계획(Internal Planning)이 직접 연결됩니다.

서로 다른 의사결정에는 서로 다른 시간적 관점이 필요하기 때문에 다중 지평 예측(Multi-Horizon Prediction)이 필요합니다. 즉각적인 충돌 회피(Immediate Collision Avoidance)에는 매우 짧은 지평의 움직임 예측이 필요할 수 있는 반면, 내비게이션과 작업 계획(Task Planning)에는 훨씬 더 긴 예측이 필요할 수 있습니다. 예측 지평이 증가할수록 일반적으로 불확실성이 증가하며 여러 미래 궤적이 가능해집니다. 따라서 월드 모델은 모든 가능성을 하나의 궤적으로 압축하기보다는 여러 대안 가설(Alternative Hypothesis)을 유지해야 합니다. 시간적 일관성(Temporal Consistency) 역시 필수적입니다. 객체 정체성은 안정적으로 유지되어야 하고, 움직임은 단계 간에 서로 일관되어야 하며, 의미론적 전이(Semantic Transition)는 의미가 있어야 하고, 관계가 임의적으로 변화해서는 안 됩니다.

실질적인 목표는 움직임, 객체, 장면 동역학을 폐루프 Physical AI 시스템(Closed-Loop Physical AI System)과 연결하는 것입니다. 관찰은 구조화된 세계 표현(Structured World Representation)으로 변환되고, 시간적 이력은 문맥을 제공하며, 동역학 모델은 객체와 환경이 어떻게 변화할지를 예측합니다. 이후 후보 미래(Candidate Future)는 목표 진행도(Goal Progress), 충돌 위험(Collision Risk), 안정성(Stability), 에너지 비용(Energy Cost), 도달 가능성(Reachability), 작업 성공(Task Success) 등에 따라 평가될 수 있습니다. 시스템은 적절한 행동을 실행하고 새로운 관찰을 받아 세계 상태를 업데이트한 다음 이 과정을 반복합니다. 이러한 방식으로 움직임과 장면 동역학은 인식(Perception)과 예측적 계획(Predictive Planning)을 연결하는 다리가 되며, 로봇이 현재 무엇이 존재하는지만 이해하는 것이 아니라 물리적 세계가 다음에 어떻게 변화할 가능성이 있는지도 이해할 수 있도록 합니다.

07.08. Multi View and 3D Aware Video Models

다중 시점 및 3D 인식 비디오 모델(Multi-View and 3D-Aware Video Model)은 단일 카메라 관점에서 벗어나 여러 시점에 걸쳐 물리적 세계를 일관된 표현으로 구성하도록 시각적 월드 모델링(Visual World Modeling)을 확장합니다. 하나의 카메라는 환경의 일부만 관찰하며, 가림(Occlusion), 제한된 시야각(Field of View), 변화하는 관점(Viewpoint) 때문에 정보를 잃을 수 있습니다. 여러 카메라 또는 시점의 관찰을 결합하면 월드 모델은 공유되는 객체(Shared Object), 기하학(Geometry), 움직임(Motion), 장면 구조(Scene Structure)를 추론할 수 있습니다. 목표는 단순히 여러 개의 독립적인 비디오를 생성하는 것이 아니라, 여러 시점과 시간에 걸쳐 일관된 세계 표현(World Representation)을 유지하는 것입니다.

다중 시점 모델링(Multi-View Modeling)의 핵심 문제는 동일한 물리적 환경을 설명하는 서로 다른 관찰 사이의 대응 관계(Correspondence)를 설정하는 것입니다. 동일한 객체라도 카메라의 위치에 따라 서로 다른 이미지 위치, 크기, 시점으로 나타날 수 있습니다. 따라서 유용한 모델은 이러한 관찰들을 공통의 공간 표현(Common Spatial Representation)과 연결해야 합니다. 카메라 기하학(Camera Geometry), 시점 정보(Viewpoint Information), 깊이 추정(Depth Estimation), 학습된 시각 특징(Learned Visual Feature)은 이러한 정렬(Alignment)에 기여할 수 있습니다. 서로 대응하는 관찰을 성공적으로 통합하면 하나의 이미지나 비디오 스트림만으로는 복원하기 어려운 공간적 관계(Spatial Relationship)를 추론할 수 있습니다.

3차원 인식(3D Awareness)은 월드 모델링에 추가적인 구조를 제공합니다. 환경을 단순히 2차원 이미지의 시퀀스로 표현하는 대신, 모델은 깊이(Depth), 3차원 위치(3D Position), 공간적 배치(Spatial Layout), 점유(Occupancy) 또는 기타 기하학적 특성(Geometric Property)을 추론할 수 있습니다. 서로 다른 카메라가 서로 다른 방향에서 표면과 객체를 관찰하기 때문에 다중 시점 관찰은 이러한 구조를 추정하기 위한 상호보완적인 증거(Complementary Evidence)를 제공합니다. 결과적인 표현은 명시적인 3D 기하학(Explicit 3D Geometry)과 포인트 클라우드(Point Cloud)부터 복셀(Voxel) 또는 점유 구조(Occupancy Structure), 학습된 잠재 3D 표현(Learned Latent 3D Representation)까지 다양한 형태를 가질 수 있습니다.

로봇이 스스로 이동하는 경우에는 시점 일관성(Viewpoint Consistency)이 특히 중요합니다. 로봇의 위치가 변화하면 카메라 시점도 지속적으로 변화하며, 이로 인해 실제 세계의 기반 구조가 변하지 않았더라도 정적 객체의 시각적 외관이 변화합니다. 3D 인식 월드 모델(3D-Aware World Model)은 이러한 관찰을 서로 무관한 시각 상태(Visual State)로 취급하는 대신 동일한 환경에 대한 서로 다른 투영(Projection)으로 처리할 수 있습니다. 이를 통해 도로, 건물, 지형, 장애물과 같은 지속적인 구조(Persistent Structure)가 로봇이 환경을 이동하는 동안에도 일관성을 유지할 수 있습니다. 이러한 일관성은 안정적인 내부 세계 표현(Stable Internal World Representation)을 유지하는 데 필수적입니다.

다중 시점 비디오 모델링(Multi-View Video Modeling)은 공간적 일관성(Spatial Consistency)과 시간적 일관성(Temporal Consistency)을 함께 연결합니다. 모델은 서로 다른 카메라가 동일한 객체를 관찰한다는 사실뿐만 아니라, 그 객체가 시간에 따라 계속 존재하며 일관되게 움직인다는 것도 이해해야 합니다. 여러 카메라에서 관찰된 차량은 복원된 세계 상태(Reconstructed World State)에서 일관된 정체성(Identity), 위치(Position), 궤적(Trajectory)을 유지해야 합니다. 따라서 다중 시점 대응(Multi-View Correspondence)과 시간적 모델링(Temporal Modeling)을 결합하면 4차원 구조(4D Structure)를 표현할 수 있으며, 여기서는 공간적 관계와 시간적 변화(Temporal Evolution)가 함께 학습됩니다.

다중 시점 및 3D 인식 예측(Multi-View and 3D-Aware Prediction)에 사용되는 표현은 여러 형태를 가질 수 있습니다. 이미지 공간 표현(Image-Space Representation)은 상세한 시각적 외관을 보존하는 반면, 잠재 표현(Latent Representation)은 시간적 예측을 위한 더욱 압축된 공간을 제공합니다. BEV 표현(BEV Representation)은 여러 시점의 정보를 결합할 수 있는 지면 정렬 공간(Ground-Aligned Spatial Frame)을 제공하며, 점유 표현(Occupancy Representation)이나 복셀 표현(Voxel Representation)은 3차원 구조를 보존할 수 있습니다. 객체 중심 표현(Object-Centric Representation)은 개별 객체와 그 궤적을 별도로 추적할 수 있습니다. 이러한 표현들은 서로 배타적인 것이 아니라 상호보완적이며, 실제 Physical AI 시스템에서는 여러 수준의 표현을 동시에 사용할 수 있습니다.

다중 시점 모델링은 멀티모달 센싱(Multimodal Sensing)과 결합할 때 더욱 큰 가치를 가집니다. 카메라는 풍부한 외관 및 의미론적 정보(Appearance and Semantic Information)를 제공하고, LiDAR는 기하학적 측정(Geometric Measurement)을 제공하며, 레이더(Radar)는 움직임과 센싱 조건에 대한 상호보완적인 정보를 제공할 수 있습니다. 깊이(Depth)와 IMU 정보는 공간적 및 시간적 해석을 추가로 제약할 수 있습니다. 공유 표현(Shared Representation)은 이러한 정보들을 결합하여 서로 다른 센서가 동일한 세계 상태에 대한 상호보완적인 증거를 제공하도록 할 수 있습니다. 이러한 접근법은 모호성을 줄이고 개별 센서의 시야가 제한되거나 관찰이 불완전할 때 더욱 강건한 예측을 지원합니다.

부분 관측성(Partial Observability)은 3D 인식 월드 모델의 중요한 활용 동기입니다. 하나의 카메라에서는 객체가 가려질 수 있지만 다른 카메라에서는 보일 수 있으며, 현재 시야 밖에 있는 영역도 과거에 관찰되었을 수 있습니다. 따라서 다중 시점 정보는 누락된 영역이나 가려진 영역(Missing or Occluded Region)을 추론하고 환경에 대한 보다 완전한 표현을 유지하는 데 도움을 줄 수 있습니다. 시각적 정보의 누락을 해결할 수 없는 미지의 상태로 남겨두는 대신, 모델은 공간적 관계, 시간적 이력(Temporal History), 상호보완적인 시점을 이용하여 가려진 상태를 추정할 수 있으며, 증거가 충분하지 않은 경우에는 불확실성(Uncertainty)을 유지할 수 있습니다.

다중 시점 예측(Multi-View Prediction)은 동적 객체(Dynamic Object)와 변화하는 장면 조건(Changing Scene Condition)도 처리해야 합니다. 정적 기하학(Static Geometry)은 지속적인 구조(Persistent Structure)로 유지할 수 있는 반면, 차량, 보행자, 로봇과 같은 이동 개체는 시간적 상태 업데이트(Temporal State Update)가 필요합니다. 모델은 시점 변화로 인해 발생한 변화를 객체의 실제 움직임으로 잘못 판단하지 않아야 하며, 카메라 움직임(Camera Motion)과 실제 환경 움직임(Genuine Environmental Motion)을 구분해야 합니다. 이를 위해서는 기하학적 정보와 시간적 문맥(Temporal Context), 움직임 모델링(Motion Modeling)을 통합해야 합니다. 결과적인 표현은 로봇이 이동함에 따라 안정적인 장면 구조와 변화하는 객체 상태를 모두 보존해야 합니다.

비디오 월드 모델링(Video World Modeling)에서는 여러 시점에 걸쳐 일관된 미래를 예측하는 능력이 시각적으로 그럴듯한 프레임을 독립적으로 생성하는 것보다 중요합니다. 예를 들어 모델이 한 카메라 시점에서 차량이 앞으로 이동하는 것으로 예측한다면, 다른 카메라의 대응되는 예측 역시 각각의 시점에서 동일한 물리적 사건(Physical Event)을 설명해야 합니다. 이러한 제약은 모델이 단순히 이미지 수준의 상관관계(Image-Level Correlation)에 의존하기보다 기본적인 기하학과 동역학(Underlying Geometry and Dynamics)을 학습하도록 유도할 수 있습니다. 따라서 시점 간 일관성(Cross-View Consistency)은 보다 물리적으로 의미 있는 세계 표현(World Representation)을 개발하기 위한 중요한 학습 신호(Learning Signal)가 될 수 있습니다.

다중 시점 및 3D 인식 모델링의 계산 요구 사항(Computational Requirement)은 상당할 수 있습니다. 여러 카메라는 인코딩해야 할 시각 정보의 양을 증가시키며, 깊이 추정, 기하학적 투영(Geometric Projection), 3D 재구성(3D Reconstruction), 시간적 모델링 역시 추가적인 처리 자원을 요구합니다. 효율적인 잠재 표현(Efficient Latent Representation), BEV 투영(BEV Projection), 계층적 처리(Hierarchical Processing), 선택적 어텐션(Selective Attention), 센서 융합(Sensor Fusion)은 이러한 복잡성을 관리하는 데 도움을 줄 수 있습니다. 적절한 표현은 모든 단계에서 불필요한 시각적 세부 사항을 유지하도록 강제하지 않으면서 예측과 계획에 필요한 공간 정보를 보존해야 합니다.

Physical AI에서 다중 시점 및 3D 인식 비디오 모델링은 시각적 관찰과 공간적으로 정합된 예측적 월드 모델(Spatially Grounded Predictive World Model) 사이를 연결하는 다리를 제공합니다. 여러 카메라와 센서에서 얻은 관찰은 공통 표현(Common Representation)으로 인코딩되고, 시점과 시간에 걸쳐 정렬되며, 기하학, 객체, 움직임, 점유, 장면 구조를 추정하는 데 사용될 수 있습니다. 이러한 세계 상태는 미래 예측(Future Prediction), 내비게이션(Navigation), 조작(Manipulation), 자율주행(Autonomous Driving) 및 기타 로봇 응용을 지원할 수 있습니다. 더 넓은 파이프라인에서 시스템은 세계를 관찰하고, 일관된 표현을 학습하고, 미래 상태를 예측하며, 가능한 결과를 평가하고, 새로운 관찰을 다시 모델에 입력합니다. 따라서 다중 시점 및 3D 인식은 비디오를 특정 시점에 의존하는 관찰(Viewpoint-Dependent Observation)에서 벗어나 예측, 계획, 행동을 위한 물리적 세계의 일관된 표현(Coherent Representation)으로 변환하는 데 기여합니다.

07.09. Video World Models for Robotics

로보틱스를 위한 비디오 월드 모델(Video World Model for Robotics)은 시각적 월드 모델링(Visual World Modeling)을 수동적인 예측에서 벗어나 물리적 환경(Physical Environment)을 이해하고, 상상하고, 행동하기 위한 내부 메커니즘(Internal Mechanism)으로 확장합니다. 로봇은 카메라와 기타 센서를 통해 주변 환경을 지속적으로 관찰하고, 이러한 관찰을 구조화된 표현(Structured Representation)으로 변환하며, 그 표현이 시간에 따라 어떻게 변화하는지를 학습합니다. 목표는 단순히 사실적인 미래 비디오(Realistic Future Video)를 생성하는 것이 아니라, 내비게이션(Navigation), 조작(Manipulation), 자율주행(Autonomous Driving), 기타 임바디드 작업(Embodied Task)을 지원할 수 있는 물리적으로 의미 있는 미래 상태(Physically Meaningful Future State)를 예측하는 것입니다. 이러한 관점에서 비디오는 인식(Perception)과 행동(Action)을 연결하는 시간적 인터페이스(Temporal Interface)가 됩니다.

로봇 비디오 월드 모델(Robotic Video World Model)은 일반적으로 하나의 프레임이 아니라 관찰 이력(History of Observations)에서 시작합니다. 연속적인 이미지는 하나의 관찰만으로는 안정적으로 추론하기 어려운 객체 움직임(Object Motion), 장면 변화(Scene Change), 카메라 움직임(Camera Motion), 환경의 지속성(Environmental Persistence)에 대한 정보를 제공합니다. 카메라 데이터는 LiDAR, 레이더(Radar), 깊이(Depth), IMU, 자기수용감각(Proprioception), 로봇 상태(Robot State), 기타 센싱 모달리티(Sensing Modality)와 결합될 수 있습니다. 이러한 관찰은 현재 세계 상태(Current World State)와 시간적 문맥(Temporal Context)을 표현하는 표현으로 인코딩됩니다. 이후 모델은 이 표현 내부의 전이(Transition)를 학습하여 물리적 환경이 어떻게 변화할 수 있는지를 추정합니다.

내부 표현(Internal Representation)은 로봇 작업에 따라 여러 수준에서 구성될 수 있습니다. 픽셀 공간 표현(Pixel-Space Representation)은 상세한 시각적 외관(Visual Appearance)을 보존하고 사실적인 미래 비디오 생성을 지원할 수 있는 반면, 잠재 표현(Latent Representation)은 예측과 추론(Reasoning)을 위한 보다 압축된 상태를 제공합니다. 객체 및 움직임 표현(Object and Motion Representation)은 개체와 궤적을 명시적으로 추적하고, BEV 및 점유 표현(BEV and Occupancy Representation)은 자유 공간(Free Space), 장애물(Obstacle), 공간 구조(Spatial Structure)를 표현합니다. 다중 시점 및 3D 표현(Multi-View and 3D Representation)은 시점 간 일관성을 제공하며, 장면 동역학 표현(Scene-Dynamics Representation)은 공간과 시간에 걸쳐 환경이 변화하는 방식을 포착합니다. 이러한 표현들은 서로 배타적인 대안이 아니라 서로 결합될 수 있습니다.

로보틱스에서 핵심적인 능력은 행동 조건부 예측(Action-Conditioned Prediction)입니다. 물리적 환경의 미래는 외부 동역학(External Dynamics)뿐만 아니라 로봇이 무엇을 선택하여 행동하는지에 의해서도 결정됩니다. 따라서 로봇이 직진하거나, 회전하거나, 정지하거나, 속도를 변경하거나, 팔을 움직이거나, 다른 궤적을 따라갈 경우 동일한 현재 상태(Current State)에서도 서로 다른 미래가 발생할 수 있습니다. 행동 조건부 월드 모델(Action-Conditioned World Model)은 현재 상태와 후보 행동(Candidate Action) 또는 행동 시퀀스(Action Sequence)를 함께 입력받아 그 결과로 발생할 미래 상태를 예측합니다. 이를 통해 비디오 예측(Video Prediction)은 실제 행동을 실행하기 전에 행동의 결과를 추정할 수 있는 상호작용형 모델(Interactive Model)로 전환됩니다.

이러한 능력은 상상(Imagination)과 롤아웃 기반 계획(Rollout-Based Planning)을 가능하게 합니다. 현재 세계 상태(Current World State)에서 시작하여 로봇은 여러 후보 행동 시퀀스를 월드 모델에 제공하고 이에 대응하는 미래 궤적(Future Trajectory)을 생성할 수 있습니다. 이러한 예측된 미래는 목표 진행도(Goal Progress), 충돌 위험(Collision Risk), 안전성(Safety), 편안함(Comfort), 효율성(Efficiency), 에너지 비용(Energy Cost), 도달 가능성(Reachability), 작업 성공(Task Success) 등에 따라 평가될 수 있습니다. 로봇은 모든 후보 행동을 실제 세계에서 실행할 필요가 없습니다. 대신 학습된 월드 모델(Learned World Model)을 내부 시뮬레이터(Internal Simulator)로 사용하여 실제 행동을 선택하기 전에 가능한 결과를 탐색할 수 있습니다.

예측 지평(Prediction Horizon)이 증가할수록 불확실성(Uncertainty)은 더욱 중요해집니다. 단기적인 미래는 비교적 예측하기 쉬울 수 있지만, 몇 초 이후 또는 여러 행동 이후의 미래에는 여러 가지 가능한 결과가 존재할 수 있습니다. 따라서 유용한 로봇 월드 모델은 증거가 하나의 확정적인 결과를 뒷받침하지 않는 경우 모든 가능성을 하나의 결정론적 궤적(Deterministic Trajectory)으로 압축해서는 안 됩니다. 자기회귀 모델(Autoregressive Model)은 미래를 순차적으로 생성할 수 있고, 확산 모델(Diffusion Model)은 다양한 미래 궤적을 샘플링할 수 있으며, 잠재 예측 모델(Latent Predictive Model)은 여러 대안 상태를 압축적으로 표현할 수 있습니다. 이러한 접근법을 통해 계획 시스템(Planning System)은 가능성이 높은 결과뿐만 아니라 가능성은 낮지만 잠재적으로 위험한 결과까지 고려할 수 있습니다.

장기 예측(Long-Horizon Prediction)은 오류가 누적되고 장면의 일관성이 저하될 수 있기 때문에 추가적인 어려움을 발생시킵니다. 객체가 물리적으로 올바른 궤적에서 점차 벗어날 수 있고, 가려진 객체가 잘못 사라질 수 있으며, 생성된 장면이 이전 관찰과 일관되지 않게 될 수 있습니다. 시간적 일관성(Temporal Consistency), 안정적인 잠재 표현(Stable Latent Representation), 다중 단계 학습(Multi-Step Training), 공간-시간 어텐션(Spatial-Temporal Attention), 물리적 제약(Physical Constraint)은 의미 있는 예측을 유지하는 데 도움을 줄 수 있습니다. 따라서 로보틱스에서 가장 가치 있는 예측은 반드시 시각적으로 가장 상세한 예측이 아니라, 예측 지평이 길어지더라도 계획에 충분히 일관되고 유용한 예측입니다.

비디오 월드 모델은 예측과 행동이 지속적으로 서로 영향을 미치는 폐루프 로봇 아키텍처(Closed-Loop Robotic Architecture)를 지원할 수 있습니다. 로봇은 먼저 환경을 관찰하고 현재 세계 상태를 인코딩합니다. 이후 모델은 후보 행동에 따른 가능한 미래를 예측하고, 계획기는 이를 평가하여 적절한 행동을 선택합니다. 로봇은 선택된 행동을 실제 물리적 환경에서 실행하고 새로운 관찰을 얻습니다. 이 새로운 정보는 세계 표현(World Representation)을 업데이트하고 또 다른 예측 주기를 시작합니다. 이러한 루프는 비디오 예측을 독립적인 컴퓨터 비전 모듈(Computer Vision Module)로 취급하는 것이 아니라 인식, 예측, 계획, 행동, 피드백을 연결합니다.

동일한 구조는 환경 동역학(Environmental Dynamics)과 로봇의 특정 행동 및 관찰을 분리할 수 있기 때문에 서로 다른 로봇 형태(Robot Embodiment)를 지원할 수 있습니다. 내비게이션 시스템은 자유 공간과 주변 교통의 변화를 예측할 수 있고, 매니퓰레이터(Manipulator)는 객체의 움직임과 접촉 결과(Contact Consequence)를 예측할 수 있으며, 자율주행 차량(Autonomous Vehicle)은 도로 이용자의 행동을 예상할 수 있고, 비행 로봇(Aerial Robot)은 변화하는 시점과 3차원 궤적을 추론할 수 있습니다. 인간-로봇 상호작용(Human-Robot Interaction) 역시 서로 다른 행동에 따라 사람과 로봇이 어떻게 반응할지를 예측함으로써 도움을 받을 수 있습니다. 공통적인 원리는 모델이 물리적 세계가 어떻게 변화할 수 있는지에 대한 내부 예측 표현(Internal Predictive Representation)을 제공한다는 것입니다.

이러한 모델의 학습은 시간적 연속성(Temporal Continuity) 자체가 학습 신호(Learning Signal)를 제공하기 때문에 대규모 비디오 데이터를 활용할 수 있습니다. 미래 프레임 예측(Future-Frame Prediction), 잠재 예측(Latent Prediction), 마스킹 영역 예측(Masked-Region Prediction), 시점 간 일관성(Cross-View Consistency), 멀티모달 정렬(Multimodal Alignment)은 모든 프레임에 수작업으로 라벨을 지정하지 않고도 학습을 위한 감독(Supervision)을 제공할 수 있습니다. 따라서 대규모의 비라벨 주행, 로봇, 조작, 환경 비디오 데이터는 일반적인 시각 동역학(Visual Dynamics)을 학습하는 데 기여할 수 있습니다. 그러나 실제 로봇 배치를 위해서는 모델이 장면의 모습뿐만 아니라 행동이 세계를 어떻게 변화시키는지도 학습할 수 있도록 행동, 실패(Failure), 상호작용, 물리적 결과(Physical Consequence)를 포함하는 작업 관련 데이터(Task-Relevant Data)가 추가로 필요합니다.

비디오 월드 모델의 실질적인 가치는 궁극적으로 생성된 이미지가 얼마나 사실적으로 보이는지가 아니라 그 예측이 실제 로봇의 의사결정(Robotic Decision Making)을 얼마나 잘 지원하는지에 따라 결정됩니다. 유용한 시스템은 환경 변화를 예측하고, 객체와 장면의 일관성을 유지하며, 불확실성을 표현하고, 반사실적 행동 평가(Counterfactual Action Evaluation)를 지원하며, 계획과 제어(Planning and Control)를 향상시키는 예측을 제공해야 합니다. 보다 넓은 Physical AI 아키텍처에서 비디오 월드 모델은 멀티모달 인식(Multimodal Perception)과 행동 조건부 동역학(Action-Conditioned Dynamics) 및 계획 사이를 연결하는 예측 계층(Predictive Layer)을 구성합니다. 이를 통해 시각적 경험(Visual Experience)은 미래 예측(Foresight)으로 변환되며, 로봇은 실제 세계에서 행동하기 전에 가능한 결과를 내부적으로 추론할 수 있습니다.

07.10. Latent Video Prediction [w/Code]

잠재 비디오 예측 모델(Latent Video Prediction Model)은 모든 미래 픽셀(Future Pixel)을 직접 생성하는 대신 압축된 표현 공간(Compact Representation Space)에서 미래를 예측합니다. 비디오 인코더(Video Encoder)는 먼저 최근 관찰(Recent Observation)을 움직임(Motion), 지속성(Persistence), 장면 구조(Scene Structure), 시간적 변화(Temporal Change)와 관련된 정보를 보존하는 잠재 상태(Latent State)로 변환합니다. 이후 예측기(Predictor)는 미래의 잠재 표현(Future Latent Representation)을 추정하며, 세밀한 외관이 필요한 경우 디코더(Decoder)가 선택적으로 시각적 관찰(Visual Observation)을 재구성할 수 있습니다. 이러한 분리를 통해 월드 모델(World Model)은 텍스처(Texture), 조명(Lighting), 센서 노이즈(Sensor Noise) 및 기타 픽셀 수준의 변화를 재현하는 데 대부분의 용량을 사용하는 대신, 기본 상태(Underlying State)가 어떻게 변화하는지에 집중할 수 있습니다.

기본적인 아키텍처는 인코더(Encoder), 잠재 상태(Latent State), 시간적 예측기(Temporal Predictor), 선택적 디코더(Optional Decoder)로 구성됩니다. (t-K)부터 (t)까지의 관찰 시퀀스(Observation Sequence)는 압축된 문맥 표현(Compact Context Representation) (z_t)로 인코딩됩니다. 예측기는 이 잠재 문맥(Latent Context)을 입력으로 받아 (\hat{z}*{t+1}, \hat{z}*{t+2}, \ldots, \hat{z}_{t+K})와 같은 하나 이상의 미래 상태를 추정합니다. 학습 과정에서는 이러한 예측값을 미래 관찰에서 얻은 목표 잠재 표현(Target Latent Representation)과 비교할 수 있습니다. 학습 목적 함수(Learning Objective)가 표현 공간에서 작동하기 때문에, 유용한 시간적 동역학(Temporal Dynamics)을 학습하기 위해 원본 비디오의 모든 픽셀을 반드시 재구성할 필요는 없습니다.

따라서 잠재 표현(Latent Representation)의 품질은 근본적으로 중요합니다. 유용한 잠재 상태는 미래 변화에 영향을 미치는 정보를 보존하면서 예측과 제어(Control)에 중요하지 않은 시각적 세부 사항은 억제해야 합니다. 객체(Object), 움직임(Motion), 공간적 관계(Spatial Relationship), 장면 구조(Scene Structure), 의미론적 상태(Semantic State)는 서로 구별될 수 있어야 하는 반면, 텍스처, 조명 또는 센서 노이즈의 사소한 변화는 종종 무관한 변동(Nuisance Variation)으로 처리할 수 있습니다. 이는 정보 병목(Information Bottleneck)을 형성하여 모델이 물리적 세계의 구조(Physical Structure)를 보다 압축적이고 안정적인 형태로 표현하도록 유도합니다.

시간적 문맥(Temporal Context)은 단일 관찰만으로는 기본적인 동역학(Underlying Dynamics)을 결정하기 어려운 경우가 많기 때문에 필수적입니다. 여러 개의 연속된 프레임을 사용하면 모델은 객체가 정지해 있는지, 가속하는지, 접근하는지, 회전하는지, 또는 다른 개체와 상호작용하는지를 추론할 수 있습니다. 인코더는 이러한 이력을 시간적 잠재 상태(Temporal Latent State)로 통합할 수 있으며, 예측기는 이 상태가 어떻게 변화하는지를 학습합니다. 단기 예측(Short-Horizon Prediction)은 즉각적인 변화를 포착할 수 있고, 장기 예측(Longer-Horizon Prediction)은 지속적인 구조와 느리게 변화하는 동역학에 집중할 수 있습니다. 따라서 동일한 잠재 표현이 여러 시간 규모(Temporal Scale)를 지원할 수 있습니다.

잠재 예측(Latent Prediction)은 마스킹 학습(Masked Learning)과 자기지도 학습(Self-Supervised Learning)에 자연스럽게 적합합니다. 일부 미래 프레임, 영역 또는 시간적 구간을 숨기고, 모델이 관찰 가능한 문맥으로부터 해당 영역의 잠재 표현을 예측하도록 학습할 수 있습니다. 실제 비디오의 시간적 연속성(Temporal Continuity)은 조밀한 수작업 라벨(Dense Manual Label)을 요구하지 않고도 학습 신호를 제공합니다. 이러한 접근법은 예측 표현 학습(Predictive Representation Learning) 및 JEPA 방식의 아키텍처(JEPA-Style Architecture)와 밀접하게 관련되어 있으며, 모델은 모든 픽셀을 재구성하는 대신 미래 또는 숨겨진 관찰의 의미 있는 표현(Meaningful Representation)을 예측하는 방법을 학습합니다. 결과적인 목적 함수는 불필요한 이미지 생성 요구를 피하면서 시간적 이해(Temporal Understanding)를 학습하도록 유도합니다.

서로 다른 시간 규모의 동역학을 학습하기 위해 여러 예측 지평(Multiple Prediction Horizon)을 사용할 수 있습니다. 다음 잠재 상태 하나만 예측하면 단기 전이 모델링(Short-Term Transition Modeling)을 강화하는 반면, 더 먼 미래의 상태를 예측하면 더 긴 시간 동안 유용한 정보를 보존하도록 표현을 학습하게 됩니다. 따라서 월드 모델은 (\hat{z}*{t+1}), (\hat{z}*{t+2}) 및 계속되는 상태를 (\hat{z}_{t+K})까지 예측할 수 있습니다. 다중 단계 예측(Multi-Step Prediction)은 장기 롤아웃(Long Rollout)에 필요한 안정성 요구 사항에도 모델을 노출합니다. 목표는 단순히 다음 예측을 정확하게 만드는 것이 아니라, 시간이 지나면서 예측이 계속되더라도 의미 있는 표현을 유지하는 것입니다.

잠재 비디오 예측(Latent Video Prediction)은 여러 가능한 미래(Multiple Plausible Future)도 표현할 수 있습니다. 보행자, 차량, 로봇 및 기타 에이전트가 여러 가지 방식으로 행동할 수 있기 때문에 물리적 미래는 불확실한 경우가 많습니다. 하나의 시각적으로 정밀한 시퀀스를 예측하는 대신, 모델은 여러 가능한 결과에 공통으로 존재하는 구조(Common Structure)를 표현할 수 있습니다. 확률적 잠재 동역학(Stochastic Latent Dynamics), 다중 예측 헤드(Multiple Prediction Head), 확률적 표현(Probabilistic Representation), 또는 잠재 공간에서의 확산 과정(Diffusion Process in Latent Space)은 이러한 다양성을 표현하기 위한 메커니즘을 제공할 수 있습니다. 이를 통해 월드 모델은 모든 가능한 픽셀 수준의 외관을 생성하지 않고도 불확실성을 보존할 수 있습니다.

행동 조건화(Action Conditioning)는 잠재 비디오 예측을 수동적 미래 예측(Passive Forecasting)에서 상호작용형 월드 모델링(Interactive World Modeling)으로 확장합니다. 현재 잠재 상태 (z_t)는 행동 또는 (a_t, a_{t+1}, \ldots)와 같은 행동 시퀀스와 결합될 수 있으며, 이를 통해 예측기는 서로 다른 행동에 따라 잠재 세계 상태가 어떻게 변화하는지를 추정할 수 있습니다. 서로 다른 조향 명령(Steering Command), 내비게이션 의사결정(Navigation Decision), 조작 행동(Manipulation Action)은 서로 다른 예측 잠재 궤적(Predicted Latent Trajectory)을 생성할 수 있습니다. 이를 통해 잠재 예측은 반사실적 추론(Counterfactual Reasoning)에 유용해집니다. 로봇은 모든 대안을 실제로 실행하지 않고도 하나의 행동 대신 다른 행동을 선택했을 때 어떤 일이 발생할 수 있는지를 평가할 수 있습니다.

잠재 롤아웃(Latent Rollout)은 상상(Imagination), 계획(Planning), 제어(Control)를 위한 효율적인 기반을 제공합니다. 현재 잠재 상태에서 시작하여 시스템은 서로 다른 행동 시퀀스에 따른 후보 미래 궤적(Candidate Future Trajectory)을 생성하고 목표 진행도(Goal Progress), 비용(Cost), 보상(Reward), 충돌 위험(Collision Risk), 안전성(Safety), 에너지(Energy), 작업 적합성(Task Compatibility) 등에 따라 이를 평가할 수 있습니다. 롤아웃이 압축된 표현 공간에서 수행되기 때문에 모든 후보에 대해 완전한 고해상도 비디오를 생성해야 하는 경우보다 많은 미래를 더 효율적으로 평가할 수 있습니다. 따라서 월드 모델은 물리적 실행 전에 의사결정(Decision Making)을 지원하는 내부 예측 시뮬레이터(Internal Predictive Simulator)가 됩니다.

잠재 예측(Latent Prediction)의 가장 강력한 장점 중 하나는 계산 효율성(Computational Efficiency)입니다. 원시 비디오(Raw Video)는 엄청난 수의 픽셀을 포함하지만, 압축된 잠재 상태는 작업에 필요한 정보만을 표현할 수 있습니다. 따라서 잠재 공간에서의 시간적 예측은 메모리(Memory), 대역폭(Bandwidth), 계산 요구량(Computational Requirement)을 줄일 수 있으며, 실시간 로보틱스(Real-Time Robotics)와 엣지 배포(Edge Deployment)에 매력적인 접근법이 됩니다. 이러한 계산 절감은 계획 과정에서 여러 미래 궤적을 반복적으로 평가해야 할 때 특히 중요합니다. 효율적인 잠재 동역학(Efficient Latent Dynamics)은 고정된 계산 예산(Computational Budget) 안에서 더 많은 예측 단계 또는 더 많은 후보 행동을 탐색할 수 있도록 합니다.

잠재 예측은 멀티모달 월드 모델(Multimodal World Model)을 위한 자연스러운 인터페이스도 제공합니다. 카메라 이미지(Camera Image), LiDAR, 깊이(Depth), 레이더(Radar), IMU, 자기수용감각(Proprioception), 로봇 상태(Robot State), 행동(Action)은 서로 다른 원시 데이터 구조를 가지지만 서로 호환 가능한 잠재 표현으로 인코딩될 수 있습니다. 공유 잠재 공간(Shared Latent Space)은 모달리티 사이에서 공통적인 정보를 포착하면서 필요한 경우 각 모달리티에 특화된 증거(Modality-Specific Evidence)를 보존할 수 있습니다. 이를 통해 이질적인 센서를 보다 쉽게 통합하고, 하나의 센서가 잡음이 많거나 누락되거나 부분적으로 성능이 저하된 경우에도 일관된 시간적 세계 상태(Temporal World State)를 유지할 수 있습니다. 따라서 잠재 표현은 인식(Perception), 동역학(Dynamics), 행동(Action)을 연결하는 중요한 접점이 됩니다.

가장 큰 위험은 정보 손실(Information Loss)입니다. 인코더가 관찰을 지나치게 강하게 압축하면 후속 작업에 필요한 세부 정보가 사라질 수 있습니다. 따라서 잠재 표현의 품질이 중요하며, 표현은 충분히 압축적이면서도 불충분하지 않아야 합니다. 표현 붕괴(Representation Collapse) 역시 중요한 문제입니다. 서로 다른 물리적 상태가 구별할 수 없는 잠재 상태로 매핑되어서는 안 되기 때문입니다. 학습 목적 함수(Training Objective)와 정규화(Regularization)는 유용한 구조(Informative Structure), 시간적 일관성(Temporal Consistency), 충분한 다양성(Sufficient Diversity)을 유지해야 합니다. 시각적 재구성이 필요한 경우 선택적 디코더(Optional Decoder)를 사용하여 잠재 상태를 다시 이미지 공간(Image Space)으로 변환할 수 있지만, 디코딩된 이미지는 예측 모델의 근본적인 목표라기보다는 가능한 출력(Possible Output)으로 보는 것이 적절합니다.

Physical AI에서 잠재 비디오 예측은 완벽한 시각적 재구성(Perfect Visual Reconstruction)보다 계획, 제어, 장기 예측, 멀티모달 융합(Multimodal Fusion), 실시간 추론(Real-Time Inference)이 더 중요한 경우에 특히 가치가 있습니다. 잠재 비디오 예측은 최근 관찰을 압축된 내부 세계 상태(Compact Internal World State)로 연결하고, 그 상태가 어떻게 변화할지를 예측하며, 대안적 미래를 평가하고, 계획과 제어에 직접 정보를 제공할 수 있습니다. 픽셀 공간 생성(Pixel-Space Generation)과 잠재 예측은 반드시 서로 배타적일 필요가 없습니다. 잠재 동역학은 빠른 예측적 추론(Predictive Reasoning)을 제공하고, 필요한 경우 선택적 디코더가 시각적 관찰을 재구성할 수 있습니다. 핵심 개념은 모든 미래 픽셀을 예측하는 데 계산 자원을 사용하는 것이 아니라, 미래 세계 상태의 의미와 구조(Meaning and Structure)를 효율적으로 예측하는 것입니다.


저자: Richard Minsoo Go

LinkedIn: Richard Minsoo Go

Top comments (0)