DEV Community

Richard Minsoo Go
Richard Minsoo Go

Posted on

World Models for Physical AI — Ch.08: Action Conditioned World Models [KR]

STATERA Library · Series 09 · Volume 07 · Chapter 08 · KR
Source: https://github.com/Statera-Library/09_Vol_07_World_Models_for_Physical_AI/blob/main/Chapter_08_Action_Conditioned_World_Models/Chapter_08_Action_Conditioned_World_Models_KR.md

Volume 07. World Models for Physical AI

Chapter 08. Action Conditioned World Models

08.01. Why Actions Must Condition the World Model

월드 모델(world model)이 현재 상태만을 기반으로 예측한다면 물리적 환경의 동역학(dynamics)을 완전히 표현하기 어렵습니다. 물리적 인공지능(Physical AI)에서는 에이전트(agent)가 자신의 행동(action)을 통해 지속적으로 세계를 변화시키며, 이러한 행동은 위치(position), 속도(velocity), 접촉(contact), 객체 구성(object configuration), 그리고 미래 관측(future observation)에 영향을 미칩니다. 따라서 유용한 월드 모델은 현재 세계가 어떠한지를 표현하는 것뿐만 아니라, 서로 다른 행동이 주어졌을 때 세계가 어떻게 변화할 것인지까지 표현해야 합니다.

핵심적인 관계는 상태-행동-다음 상태(state-action-next-state) 과정으로 표현할 수 있습니다. 현재 상태 (s_t)와 행동 (a_t)가 주어졌을 때 월드 모델은 다음 상태 (s_{t+1})을 예측합니다. 가장 단순한 형태로는 (s_{t+1}=f(s_t,a_t))로 표현할 수 있습니다. 따라서 행동은 단순히 예측 이후에 생성되는 출력(output)이 아니라, 어떤 미래 상태 전이를 예측해야 하는지를 결정하는 입력(input)이 됩니다. 이러한 구분은 월드 모델(world modeling)을 계획(planning) 및 제어(control)와 연결하는 데 fundamental한 요소입니다.

행동 조건화(action conditioning)가 없다면 모델은 특정 상태 다음에 어떤 상태가 일반적으로 나타나는지를 학습할 수는 있지만, 서로 다른 개입(intervention)에 의해 만들어지는 미래를 안정적으로 구별하기 어렵습니다. 예를 들어 자율 로봇(autonomous robot)이 장애물(obstacle)에 접근하고 있을 때 계속 전진하거나, 감속하거나, 정지하거나, 방향을 전환할 수 있습니다. 이러한 의사결정 직전의 시각적 관측(visual observation)은 거의 동일할 수 있지만, 그 이후의 미래 상태(future state)는 완전히 달라집니다. 따라서 월드 모델은 에이전트가 선택한 행동에 따라 서로 다른 미래를 예측할 수 있어야 합니다.

행동 조건화(action conditioning)는 월드 모델을 수동적인 예측 시스템(passive prediction system)에서 상호작용형 내부 시뮬레이터(interactive internal simulator)로 변화시킵니다. 에이전트는 단순히 "다음에 무엇이 일어날 것인가?"라고 묻는 것이 아니라 "내가 이 행동을 수행한다면 무엇이 일어날 것인가?"라고 질문할 수 있습니다. 이를 통해 실제 물리적 실행 이전에 여러 후보 행동(candidate action)을 가상으로 전개해 볼 수 있습니다. 이러한 능력은 모델 기반 계획(model-based planning), 모델 예측 제어(model predictive control), 행동 인식 강화학습(action-aware reinforcement learning)의 기반을 제공합니다.

물리적 인공지능 시스템(Physical AI system)에서 행동 표현(action representation)은 구현된 시스템(embodied system)의 실제 제어 인터페이스(control interface)에 대응해야 합니다. 행동은 정지(stop), 좌회전(turn left), 우회전(turn right)과 같은 이산적 결정(discrete decision)일 수도 있지만, 조향각(steering angle), 휠 속도(wheel velocity), 가속도(acceleration), 관절 토크(joint torque), 엔드이펙터(end-effector) 움직임과 같은 연속적인 모터 명령(continuous motor command)일 수도 있습니다. 따라서 월드 모델은 물리적 명령(physical command)이 환경(environment)과 로봇 자체의 변화를 어떻게 만들어내는지를 예측하는 데 필요한 정보를 보존하는 행동 표현을 필요로 합니다.

행동과 상태 전이(action and transition)의 관계는 물리적 시스템에 관성(inertia), 지연(delay), 마찰(friction), 액추에이터 한계(actuator limitation), 접촉 동역학(contact dynamics)이 존재하기 때문에 특히 중요합니다. 모터 명령(motor command)이 반드시 즉각적인 상태 변화(state change)를 만들어내는 것은 아닙니다. 오히려 행동은 시간적 전이 과정(temporal transition process)을 통해 시스템에 영향을 미칩니다. 따라서 행동 조건화 월드 모델(action-conditioned world model)은 각각의 명령을 독립적이고 순간적인 사건으로 취급하기보다는 지연된 효과(delayed effect), 누적된 움직임(accumulated motion), 연속적인 행동 사이의 상호작용(interaction)을 표현할 수 있어야 합니다.

행동 조건화(action conditioning)는 잠재 공간(latent space)에서도 수행될 수 있습니다. 관측(observation)을 잠재 상태(latent state) (z_t)로 변환하는 인코더(encoder)를 사용하고, 행동 조건화 동역학 모델(action-conditioned dynamics model)이 (z_t)와 (a_t)를 기반으로 미래 잠재 상태 (z_{t+1})을 예측하도록 구성할 수 있습니다. 이러한 접근법은 계획(planning)에 필요하지 않은 막대한 시각 정보(visual information)를 원시 관측(raw observation)에서 모두 예측할 필요가 없기 때문에 특히 유용합니다. 잠재 동역학(latent dynamics)은 작업과 관련된 공간적(spatial), 시간적(temporal), 의미적(semantic), 물리적(physical) 변화를 중심으로 학습할 수 있습니다.

동일한 원리는 자연스럽게 반사실적 추론(counterfactual reasoning)으로 이어집니다. 월드 모델이 행동에 조건화된 미래 상태를 예측할 수 있게 되면, 에이전트는 가능한 모든 개입을 실제로 실행하지 않고도 서로 다른 대안적 개입(alternative intervention)을 비교할 수 있습니다. 동일한 상태에서 출발하여 서로 다른 행동 시퀀스(action sequence)를 시뮬레이션하고 그 결과를 추정할 수 있습니다. 이를 통해 예측(prediction)에서 의사결정(decision making)으로 직접 연결되는 경로가 형성됩니다. 즉, 모델은 단순히 관측된 궤적(observed trajectory)의 가장 가능성 높은 연속을 예측하는 것을 넘어 "만약 이렇게 행동했다면 어떻게 되었을까"를 표현할 수 있게 됩니다.

장기적인 행동(long-horizon behavior)을 다루기 위해서는 하나의 행동만으로 미래를 표현하기 어렵습니다. 모델은 (a_t,a_{t+1},...,a_{t+H})와 같은 행동 시퀀스를 처리하고 그에 대응하는 상태 궤적(state trajectory)을 예측할 수 있어야 합니다. 이를 통해 고립된 하나의 명령이 아니라 완전한 후보 행동(candidate behavior)을 평가할 수 있습니다. 이러한 다중 행동 예측(multi-action prediction)은 내비게이션(navigation), 조작(manipulation), 자율주행(autonomous driving) 및 기타 물리적 인공지능 작업에서 특히 중요합니다. 이러한 작업에서는 하나의 행동이 성공할 수 있는지가 그 이후에 이어지는 행동에 크게 의존하기 때문입니다.

행동 조건화 예측(action-conditioned prediction)은 월드 모델과 제어(control)를 직접 연결합니다. 플래너(planner)가 후보 행동을 생성하고, 월드 모델이 그 결과를 예측하며, 컨트롤러(controller)가 예측된 결과 중 가장 바람직한 행동 시퀀스를 선택하거나 실행할 수 있습니다. 실행 이후에는 새로운 관측(new observation)이 내부 상태(internal state)를 업데이트하고 이 과정이 다시 반복됩니다. 이러한 폐루프 물리 지능 시스템(closed-loop physical intelligence system)은 관측(observe), 표현(represent), 상상(imagine), 평가(evaluate), 행동(act), 업데이트(update)의 과정으로 볼 수 있으며, 월드 모델은 물리적 지능 시스템 내부에서 미래를 예측하는 핵심 구성요소가 됩니다.

궁극적으로 행동이 월드 모델을 조건화해야 하는 이유는 물리적 인공지능(Physical AI)이 본질적으로 개입에 의해 작동하는 지능(intervention-driven intelligence)이기 때문입니다. 로봇은 단순히 독립적으로 변화하는 세계를 관측하는 것이 아니라, 자신의 움직임과 상호작용을 통해 지속적으로 세계를 변화시킵니다. 따라서 행동 조건화 월드 모델(action-conditioned world model)은 인식(perception)과 물리적 결과(physical consequence) 사이의 연결 고리를 제공하며, 시스템이 동역학(dynamics)을 학습하고, 대안적 미래를 상상하고, 위험(risk)을 평가하고, 계획을 지원하며, 실제 환경에 행동을 실행하기 전에 적절한 행동을 선택할 수 있도록 합니다. 이에 따라 해당 장의 구조도 상태-행동-다음 상태 모델링(state-action-next-state modeling)에서 시작하여 행동 임베딩(action embedding), 모터 명령과 세계 전이(motor command to world transition), 잠재 동역학(latent dynamics), 반사실적 롤아웃(counterfactual rollout), 다중 행동 예측(multi-action prediction), 그리고 제어를 위한 행동 조건화 모델(action-conditioned model for control)로 발전하도록 구성됩니다.

08.02. State Action Next State Modeling

월드 모델(world model)을 물리적 인공지능(Physical AI)을 위한 전이 모델(transition model)로 이해하면, 기본적으로 현재 상태(current state)와 적용된 행동(action)을 다음 상태(next state)로 매핑하는 모델이라고 할 수 있습니다. 기본적인 관계는 (s_{t+1}=f(s_t,a_t))로 표현되며, 여기서 (s_t)는 현재 상태(current state), (a_t)는 에이전트(agent)가 수행한 행동(action)을 의미합니다. 따라서 모델은 현재 세계가 어떤 모습인지만 학습하는 것이 아니라, 에이전트가 개입(intervention)했을 때 세계가 어떻게 변화하는지도 학습합니다.

현재 상태 (s_t)는 로봇(robot)과 환경(environment)의 관련 상태를 표현하는 데 필요한 정보를 포함해야 합니다. 적용 분야에 따라 위치(position), 속도(velocity), 자세(orientation), 객체(object), 점유 상태(occupancy), 의미 정보(semantics), 접촉 상태(contact), 작업 진행 상태(task progress) 또는 기타 물리적 변수(physical variables)가 포함될 수 있습니다. 현대의 월드 모델에서는 이러한 변수들을 명시적으로 표현할 수도 있고, 잠재 상태(latent state) (z_t)로 압축하여 표현할 수도 있습니다. 따라서 정확한 상태 추정(state estimation)은 매우 중요하며, 전이 모델(transition model)에 제공되는 상태의 품질이 예측 품질(prediction quality)에 직접적인 영향을 미칩니다.

행동 (a_t)는 시간 (t)에서 에이전트가 적용하는 개입(intervention)을 나타냅니다. 이는 조향 명령(steering command), 스로틀(throttle), 브레이크(brake), 휠 속도(wheel velocity), 관절 토크(joint torque), 엔드이펙터(end-effector) 움직임, 내비게이션 명령(navigation command), 또는 상위 수준의 동작 프리미티브(motion primitive)일 수 있습니다. 따라서 행동은 여러 수준의 추상화(abstraction)에서 표현될 수 있습니다. 낮은 수준의 행동(low-level action)은 모터 명령(motor command)을 나타내고, 중간 수준의 행동(mid-level action)은 스킬(skill)이나 동작 프리미티브(motion primitive)를 나타내며, 높은 수준의 행동(high-level action)은 목표(goal)나 내비게이션 목적지(navigation target)를 나타냅니다. 월드 모델은 이러한 행동의 결과를 예측하는 데 필요한 정보를 보존해야 합니다.

전이 모델(transition model)은 현재 상태와 행동을 함께 입력받아 다음 상태를 예측합니다. 학습 기반 모델(learned model)에서는 이를 (\hat{s}*{t+1}=f*\theta(s_t,a_t))로 표현할 수 있으며, 여기서 (f_\theta)는 신경망 기반 전이 모델(neural transition model)이고 (\hat{s}*{t+1})은 예측된 다음 상태(predicted next state)입니다. 잠재 표현(latent representation)을 사용하는 경우에는 동일한 과정을 (\hat{z}*{t+1}=f_\theta(z_t,a_t))로 표현할 수 있습니다. 따라서 전이 함수(transition function)는 행동이 물리적 시스템의 상태를 어떻게 변화시키는지를 월드 모델이 표현하는 핵심 메커니즘이 됩니다.

예측된 다음 상태(predicted next state)는 미래 세계(future world)의 다양한 측면을 표현할 수 있습니다. 자율주행 차량(autonomous vehicle)의 경우 미래 자기 차량 자세(future ego pose), 속도(velocity), 방향(orientation), 주변 객체의 움직임(surrounding-object motion), 점유 상태(occupancy), 의미 정보(semantic information) 등이 포함될 수 있습니다. 이동 로봇(mobile robot)의 경우 위치(position), 방향(heading), 주행 가능성(traversability), 장애물(obstacles), 작업 진행 상태(task progress) 등을 표현할 수 있습니다. 조작 로봇(manipulator)의 경우 관절 구성(joint configuration), 객체 자세(object pose), 접촉 상태(contact state), 상호작용 결과(interaction outcome) 등을 표현할 수 있습니다. 따라서 적절한 예측 대상(prediction target)은 물리적 작업(physical task)과 계획 및 제어(planning and control)에 필요한 추상화 수준에 따라 달라집니다.

다음 상태 모델링(next-state modeling)의 중요한 장점은 전이를 반복적으로 적용하여 미래 궤적(future trajectory)을 생성할 수 있다는 것입니다. (s_t)에서 시작하여 모델은 (\hat{s}*{t+1})을 예측하고, 이후 예측된 상태를 사용하여 (\hat{s}*{t+2})를 추정하며, 이를 더 긴 시간 범위(longer horizon)의 (\hat{s}_{t+H})까지 계속할 수 있습니다. 이러한 과정을 일반적으로 롤아웃(rollout)이라고 합니다. 단기 예측(short-horizon prediction)은 안정화(stabilization)와 즉각적인 피드백 제어(immediate feedback control)를 지원할 수 있으며, 장기 예측(long-horizon prediction)은 계획(planning), 추론(reasoning), 완전한 행동 시퀀스(action sequence)의 평가에 필요한 정보를 제공합니다.

동일한 현재 상태(current state)라도 선택된 행동에 따라 서로 다른 미래 상태가 만들어질 수 있습니다. 로봇이 장애물에 접근하고 있을 때 계속 전진하거나, 방향을 전환하거나, 감속하는 행동은 초기 상태가 동일하더라도 서로 다른 상태 궤적(state trajectory)을 만들어냅니다. 이것이 행동 조건화(action conditioning)가 예측 월드 모델(predictive world model)에 필수적인 이유입니다. 모델은 통제되지 않은 하나의 미래(uncontrolled future)만 예측하는 것이 아니라, 서로 다른 개입(intervention)에 대응하는 여러 가능한 미래(multiple possible futures)를 표현하고 플래너(planner)가 그 결과를 비교할 수 있도록 해야 합니다.

전이 함수(transition function)를 구현하는 방법에는 여러 가지가 있습니다. 분석적 모델(analytical model)은 (x_{t+1}=f(x_t,a_t))와 같은 운동학(kinematics) 및 동역학(dynamics)을 설명하는 물리 방정식(physical equation)을 사용할 수 있습니다. 학습 기반 모델(learned model)은 경험(experience)으로부터 신경망(neural network)을 사용하여 전이를 직접 근사할 수 있으며, (x_{t+1}\approx f_\theta(x_t,a_t))로 표현할 수 있습니다. 하이브리드 모델(hybrid model)은 분석적 물리 모델(analytical physics)과 학습된 잔차(residual)를 결합하여, 알려진 물리 구조(physical structure)는 유지하면서 명시적으로 모델링하기 어려운 효과를 학습할 수 있습니다. 이러한 접근법은 해석 가능성(interpretability), 유연성(flexibility), 데이터 요구량(data requirements), 일반화(generalization) 사이에서 서로 다른 절충점을 제공합니다.

예측 과정(prediction process)은 결정론적(deterministic) 방식뿐만 아니라 확률론적(probabilistic) 방식으로도 구현할 수 있습니다. 결정론적 모델(deterministic model)은 특정 상태-행동 쌍(state-action pair)에 대해 하나의 추정된 다음 상태를 생성하며, 동역학(dynamics)이 비교적 예측 가능한 경우 효과적으로 사용할 수 있습니다. 그러나 불확실한 환경(uncertain environment)에서는 관측 잡음(observation noise), 부분 관측성(partial observability), 확률적 사건(stochastic event), 모델의 불완전성(model imperfection), 다른 에이전트의 행동 등으로 인해 여러 결과가 가능할 수 있습니다. 따라서 확률적 전이 모델(probabilistic transition model)은 가능한 다음 상태(next state)의 분포(distribution)를 표현하고, 이후 계획 과정(planning)에 필요한 불확실성(uncertainty)과 위험(risk)에 대한 정보를 제공할 수 있습니다.

예측 오차(prediction error)는 학습(learning)과 지속적인 보정(continual correction)을 가능하게 하는 메커니즘입니다. 모델이 (\hat{s}*{t+1})을 예측한 후 실제 시스템(real system)은 관측된 다음 상태(observed next state) (s*{t+1})을 생성합니다. 예측과 관측 사이의 차이는 오류 신호(error signal)를 제공하며, 이를 사용하여 전이 모델(transition model)을 업데이트하고 미래 예측을 개선할 수 있습니다. 이를 통해 월드 모델이 결과를 예측하고, 로봇이 행동하고, 새로운 증거가 도착하며, 실제로 발생한 결과에 따라 모델이 보정되는 지속적인 예측-행동-관측 루프(prediction-action-observation cycle)가 형성됩니다.

따라서 상태-행동-다음 상태(state-action-next-state) 구조는 인식(perception), 예측(prediction), 계획(planning), 제어(control)를 연결하는 근본적인 다리를 형성합니다. 인식은 현재 상태를 추정하고, 행동은 개입(intervention)을 지정하며, 전이 모델은 그 결과로 발생하는 상태를 예측합니다. 플래너(planner)는 이 메커니즘을 사용하여 후보 행동(candidate action)을 롤아웃하고, 예측된 궤적(predicted trajectory)을 비교하며, 목표(goal)와 제약 조건(constraint)을 평가하고, 실제 실행에 앞서 적절한 행동을 선택할 수 있습니다. 이러한 관점에서 다음 상태 예측(next-state prediction)은 단순한 미래 예측(forecasting)이 아니라, 물리적 인공지능 시스템이 자신의 행동이 세계를 어떻게 변화시키는지를 추론할 수 있도록 하는 전이 연산자(transition operator)입니다.

실제 로봇(real robot) 또는 시뮬레이션(simulation) 경험으로부터 상태-행동-다음 상태 관계(state-action-next-state relationship)를 학습하는 것은 행동 조건화 월드 모델(action-conditioned world model)을 구축하는 직접적인 기반을 제공합니다. 각각의 경험 시퀀스(experience sequence)는 상태(state), 행동(action), 그리고 그 결과로 발생한 다음 상태(resulting next state)를 포함하는 학습 데이터(training example)를 생성할 수 있습니다. 환경(environment)과 행동(action)의 충분한 다양성이 확보되면 모델은 점점 더 일반적인 전이 패턴(transition pattern)을 학습할 수 있습니다. 이렇게 학습된 동역학(learned dynamics)은 이후 반사실적 예측(counterfactual prediction), 다단계 계획(multi-step planning), 모델 기반 제어(model-based control)를 지원하고, 궁극적으로 서로 다른 작업(task)과 물리적 구현체(physical embodiment)에 걸쳐 작동하는 보다 일반적인 월드 모델(world model)로 발전할 수 있습니다.

08.03. Action Encoding and Action Embeddings

행동 조건화 월드 모델(action-conditioned world model)은 현재 세계 상태(current world state)와 함께 처리할 수 있는 형태로 행동(action)을 표현해야 합니다. 원시 제어 명령(raw control command)은 서로 다른 특성을 갖는 경우가 많습니다. 조향(steering), 휠 속도(wheel velocity), 관절 토크(joint torque), 엔드이펙터 자세(end-effector pose), 그리퍼 개방 정도(gripper opening), 내비게이션 명령(navigation command) 등은 단위(unit), 범위(range), 차원(dimension), 시간적 특성(temporal characteristic)이 서로 다를 수 있습니다. 행동 인코딩(action encoding)은 이러한 이질적인 신호를 월드 모델이 서로 다른 개입(intervention)이 미래 상태에 어떤 영향을 미치는지 학습할 수 있도록 구조화된 표현(structured representation)으로 변환합니다.

행동 인코딩(action encoding)의 첫 번째 요구사항은 명령의 물리적 의미(physical meaning)를 보존하는 것입니다. 수치 벡터(numerical vector)는 여러 제어 변수를 포함할 수 있지만, 각 변수는 서로 다른 물리량(physical quantity)을 나타내고 서로 다른 스케일(scale)에서 작동할 수 있습니다. 따라서 행동을 임베딩(embedding)으로 변환하기 전에 정규화(normalization), 좌표 변환(coordinate transformation), 시간적 정렬(temporal alignment), 적절한 파라미터화(parameterization)가 중요할 수 있습니다. 목적은 단순히 행동을 압축하는 것이 아니라, 행동이 만들어내는 물리적 결과(physical consequence)를 예측하는 데 필요한 정보를 보존하는 표현을 생성하는 것입니다.

행동(action)은 서로 다른 추상화 수준(abstraction level)에서 표현될 수 있습니다. 낮은 수준의 행동(low-level action)은 관절 위치(joint position), 관절 속도(joint velocity), 토크(torque), 휠 속도(wheel velocity), 힘 명령(force command), 엔드이펙터 자세(end-effector pose)와 같은 액추에이터 실행(actuator execution)을 표현합니다. 중간 수준의 행동(intermediate action)은 동작 프리미티브(motion primitive), 조작 전략(manipulation strategy), 접근 방향(approach direction), 그립 선택(grasp selection), 접촉 시퀀스(contact sequence) 등을 표현할 수 있습니다. 높은 수준의 행동(high-level action)은 목표(goal), 작업 단계(task phase), 내비게이션 결정(navigation decision) 등을 표현할 수 있습니다. 이러한 수준들은 함께 존재할 수 있으며, 이를 통해 월드 모델은 높은 수준의 의도(high-level intent)와 낮은 수준의 물리적 실행(low-level physical execution)을 연결할 수 있습니다.

이산 행동(discrete action)과 연속 행동(continuous action)은 서로 다른 인코딩 전략(encoding strategy)을 필요로 합니다. PICK, PLACE, OPEN, MOVE_LEFT, STOP과 같은 이산 행동은 기호 식별자(symbolic identifier) 또는 학습된 임베딩 벡터(learned embedding vector)로 직접 표현할 수 있습니다. 조향각(steering angle), 휠 속도(wheel velocity), 관절 토크(joint torque), 그리퍼 위치(gripper position)와 같은 연속 행동은 정규화한 후 신경망 인코더(neural encoder)를 통해 연속적인 임베딩 공간(continuous embedding space)으로 투영할 수 있습니다. 이렇게 생성된 표현은 물리적 효과(physical effect)가 서로 유사한 행동들이 임베딩 공간에서 가까운 영역에 위치하도록 하면서도 정밀한 제어에 필요한 수치 정보를 유지할 수 있도록 합니다.

행동 임베딩(action embedding)은 현재 세계 상태의 잠재 표현(latent representation)과 결합할 수 있는 행동의 학습된 벡터 표현(learned vector representation)입니다. 현재 잠재 상태(current latent state)가 (z_t)이고 행동이 (a_t)라면, 행동 인코더(action encoder)는 (e_t=E_\phi(a_t))와 같이 임베딩을 생성할 수 있으며, 이후 동역학 모델(dynamics model)은 (z_{t+1}=F_\theta(z_t,e_t))를 사용하여 다음 상태(next state)를 예측할 수 있습니다. 이는 물리적 명령(physical command)과 동역학 모델이 사용하는 내부 표현(internal representation)을 분리하면서도 행동 공간(action space)과 잠재 월드 동역학(latent world dynamics) 사이에 유연한 인터페이스(interface)를 제공합니다.

다중 모달 로봇(multimodal robot)에서는 행동 임베딩(action embedding)이 서로 다른 구현체(embodiment) 사이에서 공통 표현(common representation)을 제공할 수도 있습니다. 이동 로봇(mobile robot)은 휠 속도를 통해 움직임을 표현할 수 있는 반면, 조작 로봇(manipulator)은 관절 명령(joint command)을 사용하고, 비행 로봇(aerial robot)은 추력(thrust)과 자세 제어(attitude control)를 사용할 수 있습니다. 이들의 원시 행동 공간(raw action space)은 근본적으로 서로 다르지만, 임베딩 공간(embedding space)은 목표를 향해 이동하기, 방향 변경하기, 객체에 접근하기, 접촉 유지하기와 같은 상위 수준의 유사성(higher-level similarity)을 표현할 수 있습니다. 이는 표현이 단순히 하드웨어에 특화된 정보(hardware-specific information)가 아니라 기능적 정보(functional information)를 포착할 경우, 구현체 간 학습(cross-embodiment learning)을 위한 중요한 기반이 됩니다.

행동이 시퀀스(sequence)로 생성될 때 행동 인코딩(action encoding)은 특히 중요해집니다. 각각의 모터 명령(motor command)을 독립적으로 처리하는 대신 접근(approach), 파지(grasp), 들어 올리기(lift), 운반(transport), 배치(place)와 같은 시간적 패턴(temporal pattern)을 표현할 수 있습니다. 이후 시퀀스 모델(sequence model)은 관측(observation) 및 잠재 상태(latent state)와 함께 행동 임베딩(action embedding)을 처리하여 연속적인 행동 사이의 의존관계(dependency)를 학습할 수 있습니다. 이를 통해 월드 모델은 하나의 명령이 만드는 즉각적인 결과뿐만 아니라, 서로 조정된 행동들의 시퀀스(coordinated action sequence)가 장기적인 상태 전이(longer-term state transition)를 어떻게 만들어내는지도 예측할 수 있습니다.

행동 인코딩(action encoding)과 토큰화(tokenization)의 관계는 로봇 파운데이션 모델(robot foundation model)과 시각-언어-행동(Vision-Language-Action, VLA) 시스템에서 특히 중요합니다. 연속적인 궤적(continuous trajectory)은 이산적인 구간(discrete bin)이나 코드북 항목(codebook entry)으로 양자화(quantization)하여 행동 토큰(action token)을 생성할 수 있으며, 이를 통해 Transformer 기반 모델(Transformer-based model)이 행동을 자기회귀적(autoregressive)으로 예측할 수 있습니다. 반대로 연속적인 잠재 행동 임베딩(continuous latent action embedding)은 정밀한 로봇 명령(precise robot command)으로 디코딩될 수 있습니다. 하이브리드 접근법(hybrid approach)은 높은 수준의 추론(high-level reasoning)을 위해 이산 토큰(discrete token)을 사용하면서 정확한 물리적 실행(physical execution)을 위해 연속 표현(continuous representation)을 사용하는 방식으로, 기호적 의사결정(symbolic decision making)과 낮은 수준의 제어(low-level control)를 연결할 수 있습니다.

유용한 행동 임베딩(useful action embedding)은 원래 명령(original command)을 단순히 복원하는 것 이상의 기능을 제공해야 합니다. 동역학 모델(dynamics model)이 행동의 세계에 대한 예측된 효과(predicted effect)를 기준으로 행동을 구별하는 데 도움을 주어야 합니다. 수치적으로 서로 다른 두 명령이라도 유사한 물리적 결과를 만들어낸다면 서로 연관된 표현(related representation)을 갖는 것이 유리할 수 있습니다. 반대로 수치적으로 작은 차이를 갖는 명령이라도 결과가 매우 다르다면 서로 구별 가능한 표현(distinguishable representation)을 유지해야 합니다. 따라서 행동 임베딩은 제어 신호의 단순한 압축본이라기보다 개입 구조(intervention structure)를 학습하기 위한 인터페이스(interface)가 됩니다.

행동 임베딩(action embedding)은 관측된 상태-행동-다음 상태 시퀀스(observed state-action-next-state sequence)를 사용하여 월드 모델(world model)과 함께 공동으로 학습할 수 있습니다. 인코더(encoder)는 기록된 행동(recorded action)을 임베딩으로 변환하고, 동역학 모델(dynamics model)은 그 결과로 발생하는 상태를 예측하며, 예측 오차(prediction error)는 두 구성요소 모두에 대한 학습 신호(learning signal)를 제공합니다. 추가적인 목적 함수(additional objective)는 시간적 일관성(temporal consistency), 행동 복원(action reconstruction), 대조적 유사성(contrastive similarity), 작업별 예측 성능(task-specific predictive performance)과 같이 임베딩 공간에서 유용한 구조를 형성하도록 할 수 있습니다. 그러나 핵심적인 기준은 해당 표현이 행동의 결과에 대한 예측을 실제로 향상시키는가에 있습니다.

행동 인코딩(action encoding)의 궁극적인 목적은 물리적 명령(physical command)과 세계 동역학(world dynamics) 사이에 안정적인 인터페이스(stable interface)를 구축하는 것입니다. 잘 설계된 표현은 하나의 월드 모델이 서로 다른 형태의 행동(heterogeneous action)을 입력받고, 그 결과를 예측하며, 서로 다른 개입을 비교하고, 계획(planning)과 제어(control)를 지원할 수 있도록 합니다. Chapter 08의 구조에서 이러한 개념은 상태-행동-다음 상태 모델링(state-action-next-state modeling)에서 연속 및 이산 행동 공간(continuous and discrete action spaces), 모터 명령과 세계 전이(motor-command-to-world transition), 잠재 동역학(latent dynamics), 반사실적 롤아웃(counterfactual rollout), 다중 행동 예측(multi-action prediction), 그리고 행동 조건화 제어(action-conditioned control)로 이어지는 개념적 연결고리를 제공합니다.

08.04. Continuous and Discrete Action Spaces

물리적 인공지능(Physical AI)에서 행동 공간(action space)은 에이전트(agent)가 로봇(robot)과 환경(environment)에 적용할 수 있는 명령(command)의 집합을 정의합니다. 행동은 조향각(steering angle), 휠 속도(wheel velocity), 가속도(acceleration), 관절 위치(joint position), 토크(torque)와 같은 연속적인 수치량(continuous numerical quantity)일 수도 있고, 정지(stop), 좌회전(turn left), 파지(grasp), 배치(place), 작업 단계 변경(change task phase)과 같은 이산적인 선택(discrete choice)일 수도 있습니다. 이러한 행동 공간 표현(action-space representation)의 선택은 월드 모델(world model)이 동역학(dynamics)을 학습하고, 결과를 예측하며, 계획(planning)과 제어(control)를 지원하는 방식에 큰 영향을 미칩니다.

연속 행동 공간(continuous action space)은 일반적으로 물리적으로 의미 있는 범위(physically meaningful range) 내의 실수값 변수(real-valued variable)를 사용하여 행동을 표현합니다. 이동 로봇(mobile robot)은 조향(steering)과 휠 속도(wheel velocity)를 사용할 수 있고, 조작 로봇(manipulator)은 관절 위치(joint position), 관절 속도(joint velocity), 토크(torque), 엔드이펙터 좌표(end-effector coordinate) 등을 사용할 수 있습니다. 연속 표현(continuous representation)은 세밀한 정보(fine-grained information)를 보존하며, 명령(command)의 작은 변화가 예측된 행동(predicted behavior)의 작은 변화로 이어지도록 할 수 있습니다. 따라서 정밀한 물리적 제어(precise physical control)와 궤적 최적화(trajectory optimization)에 특히 적합합니다.

연속 행동(continuous action)은 (a_t \in \mathbb{R}^d)와 같은 벡터(vector)로 표현할 수 있으며, 여기서 각 차원(dimension)은 하나의 제어 변수(control variable)에 대응합니다. 월드 모델(world model)은 (z_{t+1}=F_\theta(z_t,a_t))와 같은 전이(transition)를 학습할 수 있으며, 여기서 (z_t)는 현재 잠재 상태(current latent state), (a_t)는 연속 행동(continuous action)을 의미합니다. 행동이 미분 가능(differentiable)이기 때문에, 경우에 따라 원하는 미래 상태(desirable future state)를 생성하는 행동을 찾기 위해 경사 기반 최적화(gradient-based optimization)를 사용할 수 있습니다. 이는 연속 행동 모델링(continuous action modeling), 계획(planning), 모델 기반 제어(model-based control)를 직접 연결해 줍니다.

반면 이산 행동 공간(discrete action space)은 행동을 유한한 집합의 범주(category), 기호(symbol), 토큰(token)으로 표현합니다. 예로 STOP, MOVE_FORWARD, TURN_LEFT, TURN_RIGHT, PICK, PLACE, OPEN 등이 있습니다. 이산 행동(discrete action)은 여러 개의 낮은 수준 물리적 움직임(low-level physical movement)을 의미 있는 하나의 의사결정(meaningful decision)으로 묶어 의미적 추상화(semantic abstraction)를 제공합니다. 따라서 정확한 모터 명령(exact motor command)이 이후에 낮은 수준의 컨트롤러(low-level controller)나 정책(policy)에 의해 결정되는 경우, 시퀀스 모델링(sequence modeling)과 높은 수준의 추론(high-level reasoning)을 단순화할 수 있습니다.

이산 행동(discrete action)은 (a_t \in {1,\ldots,K})와 같은 인덱스(index) 또는 토큰(token)으로 표현할 수 있습니다. 이후 월드 모델(world model)은 연속적인 수치 명령(continuous numerical command)을 직접 처리하는 대신 가능한 다음 행동(next action)이나 상태(state)에 대한 확률 분포(probability distribution)를 예측할 수 있습니다. 이러한 방식은 범주형 모델(categorical model) 및 Transformer 기반 자기회귀 시퀀스 구조(autoregressive sequence architecture)와 자연스럽게 결합됩니다. 또한 이산 표현(discrete representation)은 로봇 파운데이션 모델(robot foundation model)을 위한 작고 재사용 가능한 행동 어휘(compact and reusable action vocabulary)를 제공할 수 있습니다.

연속 행동(continuous action)과 이산 행동(discrete action)의 차이는 단순히 두 가지 수학적 형식(mathematical format) 중 하나를 선택하는 문제가 아닙니다. 이는 물리적 지능(physical intelligence)에서 서로 다른 추상화 수준(abstraction level)을 반영합니다. 낮은 수준의 제어(low-level control)는 정밀한 움직임(motion), 힘(force), 속도(velocity), 궤적(trajectory) 정보를 보존해야 하기 때문에 일반적으로 연속적인 수량(continuous quantity)을 필요로 합니다. 반면 높은 수준의 행동(higher-level behavior)은 모든 모터 명령을 지정하지 않고도 접근(approach), 파지(grasp), 들어 올리기(lift), 배치(place), 정지(stop)와 같은 의미 있는 작업 단계를 표현할 수 있기 때문에 이산적으로 표현할 수 있습니다.

두 가지 표현은 계층적으로(hierarchically) 결합할 수도 있습니다. 높은 수준의 이산 행동(high-level discrete action)이 현재 작업 단계(task phase)나 행동(behavior)을 선택하고, 연속 컨트롤러(continuous controller)가 해당 단계를 실행하는 데 필요한 세부적인 궤적(detailed trajectory)을 생성할 수 있습니다. 예를 들어 로봇이 이산 행동 GRASP를 선택한 다음, 연속적인 관절 위치(joint position), 속도(velocity), 엔드이펙터 움직임(end-effector motion)을 사용하여 실제 파지(grasp)를 수행할 수 있습니다. 이러한 구조에서는 이산 행동(discrete action)이 의미적 지침(semantic guidance)을 제공하고, 연속 상태와 제어(continuous state and control)가 각 작업 단계 내부에서 세밀한 물리적 변화(fine-grained physical evolution)를 표현합니다.

행동 공간(action space)은 불확실성(uncertainty)을 표현하는 방식에도 영향을 줍니다. 연속 행동(continuous action)은 자연스럽게 연속적인 예측 분포(continuous predictive distribution)로 이어지며, 가능한 결과의 세밀한 변화를 표현할 수 있습니다. 반면 이산 행동(discrete action)은 범주형 대안(categorical alternative)을 사용하므로 서로 다른 행동 모드(behavioral mode)를 보다 명확하게 분리할 수 있습니다. 어느 하나의 표현이 항상 우수한 것은 아닙니다. 적절한 선택은 월드 모델이 정밀한 물리량(precise physical quantity), 의미적 추상화(semantic abstraction), 확장 가능한 시퀀스 모델링(scalable sequence modeling), 또는 이들의 조합을 필요로 하는지에 따라 달라집니다.

장기 예측(long-horizon prediction)에서는 이러한 차이가 특히 중요해집니다. 연속 행동(continuous action)은 부드러운 궤적(smooth trajectory)을 미래로 전개할 수 있지만, 작은 수치적 예측 오차(numerical prediction error)가 여러 단계에 걸쳐 누적될 수 있습니다. 이산 행동(discrete action)은 모델을 인식 가능한 범주(recognizable category)로 제한하지만, 토큰 또는 범주 예측 오류(token or category prediction error)가 갑작스러운 변화를 발생시키고 장기 시퀀스에서 누적될 수도 있습니다. 따라서 실제 월드 모델(practical world model)은 행동 표현의 해상도(resolution)와 다단계 예측(multi-step prediction)의 안정성을 함께 고려해야 합니다.

행동 토큰화(action tokenization)는 연속 공간(continuous space)과 이산 공간(discrete space)을 연결하는 또 하나의 방법을 제공합니다. 연속적인 제어값(continuous control value)이나 궤적(trajectory)을 여러 구간(bin)으로 나누거나 벡터 양자화(vector quantization)를 통해 유한한 행동 토큰(finite action token)으로 변환할 수 있습니다. 이러한 토큰은 이후 Transformer 또는 다른 시퀀스 모델(sequence model)에 의해 순차적으로 예측될 수 있습니다. 이를 통해 표현은 언어와 유사한 자기회귀 모델링(language-like autoregressive modeling)에 더욱 적합해지며, 디코딩(decoding)을 통해 예측된 토큰을 실제 물리적 실행에 사용할 수 있는 근사 연속 명령(approximate continuous command)으로 다시 변환할 수 있습니다.

따라서 하이브리드 행동 표현(hybrid action representation)은 이산적인 의미적 의사결정(discrete semantic decision)과 연속적인 물리적 실행(continuous physical execution)을 결합할 수 있습니다. 이산 토큰(discrete token)은 작업 의도(task intent), 행동 모드(behavior mode), 작업 단계(action phase)를 표현하고, 연속 임베딩(continuous embedding)이나 제어 벡터(control vector)는 로봇에 필요한 정밀도를 보존할 수 있습니다. 이러한 구조는 기호적 추론(symbolic reasoning)과 물리적 제어(physical control)를 연결할 수 있으며, 서로 다른 로봇이 서로 다른 낮은 수준의 명령(low-level command)을 사용하더라도 이를 서로 관련된 높은 수준의 행동 표현(higher-level action representation)으로 매핑할 수 있는 구현체 간 학습(cross-embodiment learning)을 지원할 수 있습니다. 결과적으로 월드 모델은 여러 수준에서 추론하면서도 정확한 실행에 필요한 물리적 세부 정보를 유지할 수 있습니다.

핵심 설계 원칙(central design principle)은 행동 공간(action space)이 월드 모델의 목적(purpose)에 맞아야 한다는 것입니다. 연속 행동(continuous action)은 정밀한 물리량(precise quantity), 부드러운 동역학(smooth dynamics), 궤적 최적화(trajectory optimization), 세밀한 제어(fine-grained control)가 중요한 경우 가장 유용합니다. 이산 행동(discrete action)은 의미적 추상화(semantic abstraction), 기호적 추론(symbolic reasoning), 압축된 표현(compact representation), 확장 가능한 시퀀스 예측(scalable sequence prediction)이 중요한 경우 유용합니다. 하이브리드 및 계층적 행동 공간(hybrid and hierarchical action space)은 이러한 장점을 결합하여 물리적 인공지능 시스템(Physical AI system)이 높은 수준의 의사결정(high-level decision)과 낮은 수준의 물리적 동역학(low-level physical dynamics)을 연결하고, 예측(prediction), 계획(planning), 제어(control)의 각 단계에서 적절한 표현을 사용할 수 있도록 합니다.

08.05. Motor Command to World Transition

물리적 인공지능 시스템(Physical AI system)은 궁극적으로 실제 세계(real world)에 작용하는 모터 명령(motor command)을 통해 자신의 의사결정(decision)을 표현합니다. 조향 명령(steering command), 휠 속도(wheel velocity), 관절 토크(joint torque), 그리퍼 움직임(gripper motion), 액추에이터 위치(actuator position)는 그 자체가 최종적인 상태 변화(state change)는 아니며, 로봇과 환경의 새로운 구성을 만들어내는 개입(intervention)입니다. 따라서 핵심적인 문제는 명령된 모터 행동(commanded motor action)에서 그 결과로 발생하는 물리적 세계 상태(physical world state)로의 전이(transition)를 모델링하는 것이며, 이를 통해 행동 조건화 예측(action-conditioned prediction)을 실제 구현체(embodiment) 및 동역학(dynamics)과 연결할 수 있습니다.

전이는 로봇과 주변 세계의 현재 상태(current state)에서 시작됩니다. 상태(state)는 작업과 관련된 로봇 자세(robot pose), 속도(velocity), 관절 구성(joint configuration), 액추에이터 상태(actuator condition), 접촉 상태(contact state), 객체(objects), 장애물(obstacles), 지형(terrain) 및 기타 환경 정보(environmental information)를 포함할 수 있습니다. 이후 모터 명령(motor command)이 이 상태에 적용되고, 물리 시스템(physical system)은 운동학(kinematics), 동역학(dynamics), 액추에이터 특성(actuator characteristics), 접촉(contact), 환경 조건(environmental conditions)에 따라 반응합니다. 월드 모델(world model)은 이러한 변환(transformation)을 학습하거나 표현하여 실제 행동이 완료되기 전에 그 결과로 발생할 다음 상태(next state)를 예측하려고 합니다.

유용한 표현은 (s_{t+1}=f(s_t,a_t))이며, 여기서 (s_t)는 현재 상태(current state), (a_t)는 모터 명령(motor command), (s_{t+1})은 그 결과로 발생하는 다음 상태(resulting next state)입니다. 실제 시스템에서는 이러한 전이를 (z_{t+1}=F_\theta(z_t,e_t))와 같이 잠재 공간(latent space)에서 표현할 수도 있으며, 이때 행동(action)은 먼저 행동 임베딩(action embedding) (e_t)로 변환됩니다. 따라서 전이 함수(transition function)는 로봇이 무엇을 명령하는지와 그 이후 물리적 세계에서 무엇이 변화하는지 사이의 관계를 표현합니다. 이는 월드 모델이 단순히 관측 기반(observational) 모델에 머무르지 않고 행동 조건화(action-conditioned) 모델이 되도록 하는 기본적인 메커니즘입니다.

모터 명령(motor command)과 세계 전이(world transition)의 관계는 거의 순간적으로 발생하거나 완전히 결정론적이지 않습니다. 모터에는 응답 지연(response delay), 포화(saturation), 데드존(dead zone), 백래시(backlash), 제한된 토크(limited torque), 제어 루프 동역학(control-loop dynamics)이 존재합니다. 또한 기계 시스템(mechanical system)에는 관성(inertia), 마찰(friction), 감쇠(damping), 순응성(compliance), 접촉력(contact force), 구조적 제약(structural constraint)이 존재합니다. 따라서 동일한 명령이라도 로봇의 현재 속도(current velocity), 탑재 하중(payload), 지형(terrain), 접촉 조건(contact condition), 배터리 상태(battery state), 주변 환경(surrounding environment)에 따라 서로 다른 결과를 만들어낼 수 있습니다. 따라서 유용한 전이 모델(transition model)은 명령을 고립된 수치 입력(isolated numerical input)으로 취급하기보다는 해당 명령이 적용되는 물리적 맥락(physical context)을 학습해야 합니다.

전이는 여러 중간 수준(intermediate level)을 포함할 수도 있습니다. MOVE_FORWARD와 같은 높은 수준의 결정(high-level decision)은 결국 속도 명령(velocity command)이 되고, 이는 컨트롤러(controller)에 의해 휠 또는 모터 명령(wheel or motor command)으로 변환되며, 이러한 명령이 실제 물리적 움직임(physical motion)을 만들어냅니다. 마찬가지로 GRASP와 같은 조작 목표(manipulation goal)는 동작 궤적(motion trajectory), 관절 명령(joint command), 액추에이터 토크(actuator torque), 접촉력(contact force)으로 변환되고, 최종적으로 객체 구성(object configuration)의 변화를 만들어낼 수 있습니다. 월드 모델은 이러한 관계를 서로 다른 추상화 수준(abstraction level)에서 표현할 수 있으며, 이를 통해 높은 수준의 행동(high-level action)을 실제 물리적 변화를 만들어내는 낮은 수준의 모터 동역학(low-level motor dynamics)과 연결할 수 있습니다.

월드 모델(world model)의 중요한 역할은 모터 명령(motor command)의 물리적 상태 전이(physical state transition)뿐만 아니라 그 명령으로 인해 발생하는 감각적 결과(sensory consequence)도 예측하는 것입니다. 명령은 로봇의 위치(position)와 속도(velocity)를 변화시키지만 동시에 카메라(camera), LiDAR, IMU, 힘 센서(force sensor) 및 기타 센서가 관측하게 될 내용도 변화시킵니다. 따라서 순방향 모델(forward model)은 미래 상태(future state)를 예측한 다음 관측 모델(observation model)을 사용하여 이에 대응하는 미래 관측(future observation)을 추정할 수 있습니다. 이러한 예측을 실제 감각 피드백(actual sensory feedback)과 비교하면 예측 오차(prediction error)가 생성되며, 이를 사용하여 상태 추정(state estimation), 전이 모델(transition model), 기타 시스템 구성요소를 업데이트할 수 있습니다.

이러한 과정은 지속적인 행동-예측-관측 루프(action-prediction-observation loop)를 형성합니다. 시스템은 현재 상태를 추정하고, 모터 명령을 생성하거나 전달받으며, 그 결과로 발생할 상태와 관측을 예측하고, 명령을 실행한 후 물리적 환경으로부터 실제 피드백(actual feedback)을 받습니다. 예측된 결과와 관측된 결과를 비교하고, 그로부터 발생한 오차(error)를 적응(adaptation)과 학습(learning)에 사용할 수 있습니다. 이러한 루프를 통해 모델은 명령과 물리적 결과 사이의 관계를 점진적으로 학습하면서 내부 예측(internal prediction)과 실제 세계의 증거(real-world evidence) 사이의 연결을 유지할 수 있습니다.

동일한 구조는 단기 및 장기 예측(short- and long-horizon prediction)을 지원합니다. 즉각적인 제어(immediate control)를 위해 모델은 다음 제어 주기(next control cycle)와 같이 매우 짧은 시간 간격에서 모터 명령의 효과를 예측할 수 있습니다. 계획(planning)을 위해서는 전이 모델(transition model)을 반복적으로 적용하여 미래 상태의 시퀀스(sequence of future states)를 생성할 수 있습니다. 시간 (t)에서의 명령은 (s_{t+1})을 생성하고, 이 상태가 다시 (s_{t+2})를 예측하는 기반이 되며, 이러한 과정이 계속됩니다. 이러한 방식으로 개별 모터 명령(individual motor command)은 로봇과 환경의 미래 변화 과정을 표현하는 궤적(trajectory)으로 결합될 수 있습니다.

모터 명령 모델링(motor-command modeling)은 자기 원인 변화(self-caused change)와 외부 사건(external event)을 구별하는 데에도 필수적입니다. 로봇이 가속하고 있을 때 카메라 영상에서 어떤 객체가 움직이는 것처럼 보인다면, 월드 모델은 그 변화가 로봇 자신의 움직임에 의해 발생한 것인지, 객체 자체의 움직임에 의한 것인지, 또는 두 가지가 결합된 것인지를 판단할 수 있어야 합니다. 모터 명령은 에이전트 자신이 시작한 개입(intervention)을 명시하기 때문에 중요한 인과적 정보(causal information)를 제공합니다. 이를 통해 월드 모델은 미래 관측(future observation)의 어떤 부분이 행동을 통해 제어될 수 있고 어떤 부분이 환경에서 독립적으로 발생하는지를 학습할 수 있습니다.

서로 다른 구현 방식은 모터에서 세계로의 전이(motor-to-world transition)를 분석적(analytical), 학습 기반(learned), 또는 하이브리드(hybrid) 형태로 표현할 수 있습니다. 분석적 모델(analytical model)은 알려진 운동학(kinematics)과 동역학(dynamics)을 사용하여 명령에 따른 상태 변화를 계산합니다. 학습 기반 모델(learned model)은 수집된 상태-행동-다음 상태 경험(state-action-next-state experience)으로부터 전이를 직접 추론합니다. 하이브리드 모델(hybrid model)은 물리 방정식(physical equation)과 학습된 잔차(learned residual)를 결합하여, 알려진 동역학은 구조(structure)를 제공하고 신경망 모델(neural model)은 분석적으로 표현하기 어려운 효과를 학습하도록 합니다. 적절한 균형은 사용 가능한 데이터(available data), 모델 복잡도(model complexity), 물리 지식(physical knowledge), 필요한 일반화 능력(required generalization)에 따라 달라집니다.

궁극적으로 모터 명령에서 세계 전이로의 모델링(motor-command-to-world-transition modeling)은 행동 조건화 월드 모델(action-conditioned world model)에 물리적 기반(physical grounding)을 제공합니다. 행동(action)은 더 이상 단순히 예측 앞에 놓이는 추상적인 기호(abstract symbol)가 아니라, 시간에 걸쳐 그 결과가 표현되어야 하는 물리적으로 의미 있는 개입(physically meaningful intervention)이 됩니다. 월드 모델은 명령이 액추에이터(actuator), 기계 구조(mechanics), 접촉(contact), 로봇 신체(robot body), 외부 환경(external environment)을 거쳐 어떻게 전파되는지를 학습함으로써 미래 상태와 관측(future states and observations)을 예측하고, 대안적 행동(alternative actions)을 비교하며, 계획(planning)을 지원하고, 예측 오차(prediction error)를 통해 제어(control)를 개선할 수 있습니다. 이는 이후 행동 조건화 잠재 동역학(action-conditioned latent dynamics), 반사실적 롤아웃(counterfactual rollout), 다중 행동 시퀀스 예측(multi-action sequence prediction), 월드 모델 기반 제어(world-model-based control)로 발전하는 기반을 형성합니다.

08.06. Action Conditioned Latent Dynamics

행동 조건화 잠재 동역학(action-conditioned latent dynamics)은 명시적인 물리 상태(explicit physical state)를 사용하는 기본적인 월드 모델(world model)의 전이를 압축된 잠재 표현(latent representation)으로 확장합니다. 모든 관측 가능한 변수를 직접 예측하는 대신, 시스템은 현재 관측(current observation) 또는 다중 모달 센서 정보(multimodal sensor information)를 잠재 상태(latent state) (z_t)로 인코딩하고, 적용된 행동(action)을 행동 표현(action representation) (e_t)로 인코딩한 다음 (z_{t+1}=F_\theta(z_t,e_t))와 같은 전이를 학습합니다. 따라서 잠재 동역학 모델(latent dynamics model)은 에이전트(agent)의 행동이 시간에 따라 물리적 세계에 대한 내부 표현(internal representation)을 어떻게 변화시키는지를 학습합니다.

잠재 상태 (z_t)는 원시 관측(raw observation)에서 불필요한 세부 정보를 제거하면서 미래 결과(future consequence)를 예측하는 데 중요한 정보를 보존하도록 설계됩니다. 이동 로봇(mobile robot)의 경우 이러한 표현은 공간 구조(spatial structure), 자기 움직임(ego motion), 장애물(obstacle), 객체 움직임(object motion), 지형(terrain), 작업 관련 의미 정보(task-relevant semantics)를 암묵적으로 포함할 수 있습니다. 조작 로봇(manipulator)의 경우 객체 구성(object configuration), 접촉 관계(contact relationship), 로봇 자세(robot posture), 상호작용 상태(interaction state) 등을 포착할 수 있습니다. 정확한 예측(prediction), 계획(planning), 제어(control)에 필요한 정보를 잠재 표현이 유지한다면 이러한 변수를 반드시 명시적으로 복원할 필요는 없습니다.

행동 조건화(action conditioning)는 잠재 세계 상태(latent world state)와 물리적 개입(physical intervention)을 연결하는 인과적 인터페이스(causal interface)를 제공합니다. 동일한 잠재 상태가 주어졌을 때 서로 다른 행동은 서로 다른 잠재 미래(latent future)를 생성해야 합니다. 장애물에 접근하는 로봇은 계속 전진하거나, 감속하거나, 방향을 전환하거나, 정지하는 행동에 따라 서로 다른 잠재 궤적(latent trajectory)을 생성할 수 있습니다. 따라서 모델은 단순히 (z_t)의 시간적 변화(temporal evolution)를 학습하는 것이 아니라, 서로 다른 개입(alternative intervention)이 이러한 변화를 어떻게 수정하는지를 결정하는 행동 의존적 전이 함수(action-dependent transition function)를 학습합니다. 이것이 잠재 예측(latent prediction)을 행동 인식 내부 모델(action-aware internal model)로 변화시키는 핵심입니다.

행동(action)은 수치적인 제어 벡터(numerical control vector)로 직접 표현하거나, 잠재 동역학 모델(latent dynamics model)에 입력하기 전에 행동 임베딩(action embedding)으로 변환할 수 있습니다. 조향(steering), 휠 속도(wheel velocity), 관절 토크(joint torque), 엔드이펙터 움직임(end-effector motion)과 같은 연속 명령(continuous command)은 학습된 임베딩 공간(learned embedding space)으로 투영할 수 있으며, 이산 명령(discrete command)은 토큰(token)이나 범주형 임베딩(categorical embedding)으로 표현할 수 있습니다. 일반적인 전이 형태는 (z_{t+1}=F_\theta(z_t,E_\phi(a_t)))로 표현할 수 있으며, 여기서 (E_\phi)는 물리적 명령(physical command)을 잠재 동역학과 호환되는 표현으로 변환합니다. 이를 통해 행동 표현(action representation)과 그 결과를 예측하는 메커니즘을 분리할 수 있습니다.

잠재 동역학(latent dynamics)의 중요한 장점은 계산 효율성(computational efficiency)입니다. 원시 카메라 영상(raw camera image), LiDAR 측정(LiDAR measurement), 기타 센서 스트림(sensor stream)은 즉각적인 예측이나 계획에 필요하지 않은 막대한 양의 정보를 포함할 수 있습니다. 따라서 미래 픽셀(future pixel)이나 완전한 센서 관측(complete sensor observation)을 예측하는 데에는 상당한 계산량이 필요할 수 있습니다. 반면 잠재 동역학은 압축된 표현 공간(compressed representation space)에서 예측을 수행하므로 미래 행동에 영향을 미치는 공간적(spatial), 시간적(temporal), 의미적(semantic), 물리적(physical) 특징에 계산 자원을 집중할 수 있습니다. 이는 잠재 월드 모델링(latent world modeling)을 실시간 물리적 인공지능(real-time Physical AI) 시스템에 특히 적합하게 만듭니다.

잠재 동역학(latent dynamics)은 행동 조건화 전이(action-conditioned transition)를 반복적으로 적용하여 다단계 예측(multi-step prediction)을 수행할 수 있습니다. (z_t)에서 시작하여 모델은 (a_t)를 사용해 (\hat{z}*{t+1})을 예측하고, 이후 예측된 잠재 상태(predicted latent state)와 다음 행동 (a*{t+1})을 사용하여 (\hat{z}_{t+2})를 예측할 수 있습니다. 이러한 과정을 반복하면 계획 시간 범위(planning horizon)에 걸친 잠재 롤아웃(latent rollout)을 생성할 수 있습니다. 생성된 시퀀스는 미래 관측을 모두 픽셀 공간(pixel space)에서 복원하지 않고도 서로 다른 가능한 미래(alternative future)를 표현할 수 있습니다. 짧은 롤아웃(short rollout)은 즉각적인 제어(immediate control)를 지원하고, 긴 롤아웃(long rollout)은 계획(planning)과 행동 시퀀스 평가(action-sequence evaluation)에 필요한 정보를 제공할 수 있습니다.

잠재 상태(latent state)는 사전에 정의된 상태가 아니라 학습되는 표현(learned representation)이기 때문에 학습 목적 함수(training objective)가 어떤 정보를 보존할지를 결정합니다. 상태 전이 예측(state-transition prediction)은 복원(reconstruction), 대조 학습(contrastive learning), 시간적 일관성(temporal consistency), 표현 예측(representation prediction), 작업별 목적 함수(task-specific objective)와 결합할 수 있습니다. 핵심 요구사항은 잠재 표현이 서로 다른 행동이 주어졌을 때 미래 결과를 예측할 수 있도록 유지되는 것입니다. 표현이 중요한 물리적 결과(important physical outcome)를 구별하는 데 필요한 정보를 제거한다면, 잠재 공간에서는 동역학 모델이 정확해 보일 수 있어도 실제 계획이나 제어에 사용할 때 실패할 수 있습니다.

행동 조건화 잠재 동역학(action-conditioned latent dynamics)은 반사실적 추론(counterfactual reasoning)도 가능하게 합니다. 동일한 잠재 상태 (z_t)에서 출발하여 모델은 여러 가상의 행동(hypothetical action)을 적용하고 서로 다른 미래 잠재 궤적(future latent trajectory)을 생성할 수 있습니다. 플래너(planner)는 이러한 롤아웃을 거리(distance), 진행도(progress), 충돌 위험(collision risk), 에너지 소비(energy consumption), 작업 성공(task success) 또는 기타 목적 함수(objective)에 따라 비교할 수 있습니다. 월드 모델(world model)이 실제 행동을 실행하기 전에 가능한 결과를 내부적으로 평가할 수 있기 때문에 물리적 로봇은 모든 후보 행동(candidate action)을 실제로 실행할 필요가 없습니다.

미래가 불확실한 경우에는 확률적 잠재 동역학(probabilistic latent dynamics)으로 접근법을 확장할 수 있습니다. 하나의 다음 잠재 상태(next latent state)를 생성하는 대신, 모델은 현재 잠재 상태와 행동을 조건으로 가능한 상태의 분포(distribution)를 표현할 수 있습니다. 이는 관측이 불완전하거나(observation is incomplete), 다른 에이전트가 예측할 수 없이 행동하거나(other agents behave unpredictably), 물리적 상호작용이 확률적이거나(physical interaction is stochastic), 모델 자체에 불확실성이 존재하는 경우에 유용합니다. 잠재 공간에서 불확실성(uncertainty)을 유지하면 여러 단계의 예측과 계획을 더욱 견고하게 만들 수 있으며, 시스템이 확신할 수 있는 예측과 여러 미래가 여전히 가능한 상황을 구별할 수 있도록 합니다.

궁극적으로 행동 조건화 잠재 동역학(action-conditioned latent dynamics)은 인식(perception), 물리적 상호작용(physical interaction), 예측(prediction), 계획(planning)을 연결하는 압축된 다리(compact bridge)를 제공합니다. 센서 관측(sensor observation)은 잠재 세계 상태(latent world state)로 변환되고, 행동(action)은 개입(intervention)으로 인코딩되며, 잠재 동역학 모델(latent dynamics model)은 이러한 개입이 내부 세계 표현(internal world representation)을 어떻게 변화시키는지를 예측합니다. 이후 예측된 미래(predicted future)를 평가하고 선택하여 물리적 명령(physical command)으로 변환할 수 있으며, 새로운 관측(new observation)은 내부 상태(internal state)를 지속적으로 업데이트합니다. Chapter 08의 흐름에서 이는 잠재 월드 모델(latent world model)을 에이전트가 선택하는 행동에 명시적으로 반응하도록 만듦으로써, 이후의 반사실적 행동 롤아웃(counterfactual action rollout), 다중 행동 시퀀스 예측(multi-action sequence prediction), 행동 조건화 제어(action-conditioned control)를 위한 기반을 형성합니다.

08.07. Counterfactual Action Rollouts

반사실적 행동 롤아웃(counterfactual action rollout)은 물리적 인공지능(Physical AI) 시스템이 동일한 현재 세계 상태(current world state)에서 서로 다른 행동을 선택했다면 어떤 일이 발생할지를 상상할 수 있도록 합니다. 가능한 모든 행동을 실제 물리적 환경에서 실행하는 대신, 월드 모델(world model)은 현재 상태를 고정한 채 내부적으로 여러 대안적 행동(alternative action)을 적용하여 서로 다른 미래 상태(future state)를 예측합니다. 이를 통해 예측(prediction)은 수동적인 미래 예측(passive forecasting)을 넘어, 실제로 물리적 행동을 수행하기 전에 가능한 개입(intervention)을 평가하는 능동적인 메커니즘(active mechanism)으로 발전합니다.

이 과정은 로봇(robot)과 주변 환경(environment)을 표현하는 현재 상태 (s_t) 또는 잠재 상태 (z_t)에서 시작합니다. 이 동일한 출발점에서 모델은 직진, 방향 전환, 감속, 정지, 파지(grasp), 또는 다른 동작 전략과 같은 여러 대안적 행동을 입력받습니다. 각각의 행동은 행동 조건화 전이 모델(action-conditioned transition model)을 통과하여 해당 행동에 대응하는 미래를 예측합니다. 모든 대안이 동일한 초기 상태에서 출발하기 때문에, 예측된 궤적(predicted trajectory)은 그 결과에 따라 서로 직접 비교할 수 있습니다.

잠재 월드 모델(latent world model)에서 반사실적 롤아웃(counterfactual rollout)은 (\hat{z}*{t+1}=F*\theta(z_t,e_t))와 같은 전이 함수를 반복적으로 적용하는 것으로 표현할 수 있으며, 여기서 (e_t)는 후보 행동(candidate action)의 임베딩(embedding)을 나타냅니다. 다른 후보 행동에 대해서는 초기 잠재 상태(initial latent state)를 그대로 유지하면서 다른 행동 임베딩을 입력합니다. 따라서 모델은 (\hat{z}^{1}*{t+1:t+H}), (\hat{z}^{2}*{t+1:t+H}) 등과 같은 서로 다른 잠재 궤적(latent trajectory)을 생성합니다. 이러한 궤적은 모두 학습된 월드 모델 내부에서 생성되는 서로 다른 미래(alternative future)를 표현합니다.

핵심적인 특성은 모델이 다음과 같은 반사실적 질문(counterfactual question)에 답할 수 있다는 것입니다. "내가 이 행동을 대신 수행했다면 어떤 일이 일어났을까?" 장애물에 접근하는 이동 로봇(mobile robot)은 직진, 좌회전, 우회전, 감속을 비교할 수 있습니다. 조작 로봇(manipulator)은 서로 다른 파지 위치(grasp position)나 접근 방향(approach direction)을 비교할 수 있습니다. 초기 관측(initial observation)은 거의 동일하게 유지될 수 있지만 예측된 미래(predicted future)는 크게 달라질 수 있습니다. 따라서 월드 모델은 관측된 궤적의 가장 가능성 높은 연속을 단순히 예측하는 것이 아니라 행동에 따른 결과(action-dependent consequence)를 학습합니다.

반사실적 롤아웃(counterfactual rollout)은 각각의 후보 행동을 작업 목표(task objective)와 물리적 제약(physical constraint)에 따라 평가할 때 더욱 유용해집니다. 예측된 궤적(predicted trajectory)은 목표 진행도(goal progress), 충돌 위험(collision risk), 안전성(safety), 안정성(stability), 에너지 소비(energy consumption), 효율성(efficiency), 승차감 또는 편안함(comfort), 작업 성공 확률(probability of task success) 등에 따라 평가할 수 있습니다. 플래너(planner)는 예측을 최종적인 답(final answer)으로 취급할 필요가 없으며, 대신 예측된 미래를 후보 행동 사이에서 선택하기 위한 근거(evidence)로 사용할 수 있습니다. 이를 통해 월드 모델의 예측(world-model prediction)과 의사결정(decision making)이 직접 연결됩니다.

장기 계획(long-horizon planning)에서는 하나의 대안적 행동만으로 충분하지 않은 경우가 많습니다. 하나의 행동의 결과가 그 이후에 무엇이 발생하는지에 따라 달라질 수 있기 때문입니다. 따라서 시스템은 독립적인 명령(isolated command)이 아니라 (A^i=(a_t^i,a_{t+1}^i,\ldots,a_{t+H-1}^i))와 같은 행동 시퀀스(action sequence)를 평가할 수 있습니다. 각각의 후보 시퀀스는 잠재 동역학 모델(latent dynamics model)을 통해 다단계 롤아웃(multi-step rollout)을 생성합니다. 이후 생성된 궤적을 계획 시간 범위(planning horizon) 전체에서 비교하여, 즉각적인 다음 행동만 최적화하는 것이 아니라 완전한 행동(complete behavior)을 선택할 수 있습니다.

이 메커니즘은 모델 기반 제어(model-based control)와 이동 시간 범위 계획(receding-horizon planning)을 위해 특히 강력합니다. 각 의사결정 시점에서 시스템은 현재 환경을 관측하고, 현재 잠재 상태를 구성하며, 여러 후보 행동 또는 행동 시퀀스를 생성하고, 이를 내부적으로 미래로 롤아웃하며, 예측된 결과를 평가한 다음 가장 적절한 행동을 선택합니다. 행동이 실행된 후에는 새로운 관측(new observation)이 내부 상태를 업데이트하고 이 과정이 다시 시작됩니다. 그 결과 상상(imagination)이 행동 선택(action selection)을 지원하고 실제 세계의 피드백(real-world feedback)이 내부 모델을 지속적으로 보정하는 폐루프(closed-loop) 사이클이 형성됩니다.

반사실적 롤아웃(counterfactual rollout)은 인과적 추론(causal reasoning)으로 발전하는 중요한 연결 고리도 제공합니다. 일반적인 예측 모델(ordinary predictive model)은 하나의 사건이 다른 사건에 뒤따르는 경향을 학습할 수 있지만, 행동 조건화 모델(action-conditioned model)은 개입(intervention)의 결과를 직접적으로 시험할 수 있습니다. 현재 상태를 대략적으로 동일하게 유지하면서 행동만 변경하면, 시스템은 대안적 행동의 효과(alternative action effect)와 환경에서 독립적으로 발생했을 변화를 구분할 수 있습니다. 이것이 자동으로 진정한 인과적 이해(true causal understanding)를 보장하는 것은 아니지만, 물리적 의사결정(physical decision making)에 필수적인 개입 기반 구조(intervention-based structure)를 월드 모델에 제공합니다.

반사실적 예측(counterfactual prediction)의 품질은 기본 동역학 모델(underlying dynamics model)의 정확성에 크게 의존합니다. 잠재 표현(latent representation), 행동 인코딩(action encoding), 전이 함수(transition function), 시간적 모델링(temporal modeling)에 오류가 존재하면 상상된 궤적(imagined trajectory)이 물리적으로 현실적인 결과에서 벗어날 수 있습니다. 이러한 오류는 롤아웃 시간 범위가 길어질수록 더욱 중요해지는데, 연속적인 전이 과정에서 예측 오차(prediction error)가 누적될 수 있기 때문입니다. 따라서 학습 과정에서는 정확한 다단계 잠재 예측(multi-step latent prediction)과 시간적 일관성(temporal consistency)을 강화해야 하며, 평가 과정에서는 계획에 필요한 시간 범위에서 서로 다른 행동의 결과가 얼마나 신뢰성 있게 유지되는지를 검증해야 합니다.

반사실적 롤아웃(counterfactual rollout)은 불확실성(uncertainty)과 여러 개의 가능한 미래(multiple plausible future)도 표현할 수 있습니다. 많은 물리적 환경에서는 관측이 불완전하거나, 다른 에이전트가 예측할 수 없이 행동하거나, 환경에 확률적 상호작용(stochastic interaction)이 존재하기 때문에 행동의 결과를 완전한 확실성을 가지고 예측할 수 없습니다. 따라서 후보 행동마다 하나의 궤적만 생성하는 대신 확률적 월드 모델(probabilistic world model)은 여러 개의 가능한 결과(plausible outcome)를 표현할 수 있습니다. 플래너는 이를 통해 기대되는 성능(expected performance)뿐만 아니라 위험(risk)까지 고려할 수 있으며, 불확실한 미래에서도 안전하고 효과적으로 유지되는 행동을 선택할 수 있습니다.

반사실적 행동 롤아웃(counterfactual action rollout)의 더 넓은 의미는 월드 모델을 내부적인 실험 공간(internal space for experimentation)으로 변화시킨다는 데 있습니다. 로봇은 각각의 대안적 개입을 실제로 실행하지 않고도 다양한 행동을 내부적으로 시험하고, 예측된 결과를 비교하며, 자신의 목표와 제약 조건을 가장 잘 만족시키는 행동 시퀀스를 선택할 수 있습니다. 이러한 능력은 행동 조건화 잠재 동역학(action-conditioned latent dynamics)을 시퀀스 계획(sequence planning), 모델 기반 제어(model-based control), 강화학습(reinforcement learning), 그리고 궁극적으로 더욱 일반적인 물리적 인공지능 시스템(general Physical AI system)과 연결합니다. Chapter 08의 흐름에서 반사실적 롤아웃은 행동이 세계를 어떻게 변화시키는지를 학습하는 단계와, 그 지식을 이용하여 로봇이 다음에 무엇을 해야 하는지를 결정하는 단계 사이의 핵심적인 개념적 연결고리(conceptual bridge)를 형성합니다.

08.08. Multi Action and Sequence Prediction

다중 행동 및 시퀀스 예측(multi-action and sequence prediction)은 행동 조건화 월드 모델(action-conditioned world modeling)을 하나의 개입(single intervention)에서 미래 행동들의 구조화된 시퀀스(structured sequence)로 확장합니다. (s_t)와 (a_t)를 사용하여 (s_{t+1})만 예측하는 대신, 모델은 (A_t=(a_t,a_{t+1},\ldots,a_{t+H}))와 같은 행동 시퀀스(action sequence)를 고려하고 이에 대응하는 미래 궤적(future trajectory) (\hat{s}_{t+1:t+H})을 예측합니다. 이를 통해 시스템은 여러 개의 연속적인 행동이 서로 어떻게 상호작용하고 시간에 따라 누적되는지를 추론할 수 있습니다.

시퀀스 예측(sequence prediction)이 필요한 이유는 의미 있는 물리적 행동(meaningful physical behavior)이 하나의 독립적인 명령으로 끝나는 경우가 거의 없기 때문입니다. 이동 로봇(mobile robot)은 가속하고, 방향을 유지하고, 방향을 전환하고, 감속하고, 정지해야 할 수 있으며, 조작 로봇(manipulator)은 객체에 접근하고, 정렬하고, 파지하고, 들어 올리고, 운반하고, 배치해야 할 수 있습니다. 초기 행동의 결과는 이후에 이어지는 행동에 따라 달라지므로, 계획된 이후 행동을 고려하지 않고 한 단계씩만 예측하는 월드 모델은 완전한 행동을 평가하는 능력에 한계가 있습니다.

다중 행동 시퀀스(multi-action sequence)는 (A_t=(a_t,a_{t+1},\ldots,a_{t+H-1}))로 표현할 수 있으며, 여기서 (H)는 예측 또는 계획 시간 범위(prediction or planning horizon)를 정의합니다. 각 행동은 개별적으로 인코딩(encoding)하거나 함께 시퀀스 표현(sequence representation)으로 변환할 수 있습니다. 이후 행동 조건화 동역학 모델(action-conditioned dynamics model)은 현재 상태(current state) 또는 잠재 상태(latent state)에 이러한 행동들을 순차적으로 적용하여 (\hat{z}*{t+1},\hat{z}*{t+2},\ldots,\hat{z}_{t+H})를 생성합니다. 이렇게 생성된 롤아웃(rollout)은 하나의 고립된 개입(isolated intervention)이 아니라 전체 후보 시퀀스(candidate sequence)에 따라 세계가 어떻게 변화할 것인지를 나타냅니다.

시퀀스 표현(sequence representation)은 여러 추상화 수준(abstraction level)에서 작동할 수 있습니다. 낮은 수준의 시퀀스(low-level sequence)는 휠 속도(wheel velocity), 조향 명령(steering command), 관절 위치(joint position), 토크(torque), 액추에이터 명령(actuator command)을 포함할 수 있습니다. 중간 수준의 시퀀스(mid-level sequence)는 접근(approach), 파지(grasp), 방향 전환(turn), 들어 올리기(lift), 배치(place)와 같은 동작 프리미티브(motion primitive)를 포함할 수 있습니다. 높은 수준의 시퀀스(high-level sequence)는 목표(goal), 하위 목표(subgoal), 내비게이션 결정(navigation decision), 작업 단계(task phase)를 표현할 수 있습니다. 계층적 월드 모델(hierarchical world model)은 이러한 수준들을 연결하여 높은 수준의 행동 시퀀스가 낮은 수준의 실행을 제약하도록 하면서도 물리적 동역학(physical dynamics)이 결과적인 상태 궤적(state trajectory)을 결정하도록 할 수 있습니다.

시퀀스 예측(sequence prediction)은 잠재 월드 모델(latent world model)과 특히 잘 결합됩니다. 모델은 모든 미래 센서 프레임(future sensor frame)을 완전한 세부 정보로 복원할 필요가 없습니다. 현재 관측(current observation)은 먼저 압축된 잠재 상태(compact latent state) (z_t)로 인코딩되고, 후보 행동 시퀀스(candidate action sequence)는 행동 임베딩(action embedding)으로 변환될 수 있습니다. 이후 잠재 동역학(latent dynamics)은 이러한 시퀀스를 따라 롤아웃하여 예측된 잠재 상태(predicted latent state)를 생성합니다. 이는 긴 시간 범위의 행동을 평가하면서도 공간 구조(spatial structure), 움직임(motion), 의미 정보(semantics), 접촉(contacts), 작업 진행도(task progress)와 관련된 정보를 유지할 수 있는 계산 효율적인 표현(computationally efficient representation)을 제공합니다.

핵심적인 연산은 반복적인 전이(recursive transition)입니다. (z_t)와 (a_t)가 주어지면 모델은 (\hat{z}*{t+1})을 예측합니다. 이후 (\hat{z}*{t+1})과 (a_{t+1})을 사용하여 (\hat{z}*{t+2})를 예측하고, 원하는 시간 범위에 도달할 때까지 이 과정을 반복합니다. 이와 같이 행동 시퀀스는 예측된 결과의 시퀀스(sequence of predicted consequences)가 됩니다. 이 과정은 개념적으로 (z_t \xrightarrow{a_t} \hat{z}*{t+1} \xrightarrow{a_{t+1}} \hat{z}*{t+2}\rightarrow\cdots\xrightarrow{a*{t+H-1}}\hat{z}_{t+H})로 표현할 수 있습니다.

다중 행동 예측(multi-action prediction)의 가장 큰 가치는 실제 실행 전에 후보 행동을 비교할 수 있다는 것입니다. 동일한 현재 상태에서 시작하여 플래너(planner)는 (A^1,A^2,\ldots,A^N)과 같은 여러 후보 시퀀스를 생성하고, 월드 모델을 통해 각각을 미래로 롤아웃하며, 그 결과로 생성된 궤적을 평가할 수 있습니다. 평가에는 목표 진행도(goal progress), 충돌 위험(collision risk), 안전성(safety), 효율성(efficiency), 에너지 소비(energy consumption), 편안함(comfort), 안정성(stability), 작업 성공(task success) 등이 포함될 수 있습니다. 이후 가장 우수한 것으로 예측된 시퀀스를 실제 실행 대상으로 선택할 수 있습니다. 따라서 다중 행동 월드 모델링(multi-action world modeling)은 시퀀스 계획(sequence planning)과 직접 연결됩니다.

장기 시퀀스 예측(long-horizon sequence prediction)은 계획 깊이(planning depth)와 예측 신뢰성(prediction reliability) 사이에서 중요한 절충(trade-off)을 발생시킵니다. 긴 시간 범위는 지연된 결과(delayed consequence)에 대한 더 많은 정보를 제공하지만, 각각의 예측 전이(predicted transition)에서 일정한 오차가 발생할 수 있습니다. 모델이 실제 관측된 상태(real observed state)가 아니라 자신의 예측 상태(predicted state)를 반복적으로 사용하면 이러한 오차가 누적되어 상상된 궤적(imagined trajectory)이 실제 물리적 미래에서 점점 벗어날 수 있습니다. 따라서 실제 시스템에서는 시간 범위의 길이와 모델 정확도(model accuracy)의 균형을 유지해야 하며, 피드백 없이 긴 시퀀스를 끝까지 실행하기보다는 빈번한 재계획(replanning)을 사용하는 것이 필요할 수 있습니다.

이는 자연스럽게 이동 시간 범위(receding-horizon) 또는 모델 예측 방식(model-predictive operation)으로 이어집니다. 시스템은 현재 환경을 관측하고, 현재 상태를 구성하고, 후보 행동 시퀀스를 생성하고, 미래 궤적을 예측하고, 이를 평가한 후 가장 우수한 초기 행동 또는 짧은 행동 구간(short action segment)을 선택합니다. 해당 구간을 실행한 후 로봇은 새로운 관측을 받고 상태 추정(state estimate)을 업데이트합니다. 이후 새로운 정보를 사용하여 남은 시퀀스를 다시 평가할 수 있습니다. 따라서 장기적인 상상(long-horizon imagination)은 짧은 시간 범위의 물리적 실행(short-horizon physical commitment)과 결합되며, 이를 통해 누적 예측 오차(accumulated prediction error)의 영향을 줄일 수 있습니다.

다중 행동 예측(multi-action prediction)은 행동 청크(action chunk)와 시간적 조정(temporal coordination)도 가능하게 합니다. 모델은 각각의 개별 제어 주기마다 하나의 모터 명령(motor command)을 예측하는 대신, 짧은 시퀀스를 하나의 일관된 행동 단위(coherent behavioral unit)로 생성하거나 평가할 수 있습니다. 이를 통해 의사결정 오버헤드(decision overhead)를 줄이고 시간적으로 부드러운 행동(temporally smooth behavior)을 유도할 수 있습니다. 예를 들어 조작 시스템(manipulation system)은 각각의 순간적인 관절 명령을 독립적으로 선택하는 대신, 엔드이펙터 움직임(end-effector movement)의 조정된 시퀀스(coordinated sequence)를 예측할 수 있습니다. 따라서 시퀀스 표현(sequence representation)은 행동을 서로 관련 없는 개별 의사결정으로 취급할 때 표현하기 어려운 시간적 구조(temporal structure)를 포착합니다.

시퀀스 예측(sequence prediction)은 여러 모델 구조(model architecture)를 사용하여 구현할 수 있습니다. 순환 모델(recurrent model)은 시간적 메모리(temporal memory)를 유지하면서 연속적인 행동과 상태를 예측할 수 있습니다. Transformer 기반 모델(Transformer-based model)은 시간적 어텐션(temporal attention)을 통해 여러 행동과 잠재 상태 사이의 관계를 표현할 수 있습니다. 시퀀스 모델(sequence model)은 한 번에 하나의 행동 또는 상태 표현을 예측하는 자기회귀 방식(autoregressive manner)으로 작동할 수도 있고, 전체 행동 청크(action chunk)를 함께 예측할 수도 있습니다. 적절한 구조는 필요한 시간 범위(required horizon), 계산 예산(computational budget), 시간적 의존관계(temporal dependency), 가능한 행동의 다중 모드성(multimodality)에 따라 달라집니다.

모델은 여러 개의 완전한 행동 시퀀스(complete action sequence)를 병렬로 또는 샘플링(sampling)을 통해 평가할 수도 있습니다. 동일한 시작 잠재 상태(starting latent state)가 주어졌을 때 서로 다른 후보 시퀀스(candidate sequence)는 서로 다른 예측 궤적(predicted trajectory)을 생성합니다. 이는 월드 모델이 가능한 행동을 위한 시뮬레이터(simulator) 역할을 수행하는 분기형 내부 탐색 공간(branching internal search space)을 형성합니다. 이후 플래너는 비용 함수(cost function) 또는 보상 함수(reward function)에 따라 이러한 분기를 순위화하거나 최적화할 수 있습니다. 이러한 형태에서 시퀀스 예측은 단순한 미래 예측을 넘어 가능한 미래 행동을 탐색하는 내부 메커니즘(internal mechanism)이 됩니다.

시퀀스 시간 범위가 길어질수록 불확실성(uncertainty)은 더욱 중요해집니다. 각각의 개별 전이가 상당히 정확하더라도, 예측이 미래로 반복적으로 전파되면서 불확실성이 증가할 수 있습니다. 확률적 또는 다중 모드 월드 모델(probabilistic or multimodal world model)은 동일한 행동 시퀀스에 대해 여러 개의 가능한 궤적(plausible trajectory)을 표현하고, 예상되는 결과(expected outcome)와 위험한 가능성(risky possibility)을 구분할 수 있습니다. 이를 통해 계획 과정은 가장 가능성이 높은 미래뿐만 아니라 충돌(collision), 실패(failure), 기타 바람직하지 않은 결과(undesirable outcome)의 가능성도 고려할 수 있습니다.

다중 행동 예측(multi-action prediction)을 위한 학습 데이터는 시간에 따라 관측(observation), 행동(action), 그 결과로 발생한 상태(resulting state)가 포함된 궤적(trajectory)으로부터 구성할 수 있습니다. 단순히 고립된 ((s_t,a_t,s_{t+1})) 삼중항(triple)으로만 학습하는 대신, 모델은 ((s_t,a_t,a_{t+1},\ldots,a_{t+H}))와 그에 대응하는 미래 상태 또는 관측을 포함하는 더 긴 시퀀스로부터 학습할 수 있습니다. 학습 목적 함수(training objective)는 정확한 단기 및 장기 예측(short- and long-horizon prediction), 시간적 일관성(temporal consistency), 행동 조건화 동역학(action-conditioned dynamics), 유용한 잠재 표현(useful latent representation)을 강화할 수 있습니다. 특히 다단계 학습(multi-step training)이 중요한 이유는 한 단계 예측(one-step prediction)에서는 우수한 성능을 보이는 모델도 긴 롤아웃에서는 상당한 오차를 누적할 수 있기 때문입니다.

궁극적으로 다중 행동 및 시퀀스 예측(multi-action and sequence prediction)은 월드 모델을 단일 단계 예측기(one-step predictor)에서 완전한 행동을 시뮬레이션하는 내부 시뮬레이터(internal simulator)로 변화시킵니다. 모델은 현재 상태와 후보 행동 시퀀스를 입력받아 여러 시간 단계에 걸쳐 세계가 어떻게 변화할지를 예측하고, 대안적 궤적을 평가하며, 로봇이 무엇을 실행해야 하는지를 선택하는 데 필요한 정보를 제공합니다. Chapter 08의 흐름에서 이러한 능력은 반사실적 행동 롤아웃(counterfactual action rollout)을 장기 계획(long-horizon planning)과 연결하고, 예측된 시퀀스를 실제 세계와 지속적으로 비교하고 새로운 관측이 제공될 때마다 수정하는 행동 조건화 제어(action-conditioned control)의 직접적인 기반을 제공합니다.

08.09. Action Conditioned Model for Control

행동 조건화 제어 모델(action-conditioned model for control)은 인식(perception), 월드 모델링(world modeling), 예측(prediction), 계획(planning), 물리적 실행(physical execution)을 하나의 폐루프 과정(closed-loop process)으로 연결합니다. 핵심 개념은 모델이 단순히 세계가 어떻게 움직이고 있는지를 추정하는 데 그치지 않고, 로봇이 선택한 행동에 세계가 어떻게 반응할 것인지를 예측해야 한다는 것입니다. 이러한 과정은 관측(Observe) → 표현(Represent) → 상상(Imagination) → 평가(Evaluate) → 행동(Act)으로 표현할 수 있으며, 이후 새로운 관측과 월드 모델 업데이트가 이어집니다. 이를 통해 반응형 제어기(reactive controller)가 실제 실행을 결정하기 전에 결과를 평가할 수 있는 예측형 시스템(predictive system)으로 발전합니다.

제어 과정(control process)은 관측(observation)과 상태 표현(state representation)에서 시작합니다. 카메라(camera), LiDAR, 레이더(radar), IMU, 자기수용감각(proprioception) 및 기타 센서는 로봇과 환경에 대한 정보를 제공합니다. 인코더(encoder)는 이러한 관측을 예측과 제어에 필요한 정보를 보존하는 압축된 잠재 상태(compact latent state) (z_t)로 변환합니다. 이 상태는 공간 구조(spatial structure), 객체 움직임(object motion), 로봇 상태(robot state), 접촉(contacts), 작업 의미 정보(task semantics) 및 물리적 시스템이 어떻게 변화할 수 있는지를 이해하는 데 필요한 기타 요소를 표현할 수 있습니다. 따라서 정확한 상태 추정(state estimation)은 신뢰할 수 있는 행동 조건화 제어(action-conditioned control)의 기반이 됩니다.

선택된 행동(selected action)은 별도로 인코딩되고 현재 잠재 상태(current latent state)와 결합됩니다. 행동은 조향(steering), 속도(velocity), 토크(torque), 관절 움직임(joint motion)과 같은 낮은 수준의 모터 명령(low-level motor command)을 나타낼 수도 있지만, 중간 수준의 동작 프리미티브(mid-level motion primitive)나 높은 수준의 목표(high-level goal) 및 작업 결정(task decision)을 나타낼 수도 있습니다. 행동 인코더(action encoder)는 이러한 명령을 행동 임베딩(action embedding) (e_t)으로 변환하여, 월드 모델이 서로 다른 행동 공간(heterogeneous action space)을 공통 표현(common representation)으로 처리할 수 있도록 합니다. 중요한 점은 행동이 단순히 예측 이후에 생성되는 출력(output)이 아니라 명시적인 조건 변수(explicit conditioning variable)가 된다는 것입니다.

행동 조건화 동역학 모델(action-conditioned dynamics model)은 선택된 행동에 따라 잠재 세계 상태(latent world state)가 어떻게 변화할지를 예측합니다. 기본적인 표현은 (z_{t+1}=F_\theta(z_t,e_t))이며, 여기서 (z_t)는 현재 잠재 상태(current latent state), (e_t)는 행동(action), (F_\theta)는 학습된 전이 모델(learned transition model)을 나타냅니다. 모델은 (z_{t+1},z_{t+2},\ldots,z_{t+H})를 반복적으로 예측하여 미래 상태에 대한 내부 시뮬레이션(internal simulation)을 생성할 수 있습니다. 예측된 미래가 선택된 행동에 명시적으로 의존하기 때문에 모델은 통제되지 않은 하나의 미래(uncontrolled future)를 단순히 예측하는 것이 아니라 서로 다른 개입(alternative intervention)을 평가할 수 있습니다.

예측된 잠재 상태(predicted latent state)는 제어(control)에 직접 사용할 수도 있고, 시각화(visualization) 또는 추가적인 해석(interpretation)이 필요한 경우 미래 관측(future observation)으로 디코딩할 수도 있습니다. 디코더(decoder)는 예측된 이미지(predicted image), LiDAR 패턴(LiDAR pattern), 기타 센서 관측(sensor observation)을 복원할 수 있지만, 계획(planning)을 위해 완전한 관측을 복원할 필요는 없습니다. 대신 잠재 표현(latent representation)은 미래 결과를 평가하는 데 필요한 정보만 보존할 수 있습니다. 이는 중요한 효율성상의 장점(efficiency advantage)을 제공하는데, 계획은 압축된 잠재 공간(compact latent space)에서 수행하면서도 효과적인 의사결정에 필요한 물리적(physical), 공간적(spatial), 의미적(semantic), 시간적(temporal) 정보를 유지할 수 있기 때문입니다.

행동 조건화 제어 모델(action-conditioned control model)의 핵심 능력은 반사실적 평가(counterfactual evaluation)입니다. 동일한 잠재 상태 (z_t)에서 출발하여 시스템은 직진, 방향 전환, 감속, 정지와 같은 서로 다른 후보 행동(candidate action)을 내부적으로 시험할 수 있습니다. 각각의 후보 행동은 서로 다른 예측 궤적(predicted trajectory)을 생성하며, 모든 가능성을 실제로 물리적으로 실행하지 않고도 이 궤적들을 비교할 수 있습니다. 따라서 플래너(planner)는 어떤 행동이 목표 진행도(progress), 안전성(safety), 효율성(efficiency), 안정성(stability), 작업 성공(task success) 또는 기타 목적(objective)의 조합을 가장 잘 만족할 것으로 예상되는지를 판단할 수 있습니다. 이를 통해 예측(prediction)은 수동적인 미래 예측(passive forecasting)이 아니라 의사결정(decision making)의 능동적인 구성요소(active component)가 됩니다.

더 긴 작업(longer task)을 수행하기 위해서는 제어기가 고립된 명령(isolated command)이 아니라 행동 시퀀스(action sequence)를 평가해야 합니다. (A=(a_t,a_{t+1},\ldots,a_{t+H-1}))와 같은 후보 시퀀스(candidate sequence)를 잠재 동역학 모델(latent dynamics model)을 통해 미래로 롤아웃하여 예측된 미래 궤적(predicted future trajectory)을 생성할 수 있습니다. 이후 여러 후보 시퀀스를 비용(cost), 보상(reward), 위험(risk), 목표 적합성(goal compatibility), 물리적 제약(physical constraint)에 따라 평가할 수 있습니다. 시스템은 가장 바람직한 결과를 만들어낼 것으로 예측되는 시퀀스를 선택하지만, 실제 로봇은 새로운 관측을 다시 얻기 전에 첫 번째 행동 또는 짧은 초기 구간만 실행할 수도 있습니다.

이는 자연스럽게 모델 예측 제어(model predictive control)와 이동 시간 범위 운용(receding-horizon operation)으로 이어집니다. 각 제어 주기(control cycle)에서 로봇은 환경을 관측하고, 잠재 상태(latent state)를 업데이트하며, 후보 행동을 생성하거나 전달받고, 그 결과를 예측하고, 예측된 궤적을 평가한 다음 가장 적절한 행동을 선택합니다. 실행 이후 로봇은 새로운 관측을 받고 이 과정을 반복합니다. 완전한 미래 계획(complete future plan)이 새로운 관측이 들어올 때마다 다시 평가되기 때문에, 시스템은 예상하지 못한 변화에 대응할 수 있으며 긴 롤아웃 과정에서 누적되는 예측 오차(accumulated prediction error)의 영향을 제한할 수 있습니다.

예측 오차(prediction error)는 내부 모델(internal model)을 실제 세계(reality)와 연결하는 메커니즘을 제공합니다. 월드 모델(world model)은 행동 이후 어떤 일이 발생해야 하는지를 예측하고, 물리적 로봇은 이후 실제 관측(actual observation)을 생성합니다. 예측된 결과와 관측된 결과를 비교하면 부정확한 상태 추정(inaccurate state estimation), 부정확한 동역학(inaccurate dynamics), 환경 변화(environmental change), 모델링되지 않은 상호작용(unmodeled interaction)으로 인해 발생한 차이를 확인할 수 있습니다. 이러한 오차는 모델을 업데이트하고, 상태 추정을 개선하며, 제어 정책(control policy)을 적응시키는 데 사용할 수 있습니다. 그 결과 Prediction → Action → Observation → Update 루프가 형성되며, 시스템은 실제 로봇 또는 시뮬레이션 경험(real robot or simulation experience)을 통해 자신의 이해를 지속적으로 개선할 수 있습니다.

실제 행동 조건화 제어 모델(practical action-conditioned control model)은 불확실성(uncertainty)과 불완전한 정보(imperfect information)도 처리해야 합니다. 가림(occlusion), 센서 측정 누락(missing sensor measurement), 확률적 상호작용(stochastic interaction), 예측할 수 없는 에이전트(unpredictable agent), 액추에이터 한계(actuator limitation), 모델 오차(model error)는 하나의 결정론적 미래(deterministic future)를 신뢰하기 어렵게 만들 수 있습니다. 대신 확률적 잠재 동역학(probabilistic latent dynamics)은 여러 개의 가능한 미래(multiple plausible future)를 표현하고 예측 신뢰도(prediction confidence)를 제공할 수 있습니다. 그러면 제어기는 명목상의 예측 보상(nominal predicted reward)이 가장 높은 행동만 선택하는 것이 아니라, 불확실한 결과에서도 안전하게 유지될 가능성이 높은 행동을 선호할 수 있습니다. 이를 통해 월드 모델 예측(world-model prediction), 위험 인식 계획(risk-aware planning), 강건 제어(robust control)가 직접 연결됩니다.

모델 구조(model architecture)는 적용 분야와 계산 요구사항(computational requirement)에 따라 달라질 수 있습니다. 전이 함수(transition function)는 MLP, RNN, Transformer, GNN 또는 관계형 구조(relational architecture)를 사용할 수 있으며, 전체 동역학 모델(overall dynamics model)은 결정론적(deterministic), 확률적(probabilistic), 또는 학습 기반 구성요소와 물리 기반 구성요소를 결합한 하이브리드(hybrid) 방식으로 구성할 수 있습니다. 연속적인 행동 표현(continuous action representation)은 정밀한 모터 제어(precise motor control)에 유용하며, 이산 표현(discrete representation)이나 토큰화된 표현(tokenized representation)은 높은 수준의 행동 추론(high-level behavioral reasoning)을 지원할 수 있습니다. 이러한 선택은 행동 결과(action consequence)를 이해하는 데 필요한 정보를 보존하면서도 목표로 하는 제어 주기(control cycle)에 충분히 효율적인 추론(inference)을 유지해야 합니다.

이러한 구조는 내비게이션(navigation), 조작(manipulation), 파지(grasping), 보행(locomotion), 자율주행(autonomous driving), 항공 로봇(aerial robotics), 인간-로봇 상호작용(human-robot interaction) 등 다양한 분야에 적용할 수 있는 일반적인 제어 프레임워크(general control framework)를 제공합니다. 핵심적인 흐름은 Sense → Understand & Predict → Plan → Act → Better Behavior입니다. 로봇은 물리적 세계를 관측하고, 내부 상태를 구성하며, 후보 행동이 세계를 어떻게 변화시킬지를 예측하고, 가능한 미래를 평가하며, 선택된 행동을 실행하고, 새로운 관측을 이용하여 전체 과정을 업데이트합니다. 이러한 형태에서 행동 조건화 월드 모델(action-conditioned world model)은 인식(perception)과 물리적 상호작용(physical interaction)을 계획(planning) 및 제어(control)와 연결하는 예측의 핵심(predictive core)이 되며, 물리적 인공지능(Physical AI)을 위한 지능형 행동의 기반을 제공합니다.

08.10. Action Conditioned World Model [w/Code]

행동 조건화 월드 모델(action-conditioned world model)은 행동에 대한 반응으로 물리적 세계가 어떻게 변화하는지를 학습하는 내부 예측 모델(internal predictive model)입니다. 핵심 목적은 현재 환경을 단순히 설명하는 것이 아니라, 현재 상태 (s_t), 행동 (a_t), 그리고 그 결과로 발생하는 미래 상태 (s_{t+1})을 연결하는 것입니다. 잠재 공간(latent space)에서는 이러한 관계를 (z_{t+1}=F_\theta(z_t,e_t))로 표현할 수 있으며, 여기서 (z_t)는 현재 잠재 세계 상태(current latent world state), (e_t)는 인코딩된 행동(encoded action)을 나타냅니다. 이를 통해 모델은 에이전트가 무엇을 선택하여 행동하는지에 명시적으로 반응할 수 있습니다.

모델은 다중 모달 관측(multimodal observation)을 현재 세계에 대한 압축된 표현(compact representation)으로 변환하는 것에서 시작합니다. 카메라(camera), LiDAR, 레이더(radar), IMU, 자기수용감각(proprioception) 및 기타 센서는 로봇과 환경에 대한 정보를 제공하며, 인코더(encoder)는 미래 예측에 필요한 상태 정보를 추출합니다. 잠재 상태(latent state)는 로봇 자세(robot pose), 속도(velocity), 객체(objects), 장애물(obstacles), 공간적 관계(spatial relationships), 접촉(contacts), 지형(terrain), 작업 맥락(task context) 및 기타 동역학 관련 정보(dynamics-related information)를 암묵적으로 포함할 수 있습니다. 표현이 예측(prediction), 계획(planning), 제어(control)에 필요한 정보를 보존한다면 모든 센서 세부 정보를 그대로 복원할 필요는 없습니다.

이후 행동(action)이 명시적인 조건 변수(explicit conditioning variable)로 입력됩니다. 로봇에 따라 행동은 조향(steering), 휠 속도(wheel velocity), 가속도(acceleration), 관절 위치(joint position), 토크(torque), 엔드이펙터 움직임(end-effector motion), 내비게이션 결정(navigation decision), 또는 높은 수준의 작업 명령(high-level task command)을 나타낼 수 있습니다. 행동 인코더(action encoder)는 이러한 서로 다른 형태의 명령(heterogeneous command)을 잠재 동역학 모델(latent dynamics model)과 호환되는 행동 임베딩(action embedding)으로 변환할 수 있습니다. 따라서 핵심 관계는 단순한 상태 → 미래(state → future)가 아니라 상태 + 행동 → 미래(state + action → future)입니다. 이러한 차이를 통해 모델은 제어 가능한 변화(controllable change)를 표현하고, 동일한 초기 상태에서 서로 다른 개입(different intervention)이 근본적으로 다른 미래를 만들어낼 수 있음을 학습합니다.

핵심 동역학 모델(core dynamics model)은 선택된 행동에 따라 현재 잠재 상태(current latent state)에서 미래 잠재 상태(future latent state)로 전이되는 과정을 학습합니다. 기본적인 표현은 (z_{t+1}=F_\theta(z_t,e_t))이지만, 모델은 다단계 예측(multi-step prediction)을 위해 (z_{t+1},z_{t+2},\ldots,z_{t+H})를 반복적으로 생성할 수 있습니다. 이렇게 생성된 잠재 궤적(latent trajectory)은 선택된 행동 또는 행동 시퀀스(action sequence)에 따라 세계가 어떻게 변화할 것으로 예상되는지를 나타냅니다. 전이가 행동에 명시적으로 조건화되어 있기 때문에, 동일한 현재 상태에서도 어떤 행동을 입력하느냐에 따라 서로 다른 미래를 내부적으로 시뮬레이션할 수 있습니다.

예측된 잠재 궤적(predicted latent trajectory)은 계획(planning)에 직접 사용할 수 있으며, 선택적으로 디코더(decoder)를 통해 미래 관측(future observation)으로 변환할 수도 있습니다. 예측된 이미지(predicted image), LiDAR 구조(LiDAR structure), 객체 상태(object state), 기타 센서 수준 정보(sensor-level quantity)는 해석(interpretation)이나 시각화(visualization)가 필요한 경우 복원할 수 있지만, 완전한 관측을 복원하는 것이 항상 필요한 것은 아닙니다. 제어(control)에서는 잠재 상태가 움직임(motion), 상호작용(interaction), 공간 구조(spatial structure), 작업 진행도(task progress) 및 예측된 미래가 바람직한지 또는 안전하지 않은지를 결정하는 기타 변수에 대한 물리적으로 의미 있는 정보(physically meaningful information)를 유지하는 것이 중요합니다.

모델이 행동에 따른 미래(action-dependent future)를 예측할 수 있게 되면 반사실적 추론(counterfactual reasoning)을 위한 내부 시뮬레이터(internal simulator)로 기능할 수 있습니다. 동일한 현재 잠재 상태에서 출발하여 시스템은 직진, 방향 전환, 감속, 정지, 파지(grasp), 또는 서로 다른 궤적(trajectory)을 따르는 것과 같은 대안을 평가할 수 있습니다. 각각의 후보 행동은 별도의 예측 롤아웃(predicted rollout)을 생성하며, 모든 대안을 실제로 물리적으로 실행하지 않고도 그 결과로 생성되는 미래를 비교할 수 있습니다. 이러한 능력은 월드 모델을 수동적인 예측기(passive predictor)에서 실제 행동이 발생하기 전에 가능한 개입을 상상하고 평가하는 메커니즘(mechanism)으로 변화시킵니다.

실제 계획(practical planning)에서는 행동을 고립된 명령(isolated command)으로 평가하기보다는 일반적으로 일정한 시간 범위(horizon) 동안 평가합니다. (A^i=(a_t^i,a_{t+1}^i,\ldots,a_{t+H-1}^i))와 같은 후보 시퀀스(candidate sequence)는 잠재 동역학(latent dynamics)을 통해 전개되어 완전한 예측 궤적(complete predicted trajectory)을 생성할 수 있습니다. 이후 플래너(planner)는 각 궤적을 비용(cost), 보상(reward), 목표 진행도(goal progress), 충돌 위험(collision risk), 안전성(safety), 효율성(efficiency), 안정성(stability), 에너지 소비(energy consumption), 작업 성공(task success) 등에 따라 평가할 수 있습니다. 계획 목적(planning objective)에 따라 가장 우수한 개별 행동 또는 행동 시퀀스를 선택할 수 있으며, 이를 통해 월드 모델의 예측과 의사결정(decision making)이 직접 연결됩니다.

이러한 구조는 자연스럽게 모델 예측 제어(model predictive control)와 이동 시간 범위 운용(receding-horizon operation)을 지원합니다. 로봇은 환경을 관측하고, 현재 잠재 상태를 추정하며, 후보 행동을 생성하거나 전달받고, 그 결과를 예측하고, 가능한 미래를 평가한 다음, 가장 적절한 행동 또는 선택된 시퀀스의 짧은 초기 구간을 실행합니다. 이후 새로운 관측을 얻고 이 과정을 반복합니다. 이러한 방식은 장기적인 내부 계획(long-horizon internal planning)과 단기적인 물리적 실행(short-horizon physical commitment)을 결합하여, 실제 환경이 변화함에 따라 로봇이 지속적으로 행동을 수정할 수 있도록 합니다.

학습된 월드 모델(learned world model)은 완벽하게 정확하지 않기 때문에 폐루프(closed loop)가 필수적입니다. 행동이 실행된 후 로봇은 새로운 관측 (o_{t+1})을 얻으며, 이를 예측된 관측 (\hat{o}_{t+1})과 비교할 수 있습니다. 이때 발생하는 예측 오차(prediction error)는 잠재 상태(latent state), 행동 표현(action representation), 동역학 모델(dynamics model), 또는 환경에 대한 가정(assumption)의 부정확성을 나타낼 수 있습니다. 이러한 차이는 상태 추정(state estimate)을 업데이트하고, 모델 파라미터(model parameter)를 개선하며, 제어 전략(control strategy)을 적응시키는 데 사용할 수 있습니다. 따라서 월드 모델은 독립적인 시뮬레이터로만 작동하는 것이 아니라 실제 경험(real experience)에 지속적으로 기반을 둘 수 있습니다.

실제 물리적 인공지능(Physical AI)에 유용한 행동 조건화 월드 모델(action-conditioned world model)을 구축하기 위해서는 여러 가지 문제가 해결되어야 합니다. 잠재 표현(latent representation)은 불필요한 세부 정보를 과도하게 유지하지 않으면서도 핵심적인 물리 정보를 보존해야 합니다. 장기 롤아웃(long rollout)에서는 예측 오차가 누적될 수 있고, 부분 관측(partial observability)은 중요한 상태 변수를 숨길 수 있으며, 예측 시간 범위가 길어질수록 불확실성(uncertainty)이 증가할 수 있습니다. 또한 학습 데이터에는 충분히 다양한 행동이 포함되어야 합니다. 그렇지 않으면 모델은 데이터셋에 이미 존재하는 행동에 대해서만 정확한 예측을 학습할 수 있습니다. 안전성(safety) 역시 중요한 제약이며, 내부 계획 과정에서 그 결과를 알아내기 위해 실제로 위험한 행동을 수행하도록 요구해서는 안 됩니다.

학습 과정(learning process)은 반복적인 관측-행동-다음 관측(observation-action-next-observation) 전이를 통해 실제 로봇 또는 시뮬레이션 경험(simulation experience)에 기반할 수 있습니다. 궤적(trajectory) 형태로 수집된 데이터는 행동 조건화 동역학(action-conditioned dynamics)을 학습하는 데 필요한 상태(state), 행동(action), 결과 상태(resulting state) 정보를 제공합니다. 모델은 단일 단계 및 다단계 예측 목적(one-step and multi-step prediction objective), 시간적 일관성(temporal consistency), 잠재 표현 학습(latent representation learning), 필요한 경우의 복원(reconstruction), 기타 자기지도 학습(self-supervised learning) 또는 작업 지향 학습(task-oriented learning) 신호를 사용하여 학습할 수 있습니다. 중요한 원칙은 학습된 표현이 단순히 센서 관측의 상관관계를 기억하는 것이 아니라 서로 다른 행동이 세계를 어떻게 변화시키는지를 점점 더 정확하게 예측하도록 만드는 것입니다.

궁극적으로 행동 조건화 월드 모델(action-conditioned world model)은 물리적 인공지능(Physical AI)을 위한 통합된 예측 핵심(unified predictive core)을 형성합니다. 이는 감지(sensing)와 상태 추정(state estimation)을 행동 표현(action representation), 잠재 동역학(latent dynamics), 반사실적 시뮬레이션(counterfactual simulation), 시퀀스 예측(sequence prediction), 계획(planning), 제어(control), 지속적 학습(continuous learning)과 연결합니다. 전체 과정은 Sense → Represent → Predict under Actions → Imagine Alternatives → Evaluate Futures → Act → Observe Again → Update로 요약할 수 있습니다. 로봇은 무엇이 발생하고 있는지를 이해하는 데 그치지 않고, 서로 다른 행동을 취했을 때 무엇이 발생할 수 있는지를 예측하고 자신의 목표를 보다 안전하고 효율적이며 지능적으로 달성할 수 있는 행동을 선택할 수 있습니다. Chapter 08의 흐름은 행동 조건화(action conditioning)와 상태 전이(state transition)에서 시작하여 잠재 동역학(latent dynamics), 반사실적 롤아웃(counterfactual rollout), 다중 행동 예측(multi-action prediction)을 거쳐 최종적으로 행동 조건화 제어(action-conditioned control)로 발전하는 이러한 개념을 구축합니다.


저자: Richard Minsoo Go

LinkedIn: Richard Minsoo Go

Top comments (0)