STATERA Library · Series 09 · Volume 07 · Chapter 06 · KR
Source: https://github.com/Statera-Library/09_Vol_07_World_Models_for_Physical_AI/blob/main/Chapter_06_Occupancy_Networks_and_Prediction/Chapter_06_Occupancy_Networks_and_Prediction_KR.md
Volume 07. World Models for Physical AI
Chapter 06. Occupancy Networks and Prediction
06.01. Occupancy as a World Representation
점유(Occupancy)는 물리적 세계를 공간적으로 표현하는 방법으로, 공간의 각 영역이 점유되어 있는지(occupied), 비어 있는지(free), 또는 미지의 상태인지(unknown)를 나타낸다. 개별 객체를 식별해야 하는 객체 중심 표현(object-centric representation)과 달리, 점유 표현(occupancy representation)은 공간에 실제 물질이 존재하는 위치와 그 기하학적 구조에 직접 초점을 둔다. 이는 피지컬 AI(Physical AI)에 특히 적합하다. 로봇은 단순히 어떤 물체가 무엇인지뿐만 아니라, 물리적 물질이 어디에 존재하고 로봇이 어느 공간을 안전하게 이동할 수 있는지도 판단해야 하기 때문이다.
월드 모델(world model)에서 점유는 원시 센서 관측(raw sensor observation)과 상위 수준의 예측(prediction), 계획(planning), 제어(control) 사이를 연결하는 중간 표현(intermediate representation)으로 사용할 수 있다. 카메라(camera), LiDAR, 레이더(radar) 및 기타 센서는 특정 시점과 특정 시점에서 환경의 일부만 관측한다. 점유 표현은 이러한 관측을 하나의 공간적 상태(spatial state)로 통합하여 주변 세계를 보다 직접적으로 추론할 수 있도록 한다. 따라서 분절된 관측(fragmented observation)을 물리적 세계에 대한 구조화된 설명(structured description)으로 변환한다.
기본적인 점유 표현(basic occupancy representation)은 공간을 여러 셀(cell)로 나누고 각 셀에 해당 영역이 점유되었는지 또는 비어 있는지를 나타내는 상태를 할당한다. 또한 충분한 관측이 이루어지지 않아 해당 영역의 상태를 알 수 없는 경우를 위해 미지(unknown)라는 세 번째 상태가 필요하다. 이러한 구분은 매우 중요하다. 관측되지 않은 공간을 자동으로 비어 있는 공간으로 간주해서는 안 되기 때문이다. 피지컬 AI 시스템이 미지의 공간을 빈 공간으로 잘못 판단하면, 특히 물체나 사람 또는 다른 이동체가 다른 물체 뒤에 가려져 있는 상황에서 안전하지 않은 의사결정을 내릴 수 있다.
점유는 모든 물리적 요소를 미리 정의된 의미론적 객체(semantic object)로 표현하지 않아도 된다는 점에서 특히 유용하다. 기존 객체 검출기(object detector)는 차량(vehicle), 보행자(pedestrian), 나무(tree), 교통 표지판(traffic sign) 등을 인식할 수 있지만, 실제 물리적 세계에는 연석(curbs), 불규칙한 지형(irregular terrain), 식생(vegetation), 부분적으로 존재하는 장애물(partial obstacles), 건설 자재(construction materials), 그리고 이전에 보지 못했던 구조물(previously unseen structures)도 존재한다. 점유는 이러한 요소들의 의미적 범주가 불확실하거나 존재하지 않더라도 공간적 존재(spatial existence)를 통해 표현할 수 있다.
점유 표현은 서로 다른 공간적 차원(spatial dimension)과 해상도(resolution)로 구축할 수 있다. 2차원 점유 격자(2D occupancy grid)는 환경을 이동 가능한 평면으로 투영하기 때문에 이동 로봇의 내비게이션(mobile navigation)에 유용하다. 3차원 점유(3D occupancy)는 표현을 체적 공간(volumetric space)으로 확장하여 로봇의 위와 아래에 존재하는 구조물까지 표현할 수 있다. 4차원 표현(4D representation)은 여기에 시간(time)을 추가하여, 객체와 환경 구조가 변화함에 따라 점유 상태가 어떻게 변화하는지를 표현할 수 있다.
신경 점유 모델(neural occupancy model)은 센서 관측으로부터 점유 상태를 직접 추론하도록 학습함으로써 기존 점유 격자를 확장한다. 명시적인 기하학적 복원(explicit geometric reconstruction)에만 의존하는 대신, 신경망(neural network)은 이미지(image), LiDAR 측정값, 시간적 관측(temporal observation)과 실제 공간 상태 사이의 관계를 학습할 수 있다. 이를 통해 모델은 부분적으로 관측된 영역을 추론하고 보다 완전한 환경 표현을 구축할 수 있다. 결과적으로 점유 상태는 단순한 기하학적 지도(geometric map)를 넘어 학습된 월드 표현(learned world representation)이 될 수 있다.
피지컬 AI에서 점유는 시간에 따라 변화하는 상태(state)로도 이해해야 한다. 건물이나 지형과 같은 정적 구조물(static structure)은 비교적 안정적으로 유지되는 반면, 차량, 보행자, 로봇, 동물 및 기타 에이전트(agent)는 변화하는 점유 패턴(changing occupancy pattern)을 만든다. 따라서 월드 모델은 현재 시점의 점유 상태를 표현하는 동시에 그 상태가 미래에 어떻게 변화할지를 예측할 수 있어야 한다. 이것은 점유 표현을 예측적 월드 모델링(predictive world modeling)과 직접 연결한다. 여기서 목적은 현재의 세계를 단순히 복원하는 것이 아니라 가능한 미래 상태(plausible future state)를 추정하는 것이다.
점유에는 의미론적 정보(semantic information)를 추가할 수도 있다. 의미론적 점유(semantic occupancy)는 기본적인 기하학적 표현을 유지하면서 공간 영역에 범주(category) 또는 속성(property)을 연결한다. 따라서 하나의 셀이나 복셀(voxel)은 해당 공간이 점유되어 있는지뿐만 아니라 그 영역이 도로(road), 차량(vehicle), 보행자(pedestrian), 식생(vegetation), 건물(building) 또는 다른 범주에 해당하는지도 나타낼 수 있다. 이러한 결합을 통해 월드 모델은 의미론적 인식(semantic recognition)에만 의존하지 않고 기하학(geometry)과 의미(semantics)를 동시에 추론할 수 있다.
다중 센서(multimodal sensing)는 서로 다른 센서가 상호 보완적인 정보를 제공하기 때문에 점유 추정(occupancy estimation)을 더욱 강력하게 만든다. 카메라는 풍부한 외관 정보와 의미론적 정보를 제공하고, LiDAR는 정밀한 기하학적 측정값을 제공하며, 레이더는 악천후나 가시성이 낮은 환경과 이동 조건에서도 유용한 관측을 제공할 수 있다. 관성 센서(inertial sensor)와 자기수용감각(proprioception)은 로봇 자신의 움직임에 대한 정보를 제공한다. 다중 모달 월드 모델(multimodal world model)은 이러한 관측을 하나의 공통 점유 표현(common occupancy representation)으로 융합하여 개별 센서의 한계를 줄이고 더욱 강건한 물리적 세계 이해(physical-world understanding)를 지원할 수 있다.
점유는 인식(perception)과 계획(planning) 사이를 연결하는 자연스러운 인터페이스(interface)도 제공한다. 계획기(planner)는 경로가 가능한지를 판단하기 위해 모든 장애물의 정확한 정체를 반드시 알아야 하는 것은 아니다. 실제로는 어떤 영역을 이동할 수 있는지, 어떤 영역에 장애물이 존재하는지, 그리고 어떤 영역이 불확실한지를 아는 것이 더 중요하다. 따라서 점유는 복잡한 다중 모달 인식 결과를 내비게이션(navigation), 충돌 회피(collision avoidance), 궤적 최적화(trajectory optimization), 제어(control) 시스템이 사용할 수 있는 공간적 제약(spatial constraint)으로 변환할 수 있다.
월드 모델 관점에서 점유는 현재의 인식을 넘어 예측(prediction)과 의사결정(decision making)으로 확장될 수 있다. 현재의 점유 상태와 로봇의 행동(action) 또는 주변 에이전트의 예상 움직임(estimated motion)이 주어지면, 모델은 미래의 점유 분포(future occupancy distribution)를 예측할 수 있다. 이러한 예측은 로봇이 특정 행동을 수행했을 때 충돌(collision), 통로 차단(blocked passage), 또는 위험한 상호작용(unsafe interaction)이 발생할 가능성을 평가하는 데 사용할 수 있다. 따라서 점유는 단순히 물리적 대상이 현재 어디에 있는지를 나타내는 것이 아니라, 미래에 물리적 물질이 어디에 존재할 가능성이 높은지를 나타내는 표현이 된다.
점유 기반 월드 표현(occupancy-based world representation)의 중요한 특징 중 하나는 불확실성(uncertainty)을 보존할 수 있다는 것이다. 센서 가림(sensor occlusion), 제한된 탐지 거리(limited range), 희소한 관측(sparse observation), 동적 객체(dynamic object), 모호한 측정(ambiguous measurement)은 물리적 상태에 대한 불확실성을 필연적으로 만든다. 유용한 월드 모델은 물리적 공간을 지나치게 정확한 것처럼 표현하면서 잘못된 판단을 만드는 대신, 확실하게 점유된 영역과 불확실한 영역을 구분해야 한다. 이러한 특성 때문에 점유는 확률적 예측(probabilistic prediction), 불확실성 추정(uncertainty estimation), 위험 인지 계획(risk-aware planning)과 자연스럽게 결합될 수 있다.
피지컬 AI 아키텍처(Physical AI architecture)에서 점유는 인식(perception), 시간적 모델링(temporal modeling), 다중 모달 융합(multimodal fusion), 예측(prediction), 계획(planning)을 연결하는 핵심적인 공간 상태(spatial state)로 기능할 수 있다. 원시 관측(raw observation)은 구조화된 공간 표현(structured spatial representation)으로 변환되고, 월드 모델은 시간에 따라 그 표현을 갱신하며, 미래의 점유 상태는 이후의 계획 및 제어 시스템에서 평가될 수 있다. 따라서 점유는 로봇이 무엇을 관측하는지와 물리적 세계가 앞으로 어떻게 변화할 것이라고 예상하는지를 연결하는 중요한 가교(bridge)가 된다.
월드 모델이 범용 물리 지능(general physical intelligence)으로 발전할수록 점유의 중요성은 더욱 커진다. 범용 시스템은 알려진 객체와 알려지지 않은 객체, 정적 구조물과 동적 구조물, 여러 센서 모달리티(sensor modality), 그리고 서로 다른 수준의 관측 가능성(observability)을 포함하는 환경에서 작동해야 한다. 점유는 이러한 조건을 표현하기 위한 비교적 보편적인 공간 언어(spatial language)를 제공한다. 완전한 의미론적 이해가 없어도 물리적 공간의 상태를 표현할 수 있기 때문이다. 따라서 점유는 더욱 발전된 의미론적(semantic), 예측적(predictive), 인과적(causal), 행동 조건부(action-conditioned) 월드 모델을 구축하기 위한 기본 표현(foundational representation) 가운데 하나로 기능할 수 있다.
06.02. 2D 3D and 4D Occupancy
2차원 점유(2D occupancy)는 평면 격자(planar grid) 위에서 물리적 환경(physical environment)을 표현하며, 각 셀(cell)은 해당 공간 영역이 점유(occupied)되었는지, 비어 있는지(free), 또는 미지(unknown)인지를 나타낸다. 이는 이동 로봇(mobile robot)을 위한 가장 단순하면서도 가장 널리 사용되는 공간적 월드 표현(spatial world representation) 중 하나이다. 지상 로봇(ground robot)은 주로 어디로 이동할 수 있는지를 판단해야 하므로, 2차원 표현은 이동 가능한 공간(traversable space)을 간결하게 설명할 수 있다. 따라서 내비게이션(navigation), 장애물 회피(obstacle avoidance), 위치 추정(localization) 지원, 계산 효율적인 계획(computationally efficient planning)에 특히 유용하다.
2차원 점유 격자(2D occupancy grid)는 일반적으로 센서 관측(sensor observation)을 기준 평면(reference plane)에 투영하여 구축하며, 이 평면은 대부분 로봇의 지면(ground surface)에 해당한다. LiDAR 측정값, 깊이 관측(depth observation) 또는 기타 센서 데이터는 로봇과의 공간적 관계에 따라 점유 셀(occupied cell)과 자유 셀(free cell)로 변환될 수 있다. 격자 해상도(grid resolution)는 표현할 수 있는 기하학적 세부 수준(geometric detail)을 결정한다. 높은 해상도는 작은 장애물을 표현할 수 있지만 메모리와 연산량을 증가시키며, 낮은 해상도는 효율적이지만 중요한 기하학적 정보를 잃을 수 있다.
2차원 점유의 가장 큰 장점은 계산 효율성(computational efficiency)이다. 평면 격자는 체적 표현(volumetric representation)에 비해 훨씬 적은 메모리와 연산을 필요로 하기 때문에 자원이 제한된 로봇 플랫폼(resource-constrained robotic platform)에서도 실시간으로 동작할 수 있다. 많은 내비게이션 알고리즘(navigation algorithm)은 충돌이 없는 경로(collision-free path)를 결정하기 위해 2차원 비용 지도(2D costmap) 또는 점유 격자(occupancy grid)를 직접 사용할 수 있다. 그러나 이러한 효율성은 물리적 세계를 단순화한 결과이다. 높이 변화가 큰 객체, 머리 위 구조물(overhead structure), 가파른 지형(steep terrain), 그리고 하나의 평면으로 충분히 표현할 수 없는 장애물은 부정확하게 표현되거나 완전히 사라질 수 있다.
3차원 점유(3D occupancy)는 표현을 하나의 평면에서 체적 공간(volumetric space)으로 확장한다. 2차원 셀에 상태를 할당하는 대신 환경을 3차원 복셀(3D voxel)로 나누고, 각 복셀은 물리적 공간의 일정한 체적을 나타낸다. 하나의 복셀은 해당 공간이 점유되었는지, 비어 있는지, 또는 미지인지를 나타낼 수 있다. 이를 통해 월드 모델(world model)은 벽, 천장, 식생, 높은 위치의 장애물, 지하 통로, 계단, 불규칙한 지형 및 평면 표현으로는 충분히 나타낼 수 없는 다양한 구조물을 표현할 수 있다.
2차원에서 3차원 점유로의 전환은 피지컬 AI(Physical AI)에서 특히 중요하다. 실제 환경은 본질적으로 3차원적이기 때문이다. 야외에서 작동하는 로봇은 바위, 경사면, 도랑, 나뭇가지, 차량, 구조물 등 서로 다른 높이에 존재하는 다양한 요소를 만날 수 있다. 모바일 매니퓰레이터(mobile manipulator)는 지면 위에 존재하는 물체까지 추가적으로 추론해야 하며, 4족 보행 로봇(quadruped)은 복잡한 지형의 기하학적 구조를 이해해야 할 수 있다. 따라서 3차원 점유는 더욱 완전한 물리적 설명(physical description)을 제공하며, 충돌 검사(collision checking), 주행 가능성 추정(traversability estimation), 조작(manipulation), 공간적으로 복잡한 환경에서의 동작 계획(motion planning)을 지원할 수 있다.
3차원 점유는 또한 상당히 높은 계산 요구사항(computational requirement)을 발생시킨다. 공간 해상도를 유지하면서 세 번째 차원을 추가하면 공간 요소의 수가 크게 증가할 수 있다. 따라서 대규모 야외 환경을 밀집 복셀 격자(dense voxel grid)를 사용하여 표현하는 것은 현실적으로 어려울 수 있다. 실제 시스템에서는 계산 부담을 줄이기 위해 희소 표현(sparse representation), 계층적 구조(hierarchical structure), 적응형 해상도(adaptive resolution), 또는 학습 기반 신경 점유 모델(learned neural occupancy model)을 사용하는 경우가 많다. 목표는 의사결정(decision making)에 중요한 공간 정보를 유지하면서 비어 있거나 중요하지 않은 영역을 불필요하게 표현하는 것을 피하는 것이다.
4차원 점유(4D occupancy)는 시간(time)을 공간 표현에 추가적인 차원으로 포함한다. 이러한 관점에서 점유는 단순히 3차원 공간에서 물리적 물질이 어디에 존재하는지를 설명하는 것이 아니라, 그 점유 상태가 시간에 따라 어떻게 변화하는지도 설명한다. 따라서 4차원 점유 표현은 현재 환경과 이후 미래 시점에서 예측되는 점유 상태의 연속적인 변화를 나타낼 수 있다. 이는 현재의 물리적 상태에 대한 인식과 미래의 물리적 상태에 대한 예측을 연결할 수 있기 때문에 월드 모델(world model)과 특히 밀접한 관련이 있다.
시간 차원(temporal dimension)을 추가하면 월드 모델은 정적 점유(static occupancy)와 동적 점유(dynamic occupancy)를 구분할 수 있다. 건물이나 지형 표면은 대략적으로 고정되어 있을 수 있지만, 차량, 보행자, 동물 또는 로봇은 시간에 따라 공간적 위치를 변화시킨다. 4차원 표현은 이러한 변화를 각각 독립적인 정적 지도(static map)로 처리하는 대신 시간에 따라 변화하는 점유 패턴(evolving occupancy pattern)으로 표현할 수 있다. 이는 움직임 예측(motion prediction), 동적 장애물 추론(dynamic obstacle reasoning), 궤적 평가(trajectory evaluation), 변화하는 환경에서의 계획(planning)을 위한 기반을 제공한다.
4차원 점유는 단순히 여러 개의 3차원 점유 지도를 저장하는 것으로 이해해서는 안 된다. 월드 모델은 연속적인 점유 상태 사이의 시간적 관계(temporal relationship)를 학습하고 물리적 환경이 앞으로 어떻게 변화할 가능성이 높은지를 추정할 수 있다. 현재 점유 상태, 관측된 에이전트(agent)의 움직임, 로봇 자신의 행동(action), 그리고 관련 환경 동역학(environmental dynamics)이 주어지면 모델은 미래의 점유 상태를 예측할 수 있다. 이러한 예측은 사람, 차량 또는 다른 에이전트의 미래 행동이 불확실한 경우 여러 가능한 미래(multiple possible futures)를 표현할 수도 있다.
따라서 세 가지 표현은 공간적 단순성(spatial simplicity)에서 시공간적 세계 이해(spatiotemporal world understanding)로 발전하는 과정을 형성한다. 2차원 점유는 이동 가능한 공간에 대한 효율적인 표현을 제공하고, 3차원 점유는 물리적 환경에 대한 체적적 이해(volumetric understanding)를 제공하며, 4차원 점유는 시간적 변화(temporal evolution)와 미래 예측(future prediction)을 추가한다. 이러한 선택은 단순히 하나의 표현이 다른 표현을 대체하는 관계로 볼 수 없다. 피지컬 AI 시스템은 작업, 공간 규모(spatial scale), 계산 자원(computational resource), 필요한 예측 시간 범위(prediction horizon)에 따라 세 가지 표현을 동시에 사용하거나 적절한 표현을 선택할 수 있다.
다중 해상도 및 계층적 점유(multi-resolution and hierarchical occupancy)는 이러한 표현들을 하나의 통합된 아키텍처(unified architecture)로 연결할 수 있다. 로봇은 자신의 주변에서는 높은 해상도의 3차원 점유 표현을 유지하면서 먼 영역에서는 낮은 해상도의 표현을 사용할 수 있다. 이후 2차원 투영(2D projection)을 통해 효율적인 내비게이션 인터페이스(navigation interface)를 제공하는 동시에, 기본적인 3차원 표현에서는 중요한 기하학적 정보를 보존할 수 있다. 시간적 모델(temporal model)은 선택된 영역이나 특징(feature)에 대해 작동하면서 미래의 점유 상태를 예측할 수 있다. 이러한 계층적 전략은 전체 세계를 최대한의 세부 수준으로 처리하는 대신 중요도에 따라 계산 자원(computational resource)을 할당할 수 있도록 한다.
2차원에서 3차원을 거쳐 최종적으로 4차원 점유로 발전하는 과정은 월드 모델 설계(world-model design)의 중요한 전환을 보여준다. 2차원 지도는 주로 로봇이 어디로 이동할 수 있는지를 설명하는 반면, 3차원 표현은 로봇 주변에 어떤 물리적 공간이 존재하는지를 설명한다. 4차원 표현은 여기에 해당 물리적 공간이 어떻게 변화하고 있으며 미래에는 어떤 모습이 될 수 있는지를 추가한다. 따라서 2차원에서 4차원 점유로의 발전은 표현을 단순한 기하학적 매핑(geometric mapping)에서 예측적 월드 모델링(predictive world modeling)으로 확장하며, 인식(perception), 계획(planning), 충돌 회피(collision avoidance), 자율 의사결정(autonomous decision making)을 위한 더욱 풍부한 정보를 제공한다.
06.03. Occupancy Grid and Neural Occupancy
점유 격자(occupancy grid)는 환경을 이산적인 셀(discrete cell)로 나누고 각 셀에 점유(occupied), 자유(free), 미지(unknown)와 같은 상태를 할당하여 물리적 공간을 표현한다. 이는 내비게이션(navigation) 및 계획(planning) 시스템이 직접 해석할 수 있는 명시적인 공간 표현(explicit spatial representation)을 제공한다. 피지컬 AI(Physical AI)에서 이러한 표현은 모든 공간 영역을 이름이 지정된 객체로 표현하지 않고도 센서 관측(sensor observation)을 환경에 대한 기하학적 설명(geometric description)으로 변환할 수 있다는 점에서 중요하다. 따라서 점유 격자는 인식(perception)과 공간적 의사결정(spatial decision making)을 연결하는 실용적인 가교 역할을 한다.
전통적인 점유 격자(traditional occupancy grid)는 일반적으로 LiDAR나 깊이 센싱(depth sensing)과 같은 거리 측정(range measurement)을 통해 구축된다. 센서 관측값은 공통 좌표계(common coordinate system)로 변환되고, 측정값이 장애물(obstacle) 또는 자유 공간(free space)을 나타내는지에 따라 관측된 공간이 갱신된다. 센서가 충분한 정보를 제공하지 않은 영역은 미지 영역(unknown region)으로 명시적으로 유지된다. 이러한 특성은 자율 로봇(autonomous robot)에서 중요하다. 센서의 관측 증거가 없다는 사실을 해당 영역이 비어 있다는 증거로 자동 해석해서는 안 되기 때문이다.
점유 격자의 해상도(resolution)는 물리적 세계를 얼마나 정밀하게 표현할 수 있는지를 결정한다. 고해상도 격자(fine grid)는 작은 장애물, 좁은 통로, 세밀한 기하학적 구조를 표현할 수 있지만 더 많은 메모리와 연산을 필요로 한다. 저해상도 격자(coarse grid)는 계산 효율성이 높고 대규모 환경에 적합하지만 작은 구조물이나 얇은 구조물이 표현에서 사라질 수 있다. 따라서 격자 해상도는 로봇의 물리적 크기, 센서 정확도, 운용 환경, 계획 요구사항, 사용 가능한 계산 자원 등을 고려하여 선택해야 한다.
점유 격자는 공간의 주행 가능성(traversability)을 직접적으로 표현하기 때문에 내비게이션(navigation)에 특히 효과적이다. 내비게이션 시스템은 점유된 셀(occupied cell)을 충돌 제약(collision constraint)으로 변환하고 자유 셀(free cell)을 경로 생성(path generation)을 위한 후보 영역으로 사용할 수 있다. 동일한 표현은 새로운 센서 관측이 들어올 때 주변 공간을 지속적으로 갱신함으로써 장애물 회피(obstacle avoidance)와 지역 계획(local planning)을 지원할 수 있다. 그러나 기존의 점유 격자는 본질적으로 이산화(discretization)되어 있으며, 그 정확도는 선택된 해상도와 기반 센서 관측의 품질에 의해 제한된다.
신경 점유(neural occupancy)는 학습된 모델(learned model)을 사용하여 감각 정보(sensory information)로부터 점유 상태를 추론함으로써 이러한 명시적 표현을 확장한다. 모든 공간 상태를 미리 정의된 기하학적 규칙(predefined geometric rule)에 따라서만 구축하는 대신, 신경망(neural network)은 관측값과 실제 물리적 구조 사이의 관계를 학습할 수 있다. 카메라 이미지(camera image), LiDAR 측정값, 깊이 정보(depth information), 시간적 관측(temporal observation) 및 기타 센서 특징(sensor feature)을 인코딩하여 점유 상태를 예측할 수 있다. 이를 통해 직접적인 측정값이 희소하거나 불완전한 경우에도 모델이 공간 구조를 추론할 수 있다.
기존 점유 격자와 신경 점유의 주요 차이점은 추론(inference)의 역할에 있다. 전통적인 격자는 주로 센싱과 기하학적 갱신(geometric updating)을 통해 획득한 공간적 증거를 기록하는 반면, 신경 점유는 관측되지 않았거나 부분적으로 관측된 영역을 추정하는 데 도움이 되는 패턴을 학습할 수 있다. 이는 가림(occlusion), 희소한 측정(sparse measurement), 복잡한 기하학(complex geometry), 센서의 한계(sensor limitation)가 존재하는 환경에서 특히 유용하다. 따라서 학습된 표현(learned representation)은 직접적인 측정만으로 얻을 수 있는 것보다 더욱 완전한 물리적 세계 추정(physical-world estimate)을 제공할 수 있지만, 그 예측의 신뢰성(reliability)은 여전히 평가되어야 한다.
신경 점유는 서로 다른 공간적 차원(spatial dimension)과 해상도(resolution)에서도 작동할 수 있다. 모델은 내비게이션을 위해 2차원 표현(2D representation)에서 점유를 예측할 수도 있고, 체적적 이해(volumetric understanding)를 위해 3차원 복셀(3D voxel)로 예측할 수도 있으며, 고정된 격자에 제한되지 않는 보다 연속적인 공간 표현(continuous spatial representation)을 사용할 수도 있다. 이러한 유연성은 다양한 피지컬 AI 작업에 맞게 표현을 조정할 수 있도록 한다. 이동 로봇(mobile robot)은 지면 수준의 주행 가능성(ground-level traversability)을 중점적으로 처리할 수 있는 반면, 모바일 매니퓰레이터(mobile manipulator)나 4족 보행 로봇(quadruped)은 장애물과 주변 구조물에 대한 상세한 3차원 정보가 필요할 수 있다.
따라서 점유 격자와 신경 점유의 관계는 반드시 서로 대체하는 관계일 필요는 없다. 명시적 격자(explicit grid)는 해석 가능성(interpretability), 예측 가능한 메모리 요구량(predictable memory requirement), 그리고 기존 계획 시스템(classical planning system)에 직접 연결할 수 있는 인터페이스를 제공한다. 신경 점유는 학습 기반 추론(learned inference), 더욱 풍부한 표현 능력(richer representation capacity), 복잡한 센서 정보를 통합할 수 있는 능력을 제공한다. 실제 피지컬 AI 아키텍처에서는 두 접근법을 결합하여 신경망이 점유 상태를 추정하거나 보완하도록 하고, 이후의 계획 및 안전 중심 추론(safety-critical reasoning)을 위해 명시적인 공간 표현을 유지할 수 있다.
신경 점유는 시간 정보(temporal information)가 포함될 때 더욱 강력해질 수 있다. 하나의 관측으로부터 점유 상태를 추정하는 대신, 모델이 일련의 관측 시퀀스(sequence of observations)를 처리하고 공간 구조가 시간에 따라 어떻게 유지되거나 변화하는지를 학습할 수 있다. 이를 통해 움직임(motion), 객체의 지속성(object permanence), 시간적 일관성(temporal consistency)을 표현에 포함할 수 있다. 이렇게 생성된 점유 상태는 미래의 공간 구성을 예측하는 월드 모델(world model)의 입력으로 사용될 수 있으며, 점유 추정(occupancy estimation)을 동적 세계 모델링(dynamic world modeling) 및 미래 점유 예측(future occupancy prediction)과 연결할 수 있다.
두 접근법 모두 불확실성(uncertainty)을 처리해야 한다. 점유 상태를 항상 완전한 확신을 가지고 결정할 수 있는 것은 아니기 때문이다. 센서 잡음(sensor noise), 가림(occlusion), 제한된 탐지 거리(limited range), 희소한 측정(sparse measurement), 익숙하지 않은 환경(unfamiliar environment)은 모호한 공간 상태(ambiguous spatial state)를 만들 수 있다. 유용한 점유 시스템은 높은 확신을 가지고 점유되었거나 비어 있는 영역과 증거가 약한 영역을 구분해야 한다. 신경 모델은 확률적 예측(probabilistic prediction)이나 신뢰도 추정(confidence estimate)을 통해 불확실성을 표현할 수 있으며, 명시적인 점유 격자는 미지 상태(unknown state)를 그대로 유지할 수 있다. 이러한 구분은 점유 정보가 이후 충돌 회피(collision avoidance)와 위험 인지 계획(risk-aware planning)에 사용될 때 필수적이다.
피지컬 AI의 관점에서 점유 격자와 신경 점유는 상호 보완적인 수준의 세계 표현(complementary levels of world representation)으로 볼 수 있다. 점유 격자는 질의(query)가 쉽고 내비게이션과 통합하기 쉬운 명시적인 공간 구조를 제공하는 반면, 신경 점유는 다중 모달 관측(multimodal observation)으로부터 더욱 풍부한 공간 상태를 구성할 수 있는 학습 기반 인식 및 추론을 제공한다. 두 접근법을 결합하면 원시 센서 데이터에서 물리적 공간에 대한 구조화된 표현(structured representation of physical space)으로 발전할 수 있다. 이후 이 표현은 의미론적 보강(semantic enrichment), 동적 점유 모델링(dynamic occupancy modeling), 미래 예측(future prediction), 계획(planning), 제어(control)을 지원할 수 있다.
신경 점유의 더욱 광범위한 의미는 점유를 수동으로 갱신되는 지도(manually updated map)에서 학습된 세계 표현(learned world representation)으로 발전시킨다는 데 있다. 피지컬 AI 시스템의 능력이 향상될수록 목표는 단순히 현재 시점에서 어떤 셀이 점유되어 있는지를 결정하는 것이 아니라, 센서, 시간, 관점(viewpoint), 변화하는 환경에 걸쳐 일관성을 유지하는 공간 상태를 구축하는 것이다. 점유 격자는 명시적인 기하학적 기반(explicit geometric foundation)을 제공하고, 신경 점유는 그 기반을 예측적이고 범용적인 월드 모델(predictive and general-purpose world model)로 확장하는 데 필요한 학습 기반 추론을 제공한다.
06.04. Semantic Occupancy
의미론적 점유(semantic occupancy)는 물리적 공간의 점유된 영역에 의미론적 의미(semantic meaning)를 부여함으로써 기본적인 점유 표현(occupancy representation)을 확장한다. 기존 점유 표현은 주로 하나의 공간 셀(cell)이나 복셀(voxel)에 물리적 물질이 존재하는지를 묻는 반면, 의미론적 점유는 추가적으로 해당 점유 영역이 무엇을 나타내는지를 설명한다. 따라서 하나의 복셀은 도로(road), 차량(vehicle), 보행자(pedestrian), 식생(vegetation), 건물(building) 또는 기타 환경 요소와 같은 범주(category)와 연결될 수 있다. 이를 통해 기하학적 존재(geometric existence)와 의미론적 해석(semantic interpretation)을 하나의 공통 공간 표현(common spatial representation) 안에서 결합할 수 있다.
의미론적 점유의 중요성은 피지컬 AI(Physical AI)가 기하학(geometry)과 의미(meaning)를 모두 추론해야 한다는 데 있다. 어떤 영역이 점유되어 있다는 사실을 아는 것만으로는 기본적인 충돌 회피(collision avoidance)에는 충분할 수 있지만, 많은 상위 수준의 의사결정(higher-level decision)에는 충분하지 않다. 로봇은 보행자와 벽, 도로와 식생, 이동 가능한 차량과 영구적인 구조물을 구분해야 한다. 의미론적 정보(semantic information)는 월드 모델(world model)이 물리적 물질이 어디에 존재하는지만이 아니라, 그 물질이 환경에서 어떤 역할을 할 수 있는지도 이해하도록 한다.
의미론적 점유는 2차원 격자(2D grid), 3차원 복셀(3D voxel) 또는 기타 공간 표현(spatial representation)을 기반으로 구축할 수 있다. 2차원 표현에서는 셀에 도로(road), 보도(sidewalk), 장애물(obstacle), 식생(vegetation)과 같은 의미론적 클래스(semantic class)를 연결할 수 있다. 3차원 표현에서는 개별 복셀이 공간 좌표(spatial coordinate)와 점유 상태(occupancy state)를 유지하면서 의미론적 라벨(semantic label)을 가질 수 있다. 따라서 의미론적 점유는 인식(perception)을 공간적 추론(spatial reasoning), 내비게이션(navigation), 조작(manipulation), 동적 객체(dynamic object)와의 상호작용(interaction)에 연결해야 하는 월드 모델에 특히 적합하다.
이 표현은 점유 확률(occupancy probability)과 의미론적 확률(semantic probability)의 결합으로 이해할 수 있다. 단순히 점유 또는 자유라는 이진 상태(binary state)를 할당하는 대신, 모델은 특정 공간 영역이 점유되어 있는지와 함께 점유되어 있다면 어떤 의미론적 범주에 속할 가능성이 가장 높은지를 추정할 수 있다. 예를 들어 하나의 복셀은 높은 점유 확률과 함께 차량(vehicle) 범주에 속할 확률도 높을 수 있다. 다른 복셀은 점유 여부가 불확실하고 의미론적 분류(semantic classification) 역시 모호할 수 있다. 이러한 확률적 표현(probabilistic formulation)은 성급한 범주적 결정(premature categorical decision)을 강제하지 않고 의미론적 점유가 불확실성(uncertainty)을 보존할 수 있도록 한다.
의미론적 점유는 객체의 경계(object boundary)가 완전하지 않거나 가림(occlusion)의 영향을 받는 관측에서 특히 유용하다. 카메라는 차량의 일부만 관측할 수 있고, 동시에 LiDAR는 동일한 객체에 대해 희소한 기하학적 측정(sparse geometric measurement)만 제공할 수 있다. 공간적 증거(spatial evidence)와 의미론적 증거(semantic evidence)를 결합하면 학습된 점유 모델(learned occupancy model)은 주변 환경에 대한 보다 일관된 표현(coherent representation)을 추론할 수 있다. 이 표현은 공간적 추론이 시작되기 전에 완전한 객체 검출(object detection)을 반드시 요구하지 않으며, 월드 모델 내부에서 기하학과 의미가 함께 발전하도록 할 수 있다.
다중 모달 센싱(multimodal sensing)은 의미론적 점유의 중요한 기반을 제공한다. 카메라는 풍부한 시각 정보와 의미론적 정보를 제공하고, LiDAR는 정확한 공간 기하학(spatial geometry)을 제공한다. 레이더(radar)는 시각적 센싱이 저하되는 조건에서도 객체와 움직임에 대한 정보를 제공할 수 있으며, 시간적 관측(temporal observation)은 객체의 지속성(object persistence)과 움직임에 대한 추가적인 증거를 제공한다. 의미론적 점유 모델은 이러한 모달리티(modality)를 하나의 공통 공간 표현으로 융합하여 각 센서가 다른 센서의 한계를 보완하도록 할 수 있다.
의미론적 점유는 물리적 구조(physical structure)와 의미론적 해석(semantic interpretation)을 구분하는 데에도 유용하다. 특정 영역의 기하학은 비교적 확실하지만 그 의미론적 범주는 불확실할 수 있다. 예를 들어 시스템은 하나의 큰 체적이 점유되어 있다는 사실은 확실하게 판단하면서도, 그것이 차량인지 건설 장비인지 또는 다른 객체인지에 대해서는 확신하지 못할 수 있다. 이러한 두 종류의 정보를 분리하여 유지하면 완전한 의미론적 확실성을 요구하지 않고도 신뢰할 수 있는 기하학적 제약(geometric constraint)을 이후의 추론에서 사용할 수 있다.
시간적 정보(temporal information)가 포함되면 의미론적 표현은 더욱 유용해질 수 있다. 건물, 도로, 지형과 같은 정적 요소(static element)는 일반적으로 안정적인 공간적 관계(spatial relationship)를 유지하는 반면, 차량, 보행자 및 기타 에이전트(agent)는 시간에 따라 위치를 변화시킨다. 따라서 시간적 의미론적 점유(temporal semantic occupancy)는 의미론적 객체(semantic entity)가 어디에 존재하는지뿐만 아니라 그 공간적 분포(spatial distribution)가 시간에 따라 어떻게 변화하는지도 모델링할 수 있다. 이는 동적 객체 추론(dynamic object reasoning), 움직임 예측(motion prediction), 미래 의미론적 점유 예측(future semantic occupancy prediction)의 기반을 제공한다.
의미론적 점유는 주행 가능성(traversability) 및 행동 가능성(affordance) 추론과도 밀접하게 연결된다. 서로 다른 의미론적 클래스는 로봇에게 서로 다른 물리적 결과(physical consequence)를 의미한다. 도로는 선호되는 주행 가능 영역(preferred traversable region)을 나타낼 수 있고, 식생은 불확실하거나 지형 조건에 따라 달라지는 공간(terrain-dependent space)을 나타낼 수 있으며, 차량이나 보행자는 예측이 필요한 동적 장애물(dynamic obstacle)을 나타낼 수 있다. 따라서 의미론적 점유는 모든 점유 복셀을 동일한 장애물로 취급하는 대신, 계획 시스템이 서로 다른 공간 영역에 서로 다른 규칙을 적용할 수 있도록 한다.
조작(manipulation)과 상호작용(interaction)에서도 의미론적 점유는 인식과 행동(action)을 연결하는 공간 표현을 제공한다. 모바일 매니퓰레이터(mobile manipulator)는 특정 점유 영역이 잠재적으로 파지(grasp)할 수 있는 객체에 해당하는지, 아니면 고정된 환경 구조물(fixed environmental structure)에 해당하는지를 이해해야 할 수 있다. 마찬가지로 4족 보행 로봇(quadruped)은 발을 디딜 위치(foothold)를 선택하고 이동을 계획할 때 지형(terrain), 장애물(obstacle), 식생(vegetation)을 구분해야 할 수 있다. 따라서 의미론적 점유는 물리적 행동과 분리된 인식이 아니라 행동과 직접 연결되는 공간적 추론(action-relevant spatial reasoning)을 지원한다.
의미론적 점유의 주요 장점은 여러 수준의 세계 이해(world understanding)를 하나의 공통 표현으로 제공한다는 것이다. 낮은 수준의 점유(low-level occupancy)는 물리적 존재(physical presence)를 설명하고, 의미론적 점유는 그 존재의 의미를 설명하며, 시간적 점유(temporal occupancy)는 그것이 어떻게 변화하는지를 설명하고, 미래 점유 예측(future occupancy prediction)은 해당 표현이 앞으로 어떻게 변화할지를 추정한다. 이러한 계층은 월드 모델 안에서 통합될 수 있으며, 인식이 구조화된 상태(structured state)를 생성하고 이후 예측(prediction), 계획(planning), 충돌 회피(collision avoidance), 제어(control)를 지원하도록 할 수 있다.
의미론적 점유의 효과는 기하학(geometry), 의미(semantics), 시간(time) 사이의 일관성을 유지하는 데 달려 있다. 잘못된 의미론적 분류는 부적절한 계획 결정을 초래할 수 있고, 잘못된 기하학적 표현은 안전하지 않은 충돌 추정을 발생시킬 수 있다. 따라서 강건한 시스템(robust system)은 점유 신뢰도(occupancy confidence)와 함께 의미론적 신뢰도(semantic confidence)와 시간적 일관성(temporal consistency)을 평가해야 한다. 이는 익숙하지 않은 환경(unfamiliar environment), 센서 성능이 저하된 상황(sensor degradation), 객체가 부분적으로 관측되거나 동적으로 변화하는 상황에서 특히 중요하다.
궁극적으로 의미론적 점유는 기하학적 매핑(geometric mapping)에서 보다 완전한 물리적 세계 표현(physical world representation)으로 발전하기 위한 중요한 단계이다. 일반적인 점유 격자(occupancy grid)는 로봇에게 공간이 어디에서 점유되어 있는지를 알려주는 반면, 의미론적 점유는 해당 공간을 무엇이 점유하고 있으며 서로 다른 영역을 어떻게 해석해야 하는지에 대한 정보를 추가한다. 다중 모달 센싱(multimodal sensing), 시간적 모델링(temporal modeling), 불확실성 추정(uncertainty estimation), 미래 예측(future prediction)이 결합되면 의미론적 점유는 피지컬 AI 시스템이 인식(perception), 세계 이해(world understanding), 계획(planning), 그리고 실제 세계와의 안전한 상호작용(safe interaction)을 연결하는 핵심 표현이 될 수 있다.
06.05. Multimodal Occupancy Estimation
다중 모달 점유 추정(multimodal occupancy estimation)은 여러 센서에서 얻은 상호 보완적인 관측(complementary observation)을 결합하여 물리적 세계(physical world)의 공간적 표현(spatial representation)을 구축한다. 하나의 센서만으로는 완전한 정보를 얻기 어려운데, 각 센서 모달리티(modality)가 서로 다른 강점과 한계를 가지고 있기 때문이다. 카메라(camera)는 풍부한 외관 정보와 의미론적 정보를 제공하고, LiDAR는 정밀한 기하학적 측정(geometric measurement)을 제공하며, 레이더(radar)는 유용한 움직임 및 거리 정보를 제공하고, IMU 또는 자기수용감각(proprioception)은 로봇 자신의 움직임에 대한 정보를 제공한다. 점유 추정은 이러한 관측들을 하나의 공통 공간 상태(common spatial state)로 결합한다.
핵심적인 목표는 여러 모달리티의 정보를 사용하여 각 공간 영역이 점유(occupied), 자유(free), 또는 미지(unknown)인지를 추정하는 것이다. 각 센서를 독립적으로 처리하는 대신, 시스템은 센서 관측을 서로 호환 가능한 표현(compatible representation)으로 변환하고 그 결과로 얻어진 증거를 융합한다. 이를 통해 기하학적(geometric), 시각적(visual), 시간적(temporal), 움직임 관련(motion-related) 정보가 점유 상태에 공동으로 기여할 수 있다. 결과 표현은 피지컬 AI(Physical AI) 시스템의 요구사항에 따라 2차원 격자(2D grid), 3차원 복셀 구조(3D voxel structure), 또는 다른 학습된 공간 표현(learned spatial representation)으로 구성될 수 있다.
카메라와 LiDAR는 점유 추정에서 특히 상호 보완적인 정보를 제공한다. 카메라 이미지는 상세한 외관, 질감(texture), 의미론적 정보를 포함하지만 완전한 거리 기반 기하학(metric geometry)을 직접 제공하지는 않는다. LiDAR는 명시적인 3차원 측정값을 제공하지만 측정이 희소할 수 있고 의미론적 정보는 제한적일 수 있다. 두 센서를 결합하면 시각적 특징(visual feature)이 기하학적 관측의 해석을 지원하고, LiDAR가 공간 구조를 제약할 수 있다. 이러한 결합은 어느 한 모달리티만으로는 불완전한 환경에서 점유 추정의 정확도를 향상시킬 수 있다.
레이더는 특히 동적 환경(dynamic environment)과 시각적 성능이 저하된 조건에서 또 다른 상호 보완적인 정보를 제공한다. 레이더는 거리(range)와 속도 관련 정보를 제공할 수 있으며, 어둠, 비, 먼지 또는 부분적인 시각적 가림과 같은 조건에서도 유용할 수 있다. 레이더 관측을 카메라 및 LiDAR 정보와 결합하면 점유 모델이 공간 구조와 움직임 관련 증거를 보다 효과적으로 구분할 수 있다. 이는 변화하는 환경과 센싱 조건에서도 지속적으로 작동해야 하는 피지컬 AI 시스템에서 중요하다.
시간적 정보는 다중 모달 점유 추정의 또 다른 차원을 제공한다. 한 시점의 점유 상태는 객체가 부분적으로 관측되거나, 일시적으로 가려져 있거나, 측정값이 희소하기 때문에 모호할 수 있다. 이전 및 이후 시점의 관측은 공간 구조가 지속되는지 또는 움직이는지에 대한 추가적인 증거를 제공할 수 있다. 따라서 모델은 시간적 일관성(temporal consistency)을 사용하여 현재의 점유 상태를 보정하고, 지속적으로 존재하는 정적 구조와 움직이는 객체를 구분할 수 있다.
다중 모달 융합(multimodal fusion)은 인식 파이프라인(perception pipeline)의 서로 다른 단계에서 수행될 수 있다. 초기 융합(early fusion)은 모달리티별 특징에 대한 상당한 처리가 이루어지기 전에 비교적 원시적인 센서 특징을 결합한다. 후기 융합(late fusion)은 각 모달리티의 출력을 독립적으로 추정한 후 그 결과를 결합한다. 중간 융합(intermediate fusion)은 모달리티별 표현을 생성하고 이를 공유 잠재 공간(shared latent space)에서 결합한다. 적절한 전략은 센서 특성, 계산 자원, 동기화 요구사항, 대상 환경의 복잡성에 따라 달라진다.
학습된 융합 네트워크(learned fusion network)는 카메라, LiDAR, 레이더 및 시간적 특징을 하나의 공통 표현으로 변환한 후 점유 상태를 예측할 수 있다. 먼저 특징 인코더(feature encoder)가 각 모달리티의 고유 정보를 추출하고, 이후 융합 메커니즘(fusion mechanism)이 상호 보완적인 정보를 통합한다. 융합 단계에서는 연결(concatenation), 어텐션(attention), 교차 모달 상호작용(cross-modal interaction) 또는 기타 학습된 메커니즘을 사용할 수 있다. 이후 생성된 표현은 개별 셀 또는 복셀에 대한 점유 확률(occupancy probability)로 디코딩될 수 있다. 이러한 구조를 통해 모델은 서로 다른 환경 조건에서 어떤 모달리티가 가장 크게 기여해야 하는지를 학습할 수 있다.
공간적 정렬(spatial alignment)과 시간적 정렬(temporal alignment)은 서로 다른 센서의 관측이 자동으로 동일한 좌표계나 동일한 시간에 표현되는 것이 아니기 때문에 필수적이다. 카메라 이미지, LiDAR 포인트, 레이더 검출값, 관성 측정값은 일관된 공간 기준(spatial reference)과 동기화된 시간적 맥락(temporal context)에 연결되어야 한다. 캘리브레이션 오차(calibration error), 동기화 오차(synchronization error), 부정확한 자기 움직임 추정(ego-motion estimation)은 잘못된 공간적 관계를 생성하고 결과적으로 점유 표현을 손상시킬 수 있다. 따라서 다중 모달 점유 추정에서는 정렬을 단순한 독립적 전처리 단계가 아니라 월드 모델링(world modeling)의 일부로 다루어야 한다.
다중 모달 추정의 중요한 장점은 관측이 누락되거나 성능이 저하된 경우에도 강건성을 확보할 수 있다는 것이다. 카메라는 어둠이나 강한 눈부심에서 신뢰성이 떨어질 수 있고, LiDAR는 특정 기하학적 구조에서 희소한 반사값을 제공할 수 있으며, 레이더는 복잡한 환경에서 모호한 측정값을 생성할 수 있다. 모델이 여러 모달리티 사이의 상호 보완적인 관계를 학습했다면, 남아 있는 센서의 정보가 성능이 저하된 센서의 일부 기능을 보완할 수 있다. 이를 통해 센서 구성이 완벽하지 않은 경우에도 점유 표현이 유용한 상태를 유지할 수 있다.
다중 모달 점유 추정은 기하학적 처리와 의미론적 처리를 완전히 분리하지 않고도 의미론적 정보(semantic information)를 통합할 수 있다. 카메라 특징은 점유된 영역이 보행자, 차량, 식생 또는 건물일 가능성이 높다는 증거를 제공할 수 있고, LiDAR는 해당 영역의 공간적 범위(spatial extent)를 설정할 수 있다. 레이더와 시간적 관측은 해당 영역이 움직이고 있는지에 대한 추가적인 증거를 제공할 수 있다. 결과적으로 의미론적 점유 표현(semantic occupancy representation)은 물리적 존재, 공간적 기하학, 의미론적 범주, 시간적 행동을 하나의 공통 세계 표현(common world representation) 안에서 결합할 수 있다.
불확실성(uncertainty)은 다중 모달 점유 추정의 또 다른 중요한 구성 요소이다. 센서 관측은 서로 일치하지 않을 수 있으며, 충분히 학습된 모델이라도 특정 영역의 실제 상태를 결정하기에 충분한 증거를 가지고 있지 않을 수 있다. 점유 또는 자유라는 이진 결정을 강제하는 대신 모델은 점유 확률을 추정하고 불확실성을 보존할 수 있다. 예를 들어 LiDAR가 희소한 반사값만 제공하면서 카메라가 잠재적인 객체를 나타내는 경우, 특정 공간 영역은 중간 정도의 점유 확률을 가질 수 있다. 이러한 불확실성을 유지하면 이후의 계획 시스템이 보다 적절한 위험 인지 의사결정(risk-aware decision)을 수행할 수 있다.
다중 모달 점유 표현은 동적 월드 모델링(dynamic world modeling)을 위한 기반이 될 수 있다. 점유 상태가 시간에 따라 일관되게 추정되면 시스템은 안정적으로 유지되는 공간 영역과 점유 상태가 변화하는 영역을 구분할 수 있다. 건물이나 지형과 같은 정적 구조는 지속적인 공간적 배경(persistent spatial background)을 형성할 수 있으며, 차량, 보행자, 로봇 및 기타 에이전트는 변화하는 점유 패턴(changing occupancy pattern)으로 표현될 수 있다. 이를 통해 다중 모달 인식과 미래 점유 예측(future occupancy prediction) 사이에 자연스러운 인터페이스를 제공할 수 있다.
동일한 표현은 피지컬 AI의 서로 다른 운용 수준을 지원할 수 있다. 인식 단계에서는 현재 환경에 대한 융합된 공간적 이해(fused spatial understanding)를 제공한다. 예측 단계에서는 시간적 정보를 사용하여 미래의 점유 상태를 추정할 수 있다. 계획 단계에서는 점유 영역과 불확실한 영역을 궤적 생성(trajectory generation)과 충돌 회피(collision avoidance)를 위한 공간적 제약(spatial constraint)으로 사용할 수 있다. 제어 단계에서는 새로운 다중 모달 관측이 지속적으로 점유 상태를 갱신하는 동안 생성된 계획을 실행할 수 있다. 따라서 시스템은 센싱(sensing), 표현(representation), 예측(prediction), 계획(planning), 행동(action) 사이의 폐루프(closed loop)를 형성한다.
궁극적으로 다중 모달 점유 추정은 단순한 센서 융합(sensor fusion) 기술 이상의 의미를 가진다. 이는 기하학, 외관, 시간적 행동, 신뢰성이 서로 다른 이종 관측(heterogeneous observation)으로부터 공통의 공간적 세계 표현(common spatial world representation)을 구축하는 메커니즘을 제공한다. 카메라, LiDAR, 레이더, IMU 및 시간적 정보는 서로 독립적인 인식 파이프라인으로 처리되는 것이 아니라 상호 보완적인 증거로 기여할 수 있다. 학습된 융합, 불확실성 추정(uncertainty estimation), 시간적 모델링(temporal modeling)이 결합되면 다중 모달 점유는 피지컬 AI 시스템이 복잡한 실제 환경에서 인식하고, 예측하고, 계획하고, 행동할 수 있도록 하는 강력한 월드 모델의 기반이 된다.
06.06. Dynamic Occupancy and Motion
동적 점유(dynamic occupancy)는 물리적 공간의 점유 영역이 시간에 따라 어떻게 변화하는지를 모델링함으로써 정적 점유 표현(static occupancy representation)을 확장한다. 정적 점유 지도(static occupancy map)는 특정 시점에 물리적 물질이 어디에 존재하는지를 설명하는 반면, 동적 점유는 움직임(motion), 변위(displacement), 출현(appearance), 소멸(disappearance), 그리고 이동 요소 간의 상호작용(interaction)까지 추가적으로 표현한다. 이러한 구분은 피지컬 AI(Physical AI)에 필수적이다. 자율 시스템은 보행자(pedestrian), 차량(vehicle), 로봇(robot), 동물(animal) 및 기타 에이전트(agent)가 지속적으로 공간적 상태를 변화시키는 환경에서 작동하기 때문이다.
핵심적인 개념은 움직이는 물리적 개체(moving physical entity)를 각 시간 단계에서 독립적으로 검출된 객체로 처리하는 대신, 시간에 따라 변화하는 점유 패턴(evolving occupancy pattern)으로 표현하는 것이다. 예를 들어 차량은 시점 t에서 하나의 셀(cell) 또는 복셀(voxel) 그룹을 점유하고 있다가 이후 시점에서는 점차 다른 영역을 점유할 수 있다. 시간적 연속성(temporal continuity)을 유지하면 월드 모델(world model)은 이러한 변화를 서로 관련 없는 관측이 아니라 움직임(motion)으로 해석할 수 있다. 따라서 동적 점유는 공간적 표현(spatial representation)을 시간적 상태 추정(temporal state estimation)과 연결하며, 변화하는 물리적 환경을 이해하기 위한 자연스러운 기반을 제공한다.
동적 점유는 2차원 격자(2D grid), 3차원 복셀(3D voxel), 또는 더 높은 차원의 시공간 구조(spatiotemporal structure)로 표현할 수 있다. 2차원 표현에서는 연속적인 프레임에서 점유된 셀이 변화하는 것으로 움직임을 표현할 수 있다. 3차원에서는 이동하는 객체를 변화하는 복셀 체적(voxel volume)으로 표현하면서 공간적 범위와 높이를 유지할 수 있다. 4차원 표현(4D representation)은 시간(time)을 공간 상태(spatial state)에 명시적으로 추가하여 월드 모델이 위치(position)와 시간(time)의 함수로서 점유 상태를 표현할 수 있도록 한다. 이러한 발전은 피지컬 AI의 2D, 3D, 4D 점유 프레임워크와 직접 연결된다.
움직임 추정(motion estimation)은 동적 점유를 해석하는 중요한 방법을 제공한다. 연속적인 관측에서 점유 상태를 비교하면 시스템은 변화하는 영역의 방향(direction), 속도(velocity), 대략적인 궤적(trajectory)을 추정할 수 있다. 이러한 추정은 반드시 완전한 객체 수준 검출(object-level detection)을 필요로 하지는 않는다. 공간적 변화 자체에 움직임에 대한 정보가 포함되어 있기 때문이다. 따라서 객체가 부분적으로 관측되거나, 다른 객체와 겹쳐 있거나, 정확하게 분류하기 어려운 경우에도 점유 상태의 변화가 움직임에 대한 증거를 제공할 수 있다.
로봇 자신의 움직임(robot\'s own motion)은 환경의 움직임과 분리되어야 한다. 이동 로봇이 움직이면 물리적 세계의 정적 구조물이 실제로 움직이지 않더라도 전체 센서 관측(sensor observation)이 변화한다. 따라서 로봇 자기 움직임 추정(ego-motion estimation)과 공간적 정렬(spatial alignment)은 로봇의 움직임으로 인해 발생하는 겉보기 움직임(apparent motion)과 외부 객체의 실제 움직임(actual motion)을 구분하기 위해 필요하다. 신뢰할 수 있는 동적 점유 모델은 일관된 세계 좌표 기준(world coordinate reference)을 유지하여 점유 상태의 변화가 가능한 한 실제 환경의 동역학(environmental dynamics)을 반영하도록 해야 한다.
동적 점유는 정적 요소(static element)와 동적 요소(dynamic element)를 구분하는 데 특히 유용하다. 건물, 지형, 벽, 그리고 많은 인프라 구조물은 일반적으로 안정적인 공간적 관계를 유지하는 반면, 차량, 보행자 및 기타 에이전트는 시간에 따라 위치를 변화시킨다. 월드 모델은 안정적인 구조에 대해서는 지속적인 점유(persistent occupancy)를 유지하고, 동적 요소에 대해서는 변화하는 점유 패턴(changing occupancy pattern)을 추적할 수 있다. 이러한 분리는 불필요한 시간적 연산(temporal computation)을 줄이고, 미래 상태가 변화할 가능성이 높은 영역에 예측 자원을 집중할 수 있도록 한다.
시간적 일관성(temporal consistency)은 동적 점유의 핵심이다. 하나의 관측에는 잡음(noise), 누락된 측정(missing measurement), 또는 가림(occlusion)이 포함될 수 있기 때문에 특정 영역이 실제로 변화했는지를 판단하기 어려울 수 있다. 이전과 이후의 시간 단계에서 얻은 관측은 추가적인 증거를 제공한다. 공간적 패턴이 여러 프레임에 걸쳐 일관되게 이동한다면, 모델은 해당 영역이 동적 개체(dynamic entity)를 나타낸다는 보다 강한 증거를 얻을 수 있다. 따라서 시간적 추론(temporal reasoning)은 잘못된 움직임 추정을 줄이고 점유 표현을 안정화할 수 있다.
다중 모달 센싱(multimodal sensing)은 서로 다른 센서가 서로 다른 유형의 움직임 증거를 제공하기 때문에 동적 점유를 더욱 강화한다. 카메라는 외관 정보와 시각적 움직임 단서(visual motion cue)를 제공하고, LiDAR는 3차원 공간에서의 기하학적 변화를 제공하며, 레이더(radar)는 직접적인 거리 및 속도 정보를 제공할 수 있고, IMU 또는 자기수용감각(proprioception)은 로봇 자신의 움직임에 대한 정보를 제공한다. 이러한 관측을 결합하면 월드 모델은 일반적으로 하나의 센서만으로 얻을 수 있는 것보다 더욱 신뢰할 수 있는 동적 점유 추정을 구성할 수 있다. 이는 상호 보완적인 센서 정보가 하나의 공유 공간 상태(shared spatial state)로 융합되는 다중 모달 점유 프레임워크(multimodal occupancy framework)와 연결된다.
동적 점유에는 의미론적 정보(semantic information)를 통합하여 특정 움직임이 어떤 종류의 물리적 개체에 의해 발생했는지를 해석할 수도 있다. 움직이는 보행자, 차량, 로봇 또는 동물은 서로 다른 움직임 패턴(motion pattern)을 보일 수 있으며 서로 다른 계획 대응(planning response)을 필요로 한다. 반면 정적인 식생이나 인프라는 지속적인 환경 구조(persistent environmental structure)로 처리할 수 있다. 점유(occupancy), 의미(semantics), 움직임(motion)을 결합하면 월드 모델은 어떤 것이 어디에 있는지뿐만 아니라 그것이 어떻게 움직이고 있으며 관측된 변화가 어떤 종류의 개체에 의해 발생했는지도 표현할 수 있다.
학습된 동역학 모델(learned dynamics model)은 시간에 따른 점유 상태의 시퀀스(temporal sequence of occupancy states)를 입력으로 사용하여 미래의 공간 구성을 추정할 수 있다. 현재의 점유 상태와 관측된 움직임에 대한 정보가 주어지면 모델은 이후 시간 단계에서 점유 영역이 어떻게 변화할 수 있는지를 추론할 수 있다. 그 결과 생성되는 시퀀스는 하나의 고정된 예측이 아니라 여러 가능한 미래 점유 상태(possible future occupancy state)를 표현할 수 있다. 이를 통해 동적 점유는 점유 모델링 구조에서 다음 단계인 미래 점유 예측(future occupancy prediction)과 직접 연결된다.
미래 점유는 본질적으로 불확실하다. 관측된 움직임만으로는 미래의 행동을 하나로 결정할 수 없기 때문이다. 보행자는 멈추거나, 방향을 바꾸거나, 가속하거나, 이동 방향을 변경할 수 있으며, 차량은 제동하거나 차선을 변경하거나 다른 궤적을 선택할 수 있다. 따라서 동적 점유는 항상 하나의 결정론적인 미래 상태(deterministic future state)를 생성해서는 안 된다. 월드 모델은 대신 확률(probability) 또는 여러 가능한 점유 변화(multiple possible occupancy evolutions)를 유지하여, 이후의 계획 시스템이 가장 가능성이 높은 결과뿐만 아니라 가능성은 낮지만 잠재적으로 위험한 결과까지 고려할 수 있도록 할 수 있다.
동적 점유는 여러 이동 개체 사이의 상호작용(interaction)을 표현하기 위한 자연스러운 표현이기도 하다. 두 차량이 교차로에 접근하거나, 보행자가 로봇이 계획한 경로를 횡단하거나, 여러 로봇이 동일한 환경을 이동할 수 있다. 미래의 움직임이 서로에게 영향을 줄 수 있다면 이들의 점유 상태는 서로 독립적이지 않다. 따라서 충분히 표현력이 높은 월드 모델은 에이전트 사이의 변화하는 공간적 관계(changing spatial relationship)를 표현하고 이러한 관계를 활용하여 예측과 의사결정(decision making)을 향상시킬 수 있다.
계획(planning)과 제어(control)의 관점에서 동적 점유는 공간적 장애물(spatial obstacle)을 시간에 따라 변화하는 제약(time-dependent constraint)으로 변환한다. 현재는 비어 있는 영역이 로봇이 해당 위치에 도달하기 전에 점유될 수 있으며, 현재 점유된 영역이 이후에는 비워질 수도 있다. 따라서 충돌 검사(collision checking)는 단순한 공간적 중첩(spatial overlap)뿐만 아니라 로봇의 궤적과 예측된 점유 상태 사이의 시간적 중첩(temporal overlap)까지 고려해야 한다. 이를 통해 궤적 평가(trajectory evaluation), 동적 장애물 회피(dynamic obstacle avoidance), 위험 인지 계획(risk-aware planning), 더욱 정교한 제어 의사결정(control decision)을 수행할 수 있다.
동적 점유의 계산 요구량(computational requirement)은 공간 해상도(spatial resolution), 시간 해상도(temporal resolution), 환경 크기(environment size), 예측 시간 범위(prediction horizon)가 증가함에 따라 커진다. 여러 미래 시간 단계에 대해 밀집된 3차원 점유(dense 3D occupancy)를 처리하면 메모리와 연산 측면에서 매우 큰 비용이 발생할 수 있다. 따라서 실제 피지컬 AI 시스템은 중요도에 따라 계산 자원을 할당해야 하며, 희소 표현(sparse representation), 계층적 공간 해상도(hierarchical spatial resolution), 선택적 시간 모델링(selective temporal modeling), 학습된 잠재 표현(learned latent representation)과 같은 접근법을 사용할 수 있다. 로봇 주변과 중요한 동적 객체에는 높은 수준의 세부 예측을 집중시키고, 멀리 떨어져 있거나 안정적인 영역은 보다 효율적으로 처리할 수 있다.
궁극적으로 동적 점유는 점유를 정적인 공간 지도(static spatial map)에서 시간적 세계 표현(temporal world representation)으로 변화시킨다. 이는 물리적 물질이 어디에 존재하는지를 설명하는 것뿐만 아니라, 그 공간적 상태가 시간에 따라 어떻게 변화하며 이러한 변화가 미래의 의사결정에 어떤 영향을 미칠 수 있는지를 설명하는 방법을 제공한다. 점유를 움직임 추정, 다중 모달 센싱, 의미론적 정보, 시간적 일관성, 예측적 동역학(predictive dynamics)과 결합함으로써 피지컬 AI 시스템은 현재 환경을 관측하는 단계에서 환경의 변화를 이해하고 예측하는 단계로 발전할 수 있다. 이러한 점에서 동적 점유는 현재 상태에 대한 인식(present-state perception)과 미래 지향적 월드 모델링(future-oriented world modeling), 계획, 제어 사이를 연결하는 중요한 중간 계층(intermediate layer)이 된다.
06.07. Future Occupancy Prediction
미래 점유 예측(future occupancy prediction)은 현재의 물리적 세계를 표현하는 것에서 나아가, 그 세계가 시간에 따라 어떻게 변화할지를 추정하도록 점유 모델링(occupancy modeling)을 확장한다. 현재의 점유 상태(present occupancy state)는 시점 t에서 물리적 공간이 어디에서 점유되었고, 비어 있으며, 또는 미지 상태인지를 설명하는 반면, 미래 점유 예측은 t+1, t+2 및 그보다 긴 시간 범위에서 이에 대응하는 상태를 추정한다. 이를 통해 점유는 설명적인 공간 표현(descriptive spatial representation)에서 월드 모델(world model)의 예측 구성요소(predictive component)로 발전하며, 피지컬 AI(Physical AI) 시스템이 직접 관측되기 전에 환경의 변화를 예상할 수 있도록 한다.
예측 과정은 현재 시점에서 이용 가능한 공간적·시간적 정보를 요약한 현재 동적 점유 상태(current dynamic occupancy state)에서 시작한다. 이 상태에는 다중 모달 센싱(multimodal sensing)을 통해 얻어진 정적 구조(static structure), 이동 객체(moving object), 의미론적 정보(semantic information), 움직임 관련 특징(motion-related feature)이 포함될 수 있다. 이후 학습된 동역학 모델(learned dynamics model)이 이 상태를 처리하여 미래의 점유 변화(future occupancy evolution)를 추정한다. 모델은 단순히 다음 프레임만 예측하는 것이 아니라, 즉각적인 미래에서 더 긴 예측 시간 범위(prediction horizon)에 이르기까지 연속적인 미래 공간 상태(future spatial state)를 생성할 수 있다.
미래 점유 예측은 4차원 점유(4D occupancy)의 시간적 구조(temporal structure)와 밀접하게 관련되어 있다. 공간 상태는 위치(position)와 시간(time)에 걸쳐 표현되며, 월드 모델은 점유 영역이 어떻게 이동하고, 사라지고, 나타나거나, 지속되는지를 설명할 수 있다. 차량은 서로 다른 공간 셀을 점진적으로 이동할 수 있고, 보행자는 계획된 경로를 횡단할 수 있으며, 이전에 점유되어 있던 영역은 이후 자유 공간이 될 수 있다. 따라서 목표는 개별 객체의 위치를 독립적으로 예측하는 것에 그치지 않고, 전체 물리적 점유 상태(physical occupancy state)가 어떻게 변화하는지를 추정하는 것이다.
학습된 동역학 모델은 시간에 따른 점유 시퀀스(temporal occupancy sequence)를 사용하여 각각의 프레임을 독립적으로 예측하는 방식으로는 포착하기 어려운 패턴을 발견할 수 있다. 과거 관측은 속도(velocity), 방향(direction), 지속성(persistence), 상호작용(interaction)에 대한 정보를 제공하고, 현재 상태는 가장 최신의 공간적 구성을 제공한다. 모델은 이러한 요소들이 미래 점유에 어떤 영향을 미치는지를 학습하고 여러 시간 단계에 걸친 예측을 생성할 수 있다. 이는 동적 점유 모델링(dynamic occupancy modeling)과 예측적 월드 모델(predictive world model)을 직접 연결하며, 시간적 상태 전이(temporal state transition)가 물리적 추론(physical reasoning)의 핵심이 되도록 한다.
예측 시간 범위(prediction horizon)는 월드 모델이 미래의 점유 상태를 얼마나 멀리까지 추정할지를 결정한다. 단기 예측(short-horizon prediction)은 일반적으로 현재 상태에 의해 강하게 제약되기 때문에 즉각적인 충돌 회피(immediate collision avoidance)와 지역 제어(local control)에 유용하다. 장기 예측(long-horizon prediction)은 경로 계획(route planning), 의도 추론(intention reasoning), 전략적 의사결정(strategic decision making)을 지원할 수 있지만, 예측 시간이 길어질수록 불확실성이 증가한다. 따라서 실제 시스템은 예측 거리, 시간 해상도(temporal resolution), 계산 비용(computational cost), 하위 시스템에서 요구하는 정확도 사이의 균형을 유지해야 한다.
미래 점유는 동일한 현재 상태에서도 여러 가지 가능한 결과가 발생할 수 있기 때문에 본질적으로 확률적이다. 보행자는 계속 직진하거나, 멈추거나, 방향을 바꾸거나, 이동 방향을 변경할 수 있으며, 차량은 가속하거나, 제동하거나, 차선을 변경하거나, 다른 궤적을 따라갈 수 있다. 따라서 월드 모델은 항상 하나의 결정론적 궤적(deterministic trajectory)이 정확하다고 가정하기보다 여러 가능한 미래(multiple possible futures)를 표현할 수 있어야 한다. 분기되는 미래 점유 분포(branching future occupancy distribution)는 다양한 대안적 결과를 유지하고 계획 시스템이 위험을 추론할 수 있도록 하는 방법을 제공한다.
일반적으로 예측이 미래로 더 멀리 진행될수록 불확실성이 증가한다. 움직임 추정이나 현재 점유 상태의 작은 오류도 여러 예측 단계를 거치면서 누적될 수 있으며, 그 결과 예측 영역이 실제 미래 상태와 점차 달라질 수 있다. 따라서 불확실성은 미래 점유 예측의 선택적 출력이 아니라 본질적인 구성요소이다. 모델은 미래 점유 영역에 대한 신뢰도(confidence) 또는 확률(probability)을 표현하여, 미래 상태를 높은 확률로 예측할 수 있는 영역과 향후 행동이 모호한 영역을 구분할 수 있다.
다중 모달 센싱(multimodal sensing)과 시간적 추론(temporal reasoning)은 미래 점유 예측의 품질을 향상시킬 수 있다. 카메라 관측은 외관 및 의미론적 정보를 제공하고, LiDAR는 기하학적 구조를 제공하며, 레이더(radar)는 거리 및 속도에 대한 증거를 제공할 수 있고, IMU 또는 자기수용감각(proprioception)은 로봇 자신의 움직임을 보정하는 데 도움을 준다. 이러한 관측을 과거의 점유 상태와 결합하면 동역학 모델은 미래의 변화가 예측되기 전에 현재 세계 상태에 대한 더욱 완전한 추정을 구성할 수 있다. 결과적으로 센싱(sensing), 융합(fusion), 점유 추정(occupancy estimation), 시간적 추적(temporal tracking), 예측(prediction)이 하나의 연속적인 파이프라인으로 연결된다.
미래 점유 예측은 의미론적 정보(semantic information)와 상호작용 정보(interaction information)도 통합할 수 있다. 특정 공간 영역이 앞으로 점유될 것이라는 사실도 유용하지만, 해당 영역에 보행자, 차량, 로봇 또는 다른 이동 객체가 존재하게 될 것인지를 아는 것은 의사결정에 더욱 유용할 수 있다. 또한 여러 에이전트(agent)가 서로 영향을 미칠 수 있기 때문에 미래의 점유 상태를 항상 독립적으로 예측할 수 있는 것은 아니다. 더욱 풍부한 월드 모델은 에이전트 사이의 관계를 학습하고 상호작용(interaction)과 변화하는 공간적 관계(changing spatial relationship)를 반영하는 미래 점유 상태를 생성할 수 있다.
중요한 응용 분야 중 하나는 시간 인지 충돌 검사(time-aware collision checking)이다. 현재는 자유 공간인 영역도 로봇이 해당 위치에 도달하기 전에 점유될 수 있으며, 현재 장애물로 존재하는 영역도 로봇이 도달하기 전에 비워질 수 있다. 따라서 계획(planning)은 로봇의 미래 궤적과 예측된 점유 상태 사이의 공간적 관계와 시간적 관계를 모두 평가해야 한다. 미래 점유는 이러한 과정에 직접 사용할 수 있는 표현을 제공하며, 후보 궤적(candidate trajectory)을 현재 환경뿐만 아니라 예측된 동적 공간(predicted dynamic space)과 비교하여 평가할 수 있도록 한다.
위험 인지 계획(risk-aware planning)은 여러 개의 예측된 미래를 사용하여 가능한 결과들에서도 안전성을 유지하는 궤적을 선택할 수 있다. 계획기는 후보 로봇 궤적을 높은 확률의 점유 영역뿐만 아니라 발생 가능성은 낮더라도 심각한 결과를 초래할 수 있는 낮은 확률의 결과와도 비교할 수 있다. 이를 통해 시스템은 가장 가능성이 높은 미래에서 단순히 효율적인 궤적을 선택하는 것이 아니라, 주변 에이전트의 행동에 발생할 수 있는 합리적인 변화에도 강건한 궤적을 선호할 수 있다. 따라서 미래 점유는 예측적 월드 모델링과 불확실성 인지 계획(uncertainty-aware planning)을 연결하는 자연스러운 인터페이스를 제공한다.
미래 점유 예측의 계산 비용은 공간 해상도(spatial resolution), 시간 해상도, 예측 시간 범위, 가능한 미래의 수가 증가할수록 커진다. 대규모 3차원 환경에 대해 밀집된 미래 점유를 예측하려면 상당한 메모리와 연산 자원이 필요할 수 있다. 따라서 피지컬 AI 시스템은 희소 점유(sparse occupancy), 계층적 공간 해상도(hierarchical spatial resolution), 동적 영역에 대한 선택적 예측(selective prediction), 학습된 잠재 표현(learned latent representation) 등을 사용하여 의사결정에 가장 큰 가치를 갖는 영역에 계산을 집중할 수 있다. 로봇 주변과 중요한 동적 에이전트에는 높은 해상도의 예측을 집중시키고, 안정적인 원거리 영역은 보다 효율적으로 처리할 수 있다.
미래 점유 예측은 궁극적으로 현재 세계를 이해하는 단계에서 그 세계의 변화를 예상하는 단계로 전환하게 한다. 월드 모델은 현재의 점유 상태를 입력으로 받아 학습되었거나 구조화된 동역학(structured dynamics)을 적용하고, 미래 점유 시퀀스를 생성하며, 불확실성과 대안적인 결과를 표현하고, 이러한 예측을 계획 및 제어에 제공한다. 이를 통해 인식(perception), 이해(understanding), 예측(prediction), 계획(planning), 행동(action)이 지속적으로 연결되는 순환 구조가 형성된다. 이러한 아키텍처에서 점유는 단순히 현재의 지도가 아니라, 피지컬 AI가 다음에 무엇이 발생할 수 있는지를 추론하고 미래가 현재가 되기 전에 행동할 수 있도록 하는 예측적 공간 언어(predictive spatial language)가 된다.
06.08. Uncertainty in Occupancy Prediction
불확실성(uncertainty)은 물리적 세계를 항상 완전하게 관측하거나 확실하게 예측할 수 없기 때문에 점유 예측(occupancy prediction)의 필수적인 요소이다. 점유 모델(occupancy model)은 불완전한 센서 측정값을 입력으로 받을 수 있고, 가려진 객체(occluded object)를 마주할 수 있으며, 센서의 유효 탐지 범위 밖에 있는 영역을 관측할 수도 있다. 현재의 점유 상태(present occupancy state)를 정확하게 추정하더라도 이동 에이전트(moving agent)가 자신의 행동을 변화시킬 수 있기 때문에 미래 점유(future occupancy)는 여전히 불확실할 수 있다. 따라서 유용한 점유 표현(occupancy representation)은 특정 영역이 점유되어 있는지만 나타내는 것이 아니라, 해당 상태에 대해 시스템이 얼마나 확신하는지도 표현해야 한다.
점유 불확실성(occupancy uncertainty)은 단순한 이진 결정(binary decision)이 아니라 확률적(probabilistic)으로 표현할 수 있다. 모든 셀(cell) 또는 복셀(voxel)을 점유 또는 자유로만 분류하는 대신, 모델은 각 공간 영역에 대한 점유 확률(occupancy probability)을 추정할 수 있다. 1에 가까운 값은 해당 영역이 점유되었다는 강한 증거를 의미하고, 0에 가까운 값은 자유 공간이라는 강한 증거를 의미한다. 중간 정도의 확률은 모호성(ambiguity)을 나타낸다. 이러한 방식은 월드 모델(world model)이 불확실성을 보존하도록 하며, 이후의 계획 시스템(planning system)에 결정론적 점유 지도(deterministic occupancy map)보다 풍부한 정보를 제공한다.
점유 예측의 불확실성은 다양한 원인으로 발생할 수 있다. 센서 잡음(sensor noise), 제한된 해상도(limited resolution), 부분적 관측(partial observation), 가림(occlusion)은 물리적 환경 자체가 변화하지 않는 경우에도 불확실성을 발생시킨다. 반면 새로운 환경, 객체 유형(object type), 또는 비정상적인 구성(unusual configuration)을 정확하게 해석할 수 있는 충분한 지식이 모델에 없기 때문에 불확실성이 발생할 수도 있다. 이러한 원인을 반드시 동일하게 취급할 필요는 없다. 강건한 월드 모델(robust world model)은 본질적으로 모호한 관측에서 발생하는 불확실성과 모델 또는 이용 가능한 지식의 한계에서 발생하는 불확실성을 구분할 수 있어야 한다.
미래 점유(future occupancy)는 추가적이고 종종 더 큰 불확실성의 원인을 제공한다. 현재 상태는 보행자가 특정 영역을 향해 이동하고 있음을 나타낼 수 있지만, 보행자는 멈추거나, 방향을 바꾸거나, 가속하거나, 이동 방향을 변경할 수 있다. 마찬가지로 차량은 현재 궤적을 계속 따라갈 수도 있고 다른 에이전트에 반응할 수도 있다. 예측 시간 범위(prediction horizon)가 증가하면 현재 상태와 움직임 추정(motion estimation)의 작은 오류가 누적될 수 있으며, 그 결과 미래 점유 분포(future occupancy distribution)가 점점 넓어질 수 있다. 따라서 예측이 현재 관측에서 더 멀어질수록 불확실성이 자연스럽게 증가해야 한다.
여러 가능한 미래(multiple possible futures)는 이러한 불확실성을 표현하는 실용적인 방법을 제공한다. 동역학 모델(dynamics model)이 하나의 미래 점유 시퀀스(future occupancy sequence)만 생성하도록 강제하는 대신, 여러 가지 가능한 점유 변화(occupancy evolution)를 표현할 수 있다. 각각의 미래는 에이전트 사이에서 발생할 수 있는 서로 다른 행동이나 상호작용(interaction)에 대응할 수 있다. 하나의 분기는 보행자가 계속 직진하는 상황을 나타내고, 다른 분기는 보행자가 멈추거나 방향을 변경하는 상황을 나타낼 수 있다. 이러한 다중 모달 예측(multimodal prediction)을 통해 월드 모델은 실제로 존재할 수 있는 하나의 미래로 평균화하는 대신 여러 대안적 결과(alternative outcome)를 보존할 수 있다.
불확실성은 공간에 따라서도 달라질 수 있다. 건물, 벽, 지형과 같은 정적 구조물(static structure)은 점유 상태가 안정적으로 유지되기 때문에 미래의 불확실성이 상대적으로 낮을 수 있다. 동적 객체(dynamic object)는 미래 위치가 움직임과 상호작용에 의해 결정되기 때문에 훨씬 높은 불확실성을 가질 수 있다. 또한 알려지지 않았거나 부분적으로 관측된 영역은 미래 예측을 시작하기 전부터 높은 불확실성을 가질 수 있다. 따라서 유용한 점유 모델은 전체 장면에 하나의 전역 신뢰도(global confidence) 값을 할당하는 대신, 불확실성을 공간적·시간적으로 표현해야 한다.
다중 모달 센싱(multimodal sensing)은 상호 보완적인 증거를 결합하여 일부 형태의 점유 불확실성을 줄일 수 있다. 카메라 관측은 의미론적 정보(semantic information)와 외관 정보를 제공하고, LiDAR는 기하학적 증거(geometric evidence)를 제공하며, 레이더(radar)는 거리 및 속도 정보를 제공하고, IMU 또는 자기수용감각(proprioception)은 로봇 자신의 움직임에 대한 정보를 제공할 수 있다. 이러한 관측이 공간적·시간적으로 정렬되면 하나의 모달리티가 다른 모달리티의 한계를 보완할 수 있다. 그러나 센서 융합(sensor fusion)이 불확실성을 완전히 제거하는 것은 아니다. 서로 충돌하는 측정값, 누락된 모달리티, 캘리브레이션 오류(calibration error), 성능이 저하된 센싱 조건은 여전히 모호한 점유 상태를 만들 수 있다.
시간적 추론(temporal reasoning)은 현재 점유 상태의 불확실성을 줄이는 또 다른 방법을 제공한다. 하나의 프레임에는 가려지거나 불완전한 관측이 포함될 수 있지만, 이전과 이후 시점의 관측은 지속성(persistence)과 움직임 패턴(motion pattern)을 드러낼 수 있다. 공간적 구조가 여러 관측에서 일관되게 유지된다면 해당 점유 상태에 대한 신뢰도가 높아질 수 있다. 반대로 관측이 반복적으로 서로 일치하지 않거나 특정 영역이 예측할 수 없는 방식으로 변화한다면 불확실성을 높게 유지해야 한다. 따라서 시간적 일관성(temporal consistency)을 활용하면 월드 모델은 모든 관측을 독립적인 결정으로 처리하지 않고 증거를 지속적으로 축적할 수 있다.
피지컬 AI(Physical AI)에서는 현재의 불확실성과 예측 불확실성(predictive uncertainty)을 구분하는 것이 중요하다. 현재 불확실성은 시스템이 현재 세계의 상태를 얼마나 확실하게 알고 있는지를 의미하는 반면, 예측 불확실성은 미래 상태를 얼마나 확실하게 추정할 수 있는지를 의미한다. 시스템은 현재 특정 영역을 차량이 점유하고 있다는 사실은 높은 확신으로 판단하면서도, 몇 초 후 차량이 어디에 있을지는 훨씬 낮은 확신으로 예측할 수 있다. 이러한 불확실성을 분리하면 월드 모델은 현재 상태에 대한 신뢰할 수 있는 표현을 유지하면서도 미래의 변화에 존재하는 불확실성을 명시적으로 인정할 수 있다.
불확실성은 계획(planning)과 충돌 회피(collision avoidance)에서 특히 중요하다. 계획기는 낮은 확률로 점유될 가능성이 있는 영역을 매우 높은 확률로 점유된 장애물과 정확히 동일하게 취급해서는 안 되지만, 그렇다고 불확실한 공간을 자동으로 무시해서도 안 된다. 적절한 대응은 점유 확률, 공간적 범위(spatial extent), 예측 시간 범위, 로봇의 동역학(robot dynamics), 실패했을 때의 잠재적 결과에 따라 달라진다. 따라서 위험 인지 계획(risk-aware planning)은 점유 확률과 예측 불확실성을 사용하여 후보 궤적(candidate trajectory)을 비교하고, 가능한 미래 상태에서도 허용 가능한 수준의 안전성을 유지하는 행동을 선택할 수 있다.
캘리브레이션(calibration)은 점유 모델이 생성하는 수치적 신뢰도(numerical confidence)가 실제 예측 신뢰성(predictive reliability)과 일치해야 하기 때문에 중요하다. 모델이 잘못된 점유 예측에 반복적으로 높은 신뢰도를 부여한다면 이후 시스템은 지나치게 낙관적인 위험한 결정을 내릴 수 있다. 반대로 불확실성을 지나치게 보수적으로 설정하면 불필요한 정지, 비효율적인 궤적, 과도한 계산 비용이 발생할 수 있다. 따라서 점유 신뢰도의 평가와 캘리브레이션은 신뢰할 수 있는 월드 모델을 구축하는 중요한 과정이며, 특히 예측 결과가 안전이 중요한 계획 및 제어(safety-critical planning and control)에 직접 사용되는 경우 더욱 중요하다.
궁극적으로 불확실성을 인지하는 점유 예측(uncertainty-aware occupancy prediction)은 점유를 결정론적인 공간 지도(deterministic spatial map)에서 물리적 세계에 대한 확률적 표현(probabilistic representation)으로 변화시킨다. 시스템은 현재의 점유 상태를 추정하고, 불완전하거나 모호한 관측으로 인해 발생하는 불확실성을 유지하며, 시간이 지나면서 불확실성이 어떻게 전파되는지를 모델링하고, 필요한 경우 여러 가능한 미래 점유 상태를 표현한다. 이를 통해 피지컬 AI는 무엇을 알고 있는지, 무엇이 불확실한지, 그리고 앞으로 무엇이 발생할 수 있는지를 구분할 수 있다. 확률적 점유(probabilistic occupancy)를 시간적 동역학(temporal dynamics), 다중 모달 센싱, 위험 인지 계획과 연결함으로써 월드 모델은 가장 가능성이 높은 미래에만 기반하여 의사결정을 내리는 것이 아니라 실제 물리적 환경의 불확실성에도 강건한 결정을 내릴 수 있다.
06.09. Occupancy for Planning and Collision Avoidance
점유(occupancy)는 계획(planning) 시스템이 로봇이 어디로 이동할 수 있고 어디로 이동할 수 없는지를 추론할 수 있도록 직접적인 공간 표현(spatial representation)을 제공한다. 탐지된 객체(detected object)에만 기반한 표현과 달리, 점유는 주변 공간 자체의 물리적 상태(physical state)를 표현한다. 점유된 영역(occupied region)은 충돌 제약(collision constraint)으로 사용할 수 있고, 자유 영역(free region)은 이동을 위한 후보 공간(candidate space)을 제공한다. 이러한 특성 때문에 점유는 피지컬 AI(Physical AI)에서 세계 인식(world perception)과 물리적 계획(physical planning)을 연결하는 자연스러운 인터페이스가 된다.
계획 과정(planning process)은 로봇 주변의 물리적 환경을 요약한 현재 점유 표현(current occupancy representation)에서 시작한다. 이 표현에는 점유(occupied), 자유(free), 미지(unknown) 영역과 함께 의미론적(semantic) 또는 확률적(probabilistic) 정보가 포함될 수 있다. 계획기는 이러한 공간 상태(spatial state)를 사용하여 현재 위치에서 원하는 목표(goal)까지 이동할 수 있는 경로(feasible route)를 찾을 수 있다. 표현이 공간적으로 명시적(spatially explicit)이기 때문에, 궤적(trajectory)을 평가할 때마다 원시 센서 측정값(raw sensor measurement)으로부터 전체 환경을 다시 구성할 필요가 없다.
충돌 회피(collision avoidance)는 로봇 궤적(robot trajectory)과 점유 상태 사이의 공간적 관계(spatial relationship)로 직접 표현할 수 있다. 후보 궤적(candidate trajectory)은 관련 시간 구간 동안 로봇의 예측된 풋프린트(predicted footprint)가 점유 영역과 교차하지 않을 때 안전하다. 미래 점유(future occupancy)를 이용할 수 있다면 동일한 원리를 시간적 차원(temporal dimension)으로 확장할 수 있다. 이 경우 계획기는 장애물이 어디에 존재하는지만이 아니라 로봇이 해당 위치에 도달하는 시점에 그 영역이 점유되어 있을 것인지까지 고려해야 한다.
주행 가능성(traversability)은 점유 기반 계획(occupancy-based planning)의 또 다른 중요한 기능이다. 자유롭게 보이는 모든 영역이 동일하게 이동에 적합한 것은 아니다. 지형의 기하학(terrain geometry), 좁은 통로(narrow passage), 장애물(obstacle), 경사(slope), 불확실한 영역(uncertain region)은 특정 공간이 실제로 주행 가능한지에 영향을 줄 수 있다. 따라서 점유는 기하학적(geometric), 의미론적(semantic), 환경적(environmental) 정보와 결합되어 계획 비용(planning cost)을 구성할 수 있다. 이를 통해 계획기는 단순히 충돌이 발생하지 않는 공간과 로봇의 물리적 능력에 실제로 적합한 공간을 구분할 수 있다.
동적 점유(dynamic occupancy)는 충돌 회피를 정적 장애물(static obstacle)에서 움직이는 물리적 개체(moving physical entity)까지 확장한다. 차량(vehicle), 보행자(pedestrian), 로봇(robot), 동물(animal) 및 기타 에이전트(agent)는 로봇이 계획된 궤적을 실행하는 동안 위치를 변화시킬 수 있다. 따라서 현재의 점유 지도(current occupancy map)는 로봇이 특정 위치에 도달하기 전에 이미 오래된 정보가 될 수 있다. 미래 점유 예측(future occupancy prediction)은 t+1, t+2 및 그보다 긴 시간 범위에서 예상되는 공간 상태를 제공하여, 주변 세계가 변화하는 동안에도 계획된 궤적이 안전한지를 평가할 수 있도록 한다.
시간 인지 충돌 검사(time-aware collision checking)는 현재의 공간 구성만을 검사하는 것이 아니라 시간에 따른 예측 점유(predicted occupancy)에 대해 후보 궤적을 평가한다. 현재 시점에는 자유로운 영역이 로봇이 도달하기 전에 점유될 수 있으며, 현재 장애물로 존재하는 영역은 로봇이 도달하기 전에 이동하여 비워질 수도 있다. 따라서 계획기는 로봇 궤적상의 각 지점을 해당 시점의 미래 점유 상태와 연결하고, 이를 안전(safe), 위험(risky), 충돌(collision), 불확실(uncertain) 상태로 분류할 수 있다. 이를 통해 충돌 검사는 순수한 기하학적 문제(purely geometric problem)에서 시공간적 추론(spatiotemporal reasoning) 문제로 확장된다.
점유를 계획에 사용할 때는 불확실성(uncertainty)을 보존해야 한다. 센서 잡음(sensor noise), 가림(occlusion), 미지 영역(unknown region), 불완전한 관측(incomplete observation), 예측하기 어려운 에이전트 행동(unpredictable agent behavior)은 예측된 점유 상태에 불확실성을 발생시킬 수 있다. 따라서 계획기는 높은 확률의 장애물(high-confidence obstacle)과 불확실한 영역을 구분해야 하며 모든 예측을 동일한 수준의 신뢰성을 가진 것으로 취급해서는 안 된다. 확률적 점유(probabilistic occupancy)를 사용하면 계획 시스템이 이러한 정보를 위험 평가(risk assessment)에 반영하고 불확실한 공간 예측에 지나치게 의존하는 의사결정을 피할 수 있다.
위험 인지 계획(risk-aware planning)은 가장 가능성이 높은 단일 예측에만 의존하지 않고 여러 가능한 미래(multiple possible futures)를 평가함으로써 이러한 개념을 확장한다. 보행자는 계속 직진하거나 멈추거나 방향을 변경할 수 있으며, 다른 차량은 주변 교통 상황에 반응하여 궤적을 변경할 수 있다. 계획기는 이러한 가능한 점유 변화(occupancy evolution)에 대해 후보 로봇 궤적을 비교하고 안전성(safety), 효율성(efficiency), 작업 목표(task objective) 사이의 균형을 유지하는 궤적을 선택할 수 있다. 이는 잘못된 예측이 초래하는 결과가 심각할 수 있는 상황에서 특히 중요하다.
점유 기반 계획은 계층적 의사결정(hierarchical decision making)도 지원할 수 있다. 전역 계획기(global planner)는 상대적으로 낮은 해상도의 표현을 사용하여 넓은 환경을 통과하는 경로를 결정할 수 있고, 지역 계획기(local planner)는 로봇 주변에서 더 높은 해상도의 점유를 사용하여 상세한 장애물 회피를 수행할 수 있다. 다중 해상도 또는 계층적 점유(multi-resolution or hierarchical occupancy)는 정밀도가 가장 중요한 영역에 계산 자원을 집중할 수 있도록 한다. 동일한 원리는 시간적으로도 확장할 수 있으며, 현재 시점에 가까운 영역에서는 상세한 예측을 사용하고 더 먼 미래에서는 보다 추상적인 예측을 사용할 수 있다.
점유 기반 계획은 일회성 계산(one-time computation)으로 작동하는 것이 아니라 인식(perception) 및 제어(control)와 폐루프(closed loop)를 형성한다. 궤적이 선택되면 로봇은 해당 제어 명령(control action)을 실행하는 동시에 새로운 센서 관측을 지속적으로 수집한다. 이러한 관측은 점유 표현을 갱신하고 예측 오류(prediction error)나 환경 변화를 발견하며 현재 궤적을 다시 평가할 수 있도록 한다. 필요한 경우 이전 계획이 안전하지 않게 되기 전에 시스템은 재계획(replanning)을 수행할 수 있다. 이러한 지속적인 센싱(sensing)과 지도 갱신(map update)의 루프는 변화하는 환경에서 작동하기 위한 핵심 요소이다.
동일한 점유 표현은 기본적인 충돌 회피를 넘어 다양한 계획 목표(planning objective)를 지원할 수 있다. 내비게이션(navigation)은 이를 사용하여 이동 가능한 경로를 찾을 수 있고, 궤적 평가(trajectory evaluation)는 후보 움직임을 공간적 제약(spatial constraint)과 비교할 수 있으며, 조작(manipulation)은 3차원 점유를 사용하여 접근 가능한 객체와 장애물을 추론할 수 있고, 동적 객체 추적(dynamic-object tracking)은 미래 움직임 예측을 위한 정보를 제공할 수 있다. 따라서 점유는 하나의 특정 내비게이션 알고리즘에만 사용되는 표현이 아니라 인식, 예측, 계획, 제어가 공유하는 공통 공간 표현(common spatial representation)이 된다.
계획을 위한 점유의 더 큰 의미는 불확실성(uncertainty), 동역학(dynamics), 의미론(semantics), 다중 모달 관측(multimodal observation)을 통합할 수 있는 기하학 중심 표현(geometry-centric representation)을 물리적 공간에 제공한다는 데 있다. 월드 모델(world model)은 센서 관측을 현재 점유로 변환하고, 미래 점유를 예측하며, 이러한 예측에 대해 후보 궤적을 평가하고, 선택된 계획을 제어 명령으로 변환할 수 있다. 결과적으로 인식, 예측, 계획, 실행이 하나의 순환 구조(loop)로 연결되며, 피지컬 AI 시스템은 물리적 세계가 변화하는 동안에도 안전하고 적응적으로 행동할 수 있다.
06.10. Occupancy Prediction Example [w/Code]
실용적인 점유 예측(occupancy prediction) 사례는 실외 환경의 교차로(intersection)에 접근하는 자율 이동 로봇(autonomous mobile robot)을 중심으로 구성할 수 있다. 로봇은 도로(road), 건물(building), 주차 차량(parked vehicle), 이동 중인 보행자(moving pedestrian), 그리고 측면에서 접근하는 다른 차량을 관측한다. 목적은 단순히 이러한 객체를 검출하는 것이 아니라, 다중 모달 관측(multimodal observation)을 공간적 점유 상태(spatial occupancy state)로 변환하고 그 상태가 향후 몇 초 동안 어떻게 변화할지를 예측하는 것이다. 따라서 이 사례는 센싱(sensing), 점유 추정(occupancy estimation), 동역학 모델링(dynamics modeling), 미래 예측(future prediction), 불확실성(uncertainty), 계획(planning), 제어(control)을 하나의 과정으로 연결한다.
과정은 카메라(camera), LiDAR, 레이더(radar), 그리고 로봇의 IMU 또는 자기수용감각(proprioceptive system)으로부터 얻은 다중 모달 관측에서 시작한다. 카메라는 외관 및 의미론적 정보(semantic information)를 제공하고, LiDAR는 3차원 기하학(3D geometry)을 제공하며, 레이더는 거리 및 속도에 대한 증거(range and velocity evidence)를 제공하고, IMU는 로봇 자신의 움직임에 대한 정보를 제공한다. 이러한 관측은 공통 좌표계(common coordinate system)로 정렬되고 하나의 현재 공간 표현(current spatial representation)으로 결합된다. 예측을 시작하기 전에 일관된 세계 상태(consistent world state)를 구축하는 것이 목적이다.
현재 세계 상태(current world state)는 점유(occupied), 자유(free), 미지(unknown) 영역을 포함하는 3차원 점유 구조(3D occupancy structure)로 표현된다. 이 표현에는 특정 점유 영역이 차량(vehicle), 보행자(pedestrian), 건물(building), 식생(vegetation) 또는 기타 환경 요소에 해당한다는 의미론적 정보(semantic information)를 추가할 수도 있다. 모든 복셀(voxel)을 결정론적으로 판단하는 대신 점유 확률(occupancy probability)을 유지할 수 있다. 이를 통해 센서 증거(sensor evidence)가 불완전하거나 객체 경계(object boundary)가 부분적으로만 관측되는 경우에도 시스템은 모호성(ambiguity)을 보존할 수 있다.
로봇이 도로 가장자리 근처에서 보행자를 검출하고 있으며, 다른 차량이 교차로에 접근하고 있다고 가정해 보자. 보행자의 현재 점유 상태는 인접한 여러 복셀에서 관측되고 있으며, 레이더와 시간적 관측(temporal observation)은 보행자가 도로 방향으로 이동하고 있음을 나타낸다. 차량은 또 다른 공간 영역을 점유하고 있으며, 그 속도는 차량이 곧 교차로에 진입할 가능성이 있음을 나타낸다. 반면 건물과 도로 경계와 같은 정적 구조(static structure)는 상대적으로 안정적으로 유지된다. 따라서 월드 모델(world model)은 지속적인 점유(persistent occupancy)와 변화하는 점유(changing occupancy)를 구분하고, 상태가 변화할 것으로 예상되는 영역에 주로 시간적 예측을 집중한다.
동역학 모델(dynamics model)은 현재의 점유 상태와 함께 과거 점유(historical occupancy), 움직임 정보(motion information), 의미론적 정보, 자기 움직임(ego-motion), 관련 환경 맥락(environmental context)을 입력으로 받는다. 이러한 입력으로부터 점유 영역이 시간에 따라 어떻게 변화하는지를 학습한다. 검출된 각각의 객체가 다음 위치에서 어디에 있을지를 독립적으로 예측하는 대신, 모델은 공간적 점유 필드(spatial occupancy field) 자체의 변화를 예측한다. 따라서 도로 방향으로 이동하는 보행자는 변화하는 점유 영역의 시퀀스(sequence of occupied regions)를 생성하는 반면, 건물은 예측 시간 범위(prediction horizon) 동안 거의 변화하지 않는 상태로 유지된다.
이후 모델은 t+1, t+2, t+3 및 더 긴 시간 범위인 t+T와 같은 여러 시간 단계에서 미래 점유 상태(future occupancy state)를 생성한다. t+1에서는 보행자가 여전히 도로 가장자리 부근에 있을 가능성이 높다. t+2에서는 예측된 점유 영역이 도로 방향으로 확장될 수 있으며, 이후 시간 단계에서는 보행자가 로봇의 미래 경로(future path)에 진입할 가능성이 나타날 수 있다. 동시에 접근 중인 차량 역시 교차로 안에서 점차 다른 공간 영역을 점유할 수 있다. 따라서 예측은 단순히 서로 독립적인 객체 궤적(object trajectory)의 집합을 설명하는 것이 아니라 변화하는 물리적 공간(physical space)의 상태를 설명한다.
미래의 행동은 불확실하기 때문에 모델이 반드시 하나의 결정론적 예측(deterministic prediction)만 생성할 필요는 없다. 보행자는 계속 횡단하거나, 멈추거나, 방향을 변경할 수 있고, 차량은 가속하거나, 감속하거나, 다른 궤적을 따라갈 수 있다. 따라서 월드 모델은 여러 가능한 미래 점유 시퀀스(multiple possible future occupancy sequence)를 유지할 수 있다. 가장 가능성이 높은 미래는 보행자가 계속 앞으로 이동하는 상황을 나타낼 수 있으며, 다른 미래는 보행자가 멈추거나 방향을 변경하는 상황을 나타낼 수 있다. 이를 통해 이후의 계획을 위해 물리적으로 가능한 대안들을 보존할 수 있으며, 여러 가능성을 하나의 비현실적인 중간 상태로 평균화하는 것을 피할 수 있다.
불확실성은 예측 시간 범위가 증가할수록 더욱 커진다. 보행자의 현재 위치는 최근의 카메라와 LiDAR 관측에 의해 직접 뒷받침되기 때문에 비교적 높은 확신으로 추정할 수 있다. 그러나 몇 초 후에는 보행자의 미래 행동을 알 수 없기 때문에 정확한 점유 영역에 대한 확신이 낮아진다. 동일한 원리는 접근 중인 차량에도 적용된다. 따라서 미래 점유는 공간적 확률 분포(spatial probability distribution)로 표현할 수 있으며, 이를 통해 계획기는 미래 점유가 매우 예측 가능한 영역과 미래 상태가 불확실한 영역을 구분할 수 있다.
이후 로봇의 후보 궤적(candidate trajectory)은 예측된 점유 시퀀스와 비교하여 평가된다. 예측상 계속 자유 상태로 유지되는 영역을 통과하는 궤적은 안전한 것으로 판단할 수 있는 반면, 미래의 높은 확률 점유 영역과 겹치는 궤적은 충돌 위험(collision risk)으로 분류할 수 있다. 낮은 확률의 점유 영역이나 불확실성이 매우 높은 영역과만 교차하는 궤적은 즉시 배제하기보다는 위험(risky)한 것으로 처리할 수 있다. 이러한 시간 인지 충돌 검사(time-aware collision check)는 로봇과 예측된 점유 사이의 공간적 중첩(spatial overlap)뿐만 아니라 시간적 중첩(temporal overlap)까지 평가한다.
위험 인지 계획(risk-aware planning)은 여러 후보 궤적을 비교할 수 있다. 하나의 궤적은 가장 짧은 경로를 제공하지만 예측된 보행자 경로에 가까이 지나갈 수 있다. 다른 궤적은 작은 우회(detour)를 필요로 하지만 예측 시간 범위 동안 보행자와 접근 중인 차량 모두와 충분한 거리를 유지할 수 있다. 세 번째 궤적은 더 느리지만 더 큰 안전 여유(safety margin)를 제공할 수 있다. 계획기는 이러한 대안을 안전성(safety), 효율성(efficiency), 작업 목표(task objective), 불확실성(uncertainty)을 기준으로 평가하고, 가장 가능성이 높은 하나의 결과만을 최적화하는 것이 아니라 여러 가능한 미래 점유 상태에서도 강건하게 유지되는 궤적을 선택할 수 있다.
선택된 궤적은 실행을 위해 제어 시스템(control system)으로 전달되지만, 예측이 영구적으로 정확하다고 가정하지는 않는다. 로봇이 이동하면서 새로운 카메라, LiDAR, 레이더, 자기수용감각 관측이 지속적으로 점유 상태를 갱신한다. 보행자가 예상과 달리 갑자기 멈추거나, 차량이 방향을 변경하거나, 센서 관측이 이전 예측과 일치하지 않는 경우 월드 모델은 자신의 상태를 갱신하고 새로운 미래 점유 시퀀스를 생성한다. 이후 계획기는 궤적을 다시 평가하고 필요한 경우 재계획(replanning)을 수행할 수 있다. 이를 통해 인식(perception), 점유 추정, 예측(prediction), 계획, 행동(action)이 연결된 폐루프(closed loop)가 형성된다.
이 사례는 피지컬 AI(Physical AI) 월드 모델에서 점유가 수행하는 보다 광범위한 역할을 보여준다. 점유 표현(occupancy representation)은 공간 상태(spatial state)를 제공하고, 의미론적 점유(semantic occupancy)는 의미를 제공하며, 동적 점유(dynamic occupancy)는 변화를 표현하고, 미래 점유(future occupancy)는 미래를 예상하게 하며, 불확실성은 시스템이 알지 못하는 부분을 표현한다. 계획은 이러한 예측을 시간에 따라 변화하는 공간적 제약(time-dependent spatial constraint)으로 변환하고, 제어는 선택된 궤적을 실제 물리적 행동으로 변환한다. 따라서 전체 과정은 현재 세계를 관측하는 단계에서 가능한 미래를 예측하고, 그 미래가 현재의 물리적 상태가 되기 전에 행동하는 단계로 발전한다.
저자: Richard Minsoo Go
LinkedIn: Richard Minsoo Go










Top comments (0)