PaperlayerView exact revision on arXiv

AI 요약 · 영어에서 AI 번역

UrbanGround: From Local Perception to Spatial Agency in a Real-Scale City

Tianjie Ju, Zheng Wu, Yueqing Sun, Yuhan Cui, Bobo Li, Shengqiong Wu, Pengzhou Cheng, Haodong Zhao, Zongru Wu, Xinbei Ma, Doris Zhang, Kunling Li, Mong-Li Lee, Wynne Hsu, Hao Fei, Qi Gu, Gongshen Liu, Zhuosheng Zhang

arXiv:2608.27456v2cs.CV

TL;DR

신뢰할 수 있는 도시 행동을 위해서는 에이전트가 이동하며 시야가 바뀌어도 국소 증거의 유용성이 유지되어야 한다. UrbanGround는 실제 규모의 홍콩 환경에서 국소 질의응답, 내비게이션, 변화하는 조건에 걸쳐 MLLM 에이전트를 평가한다. 에이전트는 유용한 국소 능력을 보이지만, 이 능력들이 지속적인 목표 지향 행동으로 안정적으로 결합되지는 않는다.

  • 문제

    개별 도시 시점에서 뛰어난 인식 능력이 에이전트의 이동과 증거의 변화 속에서도 일관성을 유지해 신뢰할 수 있는 행동을 이끌 수 있는지는 여전히 불분명하다.

    출처: §1 · p. 2

  • Method

    UrbanGround is a georegistered Hong Kong replica for closed-loop MLLM evaluation, with tasks probing grounding, navigation, and adaptation through first-person or map observations and simulator actions.

    출처: §1 · p. 2, §3.1 · p. 4, §5 · p. 14

  • 결과

    현재 에이전트는 유용한 국소 공간 능력을 보이지만, 이 능력들은 지속적인 탐색으로 안정적으로 결합되지 못하며, 더 긴 경로와 변화하는 조건에서 효과적인 수정 없이 오류가 누적된다.

    출처: RQ2 How does local grounding scale… · p. 3, RQ3 How do changes in the city affect… · p. 3, §5 · p. 15

  • 시사점 및 한계

    도시 규모의 에이전트 능력에는 현재 시야를 넘어 공간 추정치를 유지하고, 새로운 증거로 기존 계획이 실행 불가능해지면 이를 수정하는 역량이 필요하다.

    출처: §5 · p. 15

    실험은 시뮬레이터에서 수행되며 실제 환경에 배포하지 않는다.

    출처: ETHICS STATEMENT · p. 15

Abstract

from arXiv · show

Multimodal large language models (MLLMs) can interpret a street view, but reliable urban action depends on whether such local evidence remains useful after the agent starts to move. In this paper, we investigate how far current MLLM agents can turn local urban perception into reliable action in a real-scale city. We propose UrbanGround, an urban sandbox built from Hong Kong's territory-wide 3D geospatial data. It combines the city's geographic structure with continuous, collision-constrained control through a shared evaluation interface. Agents use first-person observations and an interactive map to select actions across tasks ranging from local question answering to long-horizon navigation. Our analysis follows the growth of the spatial problem through three research questions. We first test whether an agent can gather and interpret local visual evidence to answer spatial questions. Then we ask whether these abilities support navigation as destinations become farther away and less explicit. Finally, we examine whether the resulting behavior survives changes in route availability and pedestrian motion. MLLM agents usually show useful atomic abilities in visual recognition and short-range spatial reasoning, while orientation and pedestrian-aware movement remain unreliable. Their central failure emerges over extended exploration, where local abilities do not compose into sustained goal-directed behavior and errors accumulate without effective correction. We hope UrbanGround will support broader study of how far MLLM agents can explore reliably in open-ended urban environments.

1 서론

이 논문은 에이전트가 실제 규모의 도시를 이동할 때 국지적 도시 지각이 신뢰할 수 있는 행동을 뒷받침하는지 살펴보고, 그 전환 과정을 연구하기 위해 UrbanGround를 소개한다. 평가는 국지적 그라운딩, 장거리 내비게이션, 도시 변화에 대한 적응을 차례로 다룬다.

1 서론

  • UrbanGround는 홍콩의 복잡한 지리 구조를 인터랙티브 환경으로 구현해 국지적 그라운딩, 내비게이션, 변화하는 도시 상황에서 MLLM 에이전트를 평가한다.고가 보행로와 가파른 지형 때문에 겉보기에는 곧장 갈 수 있는 경로도 실제로는 접근할 수 없으므로, 에이전트는 관측과 지도 맥락을 결합해야 한다.출처: §1 · pp. 2–3

RQ1 MLLM 에이전트는 유용한 국지적 공간 그라운딩을 형성할 수 있는가?

  • 국지적 질의응답에서 유용한 공간 능력이 드러나지만, 정답을 맞혀도 보행 네트워크에서 물리적으로 타당하게 이동한다는 보장은 없다.에이전트는 답에 도달한 뒤에도 네트워크를 벗어나곤 한다.출처: RQ1 Can MLLM agents establish a usable… · p. 3

RQ2 국지적 그라운딩은 목표 지향적 내비게이션으로 어떻게 확장되는가?

  • 도시 블록 몇 개만 지나도 내비게이션 성능이 급격히 무너진다. 에이전트는 전반적인 방향을 파악하더라도 실행 가능한 국지 경로를 찾지 못하거나, 길이 막혔을 때 회복하지 못할 수 있다.길이 막힌 에이전트는 회복하지 못한 채 같은 행동을 반복하는 경우가 많다.출처: RQ2 How does local grounding scale… · p. 3

RQ3 도시의 변화는 그라운딩된 지각과 행동에 어떤 영향을 미치는가?

  • 가시성 저하는 주로 국지적 질의응답을 약화하는 반면, 경로가 바뀌어도 에이전트는 낡은 계획을 따르면서 보행 네트워크 위에서 그럴듯하게 계속 이동하는 경우가 많다.가시성 저하가 단거리 내비게이션에 미치는 영향은 모델에 따라 일관성이 낮다.출처: RQ3 How do changes in the city affect… · p. 3

2 관련 연구

선행 연구는 게임, 물리적 환경, 도시 환경에서 에이전트의 인식과 행동을 다루지만, 각 환경에는 지속적인 공간적 행위 능력과 관련해 해결되지 않은 측면이 남아 있다. 이 논문은 실제 도시에서 관찰과 이동이 이어지는 동안 공간에 대한 이해를 유지하는 문제를 남은 공백으로 제시한다.

게임 환경에서의 에이전트 평가

  • 게임 벤치마크는 시각적 의사결정과 더 긴 궤적을 평가하지만, 게임이 정의한 공간 구조만으로는 에이전트가 해당 환경을 벗어나서도 유효한 공간 기준틀을 유지하는지 알 수 없다.이 벤치마크에는 통제된 시각·공간 과제와 장기 탐색을 위한 지속적 세계가 포함된다 (Paglieri et al., 2025; Zheng et al., 2026; Hu et al., 2026; Zhang et al., 2025a; Cai et al., 2025; Liu et al., 2025a; Ju et al., 2026; Park et al., 2026; Tan et al., 2025b;a; Luo et al., 2026).출처: §2 · pp. 3–4

물리적 세계 환경에서의 에이전트 평가

  • 물리적 세계 벤치마크는 장면 기하에 행동을 기반하지만, 제한된 환경에서는 국소 관찰을 더 큰 공간 기준틀과 연결해야 하는 범위가 제한된다.이 연구들은 실내 체화형 질의응답, 내비게이션, 오픈 보캐뷸러리 타깃 탐색을 다룬다 (Majumdar et al., 2024; Yang et al., 2025; Qiao et al., 2025; Zhao et al., 2026; Su et al., 2026; Zhang et al., 2024; Cheng et al., 2024; Zhang et al., 2026a;b; Li et al., 2025; Lin et al., 2025).출처: §2 · p. 4

도시 환경 평가

  • 도시 환경 평가는 공간 규모를 확장하지만, 기록된 시점 영상은 동일한 기하 공간을 연속해서 이동하는 경험을 제공하지 않으며, 상호작용형 시뮬레이터는 대도시 전체의 지리좌표가 등록된 구조를 보존하지 않는다.따라서 일관된 관찰과 이동이 이루어지는 상황에서 국소적 멀티모달 역량이 공간적 행위 능력으로 결합되는지는 여전히 밝혀지지 않았다 (Yang et al., 2024; Schumann et al., 2024; Zhang et al., 2025b; Dalal et al., 2026; Wang et al., 2026; Liu et al., 2025b; Mei et al., 2026; Wu et al., 2025; Shang et al., 2024; Zhuang et al., 2025; Zhou et al., 2026).출처: §2 · p. 4

3 URBANGROUND: 공간 행위 능력 평가 프레임워크

URBANGROUND는 MLLM 에이전트가 이동하는 동안에도 공간 증거가 유효한지 평가하기 위한 Unity 기반의 물리적 제약이 적용된 도시 프레임워크다. 공통 지리 환경과 인터페이스를 통해 국지적 이해에서 내비게이션과 적응으로 이어지는 과제를 지원한다.

3 URBANGROUND: 공간 행위 능력 평가 프레임워크

  • URBANGROUND는 영역 전체의 지리공간 데이터를 물리적 제약이 적용된 도시로 구현해 MLLM 에이전트를 평가한다.평가 대상 모델 전반에서 공통 세계와 인터페이스를 고정한다.출처: §3 · p. 4, §3.1 · p. 5

3.1 폐루프 도시 상호작용에서의 공간 행위 능력

  • 공간 행위 능력은 국지적 관계를 기반으로 파악하고, 시야가 바뀐 뒤에도 이를 유지하며, 상황 변화로 이전 가정이 무효화될 때 적응하는 능력으로 구성된다.평가는 이러한 역량을 국지적 이해, 내비게이션, 그리고 가시적 조건 변화에 대한 강건성과 연결한다.출처: §3.1 · p. 4
  • 폐루프는 관측, 이전 행동, 목표를 바탕으로 과제 관련 공간 상태를 갱신한 뒤, 그 상태를 이용해 다음 행동을 선택한다.실행된 행동은 물리적 상태나 인터페이스 상태를 갱신하고, 에이전트가 다음에 얻을 수 있는 증거를 결정한다.출처: §3.1 · pp. 4–5

3.2 지리공간 계층

  • 지리공간 계층은 영역 전체를 아우르는 텍스처 도시 메시와 서로 연결된 보행 공간을 나타내는 지리참조 보행자 네트워크를 결합한다.에이전트는 사전에 정해진 네트워크 변으로 제한되지 않고 연속적으로 이동한다.출처: §3.2 · pp. 5–6

3.3 시뮬레이션 계층

  • 시뮬레이션 계층은 도시 기하에 제약을 받는 연속 이동을 지원하며, 시간, 날씨, 보행자 활동을 설정할 수 있다.보행자 이동을 기록하는 한편, 에이전트는 등록된 네트워크 변 밖에서도 자유롭게 이동할 수 있다.출처: §3.3 · p. 6

3.4 AGENT LAYER

  • Agents receive first-person RGB observations and can inspect a georeferenced map without a computed or highlighted route.Structured movement, look, jump, map, and termination actions connect the external MLLM to the Unity environment.출처: §3.4 · p. 7

3.5 공간 행위 능력 평가 단계

  • 5단계 사다리는 국지적 이해에서 명시적·암묵적 내비게이션, 다중 과제 계획, 동적 적응으로 확장된다.시간과 날씨를 짝지어 변화시키면 동일한 과제 위치에서 시각적 증거가 달라진다.출처: §3.5 · pp. 7–8

3.6 사람에 의한 주석 작업

  • 주석 작업자는 각 과제 사례를 직접 구성하고 검증해 150 steps 이내에 완료할 수 있는지 확인하며, 포함하기 전에 다시 점검한다.과제는 거리 패턴, 지형, 수직 보행 연결이 다양한 홍콩 주요 지역을 포괄한다.출처: §3.6 · p. 8

4 실험

지역 grounding, navigation, dynamic-city 평가 전반에서 MLLM은 유용한 지역 능력을 보이지만, 경로가 길어지거나 조건이 바뀌면 목표 지향 행동을 안정적으로 유지하지 못한다. 실험에서는 방향 grounding이 약하고, 증거 수집이 고르지 않으며, 통행 폐쇄와 보행자에 대한 적응이 제한적임도 확인했다.

4.1 실험 설정

  • 이 연구는 수동으로 검증한 홍콩 사례 810개에서 고정된 상호작용 프로토콜을 사용해 최신 MLLM을 평가하고, 답변 정확도, navigation 성공률, 이동 제약을 측정한다.Episodes use first-person RGB observations, task instructions, and interaction history, with a 150-step limit.출처: §4.1 · pp. 8–9

4.2 RQ1: MLLM 에이전트는 유용한 지역 공간 grounding을 구축할 수 있는가?

  • 지역 시각 인식과 근거리 추론은 유용하지만, 능동 탐색 정확도는 46.3%에서 82.5%까지 편차를 보이며 방향 인식은 여전히 불안정하다.에이전트가 증거까지 더 짧은 경로를 선호하면서 등록된 보행자 네트워크를 벗어나는 경우가 있다.출처: §4.2 · pp. 9–10

4.3 RQ2: 지역 grounding은 목표 지향 navigation으로 어떻게 확장되는가?

  • 목적지가 보이는 짧은 경로는 성공할 수 있지만, 여러 거리를 가로지르는 navigation은 에이전트가 막힌 행동을 반복하거나 진행 상황을 잃으면서 대체로 무너진다.ShortNav과 InstructionNav 모두에서 거리가 늘어나는 구간에 따라 성공률이 대체로 하락한다. 장거리 에피소드에서도 목표까지의 거리는 줄어들 수 있지만, 여러 정거장을 방문하는 에이전트가 평균적으로 도달하는 필수 목적지는 6.8–20.7%에 그친다.출처: §4.3 · pp. 11–12, Figure 8 · p. 12
  • 지시문에서 목적지를 추론해야 하는 경우, 근거리 과제와 비슷한 거리에서도 navigation 성능은 저하된다.성공은 짧은 거리 구간에 집중된다. 모델 간 격차가 커지는 양상은 폐루프 상호작용이 지역 질의응답으로는 드러나지 않는 불안정성을 노출함을 시사한다.출처: §4.3 · p. 11, Figure 7 · p. 12

4.4 RQ3: 도시의 변화는 grounded perception과 행동에 어떤 영향을 미치는가?

  • 해질녘과 밤에는 지역 질의응답 성능이 약해질 수 있지만, 날씨와 시간대가 근거리 navigation에 미치는 영향은 모델에 따라 일관성이 떨어진다.GPT-5.6-Luna와 Gemini-3.8-Flash는 비교적 안정적인 반면, GPT-5.2와 Gemini-3.1-Pro는 가시성이 낮아질수록 변동이 커진다.출처: §4.4 · pp. 12–13, Table 3 · p. 14
  • 경로 폐쇄 상황에서는 보행자 네트워크 준수율이 높은데도 폐쇄 준수율은 낮고, 모든 모델에서 보행자 충돌률이 높다.이 지표들은 변화한 장면에서 경로를 수정하고 주변 움직임에 적응하는 능력이 약함을 드러낸다.출처: §4.4 · pp. 13–14, Table 4 · p. 14
  • 공간 규모 전반에서 모델은 지역 증거를 인식하는 데는 비교적 성공하지만, 방향을 파악하고 경로를 완수하거나 도시 변화에 따라 계획을 갱신하는 데는 어려움을 겪는다.grounded 상태가 더 이상 목표를 향한 행동을 이끌지 못한 뒤에도 그럴듯한 지역 이동이 이어질 수 있다.출처: §4.4 · p. 14

5 결론

이 논문은 MLLM이 국소적인 공간 이해를 실제 규모의 도시에서 지속적인 행동으로 이어갈 수 있는지 살펴보기 위해 UrbanGround를 소개한다. 결과는 유용한 기본 능력이 있음을 보여주지만, 국소적 기술은 장시간 탐색과 적응 과정에서 서로 효과적으로 결합되지 못하는 경우가 많다.

5 결론

  • UrbanGround는 물리적 변화가 있는 상황에서 폐루프 상호작용을 연구하기 위한 홍콩의 지리좌표 정합 복제본이다.연구는 능동적 질의응답에서 시작해 더 길고 명시성이 낮은 내비게이션으로 진행한 뒤, 도시가 변할 때의 적응을 살펴본다.출처: §5 · pp. 14–15
  • 현재 에이전트는 유용한 시각 인식 및 단거리 공간 능력을 보이지만, 효과적인 교정이 이루어지지 않으면 장시간 탐색 중 오류가 누적된다.가시성 변화는 질의응답에 영향을 미치며, 통행 폐쇄와 보행자 이동은 온라인 갱신 및 제약 준수의 취약성을 드러낸다.출처: §5 · p. 15
  • 도시 규모의 행위 주체성을 발휘하려면 시야가 바뀐 뒤에도 공간 추정치를 유지하고, 기존 계획이 더 이상 실행 가능하지 않을 때 이를 수정해야 한다.저자들은 UrbanGround가 복잡한 도시를 더 적응적으로 이동하는 연구를 뒷받침하기를 기대한다.출처: §5 · p. 15

AI 사용 명시

저자들은 원고를 다듬는 데 AI 보조 도구를, 실험에서 MLLM API를 사용했으며, 그 밖의 AI 사용은 없었다고 밝힌다.

AI 사용 명시

윤리 관련 진술

본 연구는 공개된 지리공간 데이터를 바탕으로 구축한 홍콩 도시 시뮬레이터를 사용하며, 사람의 주석 작업은 벤치마크 구축과 검증에 한정된다. 실험은 시뮬레이터 내에서만 진행되고 실제 환경에 배포되지 않으므로 저자들은 윤리적 우려가 없다고 본다.

윤리 관련 진술

  • 실험은 공개된 홍콩 지리공간 데이터를 바탕으로 구축한 도시 시뮬레이터에서 진행된다.출처: ETHICS STATEMENT · p. 15
  • 사람의 주석 작업은 벤치마크 과제를 구성하고 검증하는 데 한정된다.출처: ETHICS STATEMENT · p. 15
  • 실험은 시뮬레이션 내에서만 진행되고 실제 환경에 배포되지 않으므로, 저자들은 이 논문에 윤리적 우려가 없다고 본다.출처: ETHICS STATEMENT · p. 15

재현성 진술

이 진술은 독자를 논문의 설정, 과제 구성, 프롬프트 및 전체 결과에 관한 상세 내용으로 안내한다. 도시 환경 비교에서는 벤치마크 설정을 설명하는 데 사용된 역량을 정의한다.

재현성 진술

  • 설정과 평가 지표는 Section 4, 프레임워크 구현은 Section 3, 과제 구성과 사람의 검증은 Appendix B 및 Section 3.6, 프롬프트와 전체 결과는 Appendices F 및 C에 제시한다.이 참조들은 재현성 진술에서 관련 자료로 안내하는 역할을 한다.출처: REPRODUCIBILITY STATEMENT · p. 15

도시 환경과의 비교

  • Table 5는 도시 환경과 내비게이션 벤치마크를 비교하고, 설명된 설정에서 문서화된 지원 여부와 지원 부재를 표시한다.제공된 캡션에는 벤치마크별 개별 항목이 제시되어 있지 않다.출처: Table 5 · p. 22, A COMPARISON WITH URBAN ENVIRONMENTS · p. 22
  • 이 비교에서는 실제 도시의 지리, 연속적인 이동, 충돌 반응, 보행자 네트워크, 이동 원시 동작 기반 제어를 서로 구별되는 벤치마크 특성으로 정의한다.보행자 네트워크는 실제 보행 경로와 고도별 연결성을 나타내는 지리 참조 3D 그래프다.출처: A COMPARISON WITH URBAN ENVIRONMENTS · p. 22

B 실험 과제 설계

과제는 국소 공간 이해에서 명시적 경로 안내에 따른 내비게이션으로, 이어 목적지가 지정되지 않은 지시를 바탕으로 한 탐색으로 확장된다. 과제 사례는 홍콩 각 지역에 걸쳐 수작업으로 구성하고 검증해 배치했다.

B 실험 과제 설계

  • 각 과제 사례는 수작업으로 구성하고, 제공된 도구와 제약 조건을 사용해 지정된 초기 상태에서 테스트한 뒤 재검증하여 홍콩 각 지역에 배치했다.과제는 바로 주변 환경에서 장거리 목표, 불확실한 목적지, 시간 제약, 환경 변화로 확장된다.출처: B EXPERIMENTAL TASK DESIGN · p. 22

B.1 Level 1: 국소 환경 이해

  • Level 1은 국소 장면 인식, 방향 파악, 능동적 증거 수집을 평가하며, 60초 안에 효과적인 전략을 세우도록 탐색 질문을 설계했다.능동적 탐색에서는 정보가 풍부한 관점을 선택하고 관찰 결과를 종합해 하나의 답을 내야 한다. 방향 파악에서는 진행 방향, 장면 배치, 지칭된 위치를 서로 대응시켜야 한다.출처: §B.1 · pp. 22–23

B.2 Level 2: 명시적 지시에 따른 내비게이션

  • Level 2는 목표를 명시한 채 거리, 경로 표현, 제약 조건을 달리하며, 눈에 보이는 근거리 목적지부터 장거리 경로와 순차적 지시까지 다룬다.장거리 내비게이션에는 지도 기반 경로 설정과 지속적인 위치 파악이 필요하다. 제약이 있는 내비게이션에서는 이용 가능한 보행 구역에 제한을 둔다.출처: §B.2 · p. 23

B.3 Level 3: 암묵적 지시에 따른 탐색

  • Level 3에서는 직접적인 목표 지정이 사라지므로, 에이전트는 범주에 맞는 장소를 찾거나 의도된 결과에서 구체적인 목적지를 추론해야 한다.장소 유형 검색은 의미 기반 검색과 공간 탐색을 결합한다.출처: §B.3 · p. 23

B.4 LEVEL 4: 다중 과업 계획

Level 4는 여러 목적지에 걸친 일관된 계획을 평가하고, Level 5는 실행 중 환경이 바뀐 뒤의 내비게이션을 평가한다.

B.4 LEVEL 4: 다중 과업 계획

  • Level 4에서는 한 종점에 도달하는 것에서 여러 방문지에 걸쳐 계획을 유지하는 것으로 과제가 확장된다.시간대 제약 스케줄링은 경로 선택과 시간적 실행 가능성을 결합하며, 다중 경유지 계획에서는 목적지 방문 순서를 정하고 실행해야 한다.출처: §B.4 · pp. 23–24

B.5 LEVEL 5: 동적 환경 상호작용

  • Level 5에서는 원래 목표를 바꾸지 않은 채 검증된 내비게이션 상황 중 환경 변화를 도입한다.도로가 폐쇄되면 에이전트는 일회성 안내를 받고, 더는 실행할 수 없을지도 모르는 경로를 수정해야 한다.출처: §B.5 · p. 24
  • 보행자 사이를 이동할 때는 목적지를 향한 진행을 유지하면서 움직이는 보행자와 접촉하지 않도록 이동을 조정해야 한다.검증된 장거리 내비게이션 상황에 보행자를 추가한다.출처: §B.5 · p. 24

C 전체 실험 결과

부록에는 5단계 평가 체계와 보행자 네트워크 준수도에 대한 결과를 별도 표로 제시하며, 과제별 전체 결과는 백분율로 보고한다.

C 전체 실험 결과

  • 부록 표에는 평가한 모든 모델이 포함되며, 과제별 결과를 백분율로 보고한다.이는 보고 범위를 설명하며, 수치 결과를 뜻하지 않는다.출처: C COMPLETE EXPERIMENTAL RESULTS · p. 24
  • Table 6은 5단계 평가 체계 전반의 답변 정확도와 과제 성공 결과를 모두 보고한다.본문에는 세 가지 연구 질문에 따라 구성한 간결한 표를 제시하며, 제공된 표 설명에는 개별 결과값이 없다.출처: Table 6 · p. 24, C COMPLETE EXPERIMENTAL RESULTS · p. 24
  • Table 7은 실행된 행동 시간 대비 백분율로 보행자 네트워크 준수도 전체 결과를 보고한다.제공된 본문에는 개별 값이 제시되지 않는다.출처: Table 7 · p. 25

D 매칭된 사후 체크포인트 분석

매칭된 사후 체크포인트 분석은 종단점 회귀가 GPT-5.5의 LongNav 결과에 기여하는지 검증한다. 오라클 재채점은 부분적 진전을 되찾지만 도착률은 높이지 않는다.

D 매칭된 사후 체크포인트 분석

E LONGNAV 실패 유형 분석

분석에서는 GPT-5.5의 LongNav 실행을 서로 배타적인 네 가지 궤적 범주로 나눈다. 불안정한 진행이 가장 두드러지는 행동이며, 목표에 도달하기 전에 멈추거나 타임아웃까지 진행을 유지하는 양상은 다른 어려움을 시사한다.

E LONGNAV 실패 유형 분석

  • 네 가지 상호 배타적 범주는 정지, 진행, 도착 결과에 따라 GPT-5.5의 LongNav 실행을 분류한다.상당한 진행은 수평 목표 거리의 20% 이상 감소를 의미하며, 마지막으로 기록된 체크포인트를 종점으로 삼는다.출처: E LONGNAV FAILURE-TYPE ANALYSIS · p. 25
  • 불안정한 진행은 LongNav에서 가장 두드러지는 실패 양상이다. 모델이 목표에 가까워졌다가 이후 후퇴한다.논문은 이 양상을 전반적 방향 감각 유지, 공간 상태 보존, 잘못된 방향 전환 후 복구의 취약성과 연결한다.출처: E LONGNAV FAILURE-TYPE ANALYSIS · p. 25
  • 도착 반경 밖에서 멈추는 것은 위치 추정이나 도착 확인의 보정이 미흡함을 시사하는 반면, 타임아웃 시 진행을 유지하는 것은 비효율적인 실행이나 해결되지 않은 접근 제약을 시사한다.출처: E LONGNAV FAILURE-TYPE ANALYSIS · p. 25

F 실험에 사용한 프롬프트

이 부록은 에이전트가 지역 질문 응답 및 내비게이션 과제를 수행하도록 안내하는 프롬프트와 상호작용 프로토콜을 기록한다. 과제 목표, 사용 가능한 행동과 정보, 제약 조건, 응답 형식, 성공 기준을 명시한다.

F 실험에 사용한 프롬프트

F.1 SHARED AGENT INTERACTION PROTOCOL

  • The shared action space covers first-person movement and camera controls, map selection and navigation controls, and termination, with movement limited to two seconds per action.출처: §F.1 · pp. 26–27

F.1 공통 에이전트 상호작용 프로토콜

  • 두 과제 유형 모두 시각적 ReAct 루프와 JSON 행동을 사용하지만, 질문 응답은 최종 객관식 응답으로 끝나는 반면 내비게이션은 종료 시점의 현재 상태를 평가한다.출처: §F.1 · pp. 27–28

F.2 RQ1 / LEVEL 1: 지역 환경 이해

  • VR 프롬프트는 랜드마크를 살펴보도록 안내하고, OU 프롬프트는 원래의 방향 기준을 유지하며, AEQ 프롬프트는 처음에는 보이지 않을 수 있는 증거를 체계적으로 주변에서 찾도록 안내한다.출처: §F.2 · pp. 29–30

F.3 RQ2 / LEVEL 2: NAVIGATION UNDER EXPLICIT INSTRUCTIONS

  • SGN asks agents to reach a visible nearby destination, while LGN requires deriving a route from map markers and first-person observations without computed guidance.출처: §F.3 · pp. 30–31

F.3 RQ2 / LEVEL 2: 명시적 지시에 따른 내비게이션

  • Instructional Navigation에서는 스크린샷에서 언급된 교차로, 횡단 지점, 랜드마크를 식별하고 경로를 기억하면서 회전별 지시를 따라야 한다.출처: §F.3 · p. 31
  • Constrained Navigation에서는 폐쇄된 도로 구간을 피해 경로를 계획해야 하며, 폐쇄선을 절대 넘지 않아야 한다. 이를 넘으면 과제는 즉시 실패한다.출처: §F.3 · p. 31
  • Level 2에서는 명시된 목적지에 도달하되 나열된 도로 폐쇄 구간을 넘지 않아야 하며, 출발 전에 지도를 열어 이를 피해 경로를 계획한다.프롬프트는 폐쇄 구간이 에피소드 내내 유지되며 숨겨진 좌표, 거리 표시, 자동 횡단 경고가 제공되지 않는다고 명시한다.출처: §F.3 · p. 32

F.4 RQ2 / LEVEL 3: 암묵적 지시에 따른 탐색

  • Place-Type Search에서는 요청된 장소 유형에 해당하는 가까운 장소를 찾고, 지도 정보와 거리 표지 또는 상점 간판으로 확인한 뒤 입구나 표지판 앞에서 멈춰야 한다.성공 여부는 최종 위치가 도착으로 인정되는지에 달려 있으며, 숨겨진 좌표, 거리 표시, 검색 결과는 제공되지 않는다.출처: §F.4 · p. 32
  • Implicit Intent Inference에서는 일상적인 목표로부터 목적지 유형을 추론하고, 보이는 표지와 지도 정보를 이용해 적합한 주변 POI를 찾아 그곳까지 이동해야 한다.프롬프트는 보행자 기반 시설을 이용하고, 탐색이 인근의 새로운 구역으로 확장되도록 이미 찾아본 거리를 기억할 것을 권장한다.출처: §F.4 · p. 33

F.5 RQ2 / LEVEL 4: 다중 과제 계획

  • Time-window Scheduling에서는 약속 장소들을 정해진 순서대로, 각 마감 시간 전에 방문해야 한다. 늦게 도착하거나 순서를 어기면 실패하며, 에이전트는 현재 시각과 일정 상태에 대한 업데이트를 받는다.프롬프트는 효율적으로 계획하고 불필요한 우회를 피하며, 남은 시간을 고려해 서두를 시점을 결정하도록 안내한다.출처: §F.5 · pp. 33–34
  • Multi-stop Route Planning에서는 여러 목적지를 에이전트가 정한 순서대로 방문하고, 지도에서 되짚는 이동을 최소화해야 한다. 성공은 도달한 목적지 수와 경로 효율성을 반영한다.시간표나 필수 방문 순서는 없으며, 모든 목적지를 방문하거나 행동 횟수가 소진되면 과제가 종료된다.출처: §F.5 · p. 34

F.6 RQ3 / LEVEL 5: 동적 환경 상호작용

  • Dynamic Road-closure Replanning에서는 내비게이션이 시작된 뒤 도로 폐쇄가 발생한다. 알림을 받은 후에는 경유지로 연결된 폐쇄선을 어느 방향으로든 넘으면 즉시 실패하지만, 그 전에 넘은 경우는 실패 처리되지 않는다.에이전트는 알림을 받은 뒤 지도를 확인하고 폐쇄 구간을 피해 경로를 다시 계획하도록 지시받는다.출처: §F.6 · p. 35

F.6 RQ3 / LEVEL 5: DYNAMIC ENVIRONMENT INTERACTION

  • Navigation among Pedestrians uses the Long-range Goal Navigation prompt: agents must determine their own route to a far, likely unseen destination from first-person observations and a map that shows no route.They receive no updated coordinates, distance readout, or route guidance, and should prefer pedestrian infrastructure.출처: §F.6 · p. 36

Related papers

Loading 2608.27456v2…