Agent as Policy for Robotic Manipulation

1 서론

• 기존 접근법은 실행 중 의사결정을 사전에 프로그래밍한 규칙으로 제한하거나 동작 생성을 기존에 학습된 정책으로 한정한다.프로그램 생성에는 명시적인 런타임 규칙이 필요하다(Liang et al., 2022; Chen et al., 2026). 정책 오케스트레이션은 학습된 정책을 선택하고 실행 순서를 정하지만, 해당 정책의 능력에 제약받는다(Li et al., 2026a; Zhang et al., 2026; Galanti et al., 2026).출처: §1 · p. 1
• AGP는 에이전트가 실행 전반에 걸쳐 관측을 선택하고, 증거를 해석하고, 동작을 요청하며, 국소 프로그램을 수정하도록 하여 물리적 결과에 맞춰 인지와 행동을 조정한다.실패를 복구하려면 현재 장면, 시도한 동작, 그 결과를 함께 추론해야 한다. 에이전트는 증거를 더 수집하거나 실행 전략을 바꿀 수 있다.출처: §1 · p. 1
• 보정된 로봇 브리지는 관측, 기하 정보 질의, 검증된 동작 명령을 제공하고, 상태가 유지되는 코딩 작업 공간은 기하 추정, 동작 평가, 피드백 기반 프로그램 수정을 지원한다.브리지는 측정된 상태와 실행 보고를 반환하고, 타이밍이 중요한 행동을 위해 관절과 그리퍼의 동작을 조율한다. 동작 실행과 모니터링은 에이전트 추론과 독립적으로 수행된다.출처: §1 · p. 2
• AGP는 조립 실험 10회 중 8회, 블록 구조물 제작 실험 30회 중 29회, 주사위 뒤집기 실험 10회 중 10회에 성공했다.블록 구조물 제작은 세 가지 구성을 다루며, 평가에는 목표 지점으로 던지기와 양팔 수건 접기도 포함된다. 주 실험은 가중치를 고정하고, 사전 과제 수행 경험이나 시뮬레이션 예행연습 없이 매번 새 세션에서 시작한다.출처: §1 · p. 2
• 기록된 절차, 측정값, 수정 사항의 재사용은 효율을 높인다. 더 강력한 에이전트의 기록을 전달하면 더 약한 에이전트의 성공률이 높아지고, 성공한 실험의 평균 실행 시간과 추론 비용이 줄어든다.경험은 이후 실행에서 재사용할 수 있도록 파일에 보존된다.출처: §1 · p. 2
• 파운데이션 MLLM이 인터페이스를 통해 로봇 팔을 직접 제어할 수 있다는 근거에도 불구하고, 긴 실행 시간과 높은 추론 비용은 여전히 실용적 도입의 걸림돌이다.시각 인지와 추론은 제로샷 조작 중 목표 해석, 동작 생성, 물리적 피드백에 대한 적응을 뒷받침한다.출처: §1 · p. 2

2.1 에이전트 기반 로봇 시스템

• AGP는 학습된 정책이나 프리미티브 내에서 기술 선택과 동작 생성을 분리하는 대신, 런타임 에이전트 자체를 정책으로 사용한다.기존 시스템은 목표, 어포던스, 피드백을 이용해 학습된 기술을 선택하고 실행 순서를 정한다 (Ahn et al., 2022; Huang et al., 2022). 최근 접근법은 진행 상황 모니터링과 복구를 통해 VLA 정책을 조율하지만 (Li et al., 2026a; Zhang et al., 2026; Galanti et al., 2026), AGP는 이전에 보지 못한 환경에서 제로샷으로 실행하기 위해 별도로 학습된 행동 정책을 필요로 하지 않는다.출처: §2.1 · p. 3
• AGP는 프로그램 생성과 워크플로 수정을 런타임 에이전트의 제어 아래 두고, 실제 운용 중 관측과 실행 피드백에 대응한다.프로그램 합성 시스템은 지각 및 제어 인터페이스를 통해 관측을 행동으로 변환하는 프로그램을 생성하며, 검증을 통해 시뮬레이션과 실제 환경에서의 실행을 지원한다 (Singh et al., 2022; Liang et al., 2022; Chen et al., 2024; Mu et al., 2024). 실행 기반 개선 방식도 프로그램이나 계산 그래프를 수정하고 재사용 가능한 해결책을 보존한다 (Lu et al., 2026).출처: §2.1 · p. 3

2.2 로봇 조작

• AGP는 범용 멀티모달 대규모 언어 파운데이션 모델을 로봇 정책으로 직접 사용해, 행동 생성에 특화된 학습의 대안을 제시한다.로봇 조작 연구는 기하 모델링, 작업 및 동작 계획, 피드백 제어 (Garrett et al., 2021)부터 궤적으로 학습한 확산 정책 (Chi et al., 2023)까지 아우른다. VLA 모델은 이미지와 언어를 조건으로 사용하며 (Brohan et al., 2023; Kim et al., 2024; Black et al., 2024), 비디오 및 월드 행동 모델은 행동을 미래의 시각적 상태와 결합한다 (Li et al., 2025; Ye et al., 2026).출처: §2.2 · p. 3

2.3 로봇공학을 넘어선 에이전트 기반 워크플로

• AGP는 에이전트의 도구 사용, 메모리, 피드백, 조율이 지각, 기하, 계획, 제어 인터페이스를 통해 로봇 정책을 어떻게 형성하는지 연구한다.언어 에이전트는 추론, 도구, 성찰을 결합하여 (Yao et al., 2022; Schick et al., 2023; Shinn et al., 2023), 소프트웨어 수정과 테스트 (Yang et al., 2024; Wang et al., 2024), 적응적인 브라우저 또는 데스크톱 상호작용을 지원한다 (Zhou et al., 2023; Xie et al., 2024). 다중 에이전트 프레임워크는 중간 결과를 공유하며 소통하는 전문 역할들에 워크플로를 분담한다 (Wu et al., 2023; Hong et al., 2023).출처: §2.3 · p. 3

3.1 문제 정식화

• 별도의 코딩 에이전트가 재사용 가능한 작업 정의를 준비하고, 실행 에이전트가 명시된 목표, 제약, 예산, 완료 기준에 따라 작업 인스턴스를 처리한다.작업은 영상, 이미지, 언어 또는 이들을 결합한 지시로 지속되는 장면의 목표 상태를 지정하며, 경과 시간과 관측/동작 요청 예산의 제약을 받는다. 이후 인스턴스는 저장된 정의와 해당 인스턴스의 세부 정보로 바로 실행한다.출처: §3.1 · p. 3
• 범용 에이전트가 로봇 정책으로 작동하며, 모델 파라미터는 고정한 채 작업 명세, 인터페이스 문서, 대화 이력, 작업 공간 파일을 바탕으로 도구를 선택한다.도구 호출은 정보를 획득하거나 동작 목표값을 전달하는 프로그램을 실행한다. 작업 공간에는 스크립트, 메모, 관측을 보관한다.출처: §3.1 · p. 4

3.2 에이전트-로봇 브리지

• 에이전트-로봇 브리지는 관측과 동작 요청을 교환하며, 물리적 결과를 평가할 수 있도록 보정된 카메라 영상, 고유감각 상태, 동작 후 목표 대비 오차를 제공한다.상부 카메라 영상은 장면을 보여주고, 깊이 정보가 정렬된 손목 카메라 영상은 공통 로봇 좌표계에서의 공간 측정을 지원한다. 모터 피드백은 관절 위치와 순기구학으로 계산한 말단장치 자세를 제공하며, 관측은 검토와 처리를 위해 저장한다.출처: §3.2 · p. 4
• 에이전트는 관절각 또는 말단장치의 목표값과 그리퍼 개방 폭을 요청하고, 피드백 제어기는 작업 공간과 운동 한계 내에서 궤적을 실행한다.말단장치 목표값의 역기구학 계산에는 Mink 를 사용한다. 제어기는 요청 사이에 자세를 유지하고, 각 팔에서는 명령을 순차 실행하며, 서로 다른 팔 간에는 동시 실행을 허용한다.출처: §3.2 · p. 4

3.3 런타임 프로그래밍과 실행

• 에이전트는 관측을 해석하고 로봇 명령을 계산하는 런타임 프로그램을 작성한 뒤, 피드백으로 추정값, 파지, 동작 순서, 복구 전략을 수정한다.주어진 예산 내에서 완료가 보고되거나 실행이 종료될 때까지 진행하며, 물리적 성공 여부는 결과 장면과 기록된 증거로 평가한다. 실험 조건에 따라 대기 시간을 늘리고 여러 연산을 통합해 도구 호출 오버헤드를 줄인다.출처: §3.3 · p. 4

4.1.1 로봇 플랫폼과 에이전트 설정

• AGP는 평행 그리퍼를 장착한 6관절 I2RT YAM 로봇 팔과 가중치가 고정된 GPT-6 Astra를 사용하며, 기본 추론 노력 수준은 높음으로 설정한다.양팔 수건 접기에는 좌표계를 공유하는 두 팔을 사용하며, 협응 방식은 에이전트가 선택한다. 표적 던지기에는 동작 시점을 지정하는 프로그램을 지원하는 인터페이스를 사용한다.출처: §4.1.1 · p. 5

4.1.2 작업과 평가

• 영상·이미지·언어 지시를 바탕으로 조립, 블록 쌓기, 주사위 뒤집기, 던지기, 수건 접기를 수행하며 장기 추론과 행동·물체의 다양성을 평가한다.시행에는 사전 정의된 장면과 고정된 시간·요청 횟수 예산을 사용하며, 예산 내 복구를 허용하고 초기화나 사람의 개입 시 종료한다. 모델 및 경험 비교에서는 장면을 동일하게 맞추고 실행 순서를 균형 배치한다. 성공 여부는 사전 정의된 물리적 결과 기준으로 판단한다. 시간, 추론과 재시도를 포함한 총 토큰 수, 추론 비용은 성공한 시행을 대상으로 집계하며, 블록 쌓기와 수건 접기의 설정별 결과는 따로 보고한다.출처: §4.1.2 · p. 5

4.2.1 주요 결과

• 8개 작업 설정 중 7개에서 80% 이상의 성공률을 달성했으며, 5개에서는 관측된 성공률이 100%였다.실행 시간과 추론 비용은 대체로 작업 복잡도에 따라 증가한다. 감자를 던지기까지 평균 13.9분이 걸리며, 이후 궤적 분석과 검증이 보고된 총 22.8분의 약 40%를 차지한다.출처: §4.2.1 · pp. 5–6, Table 1 · p. 6
• 동시 수건 접기의 성공률은 3/5로 관측된 최저치인 반면, 순차 접기는 다섯 번의 시행에서 모두 성공한다.다만 순차 접기에는 평균 50.8분과 USD 24.14가 필요해 전체 평가 작업 중 시간과 비용 소모가 가장 큰 편에 속한다. 동시 접기는 짧은 양 끝을 동시에 안쪽으로 가져와야 하므로, 동적인 변형체 조작에서 협응이 어렵다는 점을 드러낸다.출처: Table 1 · p. 6, §4.2.1 · p. 6

4.2.2 에이전트와 추론 노력 비교

• AGP는 Codex와 Claude Code 모두에서 조립을 지원하며, Astra는 추론 노력 수준이 달라도 일관된 성공률을 유지하지만 모델 선택은 여전히 중요하다.작업 참조 자료, 로봇 함수, 시행 예산을 동일하게 맞춘 두 쌍 조립에서 Sol은 Astra보다 비용이 낮지만 시간이 더 걸린다. Claude Code 내에서 Fable은 Opus보다 성공률이 낮고 성공한 시행의 토큰 사용량도 적지만, 시간과 비용은 더 많이 든다.출처: §4.2.2 · pp. 6–7, Table 2 · p. 7

4.3 경험을 통한 효율 향상

• 경험 실험에서는 두 쌍 조립의 반복 작업 재사용과 강한 모델에서 약한 모델로의 절차 전이를 통해 상당한 실행 지연과 추론 비용을 줄이고자 한다.두 실험 모두 가는 기둥에 육각 고리를 끼우고 단차가 있는 원통에 원형 칼라를 끼우는 작업을 사용한다. 평가 비용을 제한하기 위해 네 쌍 조립 작업에서 이 두 작업을 선택했다.출처: §4.3 · p. 7

4.3.1 재사용 가능한 작업 경험 축적

• 경험 재사용 시 두 쌍 조립 작업 시간은 첫 번째 실행에서 다섯 번째 실행까지 29.3% 감소하며, 고리 분해·재조립도 첫 주기 이후 빨라진다.새 컨텍스트에서는 현재 물체 자세를 갱신하면서 저장된 기하 추정값, 검증된 파지·삽입 매개변수, 보정 사항, 스크립트를 재사용한다. 경험 기록 시간은 비교적 일정하게 유지된다. 조립 응답 지연은 47.0% 감소하지만 도구 실행 시간은 9.3% 증가한다. 이 시행들은 서로 의존하므로, 독립적으로 분리된 인과 효과가 아니라 연관성을 뒷받침한다.출처: §4.3.1 · pp. 7–8, Figure 2 · p. 8

4.3.2 강한 모델에서 약한 모델로의 경험 전이

• 두 쌍 조립에서 Terra의 성공률은 경험이 없을 때 1/5이지만 Astra의 저장된 경험을 받으면 4/5로 높아진다.성공한 시행에서 평균 완료 시간은 34.3%, 토큰 사용량은 11.4% 감소한다. Astra의 경험 수집 비용을 제외하면 평균 추론 비용도 감소한다. 각 조건에서는 고정된 가중치와 높은 추론 노력 수준으로 새 컨텍스트의 Terra 시행을 다섯 번 수행하며, 경험이 없는 조건과 Astra의 다섯 차례 실행에서 수집한 뒤 고정한 경험 파일을 사용하는 조건을 비교한다.출처: Figure 3 · p. 8, §4.3.2 · p. 8

5 결론

• AGP는 범용 에이전트로 관측을 해석하고 동작 요청을 생성하며 물리적 피드백에 따라 행동을 수정해 다양한 로봇 조작을 지원한다.실제 로봇 실험에서는 동영상, 이미지, 언어 지시하에서 장기 추론, 행동 다양성, 물체 다양성을 평가한다.출처: §5 · p. 8
• 역량이 높은 에이전트의 경험 기록을 전달하면 역량이 낮은 에이전트의 작업 성공률이 높아지고 성공한 시행의 평균 실행 시간과 추론 비용이 줄어든다.실행 시간과 추론 비용의 개선은 성공한 시행에 한정해 보고된다.출처: §5 · p. 9
• 재사용 가능한 파일에 기록된 작업 경험은 축적될수록 실행 효율을 높인다.출처: §5 · pp. 8–9
• 협응을 통한 변형체 조작에서 실행 시간, 추론 비용, 신뢰성은 여전히 핵심 과제로 남아 있다.출처: §5 · p. 9

• 저자들은 원고의 방법론, 실험 결과, 해석 및 결론에 대해 전적인 책임을 진다.출처: AI USE STATEMENT · p. 9
• 생성형 AI 도구는 문장 구조, 명료성, 가독성 개선을 비롯한 초안 작성과 문장 교정을 지원했다.출처: AI USE STATEMENT · p. 9
• 저자들은 AI의 도움으로 작성한 텍스트가 연구 내용을 정확히 반영하도록 검토하고 수정할 책임을 진다.출처: AI USE STATEMENT · p. 9

재현성 명세

• 재현성 명세는 에이전트 정식화, 구현, 평가 절차, 보충 비교, 시간 분석, 시각적 참조 자료가 기술된 절과 부록을 안내한다.Appendix B는 과제, 참조 자료, 성공 기준, 시행 절차, 지표를 기술한다. 조립 부품은 AutoMate (Tang et al., 2024)를 바탕으로 수정했다. Appendices C, D, and F는 각각 피라미드 과제의 코딩 에이전트 비교 및 비용, 실행 시간 및 경험 체크포인트, 시각적 참조 자료 및 실행 순서를 다룬다.출처: REPRODUCIBILITY STATEMENT · p. 9

A.1 로봇 플랫폼 및 제어 인터페이스

• 손목 카메라의 깊이 정보로 픽셀을 로봇 팔 베이스 좌표계로 변환하며, 상부 카메라의 위치 추정에는 카메라 광선과 추정 높이의 평면이 만나는 교점을 이용한다.촬영 데이터에는 보정 정보, 타임스탬프, 로봇 상태가 포함된다. 에이전트는 추정치를 정교화하기 위해 추가 시점의 영상을 요청할 수 있다. 카메라 스트림의 프레임률은 에이전트의 의사결정 빈도와 독립적이다.출처: §A.1 · p. 13
• 플랫폼은 I2RT YAM 로봇 팔 두 대, 평행 그리퍼, 손목 장착 RGB-depth 카메라, 고정형 상부 RGB 카메라로 구성되며, 수건 접기에는 두 팔을 모두 사용한다.Figure 4는 linear_4310 그리퍼, Intel RealSense D405 손목 카메라, Logitech BRIO 상부 카메라를 표시한다.출처: Figure 4 · p. 13
• 로봇 인터페이스는 상태와 진행 상황 확인, 도움말과 관측 데이터 조회, 말단장치 또는 관절 이동, 그리퍼 제어를 위한 명령 일곱 개를 제공한다.동작 명령은 도달한 상태나 실패 정보를 반환하고, 관측 명령은 저장된 이미지와 보정 데이터를 반환한다. 에이전트는 이미지, 깊이, 보정 정보를 이용해 로컬 프로그램에서 기하 계산을 수행한다.출처: §A.1 · p. 13
• 일반 동작에는 관절 및 직교좌표 공간의 속도 제한, 그리퍼 이동 속도, 목표값 허용 범위, 직교좌표 공간의 최대 이동 거리 제약이 적용된다.관절 속도와 가속도 제한은 각각 20°/s와 40°/s^2이며, 직교좌표 공간의 병진 및 회전 속도 제한은 각각 0.03 m/s와 10°/s다. 그리퍼 목표값은 초당 정규화된 이동 범위의 0.25만큼 변한다. 반경 방향 목표값 범위는 0.12–0.65 m, 파지점 높이 범위는 −0.050–0.60 m이며, 직교좌표 공간의 한 번 이동 거리는 0.25 m를 넘을 수 없다.출처: §A.1 · p. 14
• 기록된 던지기 사례는 과제별 런타임에서 관절 오프셋과 그리퍼 목표값에 시점을 지정해 휘두르기와 놓기를 조율한다.실행기는 명령을 50 Hz로 보간하고, 측정된 관절 위치·속도·구동력과 명령 전달 시점을 기록한다. 이 프로그램에서는 관절 4의 속도와 가속도 제한을 각각 180°/s와 360°/s^2로 허용한다.출처: §A.1 · p. 14

A.2 에이전트 구성 및 실행 조건

• 표준 시행은 과제 경험이 없는 상태에서 시작하고, 재사용 조건에서는 지정된 저장 파일을 제공한다. 각 시행은 소프트웨어, 하드웨어, 자원 한도, 추론 설정을 기록한다.실행 효율에 관한 지침은 각 조건 내에서 고정한다. 실행 기록에는 대기 구간, 중간 상태 확인, 각 도구 호출 안에 묶인 작업을 남긴다.출처: §A.2 · p. 14

A.3 모델 및 추론 강도 구성

• Astra 추론 강도별 실험은 모델 버전, 환경, 입력, 인터페이스를 고정한다. Codex–Claude Code 비교는 동일한 장면, 참조 자료, 자원 한도에서 전체 시스템을 평가한다.Claude Code는 자체 모델 및 추론 강도 제어 기능을 사용한다 (Anthropic, b). 각 시행은 요청한 모델 식별자와 실제 적용된 모델 식별자, 유효 추론 강도 설정을 기록한다.출처: §A.3 · p. 14

B.1 과제 정의 및 성공 기준

• 조립에는 AutoMate 부품(Tang et al., 2024)을 사용하며, 모든 방법에 동일한 사람 시연 영상, 추출 프레임, 타임스탬프가 포함된 텍스트 안내를 제공한다.종횡비를 유지해 출력한 메시의 공칭 반경 방향 간극은 밀리미터 미만이며, 구멍과 축의 유효 직경으로부터 c = (Dh - Ds)/2를 계산한다. 실제 삽입 공차는 출력 정밀도와 각도 정렬에도 좌우된다.출처: §B.1 · p. 14, Table 4 · p. 16
• 블록 쌓기는 목표 사진을 고정한 채 정육면체의 초기 위치와 자세를 바꾸며, 수건 접기는 시연 배치와 대략 유사한 상태에서 시작한다.블록 구성과 배치 허용 오차는 평가 전에 고정한다. 수건 과제의 각 구성에는 위에서 촬영한 시연 영상과 초기·최종 이미지를 제공한다. 팔의 이동 공간을 확보하도록 배치를 조정할 수 있으며, 최종 접힘 상태는 그리퍼를 놓고 팔을 물린 뒤 위에서 평가한다.출처: §B.1 · pp. 14–15
• 주사위 뒤집기는 사전 정의된 조건에 걸쳐 서로 다른 초기 면과 목표 면을 균형 있게 배분하며, 던지기는 평가 전에 기하 조건, 초기 배치, 허용 스윙 조건을 고정한다.영상 주석에는 주사위 파지 선택, 회전, 재파지를 기록한다. 던지기는 목표 중심을 기준으로 착지 오차를 측정하며, 실행 기록과 영상으로 관절 움직임, 그리퍼 열림, 물체 분리를 확인한다.출처: §B.1 · p. 14
• 과제 성공은 그리퍼를 놓고 팔을 물린 뒤에도 사전 정의된 물리적 결과가 안정적으로 유지되어야 하며, 제어기의 도달 허용 오차와는 구별된다.Table 3은 각 과제의 목표 능력, 지시 유형, 성공 기준을 정의한다. 성공 여부는 최종 상태와 실행 영상으로 평가한다.출처: §B.1 · p. 14, Table 3 · p. 15

B.2 시행 절차

• 시행 기록은 사전 정의된 포함 방침에 따라 물리적 실패, 예산 소진, 사람의 개입, 인프라 중단을 구분한다.기하 질의와 로컬 계산은 예산에 산입되는 관측·행동 요청과 별도로 기록한다. Equation 1의 k는 에이전트의 도구 사용 결정 횟수를 세지만, 상호작용 예산은 하나의 도구 호출에 묶인 요청까지 포함해 개별 관측·행동 요청 수를 센다.출처: §B.2 · p. 15, §B.3 · p. 16

B.3 지표 정의 및 자원 집계

• 성공률은 100s/n이며, 완료 시간 통계는 성공한 시행을 사용한다. 성공한 시행이 없는 구성에서는 성공 시행의 평균 자원 사용량이 정의되지 않는다.여기서 s는 평가한 n회 시행 중 완전히 성공한 시행 수다. 완료 시간은 과제 전달부터 최종 물리적 검증까지이며, 프로그래밍, 관측, 계산, 동작, 복구를 포함한다. Appendix D.1은 실패한 시행과 종료 보고도 추가로 포함한다.출처: §B.3 · pp. 15–16
• 토큰과 비용 요약은 성공한 시행을 사용하며, 총 토큰 수는 재시도를 포함한 모든 모델 요청의 입력과 출력을 합산한다.반복되는 문맥은 요청마다 집계하고, 캐시된 입력은 해당 요청의 입력 총량에 한 번 집계하며, 정규화된 제공업체 기록에서는 추론을 출력으로 한 번 집계한다. 표는 성공한 시행당 평균 총 토큰 수를 백만 단위로 보고한다.출처: §B.3 · pp. 15–16

C 피라미드 쌓기 보충 코딩 에이전트 비교

• Sol의 실패 세션은 구조물이 미완성인 상태에서 이뤄진 두 차례의 감독자 개입과 물리적 실행 전 한 차례의 로봇 브리지 연결 끊김에 따른 것이다.중단된 세션은 실패로 집계한다.출처: C SUPPLEMENTARY CODING AGENT… · p. 16, Table 5 · p. 17
• 피라미드 쌓기 보충 비교에서는 Codex에서 GPT-5.6 Sol과 GPT-6 Astra 모두 추론 노력 수준을 높게 설정해 평가한다.과제는 Table 3을 따른다.출처: C SUPPLEMENTARY CODING AGENT… · p. 16
• 실행에는 Pro 구독을 사용하지만, 비용 비교에는 Astra의 Fast 서비스 설정을 포함해 표준 API 요금을 적용한다.요금은 September 9, 2026에 조회했으며, Appendix B.3의 토큰 집계 기준에 따라 요청별 사용량을 누적 카운터와 대조한다.출처: C SUPPLEMENTARY CODING AGENT… · p. 16, Table 5 · p. 17
• 피라미드 쌓기에서 Sol은 성공 세션당 토큰을 더 많이 사용하지만 추정 추론 비용은 Astra보다 낮다.제공된 표 설명에는 수치 결과가 없다.출처: Table 5 · p. 17, C SUPPLEMENTARY CODING AGENT… · p. 17
• 평균 토큰 수와 평균 비용은 성공한 세션만 대상으로 하며, 총비용은 모델별 전체 열 세션을 대상으로 한다.세션 보고서에 완성된 피라미드가 기록된 경우 성공으로 집계한다.출처: Table 5 · p. 17

D 효율성과 경험 재사용 분석

• 시간 배분은 실패를 포함한 모든 평가 시행의 평균 시간(분)으로 보고하며, 총시간에는 최종 보고 작성도 포함한다.던지기에는 궤적 분석과 검증도 포함되며, 반올림 전 각 시간 항목의 합은 총시간과 같다.출처: Table 6 · p. 17

D.1 작업 실행 시간 분석

• 관찰과 행동 선택에 실행 시간의 상당 부분이 소요되며, 던지기에서는 그 외 모델 응답이, 조립과 수건 접기에서는 시각 처리 루프가 큰 비중을 차지한다.시간 측정에는 실패도 포함되며, 과제 전달부터 완료 또는 시간 초과까지 최종 보고를 포함한 전 과정을 측정한다. 시각 처리 루프는 이미지 촬영, 기하 정보 질의, 이미지 처리와 후속 모델 응답을 포함하므로 시각적 추론과 프로그래밍을 함께 측정한다.출처: §D.1 · p. 17
• 동시 접기는 순차 접기보다 전체 시간, 시각 처리 루프 시간, 로봇 실행 시간이 짧지만, 전략과 결과가 달라 양팔 병렬 동작의 이점만 분리해 판단할 수 없다.양팔의 동시 움직임을 비롯해 시간상 겹치는 활동은 시간 분석에서 한 번만 계산한다.출처: §D.1 · p. 17

D.2 경험을 유지한 반복 실행

• 경험을 유지하며 반복 실행할 때 시간 절감의 주된 요인은 추론과 프로그래밍이다.두 쌍 조립의 도구 실행 시간은 조금 더 길어진다. 링 과제는 첫 주기에서 정렬 방법을 확립하고 삽입 실패를 복구한 뒤 가장 크게 개선된다. 추론과 프로그래밍 시간은 계획, 코드 생성, 응답 또는 도구 실행 시작까지의 지연을 합산한 추정치다.출처: Table 7 · p. 18, §D.2 · p. 18
• 과제별 5회 반복에서 링 작업 주기가 성공적으로 완료됐으며, 두 쌍 조립도 내내 안정적으로 수행됐다고 보고된다.추론 강도를 높게 설정한 GPT-6 Astra는 경험이 없는 상태에서 시작한다. 이후 실행에서는 새로운 문맥에서 저장된 측정값, 프로그램, 교훈을 활용하면서 이미지로 물체 위치를 갱신한다. 링 작업 주기에서는 링을 제거한 뒤 재조립한다. 두 쌍 조립에서는 육각 링과 가는 기둥, 원형 칼라와 단차가 있는 원기둥을 각각 결합한다.출처: §D.2 · p. 18
• 후속 에이전트는 측정 및 동작 프로그램을 재사용하고 스크립트의 좌표를 갱신하며 수정된 파지·삽입 절차를 유지한다. 이러한 재사용은 응답 시간 단축과 연관된다.시행은 물체 위치가 바뀌는 순차적 구조를 이룬다. 재사용의 효과만 분리하려면 매 시행을 경험이 없는 상태에서 시작하는 조건과 비교해야 한다.출처: §D.2 · p. 18

D.3 고정된 경험을 Terra로 전이

• 동일한 Astra 경험 파일을 변경 없이 사용한 Terra의 4회 시행에서 조립에 성공한다.실패한 시행에서는 원형 부품 쌍의 조립은 완료되지만 육각 칼라는 분리된 채 남고, 복구 중 가는 기둥이 넘어진다.출처: §D.3 · p. 18
• 경험 없이 성공한 Terra 시행 1회와 경험을 사용한 성공 시행 4회를 비교하므로, 관찰된 자원 사용량 감소는 크기가 작고 서로 다른 표본에 의존한다.비용은 Standard 요율을 적용한 Terra 추론 비용이다. 완료 시점은 동작 실행 후 최종 결과가 갱신된 때로 정하며, 후속 갱신이 없으면 기록된 작업 완료 시점을 사용한다.출처: §D.3 · p. 19

E 실행 중 프로그램 분석

• 18개 세션의 Python 작업 파일 37개와 48개 세션의 인라인 Python 셸 이벤트 135건이 실행 중 프로그래밍을 기록한다.작업 파일 집계에서는 이전부터 있던 Python 파일 사본 63개와 재사용을 위해 내보낸 사본 7개를 제외한다. 파일이 저장된 18개 세션 모두에 인라인 Python 이벤트가 있다. 이벤트는 여러 연산을 결합하거나 프로그램을 생성할 수 있으므로 이벤트와 파일은 별도로 집계한다.출처: E RUNTIME PROGRAM ANALYSIS · p. 19
• 실행 중 기하 계산은 조립 동작 명령에 직접 반영되며, 동작이 실패한 뒤에도 프로그램 확장과 위치 조정으로 피드백 루프를 이어간다.에이전트는 fit_head.py를 깊이 기반 평면 피팅에서 핀 끝 오프셋 추정과 목표 방향·위치 보정까지 확장한다. 다음 동작에는 계산된 목표와 쿼터니언을 사용하며, 목표 도달 오차가 발생하면 위치를 조정하고 삽입을 계속한다.출처: E RUNTIME PROGRAM ANALYSIS · p. 19
• 실행 중 프로그램은 삼각측량으로 목표를 추정하고, 시각 관측을 처리하며, 동시 양팔 작업도 조율하지만, 성능 기여도를 확인하려면 통제된 비교가 필요하다.재사용 가능한 삼각측량 절차는 보정된 손목 카메라와 상부 카메라의 시선 광선상 최근접점 사이의 중점과 거리를 반환하며, 정확도는 대응점과 보정에 좌우된다. 다른 보조 함수는 색상 분할, 원 검출, 프레임 모아보기를 수행하거나, 전체 응답을 기록하면서 양팔 동작을 동시에 실행한 뒤 관측한다.출처: E RUNTIME PROGRAM ANALYSIS · pp. 19–20

F.1 네 쌍 조립

• 삽입 실패로 너트 하나가 테이블 위로 밀려났지만, 물체를 놓고 물러난 뒤에도 네 쌍의 조립이 완료된 상태를 유지한다.에이전트는 파지 위치와 그리퍼 방향을 조정해 너트를 안착시키고, 앞서 완료한 조립을 유지하면서 나머지 조립을 마친다.출처: §F.1 · p. 20, Figure 5 · p. 21

F.2 블록 구조물 제작

• 피라미드, 쌍탑, 6블록 탑의 세 구조물은 물체를 놓고 물러난 뒤에도 서 있으며, 배치 순서는 각 구조물의 지지 구조를 따른다.피라미드는 층별로 쌓고, 두 탑 모두 밑부분을 먼저 배치한 뒤 중간과 맨 위의 정육면체 블록을 놓는다. 6블록 탑은 밑부분을 유지하면서 후속 블록을 정렬해 쌓는다.출처: Figure 6 · p. 22, §F.2 · p. 22

F.3 주사위 뒤집기

• 파지 조정, 60도 기울이기, 낮은 높이에서 놓기, 관측에 따른 재파지를 통해, 물러난 뒤에도 주사위 여섯 개 모두 6의 눈이 위를 향한다.팔이 도달할 수 있는 자세에 맞춰 파지를 조정하고, 이후 관측으로 방향을 확인한다.출처: Figure 7 · p. 23, §F.3 · p. 23

F.4 표적 투척

• 물체를 놓지 않은 채 두 차례 시험 동작을 수행한 뒤 휘두르기와 놓기를 조정해, 던진 물체가 그릇 안에 남도록 한다.다른 관절의 목표값은 고정한 채 관절 4로 휘두르기 동작을 구동한다. 가림으로 인해 상승 궤적과 정점의 일부가 보이지 않으므로, 실행 기록과 영상도 함께 사용해 평가한다.출처: §F.4 · p. 24, Figure 8 · p. 25

F.5 양팔 수건 접기

• 순차 수건 접기는 팔을 물린 뒤에도 시연된 접기 순서를 유지하지만, 주름과 가장자리 어긋남이 남아 부분적인 시각적 일치에 그친다.에이전트는 미끄러진 모서리를 다시 잡고 뒤집힌 가장자리를 바로잡은 뒤, 반으로 접은 수건을 팔 밑동 쪽으로 당긴다. 한 팔로 수건을 고정하고 다른 팔로 한쪽 끝을 안으로 접은 다음, 들뜬 모서리를 잡아 평평하게 편다.출처: §F.5 · p. 26, Figure 9 · p. 27
• 동시 수건 접기는 비뚤어짐, 말린 가장자리, 중앙 이음부 부근의 틈이 남아도 명시된 기준에서는 성공한다.미끄러진 가장자리를 다시 잡고 긴 변 접기를 마친 뒤, 양팔로 짧은 양 끝을 안쪽으로 옮기고 서로 걸리지 않도록 접힌 부분을 차례로 내려놓는다. 추가 보정에서는 바깥 가장자리를 고정한 채 들뜬 안쪽 단을 중앙으로 당긴다.출처: §F.5 · p. 28, Figure 10 · p. 29

G 서로 다른 팔과 엔드 이펙터 구성에서의 실행

• AGP는 다른 로봇 팔과 정교한 조작이 가능한 로봇 손으로 병을 잡아 들어 올려 협응의 정성적 근거를 제시하지만, 이후 잡고 있는 동안 병이 미끄러진다.플랫폼은 일곱 관절의 P7 팔, 다섯 손가락의 RealHand L6 손, 상부 및 손목 카메라로 구성된다. 손목 방향 조정, 점진적 접근, 단계적 손가락 오므리기를 거친 뒤 손목을 위로 2 cm 이동하도록 명령한다.출처: G EXECUTION ACROSS ARM AND END… · p. 30, Figure 12 · p. 31

H.1 팔을 물리는 도중 여섯 블록 탑 붕괴

• 손을 놓은 뒤에는 큐브 여섯 개가 서 있지만, 팔을 물리는 도중 탑이 붕괴한다. 붕괴를 일으킨 정확한 접촉이나 불안정성은 규명되지 않았다.에이전트는 먼저 네 번째 큐브의 정렬을 바로잡고, 제한된 도달 범위를 극복하기 위해 맨 위 두 큐브를 함께 옮긴다. 이 사례는 성공하려면 팔을 물리는 동안에도 안정성이 유지되어야 함을 보여준다.출처: §H.1 · p. 32
• 흩어진 큐브 하나의 대략적인 x좌표는 0.70 m로, 반경 0.65 m의 파지 한계를 벗어나 남은 시간과 명령 횟수 여유가 있어도 다시 쌓을 수 없다.상부 영상의 기하 정보와 손목 카메라의 깊이 정보가 가리키는 큐브 위치는 일치한다. 앞선 정렬 오류와 달리, 이번에는 도달 불가능한 상태가 되어 시도가 실패로 끝난다.출처: §H.1 · p. 32

I 광범위한 영향

• AGP는 동영상·이미지·언어 지시에 따른 조작에서 과제별 엔지니어링을 줄일 수 있으며, 저장된 프로그램과 실행 기록은 재사용 가능한 로봇 기술을 뒷받침할 수 있다.출처: I BROADER IMPACT · p. 33
• AGP를 반복 실행하면 정책 학습용 궤적을 수집할 수 있으며, 실용적 가치는 궤적 품질, 수집 비용, 학습된 정책의 성능에 달려 있다.시간 동기화된 시각 관측, 행동, 측정된 로봇 상태로 비전-언어-행동 정책을 학습할 수 있다. 실패한 시도와 복구 구간은 강건성 연구에 활용할 수 있다.출처: I BROADER IMPACT · p. 33
• 인식 오류, 잘못된 프로그램, 부적절한 동작은 장비를 손상하거나 사람을 다치게 할 수 있다. 실제 배치에는 현재 구현의 실행 중 작업 공간 및 동작 제한을 넘어서는 안전장치가 필요하다.현재 구현은 에이전트의 추론과 동작 실행을 분리한다. 사람 주변이나 낯선 환경에 배치하려면 추가 안전성 평가, 적절한 감독, 독립적인 보호 장치가 필요하다. 추론 비용과 실행 지연도 실용성과 접근성을 제약한다.출처: I BROADER IMPACT · p. 33