Beyond NL2Code: A Structured Survey of Multimodal Code Intelligence

연구 동기

• 텍스트만으로 작성한 명세는 공간적·구조적 정보를 잃을 수 있으므로, 시각 기반 프로그래밍에서는 시각적 지각이 핵심 전제 조건이 된다.서론은 텍스트 설명이 인간의 의도와 생성된 코드 사이에 불일치를 일으킬 수 있는 영역으로 프런트엔드 개발, 데이터 시각화, 컴퓨터 지원 설계를 제시한다.출처: §1 · p. 3

조사 체계

• 이 종설은 연구를 그래픽 사용자 인터페이스, 과학 시각화, 구조화 그래픽, 신흥 과제 및 프레임워크의 네 가지 영역으로 체계화한다.각 영역은 웹·모바일 애플리케이션, 차트·문서·프레젠테이션, SVG·다이어그램·CAD, 그리고 새롭게 부상하는 시각적 조작·영상 생성·통합 멀티모달 모델을 포괄한다.출처: §1 · p. 3, Figure 1 · p. 4
• 형식적 문제 정식화를 통해 각 과제를 렌더링된 산출물, 편집 가능한 구조, 추론 기록, 실행 가능한 정책 등 코드의 주된 역할과 연결한다.영역별 검토에서는 벤치마크와 방법론을 다룬다. 하위 절 요약에서는 과제 목표, 주요 증거 신호, 검증의 공백을 짚고, 영역별 핵심 정리에서는 병목을 요약한다.출처: §1 · p. 3

검증 중심 연구 의제

• 연구 의제는 다중 신호 검증, 다중 상태 검증, 과제 간 전이 평가, 검증 가능한 에이전트 실행 기록을 강조한다.이러한 방향은 렌더링, 실행, 상호작용 또는 재생 이후의 산출물, 도구 사용 기록, 실행 가능한 정책을 다룬다.출처: §1 · p. 3

문헌 조사 방법론

• 이 문헌 조사는 수집, 선별, 분류 체계 배정, 수작업 일관성 점검을 단계적으로 수행하며, 문헌 현황은 January 2026까지 갱신했다.2022–2026년 연구와 그보다 앞서 과제를 정립한 벤치마크나 데이터셋을 중점적으로 다루며, 서베이와 저장소를 지속적으로 갱신한다. LLM은 초안 작성, 일관성 점검, 메타데이터 정리를 보조하며, 저자들은 포함 여부 결정, 분류 체계 배정, 최종 설명을 수작업으로 검토한다.출처: §1 · pp. 3–4

문헌 조사 방법

• 포함 대상 연구는 시각적 입력·출력 또는 시각적 근거가 있는 상태를 활용해 코드를 생성·편집·검증·실행하거나 코드로 추론한다. 순수 언어 기반 연구는 시각적 근거가 있는 경우에만 포함한다.각 연구를 영역, 과제 정식화, 코드의 역할, 평가 신호에 따라 분류하며, 모호한 사례는 원래의 과제 정의, 벤치마크 절차 또는 방법론의 목표와 대조해 확인한다.출처: §1 · p. 4

2 과제 정식화

• 멀티모달 코드 지능은 시각 정보 기반 코드 합성과 코드 중심 추론이라는 두 가지 핵심 패러다임으로 나뉜다.이 구분은 코드로 시각적 결과물을 만드는 과제와 코드를 추론이나 환경 제어에 사용하는 과제를 나눈다.출처: §2 · p. 4, §2.3 · p. 6

2.1 NL2Code 기초

• NL2Code는 자연어 설명으로부터 실행 가능한 프로그램을 합성하지만, 단일 모달리티에 기반한 정식화로는 시각적으로 명시된 의도를 구현하는 데 필수적인 공간적 요구사항을 인식할 수 없다.멀티모달 확장을 정식화할 때 기존의 기준점이 된다.출처: §2.1 · pp. 4–5

2.2 멀티모달 코드 합성

• 직접 생성은 시각적 맥락과 텍스트 명세로부터 코드를 합성하지만, 시각적 충실도만으로는 구조적·의미적·기능적 정확성을 입증할 수 없다.참조 결과물을 재구성하거나 멀티모달 명세를 구현하며, 레이아웃, 기하 구조, 스타일, 화면에 보이는 내용을 목표로 삼는다. 검증 시에는 기저 데이터, 편집 가능성, 제약조건, 핸들러, 도메인 의미 체계도 확인해야 한다.출처: §2.2 · p. 5
• 지시 기반 편집은 텍스트 지시와 선택적으로 제공되는 시각적 위치 단서 및 구조적 안내를 바탕으로 코드를 수정하여 시각적 추론과 공간적 그라운딩 능력을 평가한다.텍스트 유도 편집은 언어만 사용하지만, 시각적 프롬프트 기반 편집은 바운딩 박스 등의 단서를 추가한다. 소스 비의존형 방식은 픽셀로부터 프로그램을 추론하며, 코드 인지형이나 도구 기반 방식은 기존 소스나 구조화된 표현을 수정한다.출처: §2.2 · p. 5
• 참조 기반 개선은 오류가 있을 수 있는 코드 초안을 수정하여 시각적 참조와 일치시키거나 명시된 제약조건을 충족시킨다.지시에 따른 콘텐츠 조작과 달리, 개선은 오류 수정과 품질 향상을 목표로 하며, 초안을 구조적 사전 정보로 활용해 정밀한 정합과 기능 디버깅을 수행한다.출처: §2.2 · p. 5

2.3 코드 중심 추론과 행동

• 프로그램을 통한 도구 사용은 코드를 중간 추론 과정으로 활용하며, 이를 실행해 최종 답을 얻거나 후속 추론을 위해 시각적 입력을 보강한다.생성된 프로그램은 지각 도구를 호출하거나 기호 연산을 수행하며, 시각적 입력 보강에는 이미지 자르기나 경계 검출 등이 포함된다. 이 범주에 포함되는 연구는 코드를 사용해 시각적 근거를 생성·검사·변환·검증하거나 코드로 표현된 추론 과정 자체를 평가해야 한다.출처: §2.3 · pp. 6–8
• 실행 가능한 정책은 제어 루프와 API 호출을 통해 시각적 관측과 목표를 구조화된 행동으로 매핑하며, 기능적 정확성과 목표 달성을 우선한다.생성된 행동 스크립트는 체화 로보틱스와 디지털 GUI 탐색 등의 환경에서 연속적인 상태 변화를 이끈다.출처: §2.3 · p. 8

3.1 웹 애플리케이션

• 웹 생성은 코드, 렌더링, 검사, 상호작용을 연결하는 공통 브라우저 실행 루프의 이점을 누리지만, 기능을 검증하지 않은 채 외형에 치우쳐 평가할 수 있다.VLM은 픽셀에서 구조적·스타일적 속성을 추출해 HTML, CSS, JavaScript로 인터페이스를 재구성한다.출처: §3.1 · p. 8

3.1.1 웹사이트 코드 생성 벤치마크

• 웹 벤치마크는 정적 렌더링, 실행 가능한 상호작용, 특화된 선호도 또는 에이전트 과제 평가라는 세 가지 서로 다른 정확성 신호를 제공한다.정적 벤치마크는 합성·실제 웹사이트 재구성, DOM 복원, 레이아웃, 충실도, 편집, 심미성을 포괄한다. 동적 벤치마크는 반응 동작, 탐색, 순차적 개발, 영상 기반 재구성을 검증한다. 선호도 비교 아레나와 에이전트 기반 개발 평가는 서로 다른 근거를 제공하므로 구분해야 한다.출처: §3.1.1 · pp. 8–9

3.1.2 웹사이트 코드 생성 방법

• 웹 방법론은 지도 모방 학습, 검사 가능한 에이전트 작업 분해, 피드백 기반 개선을 아우르며, 브라우저 실행은 학습·수정·검증 신호를 제공한다.지도 학습 접근법은 합성·실제 스크린샷-코드 데이터를 확장하고 토큰 압축으로 추론 비용을 줄인다. 에이전트 작업 흐름은 그라운딩, 계획, 구현, 검토, 테스트 기반 개선을 분리하면서 편집과 재사용 가능한 구성요소를 지원한다. 피드백 방법은 시각적 비평 모델, 실행 루프, 에이전트 재생, 일부 강화학습 방식의 최적화를 활용한다. 다만 비평 모델과 에이전트의 검증 범위와 신뢰성에는 한계가 있으므로 시각적 보상, 과제 완료, 코드 검사 결과를 별도로 보고해야 한다.출처: §3.1.2 · pp. 9–10
• IWR-Bench의 시각적 충실도 64.25%와 상호작용 기능 24.39%는 외형의 정확성과 상호작용의 정확성이 서로 다른 능력을 측정함을 보여준다 (Chen et al., 2025m).정적 스크린샷에는 이벤트 로직, 잠재된 상태 변화, 구성요소 경계, 데이터 흐름, 오류 처리가 드러나지 않으므로, 시각적으로 그럴듯한 구현도 사용자 조작이나 코드 검사에서 실패할 수 있다.출처: §3.1.2 · p. 10

3.2 모바일 애플리케이션

• 모바일 생성은 플랫폼별로 컴파일되는 애플리케이션을 다루며, 브라우저에 견줄 만한 공통 렌더링·상호작용 환경이 없는 파편화된 실행 환경에 직면한다.네이티브 애플리케이션은 공개적으로 수집할 수 있는 소스 코드도 부족하므로, 이러한 파편화는 벤치마크와 방법론의 대리 신호를 규정하는 구조적 제약이다.출처: §3.2 · p. 11

3.2.1 모바일 코드 생성 벤치마크

• 모바일 벤치마크는 네이티브 런타임을 직접 검증하는 대신 목업 재구성, 설계 도구에서의 편집 가능성, 국소적 비평, 스크린샷 선호도를 평가한다.플랫폼별 빌드 시스템, 기기 또는 에뮬레이터 실행, 상호작용 계측은 표준화된 종단 간 평가를 어렵게 한다. 따라서 대규모 평가에 활용할 수 있는 산출물 점수와 평가기 점수는 정확성의 일부 근거만 제공한다.출처: §3.2.1 · pp. 11–12

3.2.2 모바일 코드 생성 방법

• 모바일 방법론은 네이티브 실행 루프를 완결하지 못한 채 구조, 검색, 컴파일 검사, 학습된 보상, 편집 가능한 프로토타입으로 정확성의 일부를 드러낸다.구성요소 분할, 전이 그래프, 계층 모델링, 참조 자료 검색, 자기 비평은 구조 복원을 지원하며, 보상, 편집 가능한 프로토타입, 질의로 생성한 상호작용형 UI는 동작의 대리 지표를 제공한다. 이러한 신호로는 네이티브 런타임, 플랫폼 위젯, 제스처, 상태 변화, 접근성, 유지보수성을 완전히 검증하지 못한다. 또한 학습된 보상은 사용자 의도보다 측정 가능한 품질을 우선할 위험이 있다.출처: §3.2.2 · p. 12

3 그래픽 사용자 인터페이스

• GUI 평가에는 시각적 유사성을 완전한 검증으로 간주하기보다 스크린샷, 생성 코드, 실행 상태, 사용자 행동, 구현 구조를 연결하는 다중 상태 검증이 필요하다.더 엄밀한 평가 절차는 구조화된 요구사항, 재생 가능한 행동, 상태 단언, 코드 수준 검사를 결합하고, 지각적 일치도, 동작의 정확성, 아키텍처의 타당성을 별도로 보고한다.출처: §3.1.2 · p. 11, §3.2.2 · p. 13

4 과학 시각화

• 과학 시각화는 코드를 렌더링하고 검사할 수 있는 표현으로 다루며, 외형뿐 아니라 과학적 의미도 보존해야 한다.범위에는 차트, 구조화 문서, 학술 발표 자료, 과학적 시연이 포함된다. 정확성은 데이터, 구조, 논증 흐름, 수식, 도메인 제약을 포괄하며, 시연 코드는 설명이나 검증을 위한 추적 기록도 제공할 수 있다.출처: §4 · p. 13

4.1 통계 차트

• NL-to-Chart는 충분히 구체화되지 않은 의도로부터 시각화를 합성하는 반면, Chart-to-Code는 렌더링된 차트에 내포된 데이터, 시각적 인코딩, 작도 로직을 복원한다.하나의 텍스트 질의를 여러 시각화가 충족할 수 있는 반면, 여러 복원 프로그램은 입력 차트의 데이터 의미와 인코딩을 보존해야 한다. 이러한 비대칭성은 서로 다른 역량 요건과 방법론적 발전 경로로 이어진다.출처: §4.1 · p. 13

4.1.1 차트 코드 생성 벤치마크

• 차트 벤치마크는 NL-to-Chart의 의도 충족도와 Chart-to-Code의 복원 충실도를 평가하며, 점차 다중 턴 개선, 편집, 인포그래픽 차트로 범위를 넓히고 있다.평가는 실행 가능성, 의미적 판단, 참조 코드와의 일치 여부를 포괄한다. 편집에서는 텍스트나 시각적 지시를 따르면서 변경 대상이 아닌 데이터를 보존해야 한다.출처: §4.1.1 · pp. 13–14, Table 2 · p. 15

4.1.2 차트 코드 생성 방법론

• 차트 방법론은 의도 정렬이나 복원 충실도를 목표로 하지만, 신뢰할 수 있는 검증을 위해서는 시각적 복원, 데이터 정확성, 실행 정확성, 디자인 품질을 별도로 평가해야 한다.NL-to-Chart는 계획, 시각적 피드백, 지시 튜닝을 활용하며, Chart-to-Code는 차트-코드 쌍의 규모를 확대하고 렌더링을 고려한 선호 기반 최적화를 도입한다. 합성 쌍은 전문 분야의 관행을 반영하지 못할 수 있고, 시각적 유사도 보상은 잘못된 데이터·그룹화·축이나 실행 불가능한 코드를 가릴 수 있다.출처: §4.1.2 · pp. 14–16

4.2.1 구조화 문서 코드 생성 벤치마크

• 구조화 문서 벤치마크는 문자 정확도뿐 아니라 페이지 전체의 읽기 순서, 표 격자, 수식 동등성을 평가한다.Table-to-Code는 셀 병합 범위 보존과 컴파일 시 유효성도 평가하므로, 구조적 지표와 함께 렌더링 결과를 비교해야 한다. Formula-to-LaTeX는 구조 및 렌더링 기반 검증을 통해 과학적 맥락을 평가하는 방향으로 발전하고 있다. 원본 문서가 사전학습 말뭉치와 겹칠 수 있으므로 출처와 중복 제거도 중요하다.출처: §4.2.1 · pp. 16–17

4.2.2 구조화 문서 코드 생성 방법론

• 일부 수식 인식 환경에서는 광범위한 시각-언어 사전학습이 특화 설계를 보완하거나 능가할 수 있으며, Docfusion (Chai et al., 2025b)은 레이아웃 탐지와 내용 인식을 통합한다.DocTron-Formula (Zhong et al., 2025b)는 과제별 특화 설계 없이 다양한 세분화 수준을 처리한다. 한편 수식 인식에는 공간적 중첩 구조와 맥락을 고려하고 문법을 반영하는 디코딩이 필요하다. Docfusion은 Gaussian-Kernel Cross-Entropy Loss를 사용해 좌표 기반 탐지와 토큰 기반 인식을 연결한다.출처: §4.2.2 · pp. 18–19

4.2 구조화 문서

• 구조화 문서 합성은 하나의 직렬화된 표현 안에서 여러 구조적 문법을 복원하며, 일반적인 OCR을 넘어 읽기 순서, 레이아웃, 표 격자, 수식 중첩, 실행 가능한 구문을 보존한다.시각적 입력을 Markdown, HTML, LaTeX로 변환하면서 텍스트의 의미와 영역 간 참조를 보존한다. 개별 부분의 가독성만으로는 구조적 정확성을 입증할 수 없다.출처: §4.2 · p. 16, §4.2.2 · p. 19

4.2.2 구조화 문서 코드 생성 방법론

• 구조화 문서 방법론에는 페이지 맥락 활용, 격자 인식 파싱, 문법 인식 디코딩 간의 적응적 라우팅이 필요하며, 재렌더링이나 실행으로 구조화된 출력을 검증해야 한다.페이지 전체를 처리하는 시스템은 단계별 레이아웃 분석·인식 파이프라인과 종단 간 VLM 추출 사이의 절충을 다루며, 강화학습은 구조적 보상이나 이진 단위 테스트를 추가한다. 표 처리 시스템은 격자 인식 구성 요소를 유지하며, Table2LaTeX-RL (Ling et al., 2025)은 TEDS 구조 정확도와 CW-SSIM 시각적 충실도에 공동으로 보상한다.출처: §4.2.2 · pp. 18–19

4.3 학술 발표

• 학술 발표는 단순히 원본을 재구성하는 것이 아니라, 연구 근거를 선별·재배열·강조하여 시각적으로 일관되고 사람이 편집할 수 있는 서사로 구성해야 한다.슬라이드에는 순차적 서사가, 포스터에는 단일 화면에 정보를 밀도 있게 배치하는 구성이, 내레이션이 있는 발표에는 시간적 정렬이 필요하다. 시각적 완성도가 높아도 영역 넘침, 객체 겹침, 양식 불일치, 주장과 그림의 약한 연계, 부족한 청중 안내가 가려질 수 있다.출처: §4.3 · p. 19, §4.3.2 · p. 20

4.3.1 학술 발표 생성 벤치마크

• Zenodo10K (Zheng et al., 2025)는 선별된 발표 자료 10,448개로 구성되지만, 생성 벤치마크에서는 실험 구성마다 표본 추출한 과제 500개를 사용한다.더 폭넓은 벤치마크는 슬라이드 생성, 편집, 슬라이드의 코드 재구성, 시청각 정렬, 포스터 압축을 다루며, 평가에는 MLLM 기반 PPTEval, 독자 시뮬레이션, 세분화된 점검표가 포함된다. 그러나 이들 벤치마크도 설득을 위한 전개 순서, 발표자의 의도, 의사소통 효과를 뒷받침하는 근거를 부분적으로만 제공한다.출처: §4.3.1 · p. 19

4.3.2 학술 발표 생성 방법

• 슬라이드 생성 방법은 프로그램 기반 렌더링 인터페이스, 편집 가능한 객체 조작, 레이아웃 수정을 위한 시각적·심미적 피드백이라는 세 경로를 따른다.AutoPresent (Ge et al., 2025)는 렌더링을 SlidesLib API에 위임하고, SlideCoder (Tang et al., 2025b)는 렌더링 코드를 계층적으로 검색하며, 템플릿 기반 시스템은 특정 객체의 편집을 지원한다. PreGenie (Xu et al., 2025d)는 코드 및 페이지 검토자를 사용하며, EvoPresent (Liu et al., 2025a)는 점수 산정, 결함 수정, 레이아웃 비교에 PresAesth를 사용한다.출처: §4.3.2 · p. 20
• 발표 생성 방법은 포스터 압축, 영역 넘침, 양식 일관성을 다루면서 주장과 근거, 레이아웃 내 역할, 시각적 현저성, 수정 이력을 연결해야 한다.PosterAgent (Pang et al., 2025)는 이진 트리 레이아웃과 작성자–논평자 방식의 영역 넘침 수정을 결합한다. P2P (Sun et al., 2025d)와 PosterGen (Zhang et al., 2025i)은 추출과 디자인을 분리하며, EfficientPosterGen (Tang et al., 2026)은 핵심 정보 식별과 시각 토큰 압축을 사용한다. 제안된 검증은 주장과 근거의 정합성, 영역 넘침, 겹침, 현저성, 편집 성공 여부, 독자가 의도된 논증을 복원하는지를 점검한다.출처: §4.3.2 · pp. 20–21

4.4 과학 시연

• 과학 시연 생성은 작동 원리에 대한 실행 가능한 시각적 설명을 만들며, 단순한 데이터 표시를 넘어 방정식, 분야별 제약, 교육적 의도를 충실히 반영해야 한다.출력에는 분자 스크립트, 상호작용형 STEM 웹페이지, 정리 애니메이션이 포함되며, 렌더링 결과는 근거로 뒷받침되는 설명으로 기능해야 한다.출처: §4.4 · p. 21

4.4.1 과학 시연 생성 벤치마크

• 과학 시연 벤치마크는 분자 스크립트, 상호작용형 결과물, 정리 애니메이션을 통해 분야별 타당성을 갖춘 도식 변환과 교육적 설명을 평가한다.ChemDraw 벤치마크 (Zhao et al., 2025b)는 SMILES와 화학 라이브러리를 사용해 분자 도식을 Python으로 변환하는 능력을 시험하며, EduVisBench (Ji et al., 2025)는 교육학을 반영한 평가 기준을 사용한다. InteractScience (Chen et al., 2025g)는 프로그램 기반 기능 테스트와 시각적 근거 기반 정성적 테스트를 결합하며, TheoremExplainBench (Ku et al., 2025a)는 Python으로 생성한 정리 설명 영상을 평가한다.출처: §4.4.1 · p. 21

4.4.2 과학 시연 생성 방법

• CoSyn (Yang et al., 2025f)은 멀티모달 이미지 400K개와 지시 튜닝 표본 2.7M개를 합성하며, 단계별 에이전트 기반 설명 절차와 더불어 렌더러 기반 지도 학습을 보여준다.렌더러 기반 접근법은 실행 가능한 렌더링, 분야별 라이브러리, 모델이 개입하는 합성, 실행 중 수정을 사용하지만, 렌더링된 외형은 여전히 과학적 추론의 대리 지표다. EduVisAgent (Ji et al., 2025)는 목표와 상호작용형 수업을 구조화한다. TheoremExplainAgent (Ku et al., 2025a)는 Manim 애니메이션을 위해 계획, 코딩, Agentic RAG를 결합하며, 모든 단계에서 동일한 과학적 주장에 부합하는지 점검해야 한다.출처: §4.4.2 · pp. 21–22
• 시각적으로 그럴듯한 출력이 타당하지 않은 작동 원리, 잘못된 방정식, 근거 없는 관계를 감출 수 있으므로, 과학 시연에는 검토 가능한 과학적 주장이 필요하다.정확성은 수치, 방정식, 분야별 제약, 실행 가능한 코드, 상호작용 동작, 교육적 해석에 걸쳐 있다. 제안된 검증은 분야별 검증기, 실행 테스트, 시뮬레이션 로그, 출처 이력 점검, 전문가 검토를 결합하고, 매개변수, 패키지 호출, 코드, 도구 출력, 렌더링된 상태를 검토 가능한 형태로 유지한다.출처: §4.4.2 · p. 22

5.1.1 SVG 코드 생성 벤치마크

• SVG 벤치마크는 텍스트 조건부 의미 정합성과 이미지 조건부 복원을 구분하고 의미·지각·구조적 대리 지표를 결합하지만, 이러한 지표도 암기한 기본 도형에 취약하다.평가에는 편집 성공 여부, 코드 간결성, 사람의 선호도도 포함된다. 정형화된 아이콘 평가군에서 높은 점수를 얻더라도 견고한 벡터 추론 능력을 입증하는 것은 아니다.출처: §5.1.1 · pp. 22–23

5.1.2 SVG 코드 생성 방법

• SVG 방법은 이산 명령과 연속 기하를 조화시켜야 하므로, 정적인 경로 맞춤보다 고수준의 동적 프로그래밍 프레임워크가 필요하다.미분 가능한 렌더링은 복잡한 최적화에 어려움을 겪고, 토큰 시퀀스는 기하학적 정밀도를 잃을 위험이 있으며, LLM/RL 시스템은 의미 표현, 추론, 렌더링 피드백을 추가한다. 제안된 프레임워크는 파라메트릭 기하, 애니메이션, 상호작용, 그룹, 스타일, 제약 조건을 명시적으로 제공하고, 렌더링·구조·동작·편집·재사용을 별도로 검증한다.출처: §5.1.2 · pp. 24–25

5.2.1 다이어그램 코드 생성 벤치마크

• 다이어그램 벤치마크는 입력 방향과 목표 형식 체계에 따라 다르며, 배치 유사성이 논리 오류와 합성 데이터 누출을 가릴 수 있어 그래프 수준의 검증이 필요하다.목표 표현에는 다이어그램 구문, 워크플로 JSON, 의사코드, 프로그래밍 언어 코드, UML, Verilog가 포함되며, 각각 서로 다른 논리적 실패를 드러낸다. 텍스트에서 다이어그램을 생성할 때는 여러 배치가 유효할 수 있지만, 시각적 변환에서는 관계를 복원해야 한다. 합성 렌더러 템플릿은 모델이 의도된 그래프를 보존하는지 판단하기 어렵게 만들 수 있다.출처: §5.2.1 · pp. 25–26

5.2.2 다이어그램 코드 생성 방법

• 다이어그램 생성은 시각적 완성도보다 논리적 정확성을 우선하여 위상 구조, 간선 방향, 분기 조건, 유형이 지정된 관계, 도메인 제약 조건을 검증해야 한다.방법들은 지도 미세조정, 합성 데이터, 추론 과정 기록, 렌더링 피드백을 결합한다. 평가는 경로 도달 가능성, 분기 동등성, 실행 동작, 특정 요소를 겨냥한 시각적 질문을 검증해야 한다.출처: §5.2.2 · p. 26

5.3.1 CAD 코드 생성 벤치마크

• CAD 벤치마크는 명령 복원에서 실행 가능한 코드 생성, 언어 조건부 생성, 이해, 수정 과제로 확장되며, 컴파일, 솔리드, 제약 조건, 편집 전파, 제조 가능성을 개별적으로 검증해야 한다.과제 설정에는 코드 주석 작성, 기호적 프로그램의 의미적 일관성, 참조 이미지 기반 수정, 프롬프트나 삼면도로부터의 CadQuery 생성이 포함된다. 많은 평가 자원이 독립적인 평가군이 아니라 특정 방법에 부속되어 있으므로, 비교에서는 관찰 가능한 신호와 검증 공백을 중시한다.출처: §5.3.1 · pp. 26–27

5.3.2 CAD 코드 생성 방법

• CAD 방법은 절차적 시퀀스, 실행 가능한 멀티모달 스크립트, 실행 피드백 파이프라인을 아우르지만, 유효한 구문과 그럴듯한 형상만으로는 편집 가능한 설계 의도를 입증할 수 없다.시퀀스 어휘는 복잡한 불리언 연산, 조립체, 장거리 의존성의 표현을 제한하는 반면, 스크립트는 입력 모달리티를 확장한다. 피드백 파이프라인은 선호도 학습, 강화학습, 컴파일러 기반 자체 디버깅, 프로그램-이미지 기반 수정을 활용해 기하 연산 실행과 제약 조건의 실패를 해결한다.출처: §5.3.2 · pp. 27–28
• CAD 생성은 렌더링된 표면의 유사성만 판단하기보다 컴파일러와 기하를 고려한 검증기를 활용하여 검증 가능한 파라메트릭 설계를 목표로 해야 한다.검증에서는 불리언 연산, 솔리드의 폐합 여부, 제약 조건, 피처 트리 의존성, 편집 전파, 제조 가능성을 시험해야 한다. 벤치마크에는 복잡한 부품, 조립체, 다중 뷰 도면, 수정 지시, 제조 제약 조건이 포함되어야 한다.출처: §5.3.2 · p. 28

5 구조화된 그래픽

• 그럴듯한 렌더링이 객체 계층, 관계 그래프, 파라메트릭 구성 이력의 손실을 가릴 수 있으므로, 구조화된 그래픽에는 구조를 고려한 검증이 필요하다.평가는 편집 가능성, 그래프 추론, 제약 조건 전파, 컴파일 또는 실행, 후속 재사용을 검증해야 한다.출처: §5 · p. 22, §5.3.2 · p. 28

• 생성된 코드는 최종 렌더링 결과물로만 쓰이기보다 중간 과정 기록, 도구 호출, 환경 내 행동 정책, 수정 인터페이스로 쓰이는 경우가 많다.출처: §6 · p. 28
• 과정의 신뢰성을 시험하는 다섯 가지 과제 유형은 프로그램을 통한 시각 정보 조작, 영상 기반 코드 생성, 체화 제어, 시각 정보에 근거한 프로그래밍, 통합 멀티모달 코드 생성이다.출처: §6 · p. 29
• 이러한 과제는 프로그램 기반 도구 사용 및 실행 가능한 정책이라는 문제 정식화와 가장 직접적으로 맞닿아 있으며, 통합 모델은 합성과 행동의 전체 범위를 아우른다.출처: §6 · p. 29

6.1 프로그램 기반 시각 조작

• 프로그램 기반 시각 조작은 코드를 이미지 검토를 위한 실행 가능한 인터페이스로 다루며, 과정 충실성을 확보하려면 중간 시각 상태가 최종 답을 뒷받침해야 한다.Thinking with Image (Su et al., 2025)의 연산에는 자르기, 검출, 측정, 그리기, 마스킹, 그래프 작성, 질의가 포함된다. 대부분의 방법은 도구로 시각 추론을 보강하며, 프로그램으로 직접 문제를 푸는 방식은 실행 결과를 답으로 반환한다.출처: §6.1 · p. 29

6.1.1 프로그램 기반 시각 조작의 평가 신호

• 답변 정확도, 실행 가능성, 과정 보상만으로는 각각 증거의 인과적 활용을 입증할 수 없다. 더 엄밀한 평가는 시각적 근거에 기반한 개입을 점검하고 재실행해야 한다.제안된 검증 방식은 답변 정확도에 연산 재실행, 영역 그라운딩, 증거 제거 실험, 반사실적 이미지 검사를 결합한다. 향후 방법은 답변에 관련된 영역 및 증거와 연결되면서 실행·점검·재실행이 가능한 시각적 행동을 학습해야 한다.출처: §6.1.1 · p. 29, §6.1.2 · p. 31

6.1.2 프로그램 기반 시각 조작 방법

• 사전 정의된 도구 기반 시스템은 범위가 한정되고 점검 가능한 추론 기록을 제공하지만, 접근할 수 있는 시각적 증거는 API가 제공하는 연산에 제한된다.MM-React (Yang et al., 2023)는 판단을 시각 전문가 모델에 맡기며, Hydra (Ke et al., 2024)는 RL 제어기로 추론 경로를 선택한다. 예상하지 못한 자르기, 공간적 구성, 연산 조합이 필요하면 결정적 영역을 검토하지 못할 수 있다.출처: §6.1.2 · p. 29
• 비디오 도구 사용 시스템은 프레임 순회, 검색, 메모리, 진행 상태 표시를 통해 시간적 증거를 선택하지만, 답변 정확도만으로는 선택된 증거의 인과적 기여를 입증할 수 없다.DoraemonGPT (Yang et al., 2024g)는 MCTS로 시공간 도구의 실행을 계획하며, MoReVQA (Min et al., 2024)는 외부 메모리를 통해 비디오 파싱과 추론을 분리한다. VTimeCoT (Zhang et al., 2025d)는 진행 막대와 주요 시점 강조로 시간적 진행을 드러낸다.출처: §6.1.2 · p. 29
• 지시 미세조정, 조작 추론, 과정 보상은 중간 연산에 학습 신호를 제공하지만, 실행 가능하거나 형식이 올바른 기록에도 답변과 관련된 증거가 없을 수 있다.MLLM-Tool (Wang et al., 2025b)은 지시 미세조정으로 API 선택을 개선하며, VISTA-R1 (Lu et al., 2025b)은 표준화된 환경에서 추론과 도구 실행을 교차하는 방식의 규모를 확장한다. Skywork-R1V4 (Zhang et al., 2025g)는 계획-실행 궤적을 학습하고, CodeV (Hou et al., 2025)는 실행 가능하고 증거와 일치하는 도구 사용에 보상한다.출처: §6.1.2 · p. 30
• 생성형 코드 추론은 과제별 프로그램과 새로운 시각적 표현을 합성해 연산의 범위를 넓히지만, 증거의 관련성과 충실성을 검증하기는 더 어려워진다.ViperGPT (Surís et al., 2023)는 시각·언어 API를 조합해 Python 서브루틴을 구성하며, ReFocus (Fu et al., 2025c)는 다중 홉 추론을 위해 영역을 강조하거나 마스킹한다. 원본 이미지를 검토하기 어려울 때는 스케치, 공간 지시자, 다중 턴 분석으로 중간 증거를 만들 수 있다.출처: §6.1.2 · pp. 29–30
• 수학적 그래프 작성과 형식적 기하 작도는 중간 산출물을 점검할 외부 구조를 제공하므로, 그럴듯한 마스크나 스케치보다 추론 기록을 검증하기 쉽다.CodePlot-CoT (Duan et al., 2025)는 수학적 추론을 위한 실행 가능한 그래프 작성 코드를 생성하며, Geoint-R1 (Wei et al., 2025b)은 Lean4 방식의 형식화로 보조 기하 요소를 구성한다.출처: §6.1.2 · pp. 30–31
• 코드 에이전트 고유의 작업 흐름은 고정된 API를 넘어 시각 연산을 확장할 수 있지만, 답을 뒷받침하는 시각적 증거를 생성·검토·검증할 때만 의미가 있다.터미널 명령, 파일 연산, 외부 라이브러리, 실행 로그, 더 포괄적인 에이전트 지원 체계는 과제별 연산을 지원할 수 있다. 접근 범위의 확대는 각 연산이 가용 증거를 바꾸어 후속 추론을 뒷받침할 때만 도움이 된다.출처: §6.1.2 · p. 31

6.2.1 비디오 코드 생성 벤치마크

• Code-to-Video 벤치마크는 교육 및 발표에서의 유용성을 평가하지만, 내용 충실도가 높아도 전개 속도가 어색하거나 동기화가 부실하거나 전환이 불연속적일 수 있다.MMMC (Chen et al., 2025n)는 TeachQuiz와 모델 기반 판단으로 교육용 비디오를 평가한다. PresentEval (Shi et al., 2025)은 내용 충실도와 사용자 연구로 문서에서 생성한 발표용 비디오를 평가하며, 시간적 품질은 간접적으로 다룬다.출처: §6.2.1 · pp. 31–32
• Video2Code 의 비디오-코드-관측 삼중항 115k개는 조작 정책 복원을 지원하지만, 과제 성공 여부를 평가하는 것만으로는 동작 충실도를 입증할 수 없다.복원된 정책은 성공적으로 작동하더라도 시연에 나타난 속도, 접촉 시점, 복구 동작을 누락할 수 있다.출처: §6.2.1 · p. 32

6.2.2 비디오 코드 생성 방법

• Code-to-Video 방법은 실행 가능한 스크립트로 객체, 레이아웃, 장면 순서, 내레이션 정렬을 제약하고, 렌더러는 전환의 부드러움과 연속적인 움직임을 처리한다.Code2Video (Chen et al., 2025n)는 교육용 비디오를 위한 Python 스크립트를 합성하며, PresentAgent (Shi et al., 2025)는 문서를 분할하고 시각 자료를 내레이션과 동기화한다. Theorem ExplainAgent (Ku et al., 2025b)는 과학 정리를 설명하는 애니메이션을 검색하고 생성한다.출처: §6.2.2 · p. 32
• Video-to-Code 방법은 시연을 실행 가능한 전략으로 압축하며, 세밀한 동작 요구사항보다 순서가 정해진 하위 목표를 다룰 때 가장 잘 작동한다.RoboPro 는 VLM과 코드 LLM을 결합해 비디오에서 조작 정책을 합성함으로써 비용이 많이 드는 로봇 궤적 수집을 줄인다. JanusCoder (Sun et al., 2025b)는 정적 시각 과제와 Manim 애니메이션 같은 동적 코드 기반 비디오를 포괄하면서, 발표용 비디오와 로봇 정책이 서로 다른 유형의 시간을 표현한다는 점을 강조한다.출처: §6.2.2 · p. 32
• 시간을 고려한 프로그램 추상화는 이산적인 시각 상태에 궤적, 전환 제약, 동기화 관계, 과제 관련 동작 동역학을 더해 확장해야 한다.벤치마크가 아직 부족하므로, 이 방향은 확립된 실증적 추세라기보다 평가의 확장에 해당한다. 스크립트는 보간과 전개 속도를 렌더링 엔진에 맡기는 반면, 시연 추상화는 속도, 가속도, 접촉 시점, 힘에 대한 반응, 복구를 다루는 데 어려움을 겪는다.출처: §6.2.2 · p. 32
• 향후 비디오-코드 벤치마크는 결과와 함께 궤적 일관성, 사건 발생 시점, 내레이션과 시각 요소의 동기화, 움직임의 부드러움, 과제 관련 동역학의 보존 여부를 평가해야 한다.현재의 척도는 시간에 따른 변화가 올바른지 확인하지 않고도 교육의 질, 내용 충실도, 사용자 선호도, 과제 성공 여부를 검증할 수 있다.출처: §6.2.2 · p. 32

6.3.1 체화 제어 벤치마크

• 체화 벤치마크는 실행 가능한 활동, 로봇 제어 논리, 시각 조건부 함수 호출, 스킬-코드 정렬을 평가하지만, 실패, 안전성, 복구, 서로 다른 신체 구조 간 전이를 충분히 드러내지 못한다.VirtualHome (Puig et al., 2018)은 가사 활동을 프로그램으로 모델링한다. Code as Policies (CaP) (Liang et al., 2022)는 공간·기하 추론과 계층적 제어 흐름 합성을 평가하는 37개 과제로 구성된 RoboCodeGen을 제시한다. OctoVerse (Yang et al., 2024b)는 실사 수준의 실내 환경, Minecraft, GTA-V를 아우르며, STEVE-21K (Zhao et al., 2024)는 시각-환경 데이터와 스킬-코드 삼중항으로 구성된 21k개의 멀티모달 쌍을 제공한다. 시뮬레이터에 특화된 가정과 이진 보상은 로봇으로의 전이 성능을 과대평가하게 할 수 있다.출처: §6.3.1 · p. 33

6.3.2 체화 제어 방법

• 코드 중심 방법은 실행 가능한 행동 프로그램을 직접 생성하거나, 후속 정책을 지도하거나 진단하는 보상과 제약을 생성한다.Code as Policies (Liang et al., 2022)와 ProgPrompt 는 API 호출, 단언문, 계층적 논리를 명시적으로 드러내며, EmbodiedCoder (Lin et al., 2025c)는 객체 포인트 클라우드의 기하학적 매개변수화를 통해 궤적을 합성한다. 반면 VLM-CaR (Venuto et al., 2024)는 실행 가능한 조밀한 보상을 생성한다. 신뢰성은 제어기 API, 카메라-로봇 보정, 접촉 불확실성, 그리고 단순히 실패를 보고하는 데 그치지 않고 계획을 수정하는 피드백에 달려 있다.출처: §6.3.2 · p. 33
• 학습과 피드백은 코드 생성을 물리적 동역학에 맞게 적응시키지만, Octopus (Yang et al., 2024b)는 이진 시뮬레이터 피드백이 안전성과 복구의 취약점을 어떻게 가릴 수 있는지 보여준다.PACT (Wei et al., 2023)는 감각운동 시퀀스로 학습하고, RoboCodeX (Mu et al., 2024)는 멀티모달 사후 학습과 반복적 SFT를 사용한다. Robotic Programmer 는 시연 영상을 재사용 가능한 절차로 변환해 로봇 궤적 수집에 대한 의존도를 낮춘다. Octopus (Yang et al., 2024b)는 시뮬레이터의 성공과 실패에 기반한 RL with Environmental Feedback을 사용하며, 이는 특정 시뮬레이터나 로봇 신체에 대한 의존성도 가릴 수 있다.출처: §6.3.2 · pp. 33–34

6.3 체화 제어

• 체화 코드는 검토 가능한 의도와 제약을 명세하고, 저수준 제어기와 폐루프 피드백은 물리적 환경에 근거한 실행을 담당해야 한다.범위는 모든 체화 시각-언어 정책이 아니라 코드 중심 프로그램, 보상, 명세, 정책 스크립트를 포괄한다. 기호적 코드는 신체 구조, 보정, 접촉, 안전성의 제약을 받는 연속적·확률적 동역학 아래에서 센서, 제어기, 객체 기하와 연동되어야 한다.출처: §6.3 · p. 33, §6.3.2 · p. 34

6.3.2 체화 제어 방법

• 향후 벤치마크는 명세 실패를 제어기 실행, 접촉 시점, 안전성, 복구, 감지 방식·객체·도구·로봇 신체 구조의 변화에 따른 문제와 구분해야 한다.평가는 기호적 의도와 연속 제어 사이의 경계를 시험해야 한다. 이때 코드는 해석 가능한 과제·제약 인터페이스로 유지하고, 연속적인 적응은 제어기에 맡겨야 한다.출처: §6.3.2 · p. 34

6.4.1 시각적 근거 기반 프로그래밍 벤치마크

• HumanEval-V (Zhang et al., 2024a)의 253개 과제는 이미지가 반드시 필요하도록 하고 텍스트를 최소화하여, 알고리즘 프로그래밍 벤치마크의 초점을 시각 정보의 존재에서 시각 정보의 필수성으로 옮긴다.MMCode (Li et al., 2024a)는 6.6k개의 이미지가 포함된 온라인 저지 문제 3.5k개로 구성되지만, 상당수 이미지는 보조 자료다. ScratchEval (Fu et al., 2025b), TurtleBench (Rismanchian et al., 2025), Code-Vision (Wang et al., 2025d)은 각각 블록 프로그램 인식, 그래픽 재현, 순서도 역공학을 평가한다. 다만 시각 정보 의존성을 확인하려면 여전히 제거 실험이나 반사실적 이미지가 필요하다.출처: §6.4.1 · p. 34
• SWE-bench MM (Yang et al., 2024e)의 17개 저장소에서 수집한 JavaScript 과제 617개는 대화형 지도와 웹 렌더링 등 시각적 시나리오를 다룬다.SWE-bench 를 확장한 OmniGIRL (Guo et al., 2025b)은 다국어·멀티모달 이슈를 추가하며, CodeV (Zhang et al., 2025e)는 시각적 단서가 명시적으로 필요한 저장소 과제 133개를 선별한다. 이 벤치마크들은 실제 개발에 가까워지지만, 최종 통과율만으로는 텍스트에만 의존하는 지름길을 배제할 수 없다.출처: §6.4.1 · pp. 34–35

6.4.2 시각적 근거 기반 프로그래밍 방법

• 텍스트 또는 기호 중간 표현은 시각적 이해를 더 강력한 코드 생성 모델과 연결하지만, 기하 구조, 위상 관계, 그룹화, 일시적인 UI 상태를 잃을 수 있다.CodeVision (Wang et al., 2025d)은 프로그램 합성 전에 순서도를 Mermaid로 변환하여 컴파일 실패를 줄인다. HumanEval-V (Zhang et al., 2024a)는 시각적 설명과 합성을 분리하며, CodeV (Zhang et al., 2025e)는 세밀한 설명과 구조화된 요약을 생성한다.출처: §6.4.2 · p. 35
• GUIRepair (Huang et al., 2025)는 Image2Code로 재현 스크립트를 생성하고 Code2Image로 패치 적용 후 스크린샷을 캡처하여 이슈 이미지와 비교한다.SWE-agent M (Yang et al., 2024d;e)은 브라우저·이미지 조작 기능을 추가하지만, 관찰 결과가 오류 위치 식별, 재현, 검증에 활용될 때에만 수정 기반 체계가 시각적 근거에 기반한다고 볼 수 있다. 신뢰할 수 있는 피드백을 얻으려면 재현 가능한 오류, 정확한 오류 위치 식별, 안정적인 스크린샷, 눈에 보이는 증상뿐 아니라 인접 상태까지 포괄하는 패치 적용 후 검사가 필요하다.출처: §6.4.2 · p. 35

6.4 시각적 근거 기반 프로그래밍

• 핵심 병목은 인식 자체가 아니라, 코드 생성이나 패치 개선 과정에서 프로그램과 관련된 시각적 제약을 보존하는 데 있다.향후 시스템은 생성된 프로그램이나 패치와 연결된 그래프 구조, DOM 및 브라우저 상태, 렌더링된 오류, 상호작용 기록을 보존해야 한다.출처: §6.4 · p. 34, §6.4.2 · pp. 35–36

6.4.2 시각적 근거 기반 프로그래밍 방법

• 검사를 통과한 프로그램도 텍스트 설명이나 저장소 맥락만 활용했을 수 있으므로, 벤치마크는 시각적 증거가 기대되는 코드를 바꾸는지 평가해야 한다.코드 수정에서는 어떤 시각적 오류 때문에 각 변경이 이루어졌는지 드러나도록 스크린샷, 브라우저 실행 기록, 터미널 로그, 재현 스크립트, 해당 위치의 수정 내역, 패치 적용 후 실행을 서로 연결해 두어야 한다.출처: §6.4.1 · p. 35, §6.4.2 · p. 36

6.5.1 통합 멀티모달 코드 생성 벤치마크

• 통합 벤치마크는 서로 다른 형태의 시각-코드 그라운딩을 검증한다. 점수를 직접 비교하려면 목표를 명시하고 데이터 누출, 성능 포화, 지표 간 일치도를 통제해야 한다.Image2Struct (Roberts et al., 2024)는 Cosine Inception Similarity (CIS)와 Earth Mover Similarity (EMS)를 비롯한 시각적 충실도 지표로 구조화된 코드 추출을 평가한다. CoSyn (Yang et al., 2025f)은 9개 이미지 범주에 걸쳐 렌더링 코드를 합성한 뒤 질문-답변 쌍을 구성하며, 추출보다는 생성 데이터의 유용성에 중점을 둔다.출처: §6.5.1 · p. 36
• 동적 벤치마크는 평가 범위를 실행 가능한 상호작용, 이미지 의존적 프로그래밍, 반복적 시각화 개선으로 넓힌다. 따라서 통합 점수를 해석하려면 측정한 정확성 신호를 파악해야 한다.ArtifactsBench (Zhang et al., 2025a)는 아홉 개 영역에 걸친 1.8k개 질의를 사용하며, 체크리스트에 따라 MLLM이 실행 가능성과 상호작용 로직을 판정한다. InfiBench-V (Jiang et al., 2025a)는 13개 프로그래밍 언어에 걸친 이미지 의존적 질문 322개를 다루며, VisPlotBench (Ni et al., 2025a)는 여러 차례의 자체 디버깅을 통해 여덟 개 프로그래밍 언어에 걸친 시각화 작업 888개를 평가한다.출처: §6.5.1 · p. 36

6.5.2 통합 멀티모달 코드 생성 방법

• 통합 방법은 영역 간 공통 인프라, 지도학습용 작업 혼합, 통합 모델을 구축하지만, 인터페이스의 범위를 넓히는 것만으로 재사용 가능한 시각-코드 기본 요소가 확립되지는 않는다.GOT (Wei et al., 2024)는 3단계 학습으로 OCR을 확장하고, BigDoc (Rodriguez et al., 2024)은 문서와 코드 중심의 오픈소스 멀티모달 데이터를 제공한다. VisCoder2 (Ni et al., 2025a)는 시각화 생성과 수정을 위한 VisCode-Multi-679K를 도입한다. VisCodex (Jiang et al., 2025a)는 Code LLM과 VLM을 결합하고 MCD-598k를 도입하며, JanusCoder (Sun et al., 2025b)는 JanusCode-800K로 텍스트 중심 작업과 시각 중심 작업을 통합한다.출처: §6.5.2 · pp. 36–37
• VinciCoder (Zhao et al., 2025b)는 거친 수준부터 세밀한 수준까지의 시각적 유사도에 보상을 부여하고, OCRVerse (Zhong et al., 2026)는 텍스트 보상과 시각적 보상을 분리해 강화학습에 사용한다.OCRVerse는 종단 간 VLM에서 OCR과 프로그램 기반 작업을 통합한다. 제안된 연구 우선순위는 데이터 효율적 학습, 기본 요소의 명시적 공유, 실행을 고려한 검증이며, 더 엄격한 평가 기준으로 통제된 전이를 제시한다.출처: §6.5.2 · p. 37

6.5 통합 멀티모달 코드 생성

• 통제된 전이 실험으로 공유 시각-코드 메커니즘을 폭넓은 작업 지원과 구분하고, 이 메커니즘이 작업별 특수 제약에 미치는 영향을 검증하기 전까지 통합은 입증되지 않은 상태로 남는다.공유 인터페이스는 합성, 편집, 개선, 도구 사용, 상호작용 가능한 산출물을 지원하는 것을 목표로 한다. 평가에서는 재사용 가능한 기본 요소를 살피고, 공유 표현이 작업별 특수 구문, 레이아웃, 상호작용, 도메인 제약에 도움이 되는지 해가 되는지 검토해야 한다.출처: §6.5 · p. 36, §6.5.2 · p. 37

6.5.2 통합 멀티모달 코드 생성 방법

• 새롭게 부상하는 작업에서는 최종 성공 여부와 함께 중간 실행 기록과 상태 궤적을 검증해야 한다. 통합 모델에는 학습에서 제외한 작업 간 전이 테스트도 필요하다.프로그램을 통한 시각적 조작, 비디오 코드 생성, 체화된 제어, 시각적 근거에 기반한 프로그래밍은 재실행, 시간적·물리적 진단, 시각 정보 제거 실험, 반사실적 입력의 필요성을 제기한다.출처: §6.5.2 · p. 37

7.1 다중 신호 검증을 향하여

• 시각적 유사성, 참조 산출물, VLM 선호도를 보편적인 정확성 신호로 간주하기보다 역할별 진단 프로파일과 보완 검사를 활용해 검증해야 한다.프로파일은 시각적 유사성, 실행 성공, 텍스트 정확성, 의미적 충실성, 구조적 유효성, 편집 가능성, 상호작용 정확성을 구분해야 한다. 보상 설계에서는 최적화 대상 속성을 명시하고, 보완 검증기를 보고하며, 학습 보상과 홀드아웃 신뢰성 검사를 분리해야 한다.출처: §7.1 · p. 38, Table 8 · p. 38

7.2 다중 상태 검증을 향하여

• 상태를 유지하는 시각-코드 시스템은 개별 렌더링이 아니라 중간 전이와 복구 사례를 포함한 실행 궤적으로 평가해야 한다.에피소드에는 초기 상태, 생성된 코드나 행동, 중간 관측, 예상 전이, 검증기 출력을 명시하여 그럴듯한 최종 결과에 가려진 행동적·과학적 의미·타이밍 오류를 드러내야 한다. 검사는 실행 기반에 맞춰 웹 DOM/상태 단언, 모바일 조작 추적 기록이나 에뮬레이터 제스처, 비디오 동기화, 체화된 제어기 진단을 사용해야 하며, 현재 모바일 벤치마크가 네이티브 실행을 부분적으로 대체하는 수단을 사용한다는 점도 고려해야 한다.출처: §7.2 · pp. 38–39

7.3 작업 간 전이 평가를 향하여

• 통합 모델은 더 많은 작업 형식을 수용하거나 분포 내 성능을 높이는 데 그치지 않고, 재사용 가능한 시각-코드 역량의 작업 간 전이를 입증해야 한다.평가에서는 일부 역량, 기본 요소, 조합을 학습에서 제외하고, 출처를 기준으로 필터링한 대상 작업에서 기본 혼합 데이터, 원천 도메인 데이터로 보강한 혼합 데이터, 동일 규모의 대조 혼합 데이터를 비교하며 긍정적 전이와 부정적 전이를 모두 보고해야 한다. 반사실적 평가, 모달리티 제거 실험, 중복 제거 검사를 통해 더 넓은 작업 범위가 특화된 구문·레이아웃·도메인 제약 준수 능력의 약화를 가리는지 확인해야 한다.출처: §7.3 · p. 39

7.4 검증 가능한 에이전트 추적 기록을 향하여

• 최종 성공만으로는 추적 기록의 충실성이나 인과적 책임 소재를 확립할 수 없으므로, 시각-코드 에이전트에는 관측, 도구 사용, 코드 관련 행동, 결과를 연결하는 근거 로그가 필요하다.각 항목에는 관측, 참조한 시각 영역이나 도구 출력, 변경한 코드 영역이나 수행한 행동, 예상되는 검증기 평가 개선, 재실행 결과, 대체 방안이나 롤백 결정을 기록해야 한다. 로그는 재실행, 시각 정보 제거 실험, 반사실적 입력, 권한 제어, 시뮬레이터나 에뮬레이터의 보호 장치, 사람의 검토를 지원하고, 실패 원인을 지각, 합성, 실행, 검증기 설계, 안전하지 않은 행동 선택으로 구분해야 한다.출처: §7.4 · p. 39

8 한계

• 조사 범위는 수집 당시 이용 가능한 공개 자료로 한정되므로, 분류 체계는 분야의 경계를 확정하기보다 이를 정리하는 하나의 관점이다.최신 시스템, 비공개 소스 기반 배포 시스템, 도메인 특화 도구가 누락되었을 수 있다.출처: §8 · p. 40
• 이 서베이에서는 벤치마크를 제안하는 연구가 과도하게 부각되고 공개 산출물이 없는 배포 시스템은 충분히 다뤄지지 않았을 수 있으며, 접근이 제한되거나 내용이 바뀌는 자료는 비교의 재현성을 제약한다.이러한 제약에는 비공개 소스 모델 보고서, 비공개 평가 데이터셋, 빠르게 갱신되는 arXiv 공개본이 포함된다.출처: §8 · p. 40
• 벤치마크는 정확성의 서로 다른 측면을 관찰하므로 방법 간 비교가 제한되며, 보편적인 순위보다 도메인 내 비교가 필요하다.이 서베이는 데이터 누출, 벤치마크 포화, 평가자 민감도 등 공통적인 실패 양상과 신뢰성 위험을 강조한다.출처: §8 · p. 40
• 현재 평가는 전이의 인과적 효과를 분리해 검증하는 경우가 드물고 실제 배포 시의 문제도 충분히 탐구하지 않으므로, 과제 간 전이는 연구 의제를 제시하는 수준의 논의에 머문다.출처: §8 · p. 40

광범위한 영향

• 시각적 그럴듯함은 생성된 산출물, 코드, 물리적 행동의 심각한 오류를 감출 수 있다.이러한 오류에는 잘못된 차트 데이터, 문서 구조 손실, 타당하지 않은 과학적 메커니즘, 상호작용 오작동, 보안에 취약한 코드, 안전하지 않은 물리적 행동이 포함된다.출처: §9 · p. 40
• 멀티모달 코드 지능은 시각 기반 프로그래밍의 진입 장벽을 낮추고 전문가가 시각적 피드백을 실행 가능한 수정안으로 전환하도록 도와 산출물의 점검, 편집, 재사용을 용이하게 할 수 있다.사용자는 스크린샷, 다이어그램, 스케치, 동영상, 자연어로 의도를 표현하여 인터페이스, 차트, 문서, 시연, SVG, CAD, 로봇 정책을 위한 코드를 얻을 수 있다.출처: §9 · p. 40
• 배포 시에는 출처 추적, 권한 범위 설정, 실행 로그, 도메인별 검증기, 고위험 상황에서의 사람 검토, 롤백 메커니즘을 결합하고 모델의 제안을 사용자가 승인한 행동과 분리해야 한다.이러한 안전장치는 브라우저, 파일, API, 설계 도구, 독점 코드 저장소, 로봇을 다루는 시스템에 적용된다.출처: §9 · p. 40
• 에이전트 시스템은 민감한 시각 입력, 독점 코드의 유출이나 오용, 시뮬레이션 밖에서 다르게 동작하는 체화된 정책을 통해 개인정보 보호와 안전에 위험을 초래한다.스크린샷과 설계 파일에는 개인정보가 포함될 수 있다.출처: §9 · p. 40

결론

• 멀티모달 코드 지능은 시각적 그럴듯함만이 아니라 렌더링, 실행, 상호작용, 재생에서 얻는 근거로 평가해야 한다.이 서베이는 다중 신호 검증, 다중 상태 검증, 과제 간 전이 평가, 검증 가능한 에이전트 실행 기록이라는 네 가지 검증 방향을 제시한다. 출력은 실행, 검증, 편집이 가능하고 의도된 시각적 근거에 기반해야 한다.출처: §10 · p. 40
• 이 서베이는 벤치마크와 방법론을 그래픽 사용자 인터페이스, 과학적 시각화, 구조화 그래픽, 그리고 선도적 과제 및 프레임워크로 체계화한다.인터페이스, 차트와 문서, SVG/다이어그램/CAD 프로그램, 코드를 매개로 한 도구 사용이나 체화된 정책을 다룬다.출처: §10 · p. 40
• 실행 가능한 코드는 시각적 추론에 근거를 부여하고, 외부 도구를 호출하며, 동적 환경에서 개방형 문제를 해결하는 중간 매개체가 된다.이 서베이는 코드를 시각적 문제 해결을 위한 실행 가능한 인터페이스로 활용하는 분산된 연구들을 다룬다.출처: §10 · p. 40