AI 요약 · 영어에서 AI 번역
OpenSearch-VL: An Open Recipe for Frontier Multimodal Search Agents
Shuang Chen, Kaituo Feng, Hangting Chen, Wenxuan Huang, Dasen Dai, Quanxin Shou, Yunlong Lin, Xiangyu Yue, Shenghua Gao, Tianyu Pang
TL;DR
최첨단 멀티모달 검색 에이전트는 학습 데이터와 코드가 비공개이거나 충분히 공개되지 않아 재현하기 어렵다. OpenSearch-VL은 데이터 선별, 검색·시각 도구, 치명적 실패를 고려한 강화학습을 결합한 공개 학습 절차다. 30B-A3B 모델은 일곱 개 멀티모달 심층 검색 벤치마크에서 평균 13.8점의 성능 향상을 달성한다.
문제
최첨단 멀티모달 검색 에이전트는 학습 데이터와 코드가 비공개이거나 충분히 공개되지 않아 재현하기 어렵다.
출처: §1 · p. 1방법
OpenSearch-VL은 위키백과 기반 데이터 선별, 다양한 검색·시각 도구, fatal-aware GRPO를 결합해 강화학습으로 멀티모달 심층 검색 에이전트를 학습한다.
출처: §7 · p. 12결과
OpenSearch-VL-30B-A3B는 일곱 개 멀티모달 심층 검색 벤치마크에서 평균 13.8점의 성능 향상을 보였으며, 여러 벤치마크에서 비공개 상용 모델에 견줄 만한 성능을 달성한 것으로 보고된다.
출처: §1 · p. 2시사점 및 한계
학습 데이터, 코드, 모델의 공개 계획은 멀티모달 에이전트 검색에 관한 재현 가능한 연구를 위한 개방형 기반을 제공하는 데 목적이 있다.
출처: §1 · p. 2보상은 비용이 높고 버전에 따라 달라지는 비공개 GPT-4o 평가 모델에 의존하며, 이 모델은 텍스트 질의를 평가하지만 중간 시각 처리 작업은 고려하지 않는다.
출처: Limitations and Future Work · p. 12
Abstract
from arXiv · showhide
Deep search has become a crucial capability for frontier multimodal agents, enabling models to solve complex questions through active search, evidence verification, and multi-step reasoning. Despite rapid progress, top-tier multimodal search agents remain difficult to reproduce, largely due to the absence of open high-quality training data, transparent trajectory synthesis pipelines, or detailed training recipes. To this end, we introduce OpenSearch-VL, a fully open-source recipe for training frontier multimodal deep search agents with agentic reinforcement learning. First, we curated a dedicated pipeline to construct high-quality training data through Wikipedia path sampling, fuzzy entity rewriting, and source-anchor visual grounding, which jointly reduce shortcuts and one-step retrieval collapse. Based on this pipeline, we curate two training datasets, SearchVL-SFT-36k for SFT and SearchVL-RL-8k for RL. Besides, we design a diverse tool environment that unifies text search, image search, OCR, cropping, sharpening, super-resolution, and perspective correction, enabling agents to combine active perception with external knowledge acquisition. Finally, we propose a multi-turn fatal-aware GRPO training algorithm that handles cascading tool failures by masking post-failure tokens while preserving useful pre-failure reasoning through one-sided advantage clamping. Built on this recipe, OpenSearch-VL delivers substantial performance gains, with over 10-point average improvements across seven benchmarks, and achieves results comparable to proprietary commercial models on several tasks. We will release all data, code, and models to support open research on multimodal deep search agents.
1 서론
OpenSearch-VL은 이미지에 근거한 다중 홉 학습 데이터, 시각 처리 도구, 실패 인지형 에이전트 강화학습을 결합한 완전 공개 학습법을 제시한다. 학습된 모델은 강력한 기준 모델보다 우수하며, 여러 벤치마크에서 비공개 상용 모델과 동등하거나 더 높은 성능을 보인다.
1 서론
- 데이터 파이프라인은 Wikipedia의 다중 홉 개체 경로를 표본 추출하고, 중간 개체를 모호한 설명으로 바꾸며, 생성된 VQA 사례를 필터링해 단일 홉 이미지 검색만으로 답을 찾는 지름길을 억제한다.이 파이프라인으로 지도 미세조정용 SearchVL-SFT-36k와 에이전트 강화학습용 SearchVL-RL-8k를 구축한다.출처: §1 · p. 2
- 도구 환경은 검색에 OCR, 자르기, 선명화, 초해상도, 원근 보정을 결합해 외부 지식을 검색하기 전에 불완전한 시각적 근거를 처리한다.이 도구들은 검색만으로는 충분하지 않은 흐릿한 사진, 저해상도 썸네일, 기울어진 문서, 정보가 빽빽한 스크린샷을 처리한다.출처: §1 · p. 2
- Fatal-aware GRPO 는 실패 이후의 유효하지 않은 토큰을 마스킹하고 단측 advantage clamping을 적용해 실패 이전의 유용한 추론을 보존한다.형식이 잘못된 호출, 시간 초과, 무관한 질의, 반복된 실패는 남은 롤아웃을 무효화할 수 있다. 전체 궤적을 버리면 유용한 추론이 낭비되고, 실패한 롤아웃 전체를 최적화하면 기울기에 잡음이 유입된다.출처: §1 · p. 2
- OpenSearch-VL-30B-A3B는 일곱 벤치마크에서 Qwen3-VL-30B-A3B (Bai et al., 2025) 에이전트 기준 모델 대비 평균 13.8점 향상되어, 평균 점수가 47.8에서 61.6으로 올랐다.성능 향상은 VDR (+13.3) (Zeng et al., 2026), MMSearch (+24.5) (Jiang et al.), FVQA (+10.2) (Wang et al., 2017), InfoSeek (+16.2) (Chen et al., 2023) 등에서 나타났다. OpenSearch-VL은 여러 벤치마크에서 비공개 상용 모델과 동등하거나 더 높은 성능도 보인다.출처: §1 · p. 2
- OpenSearch-VL은 완전 공개 학습법으로 재현성의 한계를 해소하고자 하며, 학습 데이터와 코드, 모델을 공개할 계획이다.고품질 멀티모달 검색 학습 데이터는 단순한 시각 질의응답을 넘어 이미지에 근거한 이해, 다중 홉 검색, 근거 검증, 장기적인 도구 사용을 지원해야 한다.출처: §1 · pp. 1–2
2 예비 지식
OpenSearch-VL은 이미지 기반 질의응답을 시각·검색 도구 사용과 교차하는 다중 턴 추론으로 정식화하고, 시각 관측을 보존해 이후에도 활용한다. 우도와 학습 마스크는 정책이 생성한 행동과 환경이 제공한 관측을 구분한다.
문제 정식화
- 에이전트는 다중 턴 추론과 도구 호출을 통해 이미지 기반 질문에 답하며, 시각 처리와 외부 지식 검색을 결합한다.ReAct (Yao et al., 2022)에 따라 각 행동은 추론과 도구 호출을 짝짓되, 마지막 행동은 추가 관측 없이 답변을 반환한다.출처: §2 · p. 2
멀티모달 관측과 활성 시각 맥락
- 환경은 도구 호출을 결정론적으로 라우팅하고 이미지 또는 텍스트 관측을 반환하며, 연속된 시각 변환을 상호 참조할 수 있도록 이전의 모든 이미지를 보존한다.활성 시각 맥락은 단조롭게 확장되며, 롤아웃에서는 정책 행동과 환경 관측이 엄격히 번갈아 나타난다.출처: §2 · p. 3
궤적 우도
- 자기회귀 궤적 우도는 환경 관측이 이후 이력의 조건으로 사용되더라도 생성 확률에서는 환경 관측을 제외한다. 이러한 인수분해는 SFT와 RL의 토큰별 중요도 비율을 지원한다.관측은 정책이 생성한 내용이 아니라 환경의 외생적 출력이므로 제외한다.출처: §2 · p. 3
토큰 단위 생성 마스크
- 토큰 단위 생성 마스크는 최적화 기울기를 정책이 생성한 추론과 명령에만 적용한다. 텍스트 관측은 제외하며, 이미지 관측은 본래 토큰 단위 손실 계산을 거치지 않는다.Search-R1 의 검색 토큰 마스킹에서 착안한 이 방식은 SFT와 치명적 실패를 고려한 RL을 지원한다. 잡음이 섞인 검색 결과와 OCR 관측을 손실에 포함하면 학습이 불안정해진다.출처: §2 · p. 3
검색 도구
- 도구 모음은 외부 검색, 이미지 개선, 주의 집중 및 파싱을 포괄하며, 경량 오프라인 기본 연산과 온라인 전문 모델 서비스를 결합한다.검색에는 TextSearch와 ImageSearch를, 이미지 개선에는 Sharpen, SuperResolution, PerspectiveCorrect를, 주의 집중 및 파싱에는 Crop과 OCR을 사용한다.출처: §2 · p. 3, Table 1 · p. 3
3 데이터셋 구축
OpenSearch-VL의 데이터 파이프라인은 이미지에 근거한 멀티홉 질문 구성, 시각적 향상을 병행한 난도 필터링, 전문가 궤적 합성을 결합한다. 정답 정확성과 과정 품질 검사를 거쳐 지도 미세조정용 궤적 36,592개를 확보한다.
3.1 고품질 VQA 구성
- Wikipedia 경로는 시각 앵커, 중간 연결 노드, 정답 노드에 서로 다른 역할을 부여하여, 시각적 식별과 목표 정답을 분리하면서 멀티홉 질문을 구조화한다.제약 조건을 둔 경로 탐색은 두 홉, 세 홉, 네 홉으로 구성되며 동음이의어 구분·목록 페이지, 순환 경로, 진입 차수가 높은 허브를 제외한다. GPT-4o (Team, 2024)는 경로를 표준형 질문으로 변환하며, 이 질문은 학습 목표가 아닌 재작성의 바탕으로 사용된다.출처: §3.1 · pp. 4–5
- 정답을 유지하는 모호화 재작성은 개체명을 관계나 속성에 기반한 묘사로 대체하며, 대체할 때마다 유일성을 확인해 단 한 번의 검색으로 풀리는 지름길을 방지한다.재작성은 시각 앵커에서 가장 먼 연결 노드부터 시각 앵커 쪽으로 진행한다. 때로는 정답도 모호화하여 정형화된 관계 틀로 수렴하는 것을 방지한다.출처: §3.1 · p. 5
- 소스 앵커 기반 시각적 그라운딩은 시작 개체를 이미지 참조로 대체하여, 중간의 텍스트 관계를 따라 정답에 도달하기 전에 시각적 식별을 거치도록 한다.이미지는 Wikimedia Commons나 Wikipedia 정보상자에서 가져와 CLIP 기반으로 선별한다. 이미지–질문–정답 후보 삼중항은 자동 마스킹, 유일성, 시각적 관련성 검사를 통과해야 한다.출처: §3.1 · p. 5
3.2 필터링과 시각적 향상
- Qwen3-VL-32B (Bai et al., 2025)는 도구 없이 또는 ImageSearch 한 번으로 풀리는 사례를 걸러내며, 이미지 열화와 복원 도구를 짝지어 검색에 앞서 이미지 복원을 수행하도록 학습시킨다.Wikipedia 사례에 LiveVQA (Fu et al., 2025), FVQA (Wang et al., 2017), WebQA (Chang et al., 2022)를 결합해 최신 개체, 상식적 사실 조회, 공개 웹 멀티홉 추론을 포괄한다. 무작위로 선택한 10%에는 흐림, 다운샘플링, 원근 왜곡을 적용하고 각각 Sharpen, SuperResolution, PerspectiveCorrect와 짝짓는다.출처: §3.2 · p. 5
3.3 다중 턴 궤적 합성
- 정답 정확성과 과정 품질 기준에 미달하는 궤적을 제거한 뒤, 궤적당 평균 도구 호출 턴 수가 6.3인 전문가 궤적 36,592개로 SFT 말뭉치를 구성한다.Claude Opus 4.6 (Team, 2026a)은 실제 도구 환경에서 사례마다 독립적인 다중 턴 ReAct (Yao et al., 2022) 롤아웃 다섯 개를 생성한다. GPT-4o (Team, 2024)가 최종 답변의 정답 일치 여부를 판정하고, 이어 GPT-5.4가 도구 사용, 추론–관찰 간 일관성, 무의미한 반복을 검사한다.출처: §3.3 · p. 6
4 학습
OpenSearch-VL은 지도 미세조정 후 멀티모달 검색 증강 강화학습을 수행한다. 치명적 오류를 고려한 GRPO는 과제 보상과 검색 품질 보상에 토큰 마스킹과 단측 어드밴티지 클램핑을 결합해 실패 이전의 유용한 지도 신호를 보존한다.
4 학습
- OpenSearch-VL은 먼저 지도 미세조정으로 추론과 도구 사용을 학습한 뒤, 강화학습으로 더 효과적인 탐색 전략을 발견한다.강화학습은 GRPO (Shao et al., 2024)와 그 검색 증강 확장 기법 을 기반으로 하며, 텍스트 전용 검색을 다양한 멀티모달 도구 환경으로 대체한다.출처: §4 · p. 6, §4.2 · p. 7
4.1 지도 미세조정
- 지도 미세조정에서는 36592개의 다중 턴 전문가 궤적으로 추론 과정과 그에 뒤따르는 도구 호출 또는 최종 응답을 모두 지도한다.도구 관측값은 조건 문맥으로만 사용하며, 의 검색 토큰 마스킹 전략에 따라 손실 계산에서 제외한다.출처: §4.1 · pp. 6–7
4.2 다중 턴 검색에서 치명적 오류를 고려한 GRPO
- 단측 어드밴티지 클램핑은 평균 이하의 치명적 오류 궤적이 유효한 앞부분에 불이익을 주지 않도록 하면서, 평균 이상의 앞부분에 대한 양의 강화 신호는 유지한다.치명적 오류 궤적을 포함한 모든 궤적을 그룹 정규화 보상 통계에 유지하며, 치명적 오류 궤적의 정규화된 어드밴티지는 하한을 0으로 제한한다.출처: §4.2 · pp. 7–8
- 복합 궤적 보상은 구조적 형식, 최종 응답 정확도, 과정 수준의 검색 품질 사이의 균형을 맞춘다.보상에는 α = 0.8을 사용하며, 형식은 구조가 훼손된 경우 보상값을 0에 가깝게 만드는 곱셈 게이트로 작동한다. 유효한 단계는 연속된 사고 블록 직후에 도구 호출이나 최종 응답이 이어져야 하며, 구조적 위반에는 도구 실행 오류도 포함된다.출처: §4.2 · p. 7
- 최종 응답 정확도는 LLM-as-Judge 프로토콜 (Gu et al., 2025)에 따라 GPT-4o (Team, 2024)로 정답과의 의미적 동등성을 확인한다.일치하는 답에는 1, 일치하지 않는 답에는 0을 부여한다. 최종 응답이 없는 치명적 오류 궤적에는 예외 없이 0을 부여한다.출처: §4.2 · p. 7
- 질의 품질 보상은 성공하지 못한 궤적에도 촘촘한 피드백을 제공하며, 치명적 오류가 발생하면 궤적의 유효한 앞부분만 평가한다.GPT-5.4 는 누적 검색 질의를 [0, 1] 범위로 채점한다. 평가 기준은 관련성, 반복적 개선, 검색 결과 내용의 신호 대 잡음비, 상호 보완적인 이미지·텍스트 검색을 포함한다.출처: §4.2 · p. 7
- 치명적 오류를 고려한 토큰 마스킹은 유효한 초기 추론을 보존하면서 치명적 오류 단계부터의 토큰을 제외한다.치명적 오류 단계는 도구 실행 오류가 세 번 연속 발생하는 최초의 연쇄 오류가 시작되는 단계다. 형식 보상과 질의 품질 보상은 치명적 오류 이전의 유효한 앞부분만을 대상으로 계산한다.출처: §4.2 · p. 8
5 실험
OpenSearch-VL은 일곱 가지 멀티모달 벤치마크에서 모든 모델 규모에 걸쳐 직접 추론 및 RAG 기준선을 능가한다. 절제 실험에서는 궤적 합성과 치명적 실패 인지형 RL을 분석한다. 이 RL의 단측 클램핑은 실패 전의 유용한 추론을 보존하면서 잡음성 음의 업데이트를 방지한다.
5 실험
- 일곱 가지 벤치마크에서 Pass@1, GPT-4o 판정, 직접 추론·RAG·에이전트 기준선을 활용해 시각적 개체 인식, 웹 근거 검색, 다중 홉 추론, 롱테일 QA를 평가한다.평가는 VDR-Bench (Zeng et al., 2026)를 따른다. 학습에는 다중 턴 SFT 궤적 36K개와 RL 예제 8K개를 사용하며, RL 예제는 SFT 궤적 합성에 사용한 VQA 인스턴스와 겹치지 않는다.출처: §5 · p. 8
5.1 주요 결과
- OpenSearch-VL-8B는 평균 점수 56.6으로 SenseNova-MARS-8B보다 3.9점 높다. OpenSearch-VL-30B-A3B와 OpenSearch-VL-32B는 각각 61.6과 63.7에 도달한다.OpenSearch-VL은 모든 규모에서 직접 추론 및 RAG 기준선을 능가한다. OpenSearch-VL-32B는 직접 추론 모드의 Gemini-2.5-Pro도 능가하며, 대응하는 Qwen3-VL 에이전트 기준선을 크게 앞선다.출처: Table 2 · p. 9, §5.1 · p. 9
5.2 절제 실험
- 치명적 실패 인지형 GRPO는 기본 GRPO (Guo et al., 2025; Jin et al., 2025) 및 Hard-Mask (Huang et al., 2026)보다 더 많은 롤아웃 턴과 더 높은 배치 단위 정확도를 유지한다.Qwen3-VL-8B 절제 실험에서는 오프라인 모방을 넘어, 도구 사용이 요구되는 궤적 합성과 치명적 실패 인지형 RL을 모두 분석한다.출처: §5.2 · p. 9, Figure 3 · p. 10
- 치명적 실패를 고려한 클램핑은 어려운 프롬프트에서 그룹 평균을 웃도는 추론 앞부분을 강화하고 실패 이후 토큰을 마스킹하며, 쉬운 프롬프트에서 성공한 롤아웃이 대다수이면 치명적 실패 궤적의 어드밴티지를 영으로 설정한다.예시로 제시한 두 그룹은 각각 16개의 롤아웃으로 구성된다. 음의 어드밴티지를 영으로 설정하면 타당할 가능성이 있는 추론 앞부분이 억제되는 것을 막을 수 있다.출처: §5.2 · pp. 10–11, Figure 4 · p. 11
- 10,000개 롤아웃 그룹을 분석한 결과, 대부분의 치명적 실패 궤적은 업데이트가 영으로 설정되며, 보존된 소수의 꼬리 구간은 치명적 실패가 없는 기준 분포의 오른쪽 봉우리와 유사하다.단측 클램핑은 도구 호출에 실패한 궤적의 잡음을 증폭하지 않으면서 기여도 신호를 복원한다.출처: §5.2 · p. 11
6 관련 연구
멀티모달 검색 에이전트는 손상된 시각 증거와 강화학습 중 연쇄적으로 발생하는 도구 실패로 인해 한계를 겪는다. OpenSearch-VL은 능동 지각과 실패 전의 유용한 추론을 보호하는 치명적 실패 고려 학습 목적함수로 이러한 한계를 해결한다.
6.1 멀티모달 에이전트 검색
- 멀티모달 에이전트 검색은 자율적 질의를 시각 검색으로 확장하지만, 검색만으로는 손상되거나 텍스트가 밀집된 시각 증거를 복원할 수 없다.Search-R1 은 RL로 자율적인 다중 턴 질의를 수행하며, MMSearch-R1 (Wu et al., 2025b)과 Vision-DeepResearch (Huang et al., 2026; Narayan et al., 2025b)는 시각 검색을 도입한다. 이미지 조작과 웹 검색을 결합하려는 노력에도 불구하고, 이러한 접근법은 대체로 손상 없는 시각 입력을 가정한다.출처: §6.1 · p. 11
6.2 시각 지각과 검색
- 능동 지각은 에이전트가 검색에만 의존하지 않고, 추론 전에 초해상화와 특화된 OCR 등의 도구로 시각적 잡음을 보정하도록 한다.VisRAG (Yu et al., 2024)은 시각 구조를 보존하지만 모델을 수동적 관찰자로 취급한다. 기존 도구 증강 에이전트는 도구를 동적으로 조율할 수 있으나, 도구 구성은 여전히 대체로 동질적이며 특정 시나리오에 국한된다.출처: §6.2 · p. 11
6.3 에이전트 추론을 위한 강화학습
- 치명적 실패를 고려한 RL 목적함수는 실패 이후의 학습 신호를 제거하고 단측 어드밴티지 클램핑으로 유용한 추론 단계를 보호한다.초기의 도구 오류는 이후 궤적 토큰의 일관성을 무너뜨리고 정책 경사에 잡음을 유발할 수 있다. 표준 그룹 정규화는 부분적으로 성공한 롤아웃에서도 유효한 초기 추론 구간에 불이익을 줄 수 있다 (Huang et al., 2026).출처: §6.3 · p. 12
7 결론
OpenSearch-VL은 엄선한 데이터셋, 다양한 도구, 치명적 오류를 고려한 학습을 결합해 에이전트 강화학습으로 멀티모달 심층 검색 에이전트를 훈련하는 완전 공개 학습법을 제시한다. 7개 멀티모달 심층 검색 벤치마크에서 평균 10점 넘는 성능 향상을 달성한다.
7 결론
- OpenSearch-VL은 7개 멀티모달 심층 검색 벤치마크에서 평균 10점 넘는 성능 향상을 보였다.VDR 등 대표적인 과제에서 강력한 비공개 추론 모델과 대등한 성능을 보인다.출처: §7 · p. 12
- 위키백과 기반 데이터 큐레이션 파이프라인은 단일 단계 검색에 의존하는 지름길을 줄이고 SearchVL-SFT-36k와 SearchVL-RL-8k를 구축한다.출처: §7 · p. 12
- 치명적 오류를 고려한 다중 턴 GRPO는 단측 어드밴티지 클램핑을 통해 오류 발생 전의 유용한 추론을 보존한다.출처: §7 · p. 12
- 도구 환경은 검색, 이미지 개선, 주의 집중 및 파싱 도구를 포괄한다.출처: §7 · p. 12
- 저자들은 재현 장벽을 낮추고 향후 멀티모달 심층 검색 연구를 지원하기 위해 데이터, 코드, 모델, 학습법을 공개할 계획이다.출처: §7 · p. 12
한계 및 향후 연구 … B.1 치명적 실패 단계 탐지 로직
OpenSearch-VL의 치명적 실패 인지 RL은 GRPO와 검색 증강 최적화를 기반으로 연속 오류 탐지와 단측 어드밴티지 클램핑을 결합한다. 도구의 불안정성, 비공개 보상 평가 모델, 호스팅형 API가 학습 신뢰성과 재현성을 제약한다.
한계 및 향후 연구
- 외부 도구의 불안정성, 비공개 GPT-4o 보상, 호스팅형 API는 학습 안정성, 시각적 행동 평가, 정확한 재현성을 제한한다.검색 순위 변동, 가져오기 실패, 검색 요약의 환각이 보상 분산을 키운다. 향후 연구는 온폴리시 신뢰도 추정과, 비용이 높고 버전에 의존하는 텍스트 전용 GPT-4o 평가 모델이 다루지 못하는 시각적 행동까지 포괄하는 개방형 과정 보상 모델을 목표로 한다. 호스팅형 API와 감당하기 어려운 다중 시드 평가 비용은 재현성을 저해한다. SearchVL-SFT-36k, SearchVL-RL-8k, 체크포인트, 학습 코드를 허용적 라이선스로 공개할 계획이다.출처: Limitations and Future Work · p. 12
부록 구성
- 부록은 GRPO 기초, 치명적 실패 단계 탐지, 단측 클램핑 유도, SFT 및 RL 학습 설정을 다룬다.데이터 구축 관련 추가 항목에서는 경로 샘플링 하이퍼파라미터, 설명 전반에 쓰이는 Australia_Zoo 예시, 반사실적 설계 선택을 다룬다.출처: Appendix Contents · p. 17
A 강화학습 기초
- 표준 GRPO (Shao et al., 2024)와 검색 증강 방식인 Search-R1 은 OpenSearch-VL의 다중 턴·다중 도구 목적함수의 기반이다.기초 설명은 단일 턴 생성에서 출발해 정책 생성과 외부 검색 호출을 번갈아 수행하는 롤아웃으로 확장된다.출처: A Preliminary of Reinforcement Learning · p. 17
A.1 표준 GRPO
- GRPO (Shao et al., 2024)는 학습된 크리틱을 동일 프롬프트 내 그룹 보상 비교로 대체하고, 각 응답의 토큰에 동일한 어드밴티지를 부여한다.최적화에는 고정된 참조 정책에 대한 명시적 KL 페널티를 포함한 클리핑 대리 목적함수를 사용해 별도 가치 모델의 필요성을 줄인다.출처: §A.1 · pp. 17–18
A.2 검색 엔진을 결합한 GRPO
- Search-R1 은 생성 과정에 검색된 근거를 끼워 넣으며, 그래디언트 갱신과 KL 정규화를 정책이 생성한 토큰에만 적용한다.조건으로 주어지는 이력에는 앞서 검색된 근거가 포함되며, 목적함수는 생성된 토큰 수로 정규화된다.출처: §A.2 · p. 18
B 다중 턴 검색의 치명적 실패 인지 GRPO 세부 사항
- 단측 클램핑을 적용하면 치명적 실패 롤아웃의 91.8%는 어드밴티지가 0이 되고, 나머지 8.2%는 양의 어드밴티지를 유지한다.Figure 5는 G=16인 10,000개 그룹에서 발생한 치명적 실패 롤아웃 47,978개를 집계한다. 다중 턴 목적함수는 3회 연속 실패 탐지 및 클램핑을 형식·정확도·쿼리 보상과 결합한다.출처: Figure 5 · p. 19, B Multi-Turn Search Fatal-Aware GRPO… · p. 19, §B.1 · p. 19
B.1 치명적 실패 단계 탐지 로직
- 도구 실행이 3회 연속 실패하면 해당 궤적을 치명적 실패로 판정한다. 성공한 단계에서는 카운터를 초기화해 산발적 오류에서 회복할 수 있게 한다.카운터는 0에서 시작하며, f_i는 임계값에 처음 도달한 단계를 나타낸다. K = 3에 도달하지 않는 궤적은 f_i = L_i + 1을 사용한다. 시간 초과, 잘못된 형식의 API 페이로드, 인수 파싱 실패는 학습된 휴리스틱 없이 실행 샌드박스가 결정론적으로 판별한다.출처: §B.1 · p. 19
B.2 단측 클램핑을 적용한 어드밴티지 유도
어드밴티지 계산 절차는 그룹 정규화에 치명적 오류가 발생한 궤적도 포함하고, 표준화된 보상에 치명적 오류를 고려한 단측 클램핑을 적용한다. Stop-gradient 정규화는 기울기가 마스킹되지 않은 정책 생성 토큰의 중요도 샘플링 비율을 통해서만 흐르도록 제한한다.
B.2 단측 클램핑을 적용한 어드밴티지 유도
- Stop-gradient는 역전파 중 그룹 평균과 표준편차를 상수로 취급하므로, 기울기는 마스킹되지 않은 정책 생성 토큰의 중요도 샘플링 비율을 통해서만 흐른다.출처: §B.2 · p. 20
- 치명적 오류로 중단된 궤적을 포함한 모든 샘플링 궤적이 그룹 정규화에 기여하므로, 실패도 기준선과 상대적 성능 순위에 반영된다.그룹 통계는 동일한 프롬프트로 생성한 롤아웃의 복합 보상을 사용하며, 양의 안정화 상수를 두어 정규화를 안정화한다.출처: §B.2 · p. 20
- 치명적 오류를 고려한 단측 클램핑은 표준화된 보상을 최종 어드밴티지로 변환하며, 유도 과정에서는 하드 마스킹보다 기울기의 정보성이 높다고 주장한다(Huang et al., 2026).하드 마스킹 기준 방법은 치명적 오류가 발생한 모든 궤적을 통째로 제외하여 해당 궤적의 기울기 기여도를 0으로 설정한다.출처: §B.2 · p. 20
1. eri < 0이면 gours
치명적 실패를 고려한 단측 클램핑은 실패 이후의 기울기를 전파하거나 유효한 롤아웃 접두부에 불이익을 주지 않으면서, 해당 접두부의 양의 학습 신호를 보존한다. 이 방식은 비음수 편향을 도입하지만 치명적 실패가 없는 궤적의 순위는 유지한다.
기울기의 보장 성질
- 어드밴티지가 비음수이면 제안한 기울기는 정책이 생성한 유효 접두부 토큰에만 적용한 검색 증강 GRPO의 기울기와 같다.어드밴티지가 음수이면 제안한 방식과 하드 마스킹의 기울기는 모두 0이다. 치명적 실패를 고려한 마스크는 환경이 출력한 토큰과 치명적 실패 이후의 모든 토큰을 제외한다.출처: §1 · p. 20
- 제안한 기울기는 정보성 측면에서 하드 마스킹을 약하게 지배하며, 치명적 실패 이후의 기울기와 접두부에 대한 불이익을 배제하면서 그룹 정규화 반환값이 기준선보다 높은 접두부를 강화한다.이를 통해 조기에 중단되었지만 품질이 높은 탐색 롤아웃에서도 양의 강화 신호를 회수한다.출처: §1 · p. 20
클램핑에 따른 그룹 통계량의 편향
- 치명적 실패가 발생한 롤아웃의 91.8%는 표준화 점수가 음수여서 0으로 클램핑된다. 나머지 8.2%는 경쟁력 있는 비실패 롤아웃과 같은 점수대에 속한다.보고된 타당성 점검에는 그룹 난도별 세부 분석과 10,000개 그룹의 전체 점수 분포가 포함된다.출처: §1 · p. 21
- 클램핑은 평균이 0인 GRPO에 비해 비음수 편향을 도입하지만, 치명적 실패가 없는 롤아웃의 어드밴티지 순서는 유지한다.그룹 통계에는 치명적 실패가 발생한 롤아웃도 포함하며, 이후 이들의 음의 어드밴티지를 영으로 만든다. 향후 연구 과제로 남겨둔 대안에는 치명적 실패가 없는 롤아웃만 사용하는 베이스라인과 이중 강건 편향 보정이 있다.출처: §1 · p. 21
C 구현 세부 사항 · C.1 SFT 학습 설정
OpenSearch-VL은 도구 호출이 교차 삽입된 멀티모달 궤적을 처리하도록 SFT와 RL 파이프라인을 확장한다. 세 모델 변형은 SFT 하이퍼파라미터를 공유하며, GPU 256개에서 전체 파라미터를 미세조정한다.
C 구현 세부 사항
- SFT 파이프라인은 도구 호출이 교차 삽입된 다중 턴 데이터를 처리하는 collator와 Qwen3-VL에 맞춘 비전/텍스트 패킹으로 LlamaFactory (Zheng et al., 2024)를 확장한다.이를 통해 정책은 Crop, Sharpen, SuperResolution, PerspectiveCorrect, OCR에서 교차 삽입된 이미지 관측을 그대로 입력받을 수 있다.출처: C Implementation Details · p. 21
- RL 파이프라인은 rLLM 의 비동기 rollout 아키텍처와 Vision-DeepResearch (Huang et al., 2026)의 멀티모달 궤적 추상화를 결합한다.채택한 아키텍처는 궤적 생성, 재생, 정책 갱신 워커를 분리한다.출처: C Implementation Details · p. 21
- RL 구현에는 Qwen3-VL 채팅 템플릿 렌더러와 가변 길이 시각 관측을 위한 교차 삽입 이미지 토큰 재정렬 기능을 추가한다.이 구성 요소들은 rLLM 과 Vision-DeepResearch (Huang et al., 2026)를 결합한 기반을 확장한다.출처: C Implementation Details · p. 21
- 비동기 다중 턴 rollout 엔진은 모든 OpenSearch-VL 변형을 학습하는 파이프라인에서 도구 호출 중단 및 재개를 지원한다.이 엔진은 rLLM 과 Vision-DeepResearch (Huang et al., 2026) 기반을 확장한다.출처: C Implementation Details · p. 21
C.1 SFT 학습 설정
- 32개 노드에 걸친 GPU 256개에서 DeepSpeed ZeRO-3와 Ray 기반 오케스트레이션을 사용해 비전 타워와 멀티모달 프로젝터를 포함한 전체 파라미터 SFT를 수행한다.각 노드에는 GPU 8개가 있다.출처: §C.1 · p. 21
- 8B 밀집 모델, 32B 밀집 모델, 30B-A3B Mixture-of-Experts 변형은 동일한 SFT 하이퍼파라미터를 공유하며, 기반 체크포인트 경로만 다르다.Table 4에 세 변형의 설정을 통합해 제시한다.출처: §C.1 · p. 21
C.2 RL 학습 설정
8B 밀집형 모델과 30B-A3B MoE 모델은 공통의 다중 턴 fatal-aware GRPO 알고리즘과 롤아웃/액터 스택을 사용한다. 설정은 공통 항목과 모델별 항목으로 구분하며, 명시적으로 지정한 필드만 보고한다.
C.2 RL 학습 설정
- 두 RL 실행 모두 GRPO의 그룹 상대 목적함수하에서 RLOO leave-one-out 어드밴티지와 저분산 KL 제어기를 사용하며, critic은 사용하지 않는다.이 공통 알고리즘 구성을 다중 턴 fatal-aware GRPO 단계에 사용한다.출처: §C.2 · p. 21
- 8B 밀집형(Qwen3-VL-8B-Instruct) 모델과 30B-A3B MoE(Qwen3-VL-30B-A3B-Instruct) 모델은 비동기 SGLang 롤아웃 엔진과 Megatron 병렬 액터를 공유한다.이 설정에서 RL로 미세조정한 OpenSearch-VL 모델은 이 두 가지다.출처: §C.2 · p. 21
- Table 5는 명시적으로 지정한 실행 설정을 보고하며, 동일한 값은 한 번만, 모델별 값은 별도로 제시한다.차이가 나는 항목은 프롬프트당 응답 예산, 미니배치 크기, 컨텍스트/엑스퍼트 병렬화, MoE 전용 라우팅 계수, 저장 주기, 총 에포크 수다. 프레임워크 기본값과 클러스터 네트워크 환경 변수는 생략하며, “—”는 해당 사항이 없는 항목을 나타낸다.출처: §C.2 · p. 21, Table 5 · p. 23
D 데이터 큐레이션 세부 사항 … G 사례 연구
부록에서는 다중 홉 데이터 구축의 안전장치, 에이전트 및 평가자 프롬프트, 검색 및 시각 처리 도구를 상세히 설명한다. 교량 사례 연구는 시각적 관찰, 이미지 검색, 텍스트 검색을 결합해 답을 검증하는 과정을 보여준다.
D 데이터 큐레이션 세부 사항 / D.1 경로 샘플링 하이퍼파라미터
- 2-, 3-, 4-hop 경로에 각각 0.4, 0.4, 0.2의 확률을 부여하며, 시각적 시드의 층화 추출, 허브 회피, 재시도 횟수 제한을 적용한다.2025-05-01 영어 위키백과 스냅샷에서 시드는 다섯 분야에 걸쳐 선정하며, 정보상자, 최소 512 × 512 크기의 Commons 이미지, 50에서 10,000 사이의 진입 차수를 요구한다. 허브 필터링으로 상위 약 0.03%의 문서를 제외한다. 필터링된 노드, 유일하지 않은 연결 개체 설명, 여섯 토큰 제한 내 말단 속성 부재 등으로 시도가 10회 실패하면 해당 시드를 폐기한다.출처: §D.1 · p. 24, D Data Curation Details · p. 24
D.2 실행 예시: Australia_Zoo
- 퍼지 재작성과 시각적 그라운딩을 거친 Australia_Zoo 예시의 정답은 20 November 2009이며, 마스킹, 유일성, 시각적 관련성, 비자명성 검사를 모두 통과했다.재작성은 경로상의 개체 이름을 명시하지 않고도 Terri Irwin을 유일하게 식별하면서 정답을 유지한다. 후보 이미지 여덟 장을 CLIP (Radford et al., 2021)으로 순위화하며, 선택된 이미지의 유사도 0.34는 관련성 임계값 0.28을 초과한다.출처: §D.2 · pp. 24–25
D.3 반사실적 설계 선택
- 앵커와 정답의 분리, 모호화 재작성, 허브 회피는 단순 조회 지름길과 모호하거나 정체를 노출하는 연결 개체 설명을 방지한다.Terri Irwin의 사진을 사용하면 역이미지 검색으로 바로 찾을 수 있고, 개체 이름을 남겨 두면 텍스트 검색으로 바로 찾을 수 있다. Queensland를 연결 개체로 허용하면 동물원을 유일하게 식별하지 못하는 설명이 생기거나 앵커의 정체를 노출하는 설명을 쓸 수밖에 없다.출처: §D.3 · pp. 25–26
E 시스템 프롬프트
- 추론과 SFT에는 같은 에이전트 프롬프트를 사용하며, 별도의 평가자들이 RL 보상과 Vision-DeepResearch (Huang et al., 2026)에 맞춘 벤치마크 평가를 담당한다.RL 평가자는 이진 정확도 보상과 [0, 1] 범위의 질의 품질 점수를 산출하고, 벤치마크 평가자는 최종 수행 궤적을 사후 평가한다. OpenAI 방식의 함수 호출을 위해 기계가 읽을 수 있는 도구 스키마를 문맥에 삽입한다.출처: E System Prompts · p. 26, Figure 8 · p. 26, Figure 10 · p. 26
F 도구 정의 및 사용법 / 검색 도구
- 원격 검색은 TextSearch의 웹 읽기·요약과 ImageSearch의 시각적 개체 그라운딩을 결합해 후속 텍스트 검증을 가능하게 한다.TextSearch는 Serper를 통한 URL 검색, JINA Reader를 통한 페이지 정규화, Qwen3-32B를 통한 질의 중심의 2–4문장 요약을 순차 수행한다. ImageSearch는 Polaris Lens를 사용해 유사 이미지, 인식된 개체, 관련 URL, 캡션을 반환한다.출처: Retrieval Tools · p. 30, F Tool Definition and Usage · p. 30
이미지 개선 도구
- Sharpen, SuperResolution, PerspectiveCorrect는 후속 시각 인식에 앞서 흐림, 낮은 해상도, 기울어짐을 보정한다.Sharpen의 기본 강도는 1.5다. EDSR 초해상화의 기본 배율은 ×4이며, 가중치를 사용할 수 없으면 원본 이미지를 반환한다. 원근 보정은 검출된 사각형을 정면에서 본 형태로 변환하며, 사각형이 검출되지 않으면 경고와 함께 원본 이미지를 반환한다.출처: Image Enhancement Tools · p. 30
주목 영역 및 파싱 도구
- Crop은 식별에 중요한 이미지 영역을 잘라내고, 레이아웃 인식 OCR은 자르기나 화질 개선 후에도 텍스트 계층과 읽기 순서를 보존한다.원격 PaddleX OCR은 레이블이 지정된 텍스트 블록과 서식을 재구성한 텍스트를 반환하며, 선택적으로 차트 인식과 문서 방향 분류를 지원한다.출처: Attention and Parsing Tools · p. 31
G 사례 연구
- Crop, ImageSearch, TextSearch를 통해 Kessock Bridge의 개통 연도가 1982년임을 검증하며, 단일 검색 호출을 넘어서는 근거 기반 도구 연쇄 활용을 보여준다.시각 처리·검색 행동 공간, 질의 품질 보상, 치명적 실패를 고려한 마스킹은 단계적으로 근거를 확보하고 모달리티 간 증거가 일치하면 종료하도록 유도하기 위해 설계되었다.출처: G Case Study · p. 31, Figure 9 · p. 32
Related papers
This paper cites
Cited by
- MTA-Zero: Self-Improving Multimodal Deep Search via Online QA-Solver Co-training2026
- MMSearch-OPD: Easy Made Hard, Hard Made Learnable for Long-Horizon Multimodal Search Agents2026
- Information-Gain Calibrated On-Policy Distillation for Deep Search Agents2026
- ActICL: Post-Training for Agentic Multimodal In-Context Learning2026
- Neos: Learning to Interleave Search and Visual Reasoning2026
- OneSearch-VL: Unified Multimodal Deep Research Agent for Image and Video2026