PaperlayerView exact revision on arXiv

Source-linked AI summary

Recursive Multi-Agent Systems

Jiaru Zou, Rui Pan, Ruizhong Qiu, Pan Lu, Shizhe Diao, Jindong Jiang, Hanghang Tong, Tong Zhang, Markus J. Buehler, Jingrui He, James Zou

arXiv:2604.25917v2cs.AIcs.CLcs.LG

TL;DR

텍스트 기반 상호작용은 지연을 유발하고 전체 agent를 학습하기 어렵게 하므로, multi-agent system은 효율적으로 공동 진화하는 데 한계가 있다. RecursiveMAS는 대신 latent space에서 heterogeneous agent를 재귀적으로 최적화해 평균 정확도 8.3% 향상, 추론 속도 1.2×–2.4× 향상, token 사용량 34.6%–75.6% 감소를 달성한다.

  • 문제

    기존 multi-agent adaptation method는 agent 자체를 개선하지 않고 공유 prompt만 정제하거나, 텍스트 기반 상호작용으로 인한 어려운 학습과 지연에 직면한다.

  • 방법

    RecursiveMAS는 inner 및 outer RecursiveLink module을 통해 heterogeneous agent를 연결하고, inner-outer loop training paradigm으로 system을 공동 최적화한다.

  • 결과

    9개 benchmark 전반에서 8.3% 평균 정확도 향상과 1.2×–2.4× 추론 속도 향상, 34.6%–75.6% token 사용량 감소를 달성한다.

  • 시사점 및 한계

    RecursiveMAS는 multi-agent system이 latent space에서 재귀적으로 협업하고 정제하며 진화할 수 있도록 하는 확장 가능하고 효율적인 framework를 제공한다.

Abstract

from arXiv · show

Recursive or looped language models have recently emerged as a new scaling axis by iteratively refining the same model computation over latent states to deepen reasoning. We extend such scaling principle from a single model to multi-agent systems, and ask: Can agent collaboration itself be scaled through recursion? To this end, we introduce RecursiveMAS, a recursive multi-agent framework that casts the entire system as a unified latent-space recursive computation. RecursiveMAS connects heterogeneous agents as a collaboration loop through the lightweight RecursiveLink module, enabling in-distribution latent thoughts generation and cross-agent latent state transfer. To optimize our framework, we develop an inner-outer loop learning algorithm for iterative whole-system co-optimization through shared gradient-based credit assignment across recursion rounds. Theoretical analyses of runtime complexity and learning dynamics establish that RecursiveMAS is more efficient than standard text-based MAS and maintains stable gradients during recursive training. Empirically, we instantiate RecursiveMAS under 4 representative agent collaboration patterns and evaluate across 9 benchmarks spanning mathematics, science, medicine, search, and code generation. In comparison with advanced single/multi-agent and recursive computation baselines, RecursiveMAS consistently delivers an average accuracy improvement of 8.3%, together with 1.2$\times$-2.4$\times$ end-to-end inference speedup, and 34.6%-75.6% token usage reduction. Code and Data are provided in https://recursivemas.github.io.

1. 서론

RecursiveMAS는 다중 에이전트 협업을 연속 latent space에서 재귀적으로 최적화되는 계산으로 다루어, prompt만을 이용한 적응과 개별 에이전트 개선의 한계를 해결한다. 경량 RecursiveLinks를 통해 이질적인 에이전트를 연결하고, 이론적·실증적 평가를 바탕으로 inner-outer-loop 공동 최적화를 통해 통합 시스템을 학습한다.

  • 동기와 프레임워크: RecursiveMAS는 각 에이전트를 개별적으로 개선하는 대신, 다중 에이전트 협업을 연속 latent space에서 이루어지는 시스템 수준의 재귀 계산으로 재구성한다.이 프레임워크는 recursive language model 아이디어를 확장해 통합된 전체로서 다중 에이전트 시스템 전체를 공동 진화시키고 확장한다.
  • RecursiveMAS 아키텍처: 경량 RecursiveLinks는 모든 model parameter를 업데이트하지 않고 에이전트를 연결하며, 에이전트 내부와 이질적인 model 간에 latent state를 전달하고 정제한다.Inner link는 생성 중인 latent thought를 통합하고, outer link는 서로 다른 model type과 size를 가진 에이전트 사이에서 hidden representation을 연결한다.
  • 학습: Inner-Outer Loop는 에이전트 link를 점진적으로 학습하며, inner-loop warm start와 재귀 계산 trace를 따라 gradient를 backpropagation하는 outer-loop 시스템 학습을 사용한다.이를 통해 각 에이전트가 시스템 수준의 feedback을 받아 점진적으로 공동 최적화된다.
  • 이론적 분석: RecursiveMAS는 이론적으로 text-mediated interaction보다 낮은 runtime complexity와 재귀 라운드 전반에서 안정적인 gradient propagation을 지향한다.Latent-space connection은 중간 에이전트의 반복적인 decoding을 방지하고, text-based interaction으로 유발되는 gradient vanishing을 완화한다.
  • 실증적 평가: 이 프레임워크는 수학, 과학, 의학, 검색, code generation에 걸친 9개 benchmark와 다양한 model family 및 4개 협업 시나리오를 사용해 평가된다.시나리오는 sequential reasoning, mixture-of-experts collaboration, expert-to-learner knowledge distillation, tool-integrated deliberation이다.

2. 사전 지식

사전 지식에서는 연속적인 agent state의 점진적 refinement로서 latent-space autoregressive generation, recursive computation, recursive multi-agent evolution을 정의한다. 또한 recursive multi-agent framework에서 sequential 및 mixture-style system을 포함한 유연한 collaboration pattern의 필요성을 제시한다.

  • Latent Space에서의 Auto-regressive Generation: Latent generation은 이전에 생성된 각 hidden state를 다시 model에 입력하여, continuous representation space에서 autoregressive recurrence를 ongoing latent thought로 유지한다.Standard decoding과 달리 다음 step 전에 hidden state를 먼저 vocabulary space로 projection하지 않는다.
  • Recursive Computation: Recursive computation은 동일한 Transformer layer stack을 n forward iterations 동안 재사용하며, recursive refinement가 완료된 representation을 prediction에 사용한다.Shared layer는 recurrent round를 거치며 representation을 점진적으로 심화한다.
  • LLM-based Multi-Agent Evolution: Multi-agent system은 각자의 latent state를 갖는 N LLM agents로 구성되며, 이들의 interaction이 공동으로 input problem에 대한 prediction을 생성한다.Collective system state는 H = {H_1, ..., H_N}으로 표현된다.
  • LLM-based Multi-Agent Evolution: Recursive multi-agent evolution은 agents가 서로의 reasoning state와 반복적으로 상호작용하면서 collective latent state를 점진적으로 refinement한다.이 refinement는 주어진 problem에 대한 system의 정렬을 개선하기 위한 것이다.
  • Collaboration Pattern: Framework는 multi-agent architecture를 하나의 style로 제한하지 않고 sequential 및 mixture style을 포함한 four collaboration patterns를 고려한다.Sequential collaboration에서는 Planner, Critic, Solver role을 할당하는 반면, mixture collaboration에서는 Math, Code, Science agents를 parallel로 실행한 뒤 Summarizer가 aggregation한다.

3. Recursive Multi-Agent System 구축

RecursiveMAS는 서로 다른 LLM agent들 사이에 재귀적 잠재 공간 협업 루프를 구성하고, inner 및 outer RecursiveLink를 사용해 잠재 사고를 생성·전달·정제한다. 이 설계는 텍스트 매개 통신을 효율적인 잠재 변환으로 대체하며, 2단계 재귀 최적화 파이프라인을 제공한다.

  • RecursiveLink 설계: Inner RecursiveLink는 각 agent의 마지막 계층 상태를 다시 입력 임베딩으로 변환해 여러 forward step에 걸친 autoregressive 잠재 사고 생성을 가능하게 한다.Residual 설계는 잠재 의미를 보존하며, 변환된 임베딩은 다음 forward pass의 입력이 된다.
  • RecursiveLink 설계: Outer RecursiveLink는 서로 다른 hidden dimensions를 가진 agent들 사이에서 잠재 사고를 매핑해, 각 agent가 앞선 agent로부터 전달된 정보에 조건을 걸어 생성하도록 한다.마지막 agent 이후 잠재 출력은 inner-outer link를 통해 첫 번째 agent로 돌아가며, 반복적 정제를 위한 루프를 닫는다.
  • 재귀 아키텍처: RecursiveMAS는 각 이종 agent를 RLM과 유사한 계층으로 간주하고, agent 내부와 agent 간에 잠재 정보가 반복되도록 해 통합 추론 루프를 형성한다.Agent들은 잠재 공간에서 추론하고 상호작용하며, 이후 재귀 라운드는 반복적 정제를 위해 이전 시스템 출력에 조건을 건다.
  • 학습 파이프라인: 학습은 각 agent의 inner RecursiveLink에 대한 inner-loop warm-up을 수행한 뒤, 전체 시스템에 걸쳐 outer RecursiveLink를 outer-loop 최적화하는 방식으로 진행된다.이 2단계 파이프라인은 agent 간 협업을 재귀적으로 최적화하기 전에 잠재 사고 생성을 별도로 준비한다.
  • 복잡도 분석: RecursiveMAS는 vocabulary-space decoding을 잠재 공간 변환으로 대체해 텍스트 기반 recursive MAS보다 더 낮은 end-to-end runtime complexity를 달성한다.비교는 Proposition 3.1에서 형식화되며, 제시된 실용적 근거는 d_h ≪ |V|라는 점이다.

4. 전체 시스템으로서 재귀 학습

RecursiveMAS는 2단계 inner–outer 절차를 통해 전체 recursive system을 학습한다. 먼저 agents가 latent-thought generation을 학습하고, 이후 outer links를 recursion rounds 전반에 걸쳐 공동 최적화한다. 이론적 분석에 따르면 latent interaction은 text-based recursion에서 vanishing gradients가 발생하는 경우에도 유익한 gradient를 보존한다.

  • 학습 절차: RecursiveMAS는 시스템을 2단계로 학습한다. inner loop에서는 각 agent의 latent-thought generation을 강화하고, outer loop에서는 recursion rounds에 걸쳐 unified system을 공동 최적화한다.학습이 필요한 것은 RecursiveLink뿐이므로 전체 시스템을 공동 최적화할 수 있다.
  • Model-Level Inner-Loop Training: inner RecursiveLink는 생성된 latent thoughts를 ground-truth embedding semantics에 정렬해 off-the-shelf agents를 warm-start하며, 명시적인 decoding 및 re-encoding을 피한다.학습에는 agent의 last-layer latent thoughts와 input embedding layer에서 얻은 target latent-thought distribution 사이의 cosine-similarity regression을 사용한다.
  • System-Level Outer-Loop Training: outer loop는 시스템을 n recursion rounds 동안 unroll한 뒤, backpropagation이 final prediction에서 shared credit을 할당하도록 모든 outer links를 cross-entropy로 공동 학습한다.전체 recursive computation graph를 보존하면 각 link의 global contribution에 따라 information flow를 최적화할 수 있다.
  • RecursiveMAS의 학습상 이점: 확률 ≥ 1 − δ로, recursion 중 text-based SFT의 gradient norm은 0에 가깝지만, token entropy ≤ ε일 때 RecursiveMAS는 norm이 1에 가까운 stable gradients를 유지한다.이 정리는 recursion rounds 전반의 informative gradients가 학습상의 이점을 제공한다고 설명하며, text-mediated interaction보다 latent-based interaction을 사용해야 할 근거를 제시한다.

5. 실증 평가

RecursiveMAS는 9개 benchmark와 4가지 collaboration pattern에 걸쳐 평가되었으며, 고급 single-agent, multi-agent, recursive baseline을 일관되게 능가한다. recursion depth가 깊어질수록 이점이 커져 평균 성능이 8.3% 향상되고, inference가 1.2×–2.4× 빨라지며, token 사용량이 34.6%–75.6% 감소한다.

  • 과제 및 실험 설정: 평가는 수학적 추론, 과학·의료 과제, code generation, search QA를 포괄하는 9개 benchmark에 걸쳐 수행되었으며, Qwen, Llama, Gemma, Mistral family의 heterogeneous agent를 사용한다.연구에서는 Sequential, Mixture, Distillation, Deliberation collaboration style을 구현한다.
  • Collaboration-pattern 일반화: RecursiveMAS는 4가지 collaboration pattern에 걸쳐 일반화되며, Mixture-style system을 가장 강력한 domain specialist 대비 6.2%, Deliberation-style system을 기존 tool-calling agent 대비 4.8% 향상시킨다.Deliberation-style 평가는 수학 및 search-intensive 과제를 다루며, Mixture-style 결과는 cross-domain specialist 간 상호작용에서 얻는 향상을 보여준다.
  • Recursion-depth 평가: text-based recursion과 비교해 RecursiveMAS는 r=1에서 8.1%, r=2에서 19.6%, r=3에서 20.2% 성능을 향상시키며, inference를 1.2×에서 2.4×로 가속하고 output token을 34.6%에서 75.6%까지 줄인다.light variant와 scaled variant 모두 recursion depth가 증가할수록 성능과 효율성이 더욱 유리해진다.
  • 전체 system 비교: RecursiveMAS는 고급 single-agent method, 대안적 MAS framework, recursive computation baseline을 일관되게 능가하며, 각 benchmark에서 가장 강력한 baseline 대비 평균 성능을 8.3% 향상시킨다.비교에는 동일한 backbone model과 comparable training budget을 사용하며, matched trainable parameter count, recursion depth, training data를 포함한다.
  • 효율성 분석: RecursiveMAS는 첫 번째 recursion round에서 token 사용량을 34.6%, r=3에서 75.6% 줄인다. 이는 recursive interaction이 intermediate text를 반복적으로 decoding하기보다 주로 latent space에서 이루어지기 때문이다.recursion이 깊어질수록 token 감소 폭이 커져 더욱 효율적인 system-level scaling을 뒷받침한다.

6. RecursiveMAS 심층 분석

분석 결과, 더 깊은 recursion은 생성 답변을 ground-truth 의미와 점진적으로 정렬하고 초기 오류를 수정할 수 있으며, 적절한 latent-thought 길이는 성능을 안정화한다. 또한 RecursiveLink 대안을 검토하고 RecursiveMAS의 학습 비용을 직접 fine-tuning 방법과 비교한다.

  • RecursiveLink 설계: RecursiveLink 실험에서는 2-layer residual design을 1-layer, 1-layer residual, 2-layer non-residual 대안과 비교한다.비교에는 Rin과 Rout 모두에 맞게 조정한 scaled sequential-style RecursiveMAS를 사용한다.
  • Recursion에서의 의미 표현: recursion round r=3에서는 생성 답변과 ground-truth 답변의 분포가 대체로 정렬되는 반면, r=1에서는 여전히 뚜렷한 편이가 나타난다.이러한 점진적 정렬은 latent embedding과 이에 대응하는 답변이 반복적으로 정제됨을 의미한다.
  • Recursion에서의 의미 표현: 사례 연구는 더 깊은 recursion이 초기 단계에서 생성된 incorrect answers를 수정할 수 있음을 보여주며, 의미적으로 타당한 latent thoughts를 뒷받침한다.분석 결과는 올바른 최종 출력으로 향하는 반복적 정제를 보고한다.
  • Latent Thoughts Generation의 최적 길이: 초기에는 latent-thought 길이 m이 증가할수록 성능이 향상되다가, 여러 benchmark에서 m=80 부근부터 안정화된다.이 ablation은 scaled sequential-style RecursiveMAS 설정에서 폭넓은 latent-thought 길이 범위를 평가한다.
  • 학습 비용 분석: Training-cost analysis에서는 동일한 training data와 backbone 설정을 사용해 RecursiveMAS를 LoRA 및 full supervised fine-tuning과 비교한다.비용은 agent별 GPU memory와 trainable parameter count를 포함한 GPU 사용량으로 추정한다.

7. 관련 연구

기존 연구는 LLM의 한계를 해결하기 위한 별개의 방법으로 협력적 멀티에이전트 시스템과 재귀적 추론을 연구해 왔다. RecursiveMAS는 재귀적 scaling을 시스템 수준으로 확장하며, 그 밖의 관련 연구는 Appendix C에 제시한다.

  • LLM 기반 멀티에이전트 시스템: 멀티에이전트 시스템은 협업을 통해 단일 LLM의 추론을 확장하여 다양한 추론 패턴과 도메인별 과제에 대응한다 (Su et al., 2025; Tran et al., 2025; Wu et al., 2024; Yang et al., 20…).
  • LLM 기반 멀티에이전트 시스템: Mixture 방식의 시스템은 도메인 전문가 에이전트를 병렬로 실행하고 그 출력을 집계하여 최종 결정을 내린다 (Wang et al., 2025b; Ye et al., 2025b; Yun et al., 2026).
  • LLM 기반 멀티에이전트 시스템: Textual-feedback 방법은 LLM이 생성한 자연어 피드백을 사용해 에이전트의 맥락 입력과 지시를 정제함으로써 멀티에이전트 시스템을 개선한다 (Shen et al., 2025).
  • 재귀를 통한 추론 scaling: Recursive language model은 반복 라운드에 걸쳐 공유 계산 블록을 재사용하여 추론 깊이를 높이고 hidden representation을 반복적으로 정제한다 (Bae et al., 2025; Geiping et al., 2025; Tang et al., 2026).
  • 재귀를 통한 추론 scaling: RecursiveMAS는 recursive scaling을 language model에서 시스템 수준으로 확장한 최초의 시도를 제시하며, 그 밖의 관련 연구는 Appendix C에 제시한다.

8. 결론 · 부록 · A. 이론적 분석

RecursiveMAS는 latent thought 생성, heterogeneous agent 연결, inner-outer optimization을 결합해 system-level recursion으로 multi-agent collaboration을 확장한다. 이 framework는 reasoning, code generation, search benchmark 전반에서 text-based baseline 대비 training stability와 efficiency를 향상하는 것으로 보고된다.

  • 8. 결론: RecursiveMAS는 system-level recursion으로 agent collaboration을 확장한다.
  • 8. 결론: Inner RecursiveLink는 각 agent 내부에서 latent thought 생성을 지원한다.
  • 8. 결론: Outer RecursiveLink는 heterogeneous agent를 collaborative system으로 연결한다.
  • 8. 결론: Inner-outer loop training paradigm은 전체 multi-agent system을 최적화한다.
  • A. 이론적 분석: 이론적으로 RecursiveMAS는 text-based baseline보다 more stable training dynamics를 생성한다.
  • 8. 결론: 이 framework는 mathematical and scientific reasoning, code generation, search benchmark 전반에서 text-based baseline 대비 efficiency를 향상한다.

A.1. 실행 복잡도 분석 … B. 실험 설정

RecursiveMAS는 token-level decoding을 latent RecursiveLink 처리로 대체해 recursive multi-agent runtime을 줄이며, entropy가 낮고 token에 대한 확신이 높은 조건에서는 text-based recursion에서 예측되는 gradient vanishing을 피한다. 제시된 본문은 명시된 가정하에서 이러한 복잡도 및 학습상의 이점을 설명하지만, 실험 설정에 관한 세부 정보는 제공하지 않는다.

  • A.1. 실행 복잡도 분석: RecursiveMAS의 Θ(N(m d^2_h + (t + m)^2 d_h)) 실행시간은 text-based Recursive MAS의 Θ(N(m|V|d_h + (t + m)d^2_h + (t + m)^2d_h))와 대조된다.이 비교는 동일한 collaboration structure를 갖는 시스템을 대상으로 한다.
  • A.1. 실행 복잡도 분석: RecursiveLink는 Θ(m d^2_h)를 추가하는 반면, text-based interaction은 각 latent embedding을 vocabulary logits로 projection하기 위해 Θ(m|V|d_h)를 추가한다.두 접근법 모두 context 및 generated sequences에 대한 표준 Transformer computation을 공유한다.
  • A.1. 실행 복잡도 분석: RecursiveMAS는 전체 시스템에 대해 Θ(N(m d^2_h + (t + m)^2d_h))를 요구하는 반면 text-based Recursive MAS는 vocabulary-projection term을 유지하므로, 실행시간 이점은 N agents에 걸쳐 확장된다.전체 시스템 식은 N agents에 대한 agent별 computation을 합산해 얻어진다.
  • A.2. 현실적인 가정: 분석에서는 text-based SFT를 R_text(h) = W_in softmax(W_out h)로 두고, W_in과 W_out의 operator norm이 bounded하다고 가정하며, RecursiveLink는 Kaiming-normal W_1,W_2와 W_3 = I를 사용해 분석한다.이는 learning analysis에서 제시된 Realistic Assumptions이다.
  • A.3. 학습 이점 분석: entropy ≤ ε인 확신도 높은 token에서 text-based SFT는 gradient vanishing을 겪는 반면, RecursiveMAS는 looped backpropagation 동안 stable하고 거의 일정한 gradient를 유지한다.이 theorem은 각각의 gradient norm이 0에 가깝고 1에 가까움을 probability ≥ 1 − δ로 특성화한다.
  • A.3. 학습 이점 분석: text-based gradient bound는 chain rule, spectral-norm sub-multiplicativity, categorical covariance matrix 및 entropy의 성질에서 도출된다.제시된 proof passages는 이러한 단계를 식별하지만, 생략된 중간 방정식은 제시하지 않는다.
  • A.3. 학습 이점 분석: RecursiveMAS에서는 Kaiming initialization과 bounded GELU derivatives가 stable recursive training과 일치하는 high-probability gradient bound를 뒷받침한다.proof는 triangle inequality를 사용하며, 그 결과 bound가 probability ≥ 1 − δ로 성립한다고 밝힌다.

B.1. 평가 데이터셋 … D.1. 다양한 협업 패턴에서의 결과

RecursiveMAS는 수학, 과학, 의학, 코드 생성, 검색 기반 벤치마크 전반에서 단일 에이전트, 멀티 에이전트, 재귀, 텍스트 통신 baseline과 비교 평가된다. 협업 패턴 전반에서 일관되게 정확도를 높이는 동시에 추론 비용을 줄여 프레임워크의 일반성을 뒷받침한다.

  • B.1. 평가 데이터셋: 평가는 수학적 추론, 대학원 수준의 과학, 의학적 의사결정, 함수형 코드 생성, 검색 집약적 멀티홉 질의응답을 포괄한다.데이터셋에는 MATH500, AIME2025/2026, GPQA-Diamond, MedQA, LiveCodeBench-v6, MBPP Plus, HotpotQA, Bamboogle이 포함된다.
  • B.2. 비교 baseline: RecursiveMAS는 LoRA 및 Full-SFT 단일 에이전트 baseline, layered 및 text-gradient 멀티 에이전트 방법, LoopLM, 그리고 텍스트로 통신하는 recursive MAS와 비교된다.baseline은 단일 에이전트 fine-tuning, 대표적인 멀티 에이전트 협업, 재귀적 latent computation, 명시적 텍스트 기반 에이전트 통신을 각각 분리해 평가한다.
  • B.3. 추가 구현 세부사항: 학습에는 네 도메인의 질의-응답 데이터로 생성한 역할별 supervision target을 사용하며, 각 에이전트에는 협업 역할에 맞춘 입력-출력 쌍이 제공된다.Sequential-Style 시스템에서는 원래 solver 답변과 함께 planner 및 critic을 위한 별도의 target을 구성한다.
  • B.3. 추가 구현 세부사항: 구현에서는 base LLM parameter를 고정하고 inner 및 outer RecursiveLink module만 학습하며, 추론 시에는 task-specific generation limit과 Deliberation-Style MAS를 위한 외부 Python 및 Tavily tool을 사용한다.평가에서는 코드가 아닌 답변을 정규화하고 수치 기반, 객관식, 실행 기반 정확성 검사를 적용한다.
  • C. 추가 관련 연구: 기존 latent-space 협업 연구는 모델과 에이전트 간 통신을 위한 hidden-embedding transfer, internal-state reuse, latent interface를 다룬다.이 연구들은 RecursiveMAS의 latent-space 협업 설계를 위한 관련 연구 맥락을 제공한다.
  • D.1. 다양한 협업 패턴에서의 결과: Mixture, Deliberation, Distillation 협업 패턴 전반에서 RecursiveMAS는 가장 강력한 개별 에이전트보다 일관되게 정확도를 높이며 효율성 측면의 이점도 제공한다.Distillation-Style 시스템에서는 Learner의 성능을 높이고 Expert보다 훨씬 적은 추론 시간을 요구한다.

D.2. Latent Thought 길이에 대한 Ablation … Deliberation-Style RecursiveMAS용 Prompt Template

전달되는 latent thought 길이가 증가할수록 RecursiveMAS 성능이 향상되며, m = 80 부근에서 포화된다. Prompt template은 순차적 planning과 critique, mixture 기반 specialization과 aggregation, expert-to-learner distillation, tool-assisted deliberation을 구현한다.

  • D.2. Latent Thought 길이에 대한 Ablation: m = 80은 대략적인 포화 지점을 나타내며, 전달되는 latent thought가 길어질수록 RecursiveMAS 성능은 모든 benchmark에서 일관되게 향상된다.결과는 효과적인 latent collaboration에 중간 수준의 latent-thought budget이면 충분함을 시사한다.
  • RecursiveMAS용 Prompt Template: 모든 prompt template은 system instruction “도움이 되는 어시스턴트가 되세요.”를 사용한다.이 공통 system prompt는 sequential, mixture, distillation configuration에 나타난다.
  • Sequential-Style RecursiveMAS용 Prompt Template: Sequential-Style RecursiveMAS는 계획 수립 에이전트, 비평 에이전트, 해결 에이전트가 planning, critique, improvement, final answering을 거쳐 latent information을 전달하도록 prompt한다.해결 에이전트에는 최종 답을 \boxed{} 안에 넣도록 지시한다.
  • Mixture-Style RecursiveMAS용 Prompt Template: Mixture-Style RecursiveMAS는 수학, 과학, 코드 전문 에이전트가 domain-specific reasoning을 생성하도록 할당한 뒤, summarizer가 이들의 latent information을 집계하도록 한다.Summarizer는 최종 답을 제시하고 이를 \boxed{} 안에 넣는다.
  • Distillation-Style RecursiveMAS용 Prompt Template: Distillation-Style RecursiveMAS는 expert agent에서 learner agent로 latent information을 전달하며, learner agent는 expert guidance를 사용해 문제를 해결한다.Learner에는 최종 답을 \boxed{} 안에 제시하도록 지시한다.
  • Deliberation-Style RecursiveMAS용 Prompt Template: Deliberation-Style RecursiveMAS는 에이전트에 web-search와 Python tools를 제공한 뒤, reflector와 tool-caller 에이전트를 사용해 현재 solution을 개선하고 해결한다.Tool output은 <python>, </python>, <result>, </result> tag를 사용하며, 최종 답은 \boxed{} 안에 넣는다.

F. 서로 다른 Recursion Round에 대한 사례 연구 … Search Based Tasks(Bamboogle)에서 RecursiveMAS 사례 연구

사례 연구는 RecursiveMAS가 recursion round를 거치며 reasoning을 향상하고 Planner–Critic–Solver loop를 수학, 의료, code generation, search task로 확장함을 보여준다. 예시로 제시된 MATH500 문제에서는 Round 1의 오답이 Rounds 2와 3에서 정답으로 바뀐다.

  • 서로 다른 downstream task에서의 RecursiveMAS 예시: downstream example 전반에서 RecursiveMAS는 latent-space Planner–Critic–Solver round를 세 차례 적용하며, 세 번째 round에서 각 task의 최종 output을 생성한다.수학, 의료, code, search example은 모두 동일한 recursive collaboration pattern을 보여주지만, 제공된 search 발췌문은 retrieval 도중에 끝난다.
  • Scientific and Medical Questions(AIME2026)에서의 RecursiveMAS 사례 연구: AIME2026 medical question에서 RecursiveMAS는 organophosphate poisoning을 진단하고, atropine plus pralidoxime을 올바른 치료법으로 식별한다.이 진단은 miosis, wheezing, diaphoresis, cholinergic-crisis sign으로 뒷받침된다.
  • Code Generation Tasks(MBPP Plus)에서의 RecursiveMAS 사례 연구: MBPP Plus task에서 RecursiveMAS는 길이가 같은지 확인하고 두 번째 tuple의 각 원소가 더 작은지 검증하는 tuple-comparison function을 제안한다.제공된 발췌문은 계획된 logic과 일부 Python implementation을 제시하지만, 명시적인 correctness outcome은 제시하지 않는다.
  • Search Based Tasks(Bamboogle)에서의 RecursiveMAS 사례 연구: Bamboogle search question에서 RecursiveMAS는 task를 Citibank의 founding year를 찾은 뒤 해당 연도의 U.S. president를 식별하는 과정으로 분해한다.제공된 본문은 첫 번째 search query에서 끝나며, retrieved result나 최종 answer는 포함하지 않는다.
Loading 2604.25917v2…