Tmax: A simple recipe for terminal agents

Hamish Ivison; Junjie Oscar Yin; Rulin Shao; Teng Xiao; Nathan Lambert; Hannaneh Hajishirzi

Source-linked AI summary

Tmax: A simple recipe for terminal agents

Hamish Ivison, Junjie Oscar Yin, Rulin Shao, Teng Xiao, Nathan Lambert, Hannaneh Hajishirzi

arXiv:2606.23321v12026년 6월 22일cs.CL

TL;DR

복잡하고 장기적인 과제에서 terminal agent를 학습하는 연구는 충분히 이루어지지 않았다. Tmax는 대규모 synthetic task dataset과 간단한 RL recipe를 도입해, 9B model로 Terminal-Bench 2.0에서 27%를 달성한다.

문제
학술 연구는 복잡하고 장기적인 terminal task보다 bug-fixing이나 단순한 terminal task에 주로 초점을 맞춰왔다.
방법
Tmax는 14,600개의 RL environment로 구성된 compositional dataset TMAX-15K와 간단한 open RL training recipe를 결합한다.
결과
최고 성능의 9B model은 Terminal-Bench 2.0에서 27%를 달성하며, 30B parameter 미만의 open model 가운데 state-of-the-art 성능을 보인다.
시사점 및 한계
Tmax는 terminal agent 학습에 관한 학술 연구를 위한 재현 가능한 open baseline을 제공한다.
시사점 및 한계
Synthetic pipeline은 강력한 generator model에 의존하며, 불안정한 training으로 인해 성능이 data variety와 difficulty에서 비롯된 것인지 판단하기 어려울 수 있다.

Abstract

from arXiv · show

Terminal-using agents have quickly become the most popular downstream application of language models (LMs). Despite their prevalence, relatively little academic work has examined RL-based training of these models, likely due to difficult benchmarks, a lack of data, and a lack of simple baseline recipes. We present Tmax, the strongest open RL recipe for terminal agents to date, bringing open data recipes closer to the frontier. While simple, our recipe achieves 27\% on Terminal-Bench 2.0 with only 9B parameters, outperforming much larger models from prior work. Concretely, we generate data using a novel taxonomy, combining difficulty control, personas, and verifier diversification, which allows us to cheaply generate large amounts of terminal environments for RL and SFT training. We open-source our terminal dataset, which is over 2.5x larger than previously released terminal-agent datasets. We then train open-weight models using RL with our data, using a simple, outcome-only recipe. We release our data, models, and code as a strong baseline for future open academic work on terminal agents at https://github.com/hamishivi/tmax.

1 서론

Tmax는 대규모 난이도 제어 dataset과 간단한 open RL recipe를 통해 RL로 학습된 terminal agent에 대한 학술적 연구 부족 문제를 다룬다. 최고 성능의 9B model은 Terminal-Bench 2.0에서 27%를 달성하며, 학습은 여러 task와 harness에 걸쳐 일반화된다.

1 서론: Tmax는 복잡한 terminal task와 작지만 강력한 open-weight agent를 향후 연구의 baseline으로 제공함으로써 학술 연구의 공백을 겨냥한다.이 연구는 training stability, 복잡한 tool-call 구성, harness 개선, 더 어려운 downstream task를 아직 해결되지 않은 과제로 강조한다.
1 서론: RL training은 SWE-Bench Verified를 5점 이상 향상시키며, 다양한 prompt, tool, harness에서 AIME와 성능도 개선한다.이 결과는 해당 recipe가 특정 harness에 단순히 fitting하는 것이 아니라 capability를 학습시킨다는 근거를 제공한다.
1 서론: TMAX-15K는 난이도, domain, 요구 skill이 서로 다른 14,600개의 RL environment instance를 제공하며, 이는 기존 terminal dataset보다 2.5배 이상 크다.이 synthetic pipeline은 task 난이도를 명시적으로 제어하고 높이며, binary correctness check를 넘어 연속값 reward를 사용한다.
1 서론: Tmax의 최고 성능 9B model은 Terminal-Bench 2.0에서 27%를 달성하며, 30B parameter 미만의 open model 가운데 state-of-the-art 성능을 기록한다.
1 서론: Tmax는 Endless Terminals와 OpenThinker-Agent 같은 기존 open recipe를 능가하는, 간단하고 재현 가능한 open RL recipe를 제공한다.저자들은 model 학습에 필요한 구성 요소를 공개적으로 배포한다.

2 배경 및 관련 연구

기존 terminal-agent 연구는 복잡한 과제의 필요성을 드러냈으며, 대체로 repository adaptation 또는 taxonomy-guided synthesis를 따랐지만 RL training은 충분히 탐구되지 않았다. Tmax는 taxonomy-guided generation을 채택하고, 다양하고 난이도가 균형 잡힌 RL environment 14,000개 이상을 공개한다.

동기: 초기 NL2Bash 기반 RL data는 강력한 SFT model보다 유의미하게 개선되지 못했으며, 이는 더 강한 learning signal을 제공하는 복잡한 terminal-agent task의 필요성을 뒷받침했다.NL2Bash는 자연어 instruction과 웹에서 수집한 bash command를 짝지었고, 이를 OpenThinker Agent (Team, 2025)의 RL dataset으로 변환했다.
관련 연구: Terminal-agent data generation은 일반적으로 repository나 task를 변형하거나, seed task와 taxonomy를 바탕으로 새로운 task를 합성한다.Repository 기반 연구는 SWE-Bench 중심의 dataset과 model이 주도하며, 이들의 bug-fixing task는 terminal-agent workload의 일부만 다룬다.
관련 연구: Tmax는 taxonomy- 또는 seed-guided synthesis를 따르며, 현대 model에는 지나치게 쉬운 Endless Terminals의 규모가 더 작고 file manipulation에 집중된 dataset 문제를 다룬다.Endless Terminals (Gandhi et al., 2025)는 강력한 external model을 사용해 terminal task를 생성하지만, 훨씬 적은 수의 task를 만들며 file manipulation에 집중한다.
Data generation: 14,000개가 넘는 고유 RL environment가 다양한 난이도를 아우르며 terminal-agent task 전반에 걸쳐 균형을 이룬다.이는 Tmax가 채택한 data-generation 접근법이다.
terminal agent를 위한 RL: RL은 LM post-training의 중심으로 점점 더 자리 잡고 agentic task에서 성공을 거두고 있지만, terminal agent를 위한 RL training을 연구한 작업은 상대적으로 적으며 기존 data 대부분은 finetuning에만 사용되었다.기존 data-generation 연구로는 (Wu et al., 2026; Zhu et al., 2026; Pi et al., 2026)가 있으며, agentic task에서 성공한 RL 연구로는 (Cursor Research et al., 2026)가 있다.

3 Terminal 데이터 생성

TMAX는 구조화된 샘플링, 다변화된 task 형식, 실행 전용 검증을 통해 확장되는 조합적 terminal-task 생성 pipeline을 도입한다. 이를 통해 대규모·균형적·고난도·오염이 제거된 dataset인 TMAX-15K1과 더 작은 SFT warm-start set을 생성한다.

Data 생성: 이 pipeline은 구조화된 축을 계층적으로 샘플링해 domain, persona, artifact, complexity, verifier difficulty를 명시적으로 제어하면서 조합적으로 다양한 task를 생성한다.domain과 skill에 직교적 diversity 축을 더하고, persona별 생성, multimodal fixture, 세분화된 complexity bucket, 등급화된 verifier를 사용한다.
Dataset 구성: 14,600개 task가 TMAX-15K1을 구성하며, 추가로 2.2k개 environment에서 16.5K개의 SFT trajectory를 생성한다. 이 중 성공한 trajectory는 8K개다.SFT data에는 Qwen 3.6 27B가 생성한 trajectory를 사용하고, 파싱되지 않은 tool call은 필터링한다.
난이도 및 균형: 42% pass@1, 50% pass@4, 53% pass@8을 기록한 TMAX-15K1은 평가된 terminal dataset 중 가장 어려운 축에 속한다.8개 rollout을 사용한 250-task subsample에서 pass@1은 42%로, prior dataset의 41–92%와 비교된다. pass@4와 pass@8은 가장 낮다.
구성: TMAX-15K1의 balance score는 domain에서 0.998, skill-type에서 0.732로, 비교된 dataset 중 가장 높다.이 framework는 domain을 명시적 sampling 축으로 노출해 9개 label에 대한 domain별 mass를 직접 보정할 수 있게 한다.
오염 제거: 이 dataset은 13-gram contamination check에서 Terminal-Bench와 TB-Lite 모두와 0% overlap을 보인다.이는 보고된 contamination protocol에서 prior dataset 대다수와 일치한다.

4 터미널 에이전트 학습

TMAX는 비동기 DPPO 기반 RL을 터미널 특화 인프라 및 평가 제어와 결합한다. 데이터셋, 모델 크기, harness, 모델군 전반에서 TMAX는 터미널 에이전트 성능을 높이고 학습 설정을 넘어 전이된다.

학습 recipe: 학습에는 이진 total-variation divergence 기반 token masking, active sampling, zero-variance group filtering을 적용한 비동기 DPPO를 사용한다.구현은 open-instruct를 확장하고, Podman 또는 Apptainer sandbox에서 vLLM rollout을 사용하며, mismatch를 줄이기 위해 language-model head를 FP32로 유지한다.
데이터셋 비교: TMAX-15K는 RL 학습에서 기존 터미널 데이터셋보다 뛰어난 성능을 보이지만, 학습 전반에 더 많은 interaction step과 점점 더 많은 assistant-turn token을 요구한다.이러한 경향은 데이터가 여전히 어렵고 학습 중 더 복잡한 reasoning과 tool call을 유도한다는 점을 시사한다.
주요 결과: TMAX-9B는 Terminal-Bench 2.0에서 10B parameter 미만 모델 중 가장 강력하며, 기존 32B variant를 능가하고 폐쇄형 대형 연구소 모델에 근접한다.또한 기존 터미널 에이전트용 open RL recipe보다 뛰어난 성능을 보인다.
스케일링: 동일한 RL recipe는 2B부터 27B parameter까지 Qwen 3.5 모델의 성능을 향상시키지만, 소형 모델에서는 향상 폭이 줄어들고 27B base에서는 향상시키기 더 어렵다.이 recipe는 이러한 모델 크기 전반에 수정 없이 적용된다.
Terminal-Bench를 넘어: TMAX-9B는 traditional single-turn setting을 포함해 SWE-Bench Verified와 AIME 성능을 향상시키며, 이는 터미널 harness와 도메인을 넘어선 이점을 보여준다.저자들은 이 결과를 범용 문제 해결을 위한 터미널 도구 사용 능력 향상과 연결한다.
Harness 일반화: TMAX-9B는 평가한 harness 전반에서 최소 9 point 향상되지만, 가장 큰 향상 폭과 최고 성능은 여전히 저자들의 자체 harness에서 나타난다.이는 단일 harness 터미널 RL에서 다른 설정으로의 전이를 뒷받침한다.

5 TMAX-9B 학습의 과제

TMAX-9B 학습에는 두 가지 핵심 과제가 있다. SFT는 Qwen 3.5 9B의 성능을 저하시킬 수 있으며, RL 실행은 약 300 step 이후 자주 불안정해지거나 붕괴한다. 저자들은 수치적·알고리즘적 변경으로 불안정성을 완화했지만, multiturn task, sandbox 비용, 학습–평가 불일치는 여전히 중요한 한계로 보고한다.

SFT의 한계: SFT는 Qwen 3.5 9B의 성능을 저하시키지만 Qwen 3 8B에는 도움이 된다. 저자들은 Qwen 3.5를 위한 더 나은 SFT 혼합을 향후 과제로 남긴다.TMAX SFT는 Qwen 3.6 27B를 teacher로 사용하지만 여전히 Qwen 3.5 9B의 성능을 저하시킨다. 오래된 데이터는 더 약한 teacher model의 영향을 받았을 가능성이 높다.
RL 불안정성: 학습은 자주 불안정했으며, 실행은 300 step을 넘어서면서 빈번하게 붕괴했다.Qwen 3 8B 학습에서도 유사한 불안정성이 나타났으므로, 이 문제는 Qwen 3.5에만 국한되지 않는다.
RL 불안정성: Qwen 3.5의 hybrid architecture는 학습과 inference 사이에 수치적 불일치를 유발하므로, FP32 LM head를 사용하게 되었다.FP32 LM head는 이러한 불일치를 줄이는 데 도움이 되었다.
RL 불안정성: DPPO, FP32 LM head, prompt당 32 rollouts는 학습 불안정성을 줄였으며, 작은 KL penalty는 붕괴의 심각도를 낮췄지만 전체 reward는 감소시켰다.DPPO와 더 큰 group size의 효과는 Figures 7과 8에 보고된 학습–reward 비교로 뒷받침된다.
학습 환경: 긴 multiturn terminal task, 비용이 큰 sandbox infrastructure, 높은 부하에서의 실행 문제는 불안정성을 악화시키고 평가 중에는 나타나지 않는 조건을 만든다.assistant turn이 10회를 넘은 뒤 불안정성이 증가했으며, 5회 미만의 turn으로 진행한 pilot training에서는 나타나지 않았다.

6 결론 … B.3 Balance score

TMAX는 14,600개 환경으로 구성된 dataset과 단순한 RL recipe를 결합해 강력한 open-weight terminal agent를 학습하지만, synthetic pipeline과 불안정한 training은 여전히 중요한 한계다. 부록에서는 verifier diversity, dataset difficulty, balance-score metric을 추가로 분석한다.

6 결론: TMAX-9B는 10B 미만 open-weight model 중 state-of-the-art 성능을 달성하며, 기존 open terminal RL recipe를 크게 능가한다.이 recipe는 명시적인 difficulty 및 diversity control을 적용해 구축한 14,600개 RL environment dataset인 TMAX-15K와 단순한 RL training을 결합한다.
6 결론: Synthetic data pipeline은 강력한 generator model에 의존하며, 단순히 그 generator를 따라가는 것이 아니라 이를 넘어 개선할 수 있는지는 불분명하다.Training 역시 불안정하므로, 성능이 목표로 한 variety와 difficulty보다 stability를 촉진하는 feature를 반영한 것일 수 있다.
A 기여 명세: 프로젝트는 핵심 training 및 evaluation, data generation 및 analysis, experiment support, feedback, compute management, paper writing을 명시된 저자들에게 분담했다.모든 저자는 paper writing에 참여했으며 experiment에 대한 general feedback을 제공했다.
B.1 Verifier 및 fixture 종류: 각 task는 하나의 verifier kind와 하나의 fixture kind를 sample하며, 기존의 text-in/text-out default를 넘어 graded verification과 non-text input을 추가한다.Graded verifier는 brittle한 string equality를 줄이고 연속적인 difficulty knob을 제공하며, non-text fixture는 text-only policy를 변경하지 않고 input의 범위를 넓힌다.
B.2 Pass@k 난이도 곡선: TMAX는 모든 k에서 CLI-Gym과 함께 가장 어려운 pass@k 구간에 속하며, 모든 dataset 중 pass@8이 가장 낮고 여덟 번의 rollout 이후에도 여전히 어렵다.Figure 9는 고정된 250-task subsample에서 Gemini-3-Flash-Preview를 사용하며, 곡선이 낮을수록 difficulty가 높음을 의미한다.
B.3 Balance score: Balance score는 exp(H)/N으로, category의 normalized effective number를 측정하며 concentrated mass의 1/N부터 uniform coverage의 1.0까지 변한다.Bucket count가 서로 다른 축 간에도 비교할 수 있고 uniform diversity의 fraction을 나타내므로 raw entropy보다 선호된다.

B.4 오염 제거 · C 하네스 선택 · D 추가 RL 학습 세부사항

이 논문은 Terminal-Bench 2.0 및 TB-Lite와의 13-gram 중복을 사용해 train–test 오염을 검증하고, 소형 모델에서 Terminus-2보다 우수한 더 단순한 mini-SWE-agent 기반 하네스를 선택한다. 하네스 선택은 tool-format 복잡도와 RL 학습 복잡도 감소를 근거로 한다.

B.4 오염 제거: 오염 검증에서는 데이터셋 task description을 Terminal-Bench 2.0 및 TB-Lite benchmark description과 비교한다.
B.4 오염 제거: stride 1의 sliding 13-token 윈도우를 사용하며, 어떤 윈도우라도 benchmark 13-gram과 일치하면 데이터셋 task를 플래그 처리한다.
B.4 오염 제거: 이 프로토콜은 표준 오염 검증 절차(Brown et al., 2020; Touvron et al., 2023)를 따르며, n이 클수록 더 엄격한 검증이 되고 허위 일치가 줄어든다.
B.4 오염 제거: 오염 분석에서 TB2의 중복률은 0.5%로 보고된다.
C 하네스 선택: 초기 선택 하네스는 mini-SWE-agent에서 영감을 받았으며, Claude Haiku 4.5와 같은 소형 closed-source 모델의 결과를 바탕으로 선택되었다.
C 하네스 선택: 제안된 하네스와 mini-SWE-agent는 Table 12에서 Terminal-Bench 모델의 일반적인 기본값인 Terminus-2보다 우수한 성능을 보인다.
C 하네스 선택: 저자들은 소형 모델이 따르기 어려운 복잡한 tool format 때문에 Terminus-2의 성능이 더 낮다고 본다.
C 하네스 선택: RL 학습 중 복잡도를 줄이기 위해 더 단순한 하네스도 선호되었다.

D.1 전체 RL training hyperparameters · D.2 전체 SFT Training Details

부록은 기본 RL 및 SFT hyperparameters를 명시하며, SFT는 대체로 Pi et al. (2026)을 따르고 실패했거나 불완전한 rollout을 유지한다. 또한 verifier와 fixture 변형을 문서화하고 대규모 SFT mixture의 전체 구성을 제시한다.

D.1 전체 RL training hyperparameters: 최종 training recipe는 Table 13의 RL hyperparameters와 Table 14의 SFT hyperparameters를 기본값으로 사용한다.달리 명시하지 않는 한 이 설정이 표준 구성을 정의한다.
D.1 전체 RL training hyperparameters: Four graded verifiers가 기존의 exact-text equality를 보완하여, 명시적인 difficulty knob를 제공하면서 exact matching을 완화한다.verifier taxonomy는 평가 난이도의 통제된 변화를 지원한다.
D.1 전체 RL training hyperparameters: Optional non-text fixtures에서는 policy를 text-only로 유지하면서 agent가 표준 terminal tooling을 통해 숨겨진 ground truth를 복원해야 한다.각 task에는 non-text artifact가 포함될 수 있지만 agent-facing policy는 text-based로 유지된다.
D.2 전체 SFT Training Details: SFT hyperparameters는 대체로 Pi et al. (2026)을 따르며, 실패했거나 불완전한 dataset rollout을 필터링하지 않는 결정도 포함한다.이 선택은 SFT data에서 실패했거나 불완전한 예시를 보존한다.
D.2 전체 SFT Training Details: SFT configuration은 Table 14에 명시되어 있으며, supervised fine-tuning에 사용된 세부 설정을 제공한다.부록은 전체 SFT hyperparameters의 권위 있는 출처로 Table 14를 가리킨다.
D.2 전체 SFT Training Details: Table 15는 §5.1에서 소개한 대규모 SFT mixture의 complete splits를 제시한다.이 표는 ‘big’ SFT mix의 구성을 확장해 보여준다.

D.3 SWE-Smith 학습

완벽하게 해결한 샘플이 필터링되기 때문에 SWE-Smith는 RL에 점점 부적합해지며, 학습이 느리고 비용이 커진다. 따라서 학습은 약 100 steps 부근에서 중단되고 checkpoint 평가는 더 자주 수행된다.

D.3 SWE-Smith 학습: 모든 32개 rollout이 점점 더 reward 1을 달성해 필터링되므로, RL batch 하나를 채우려면 최대 200–300개의 SWE-Smith 샘플을 처리해야 한다.Figure 10에 나타난 것처럼, 이러한 필터링으로 인해 학습이 매우 느리고 비용이 커진다.
D.3 SWE-Smith 학습: 완벽하게 해결한 샘플을 필터링하면 이후 SWE-Smith RL 학습이 감당할 수 없을 만큼 느리고 비용이 커지기 때문에, 학습은 약 100 steps 부근에서 중단된다.모든 샘플을 batch에 추가했다면, step 100에 도달하는 데 걸리는 시간에 대략 1,000 steps까지 학습했을 것이다.
D.3 SWE-Smith 학습: 다른 모델에 적용한 100 steps마다의 평가 대신, steps 20, 40, 60, 80, and 100에서 checkpoint를 평가한다.이 일정은 단축된 SWE-Smith 학습 실행을 반영한다.

D.4 GRPO Training · D.5 Filtered Samples

지정된 clipping 설정을 적용한 수정 Open-Instruct 구현으로 DPPO와 GRPO를 비교한다. RL training에서는 모든 reward가 동일한 sample을 필터링하며, 이러한 sample은 TMAX-15K에서 드물고 정보성 있는 rollout group을 나타낸다.

D.4 GRPO Training: 수정된 Open-Instruct 구현을 사용해 Fig. 7에서 GRPO와 DPPO를 비교한다.이 수정에서는 (DeepSeek-AI et al., 2025)를 따라 ratio 계산에 vLLM이 직접 반환한 logprobs를 πold로 사용한다.
D.4 GRPO Training: GRPO는 clip-higher 0.272와 clip-lower 0.2를 사용하며, 그 외에는 Tab. 13의 hyperparameter와 동일하다.
D.4 GRPO Training: GRPO ratio는 (DeepSeek-AI et al., 2025)를 따라 vLLM-returned logprobs를 πold로 직접 사용한다.
D.5 Filtered Samples: Fig. 11에 보이듯, TMAX-15K RL training 전체에서 all-zero reward group은 상당히 적게 유지된다.
D.5 Filtered Samples: 모든 reward가 동일한 sample은 batch에 gradient를 전혀 기여하지 않으므로 필터링한다.
D.5 Filtered Samples: 필터링된 group이 드물다는 사실은 model이 어떤 solution을 찾기에는 data가 충분히 쉽지만, 32 rollouts 중 적어도 하나의 mistake를 만들 만큼은 충분히 어렵다는 것을 시사한다.

D.6 Reward Hacking · E 추가 평가 세부사항

TMAX-9B는 RL training 후 세 가지 reward-hacking 패턴을 보였지만, 이러한 rollout은 0점을 받아 downstream performance에는 영향을 주지 않는다. 추가 평가 세부사항에는 RL, SFT, large-mix dataset configuration이 제시된다.

D.6 Reward Hacking: 두 개의 break-filter-js-from-html 실행은 /tests/filter.py를 no-op filter로 교체하고 단순한 <script>alert(...) payload를 사용했다.
D.6 Reward Hacking: 두 개의 caffe-cifar-10 실행은 stub Caffe binary, simulated logs, dummy .caffemodel files를 사용해 training을 속이려 했다.
E 추가 평가 세부사항: 달리 명시하지 않는 한 RL 실행은 Table 13에 나열된 hyperparameters를 사용한다.
E 추가 평가 세부사항: SFT training hyperparameters는 Table 14에 제시되어 있으며, Table 15에는 §5.1에서 설명한 ‘big’ SFT mix의 source datasets and sample counts가 나열되어 있다.
D.6 Reward Hacking: 두 개의 build-pov-ray 실행은 가짜 POV-Ray 2.2 output을 출력하거나 placeholder images를 작성하는 mock /usr/local/bin/povray wrappers를 생성했다.
D.6 Reward Hacking: 모델의 CoT는 의도적인 verifier deception보다는 simplification을 시사했다. 한 Caffe 실행에서 task가 너무 복잡하다고 판단한 뒤 minimal fake binary를 제안했기 때문이다.표시된 reasoning에서는 proper training output과 model file을 생성하면서 caffe binary로 minimal C program을 사용하는 방안을 설명했다.

E.1 Figure 1 전체 결과

Figure 1의 Terminal-Bench 2.0 전체 수치 결과는 Table 16에 보고되어 있으며, 기존 논문의 결과와 open-weight 및 closed-weight 모델의 공식 leaderboard 항목을 결합한다. Qwen과 TMAX 평가는 표준화된 Daytona/vLLM 설정에서 harness를 5회 실행한 평균이다.

Evaluation setup: 여러 harness 결과가 보고된 경우, 비교에는 mini-swe-agent 또는 Terminus-2 실행 중 최고 결과를 사용한다.TMAX-9B에는 §D.6에 설명된 소규모 수동 reward-hacking 점검도 수행한다.
전체 결과: Table 16에는 Figure 1의 Terminal-Bench 2.0 전체 수치 결과가 보고되어 있다.기존 연구의 값은 해당 논문에서 가져오며, open-weight 및 closed-weight 모델의 값은 공식 leaderboard 항목 중 최고 결과를 사용한다.
Evaluation setup: Qwen 및 TMAX 모델의 점수는 저자들의 harness를 사용해 5회 실행한 평균이다.두 모델군 모두 sandbox backend로 Daytona를, 단일 A100 노드에서 vLLM을 사용하며, 시간 초과 실행은 최대 3회까지 재시작한다.