Towards a Science of Scaling Agent Systems

1. 引言

• 智能体任务要求持续与环境交互、在部分可观测条件下迭代收集信息，并根据反馈改进策略，拓展了 Agentic Benchmark Checklist 。多智能体评估主要采用非智能体任务，可能导致对交互式部署中协作价值的误判。出处：§1 · p. 2
• 多智能体探索以有损通信取代统一上下文，而持续交互会引入随交互深度增加的协调开销、相互分歧的世界状态，以及级联执行错误。这些动态过程不同于静态基准上的规模扩展。缺乏定量指导时，实践者只能依赖经验法则；前沿模型能力的提升又使协作的额外价值更难辨明。出处：§1 · pp. 2–3
• 研究在计算预算相同的 260 种配置下，跨三个 LLM 家族和六项智能体基准比较五种架构，并保持任务提示词与工具不变。五种架构为 Single Agent、Independent、Centralized、Decentralized 和 Hybrid，均使用 OpenAI、Google 和 Anthropic 的模型实现。该设计控制了架构比较中的混杂因素，并考察最终准确率之外的协调过程。出处：§1 · p. 3
• 在留出的任务配置中，87% 的最优架构预测正确；跨六项基准的交叉验证性能预测达到 R^2=0.373。采用基于任务的能力指标时，R^2 达到 0.413。混合效应模型使用效率、错误放大、消息密度和冗余度，不含数据集专属参数；其泛化结论仅限于文中报告的留出配置。出处：§1 · p. 3
• β=−0.096 (p=0.002) 刻画了工具使用与协调之间的权衡：工具密集型任务承受多智能体开销，且效率损失随环境复杂度增加而累积。多智能体协调分散了各智能体的 token 预算，使其无力完成复杂的工具编排。出处：§1 · pp. 3–4
• 文中报告的能力上限对应单智能体准确率 45%：超过这一基线后，增加智能体会带来负收益 (β=−0.236, p=0.004)。协调成本超过了逐渐缩小的改进空间。更高的 Intelligence Index 仅在架构匹配时带来稳定的线性收益；否则，协调开销可能抵消基础模型的能力提升。出处：§1 · pp. 3–4
• Independent 系统在执行轨迹层面的错误放大为 17.2×，而集中式协调下为 4.4×；集中式协调的验证关口会在汇总前拦截错误。未经检查的个体错误会级联传播至最终输出，因此验证结构是影响协作可靠性的可量化因素。出处：§1 · pp. 3–4
• 集中式协调在结构化金融推理中带来 +80.8% 的相对提升，而独立式协调在序列规划中造成 −70.0% 的性能下降。去中心化协调使动态网页导航性能提升 +9.2%，但所有多智能体变体都使规划性能下降 −39% 至 −70%。在固定计算预算下，协调使推理能力分散，从而损害序列约束满足能力。出处：§1 · pp. 3–4

多智能体系统（MAS）与单智能体系统（SAS）

• 单智能体系统只有一个推理主体，而多智能体系统通过消息、共享记忆或编排，协调多个由 LLM 驱动的智能体 [13] [14]。若自我反思仍局限于同一个决策主体内，就不构成协作 。独立式系统汇总彼此隔离的输出；去中心化系统采用对等交流 [27]，中心化系统使用编排器 [28]，混合式系统则结合层级通信与横向通信 [40]。出处：§2 · pp. 4–5
• Anthropic 的智能体消耗的 token 数多出15×，而 Gao 等人 [16] 发现，随着基础模型能力提升，协作收益逐渐减小。Gao 等人 [16] 报告，前沿模型往往优于智能体团队；Cemri 等人 [15] 识别出14种失效模式（Cohen’s Kappa=0.88）。这些发现对多智能体普遍占优的假设提出了挑战。出处：§2 · p. 5

智能体任务与基准

• 不同于单次推理基准，智能体任务需要持续与环境交互，在部分可观测条件下收集信息，并根据反馈不断改进策略 。这一区分将交互式浏览、交易、软件工程和规划，与数学、知识、规格完整的编程及理解等静态评测区分开来。出处：§2 · p. 5
• 五个智能体在 HumanEval 上达到89%，展示了集成方法在非智能体基准上的收益 [23]；但真正的交互会引入协调开销、状态分歧和级联错误。Kapoor 等人 [23] 报告，10次交互后，世界状态的重合度仅为34%；协调开销随交互深度增加。投票可以纠正孤立错误，而不会出现智能体场景中错误沿序列不断累积的问题。出处：§2 · p. 5
• 本文将贡献定位为：对不同协调架构下的智能体评测进行系统性控制，以刻画协作收益如何随模型能力变化。研究比较了五种协调架构，以及来自三个 LLM 家族的九个模型，而非为智能体评测提出新定义。Zhu 等人 发现，基准缺陷可导致100%的相对误估，进一步凸显了评测控制的重要性。出处：§2 · p. 5

扩展定律与协调机制

• 协作扩展呈现逻辑斯蒂增长 [42]，不同于神经网络的幂律扩展 [54]，但 Wang 等人 [1] 未发现显著的普适性协作扩展规律。Chen 等人 [55] 区分了复合系统推理扩展与单模型训练。未发现普适的协作规律，表明扩展定律可能具有领域特异性，而非普遍适用。出处：§2 · pp. 5–6
• 已有研究表明，使通信拓扑与任务结构匹配，比单纯扩大团队规模更重要。Zhang 等人 [43] 报告，采用随查询调整的配置，仅需6-45%的成本即可取得更优性能；Dang 等人 [40] 则将编排效果的提升归因于紧凑的环状结构。Du 等人 [27] 和 Smit 等人 [58] 表明，辩论的收益取决于任务可分解性、任务本身及超参数，并不能稳定优于单智能体策略。出处：§2 · p. 6

3.1. 系统定义

• 基于多智能体形式化框架 [14]，系统由智能体、共享环境、通信拓扑和编排策略构成；智能体数量决定系统属于单智能体还是多智能体系统。智能体包含推理策略、工具调用动作、记忆，以及从历史到动作的映射函数；历史记录在上下文长度限制内追加动作–观察对。单智能体系统采用单一顺序循环，计算和内存开销均为 O(k)，无通信开销，但任务分解与验证能力有限。出处：§3.1 · pp. 6–7
• 独立式、集中式、去中心化和混合式架构分别用于单独考察并行探索、分层验证、同级智能体间的信息融合，以及层级与横向相结合的信息交换。独立式聚合仅拼接输出，不进行交叉验证或投票；集中式编排会引入控制瓶颈。去中心化架构中的智能体采用全互连通信，混合式架构则将编排与有限的同级通信相结合。出处：§3.1 · p. 7
• 通信负责传递消息，协调负责指挥活动；编排可管理输出聚合、决策覆盖、记忆持久化和终止。集中式协调负责分解任务并监控进度，而去中心化辩论则将信息交换与集体行动指挥交织在一起。出处：§3.1 · pp. 7–8
• 在任务级和轨迹级错误放大指标下，具备验证机制的架构均比独立式协调更能有效遏制错误。任务级放大系数为 E_MAS/E_SAS，其中 E = 1 − P，P 为任务成功率；大于 1 表示错误净增加，小于 1 表示错误受到抑制。轨迹级放大指标利用执行轨迹中的 token 数，估算协调失败带来的额外计算工作量。出处：§3.1 · p. 8

3.2. 智能体任务与基准

• 智能体基准要求任务具备序列上的相互依赖、部分可观测性和自适应策略形成，面向交互方式明显优于单次作答的任务。任务定义沿用并扩展了 Zhu 等人 的定义。智能体必须获取隐藏信息，并随着新观察的到来更新策略。出处：§3.2 · p. 8
• 任务是否具有智能体特征取决于当前模型能力：基准面向需要与环境进行多步交互的任务，而非通过直接提示即可解决的静态推理任务。在当前设定下，GSM8K 和 MMLU 不具备所需条件；如今被视为智能体任务的任务，随着模型能力提升，未来可能只需单次作答即可解决。出处：§3.2 · p. 9
• 采用 L > 3 的动作–观察轨迹、相同的工具接口、参数化知识控制，以及相对于最佳单智能体基线的归一化，有助于分离架构效应。同一模型家族内的评估侧重自适应推理，而非记忆的事实；跨家族比较则通过基线归一化来控制知识差异。出处：§3.2 · p. 9

4.1. 实验设置

• 260 种配置涵盖六个基准、三个 LLM 系列和五种架构，单智能体与多智能体系统的最大总迭代次数保持一致。架构包括 SAS、Independent、Centralized、Decentralized 和 Hybrid。四个基准的每种配置使用 50–100 个实例；由于基于 Docker 的评估成本较高，SWE-bench Verified 和 Terminal-Bench 使用 20 个实例的子集。出处：§4.1 · pp. 10, 12

4.2. 主要结果

• 六个基准上 MAS 相对 SAS 的平均提升为 −0.3%，但这一均值掩盖了巨大差异：PlanCraft 的 Independent 为 −70.0%，Finance 的 Centralized 为 +80.8%。总体提升的 95% CI 为 [−58.7%, +77.2%]，σ = 37.5%，表明结果存在显著异质性。出处：Figure 2 · p. 11, §4.2 · p. 14
• Decentralized MAS 在 BrowseComp-Plus 和 Workbench 上分别取得 +9.2% 和 +5.6% 的收益，而 SWE-bench Verified 和 Terminal-Bench 的收益有限或为负。SWE-bench Verified 上所有 MAS 变体相对 SAS 均下降 −2.1% 至 −14.9%，这与大多数模型的单智能体基线超过 45% 一致。Terminal-Bench 上 Independent 提升 +1.7%，Centralized 则变化 −19.2%，表明仅有两个工具时，编排收益有限。出处：§4.2 · pp. 13–14
• 决定协调是否可行的是任务可分解性，而非复杂度本身：Finance Agent 的并行推理受益，PlanCraft 的顺序任务则因通信挤占推理资源而受损。在固定 token 预算下，人为分解 PlanCraft 任务会增加冗余的配方查询和库存检查。信息价值收敛在 Finance Agent 中呈强相关（r = 0.71, p < 0.001），在 PlanCraft 中则相关较弱（r = 0.18, p = 0.22）。出处：§4.2 · pp. 13–15
• 在 Finance Agent 上，Google、Anthropic 和 OpenAI 的 Centralized MAS 相对 SAS 分别提升 +164.3%、+127.5% 和 +69.9%。没有任何厂商全面占优，PlanCraft 的顺序约束会削弱各厂商模型的多智能体性能。尽管不同模型系列各有架构偏好，各架构的扩展斜率在系列间最多相差 Δmax = 0.023，且 CV < 0.02。出处：§4.1 · p. 12, §4.2 · p. 15

4.3. 扩展规律

• 扩展模型通过具有机制依据的非线性项和交互项，整合模型能力、智能体数量、工具数量、单智能体基线及实测协调指标。协调指标包括开销、消息密度、冗余度、效率及执行轨迹层面的错误放大。能力的二次项与数量的对数项用于刻画非线性扩展，交互项则检验基线饱和及工具相关的协调成本。出处：§4 · p. 10, §4.1 · p. 13, §4.3 · pp. 16–17
• 在 260 种配置上，使用 ACI 的回归模型交叉验证 R^2 为 0.413，使用 Intelligence Index 时为 0.373，概括了模型的预测表现。五折验证以配置为留出单元；模型无需数据集专属参数，便优于仅使用架构标签或仅使用智能水平的替代模型。ACI 衡量各模型在全部六个基准上的平均单智能体性能。出处：§4.3 · pp. 16–17
• 效率与工具数量的交互系数为 −0.096，是最大的交互效应，表明工具密集型任务更易受到多智能体低效率的拖累。其 95% CI 为 [−0.154, −0.037]，p = 0.002。协调效率从 SAS 的 E_c = 0.466 降至 Hybrid 的 E_c = 0.074 或 Independent 的 E_c = 0.234，文中报告的效率损失为 2–6×。出处：§4.3 · p. 17
• 工具丰富的环境会放大协调低效率，而在测试范围内，模型能力越高，性能越好，二者呈正向线性关联。不能通过将原始预测变量相乘来解释标准化交互项：T ≤ 4 时效率效应可忽略（|ΔP| < 0.05）；架构开销介于 58% 至 515%，其与工具数量的交互仅呈方向性、未达显著水平（p = 0.211）。在 I ∈ [42, 71] 范围内，智能水平的 β = 0.126（p = 0.008），二次效应不显著（p = 0.977）。出处：§4.3 · pp. 17–18
• R^2_CV = 0.373，且留出配置的架构选择正确率为 87%，支持完整扩展模型具有超越基础预测变量及仅依据能力选架构的预测价值。完整交互模型达到 AIC = −236.3；基于任务表现的 ACI 将 R^2_CV 提高至 0.413，未观察到结论反转，而仅依据能力选择架构的正确率为 54%。示例任务类型分别适合单智能体规划、集中式分析和去中心化的工具密集型执行。出处：Table 3 · p. 19, §4.3 · p. 19, §4.5 · p. 25

4.4. 协调效率、错误动态与信息传递

• T = 2.72 × (n + 0.5)^1.724 描述了跨架构汇总的推理轮数（R^2 = 0.974）；智能体数量超过 3–4 个后，固定预算下的推理表现开始下降。拓扑结构仍然重要：三个智能体的 Independent 平均为 11.4 轮，Decentralized 为 26.1 轮；Hybrid 需要 44.3 轮，SAS 则为 7.2 轮。协调排名在不同领域保持一致（Kendall τ = 0.89），更大团队的轮数来自外推而非实测。出处：§4.4 · pp. 21, 24
• 在存在通信的多智能体系统中，每轮 0.39 条消息大致对应性能饱和点；冗余仅带来有限收益，无法弥补架构低效率。这一近似对数关系不包含 SAS 和 Independent，仅用于描述而非普遍规律；冗余度与智能体数量的交互较弱（β = 0.024, p = 0.034），且依赖具体情境。成功运行中相互矛盾的 token 占比为 2.3%，失败运行中为 8.1%；冗余度超过 0.50 时与成功负相关（r = −0.136），观测到的最优值约为 0.41。出处：§4.3 · pp. 18–19, §4.4 · pp. 21–22
• 编排器交叉核查或同伴验证伴随着事实错误平均减少 22.7%；Independent 缺少智能体间验证，反而使错误增加 4.6%。执行轨迹中的错误放大程度，Independent 为基线的 17.2×，Centralized 为 4.4×；Centralized 将上下文遗漏降至 8.3%，而 Hybrid 出现 26.4% 的数值漂移和 12.4% 的协调失败。不过，调整后的回归主要将架构差异归因于效率和开销，而非错误传播本身；Independent 的平均成功率为 0.370，SAS 为 0.466。出处：§4.3 · p. 18, §4.4 · pp. 21–23
• 在结构化领域，信息增益与 MAS–SAS 性能差距的相关系数为 r = 0.71；在 BrowseComp-Plus 上，其预测能力较弱且不显著。Finance Agent 成功运行的平均信息增益为 1.4 比特，失败运行为 0.4 比特。报告的收益中，Finance Agent 上 Centralized 达 +80.8%，而 BrowseComp-Plus 上 Decentralized 为 +9.2%；后者的歧义限制了验证。出处：§4.4 · p. 24
• SAS 每 1K token 成功 67.7 次，高于 Centralized 的 21.5 次、Decentralized 的 23.9 次和 Hybrid 的 13.6 次；各模型系列的部署权衡不同，但这些差异仍属经验观察，尚未确立机制解释。开销低于 100% 时协调不足，成功–成本比在严格高于 200% 且低于 300% 时最高；Hybrid 的开销超过 400% 时协调过度，效率下降。OpenAI 在结构化任务上的 Hybrid 收益最强，Anthropic 的 Centralized 表现稳定，Google 在不同拓扑间的性能极差为 < 5%；成功率每提升 1% 的边际成本，OpenAI Hybrid 约为 $0.008，Anthropic Hybrid 约为 $0.024，Google 各架构约为 $0.012。出处：§4.4 · pp. 23–24

4.5. 稳健性与敏感性分析

• 经过聚类稳健推断和多重比较校正，能力饱和仍是最稳健的发现，而若干协调效应仍仅呈方向性。按数据集聚类后，部分标准误增至原来的最多 2.9×；single_agent_baseline 仍显著，p = 0.004。另行应用 Holm–Bonferroni 校正后，log_tools、single_agent_baseline 和 efficiency_x_tools 仍显著，但这并未解决伪重复问题。出处：§4.5 · p. 25
• 尽管跨领域绝对性能预测能力有限，领域内交叉验证仍正确识别了 87% 留出配置的最优架构。架构间的相对性能排名得以保持。出处：§4.5 · p. 25
• 在 SWE-bench Verified 和 Terminal-Bench 的全部 16 种模型×基准配置中，匹配率为 94%，支持 ∼45% 的能力饱和阈值。二项检验得到 p<0.001。出处：§4.5 · p. 25
• 留一数据集交叉验证表明，不使用数据集专属参数、仅凭单一回归曲面，很难预测结构差异较大的各领域的绝对成功率。出处：§4.5 · p. 25

更大规模的群体

• 初步探索最多涉及九个智能体；通信开销呈超线性增长，且团队规模超过适中水平后协调效率下降，因此更大规模能否带来收益仍不明确。更大的群体能否自发形成专业分工或层级式自组织，而非受制于通信瓶颈，仍是开放问题。出处：§5 · p. 25

模型异构性

• 集中式异构配置的平均性能比采用强模型的同构配置低 12.6 个百分点，未能证明混合使用模型可以突破能力饱和。在 13 种家族内及跨家族混合模型的 BrowseComp-Plus 配置中，去中心化配置的增益（+2.0 pp）主要来自其中较强的模型。主体研究中的智能体采用相同的基础架构；更广泛的架构多样性、领域专长、互补推理，以及编排与执行的专门化分工，仍有待研究。出处：§5 · p. 26

工具密集型协调

• 工具密集型环境是多智能体协调失效的主要场景，工具数量与系统效率之间存在显著的负向交互作用。建议的研究方向包括显式的工具访问调度、依据能力的任务路由，以及分层工具委派。出处：§5 · p. 26

提示词优化

• 统一提示词控制了实验条件，但未针对各个模型或模型家族进行优化，因此针对特定架构的提示词调优可能产生不同的扩展特性。这一局限反映了 LLM 行为对提示词表述的已知敏感性。出处：§5 · p. 26

基准覆盖范围

• SWE-bench Verified 和 Terminal-Bench 各采用 20 个实例的子集，每个配置单元的 bootstrap 95% 置信区间宽度通常为 ±20 个百分点，导致单项两两比较的统计功效不足。其余四个基准使用 50–100 个实例；置信区间采用 10,000 次 bootstrap 重采样计算，而汇总 8 个模型 × 2 个基准后的结果，对 45% 阈值仍保持 94% 的吻合率（p<0.001，二项检验）。覆盖范围仍限于六个基准，对具身、多模态、多用户、长时程及真实世界反馈场景的测试尚不充分。出处：§5 · pp. 26–27

经济可行性

• 基于 token 的通信存在延迟与成本下限，而 token 消耗和延迟随智能体数量显著增长，却往往无法带来相应的性能提升。潜在空间推理或激活共享可能改变这些关系；稀疏通信、提前退出和蒸馏后的协调器有望提高效率。推测性并行分支结合事后剪枝可能缩短实际耗时，但会增加总计算量。出处：§5 · pp. 26–27

统计推断

• 在域内交叉验证中，87% 的留出案例获得了正确的最优架构选择，但若无数据集特定参数，仍难以预测不同数据集上的绝对成功率。在 G=6 个数据集聚类下，保守的聚类稳健推断使若干在朴素 OLS 下显著的预测变量不再显著。论文同时报告两种估计，并将数据集层面的预测变量视为描述性、方向一致的模式，而非经常规统计检验确认的效应。出处：§5 · p. 27

6. 结论

• 预测模型以 87% 的准确率为留出配置选择最优架构。该模型在全部六个基准上的 R^2=0.373，采用基于任务的能力指标时，R^2=0.413。出处：§6 · p. 27
• 单智能体基线性能达到 ∼45% 是协作收益开始递减的阈值，这是最稳健的规模扩展效应。在聚类稳健推断（p=0.004）和 Holm–Bonferroni 多重比较校正（p_Holm=0.018）下，能力饱和效应仍然显著。出处：§6 · p. 27
• Finance Agent 上的 +80.8% 与 PlanCraft 上的 −70.0% 表明，协作收益取决于任务的可分解性，而非团队规模。这些性能变化随任务结构而显著不同。出处：§6 · p. 27
• 轨迹级错误放大从 4.4×（集中式）到 17.2×（独立式）不等，揭示了错误传播随架构而异。这一方向性规律在全部六个基准中均一致出现。出处：§6 · p. 27
• 工具密集型任务受到协作开销的拖累，这一权衡方向在全部六个基准中均一致出现。出处：§6 · p. 27
• 在 BrowseComp-Plus 上对留出前沿模型的评估中，MAS 子集 MAE 为 0.061，整体 MAE 为 0.077，表明相对 MAS 性能预测的校准较为合理。这为 BrowseComp-Plus 内的迁移提供了初步证据，并不代表全面的跨领域泛化。出处：§6 · p. 27

数据可用性

• 全部六个基准数据集均可公开获取。BrowseComp-Plus [32]、PlanCraft [21] 和 Workbench [34] 各包含 100 个实例；Finance-Agent [33] 包含 50 个实例。出处：Data Availability · p. 27
• 代码仓库的 etc/analysis/ 目录提供了 260 种实验配置的逐实例结果。出处：Data Availability · p. 27
• SWE-bench Verified [20] 使用种子 42 进行确定性打乱，选取 20 个实例组成子集；TerminalBench [25] 则选取前 20 个实例组成子集。完整数据集中，SWE-bench Verified [20] 包含 500 个实例，TerminalBench [25] 包含 86 个实例。出处：Data Availability · p. 27

代码可用性

• 代码仓库包含本研究使用的评估框架。出处：Code Availability · p. 28
• 仓库文档说明了完整复现所需的其他材料。出处：Code Availability · p. 28
• 代码仓库包含本研究使用的分析脚本。出处：Code Availability · p. 28
• 代码仓库提供本研究使用的配置文件。出处：Code Availability · p. 28
• 代码仓库包含本研究使用的提示词模板。出处：Code Availability · p. 28
• 代码仓库包含本研究使用的经脱敏处理的代表性执行轨迹。出处：Code Availability · p. 28

A. 模型智能指数

• Artificial Analysis Intelligence Index 提供统一的基线能力度量，不依赖智能体机制或多智能体协调。该指数涵盖推理、知识、数学、编程、指令遵循、长上下文推理及智能体工作流。统一的零样本指令提示、pass@1 评分、稳健的相等性检查，以及报告中小于 ±1% 的置信区间，为采用该指数提供了依据。出处：A. Model Intelligence Index · p. 35
• 研究按照 Artificial Analysis 公开的方法独立复现了八个评测套件，以覆盖尚无官方 Intelligence Index 结果的模型。这些评测套件包括 AA-LCR 、HLE [63]、MMLU-Pro [61]、GPQA Diamond [62]、AIME 2025、LiveCodeBench [65]、SciCode [64] 和 IFBench [66]，均采用已公开的提示词、评分流程和评测环境。出处：A. Model Intelligence Index · p. 35
• 重建分数遵循 Intelligence Index v3.0 的等权计算方式；复现不完整的结果标为近似估计值，而非经官方认证的数值。Table 6 汇总了官方及重建的指数值、各项评测分数，以及上下文窗口、成本、吞吐量和延迟等元数据。出处：A. Model Intelligence Index · p. 35, Table 6 · p. 36
• 重建分数需谨慎使用，因为评测可能具有非确定性，部分长上下文估计值为上界近似值，且非公开测试流程无法完全复现。对于缺乏公共 API 支持大上下文评测的模型，长上下文结果采用上界近似值；Artificial Analysis 的非公开测试变体及额外筛选也限制了结果核验。出处：A. Model Intelligence Index · pp. 35–36

B. 样本外验证

• 15 个留出架构与模型组合的 MAE 为 0.077；MAS 校准更准确（MAE = 0.061），优于 SAS（MAE = 0.138）。留出模型 GPT-5.2、Gemini-3.0 Pro 和 Gemini-3.0 Flash 的 Intelligence Index = 75，均比训练范围 42–71 的上限高约 5.6%。SAS 预测系统性高估了性能。出处：B. Out-of-Sample Validation · p. 36, Table 8 · p. 37
• 73% 的研究发现与模型配对得到验证，另有两项得到部分验证；能力上限、Centralized 或 Decentralized 最优，以及 Hybrid 开销限制性能这三项发现在全部三个模型上均成立。Independent MAS 性能下降的发现仅在 GPT-5.2 上得到验证，在 Gemini 模型上未获验证。BrowseComp 上 Decentralized 优于 Centralized 的模式也因模型家族而异。出处：B. Out-of-Sample Validation · pp. 36–37, Table 9 · p. 37
• Hybrid 的平均误差为 +37.0%，且三个模型的最优架构预测均有误；实际表现更好的是 Centralized 和 Decentralized。该方程预测 Hybrid 的性能为 0.560；线性外推及未建模的高能力条件下开销，表明有必要针对架构进行修正。Centralized 的平均误差为 +3.0%，Decentralized 的有符号平均误差为 +8.8%。出处：B. Out-of-Sample Validation · pp. 37–38
• 三者的 Intelligence Index = 75，但 Gemini-3.0 Pro 和 Gemini-3.0 Flash 的 MAS 增益分别为 +38.9% 和 +41.2%，均高于 GPT-5.2 的 +6.7%。GPT-5.2、Gemini-3.0 Pro 和 Gemini-3.0 Flash 的单智能体性能分别为 0.45、0.36 和 0.34，而各自的最佳 MAS 性能趋于一致，均在 0.48–0.50 之间。这表明 MAS 可能弥补单智能体的局限，且不同厂商的 Intelligence Index 可能无法直接比较。出处：B. Out-of-Sample Validation · p. 37, Table 10 · p. 38

C. 领域复杂度

• 领域复杂度是有序评分 D∈[0, 1]，刻画序列相互依赖性和实测难度，用于分析协调收益与过高开销之间的权衡。该评分刻画了所评估基准的复杂度。出处：C. Domain Complexity · p. 38

C.1. 复杂度赋分

• 复杂度赋分采用三个归一化任务属性：序列相互依赖性、状态空间复杂度和协调开销敏感性。这些属性分别刻画推理顺序要求、动态状态演化，以及观测到的多智能体相对单智能体基线的性能下降。最终评分根据所有配置下观测到的 MAS 性能模式进行校准。出处：§C.1 · p. 38

C.2. 领域特征描述

• 基准特征描述将复杂度评分与任务特征相对应，例如 Finance Agent 的可并行性、PlanCraft 的顺序约束和 BrowseComp-Plus 的动态环境。Table 11 汇总了各基准的复杂度评分和主要特征；所提供的表题未列出各项评分的具体数值。出处：§C.1 · p. 38, §C.2 · p. 38, Table 11 · p. 39

C.3. 临界阈值

• D≈0.40 是复杂度的临界阈值：低于该值时，多智能体带来净收益；高于该值时，性能下降。这表明，多智能体的适用性受领域内在属性制约，而非仅由架构的精巧程度决定。出处：§C.3 · p. 39
• 低于该阈值时，有效的任务分解与并行推理使多智能体架构能够带来净收益。出处：§C.3 · p. 39
• 高于该阈值时，协调开销占用原本分配给推理的计算资源，导致性能下降。出处：§C.3 · p. 39

D. 数据集

• Finance Agent [33] 的 50 道金融问题和 BrowseComp Plus [32] 的 100 项浏览任务，分别测试领域分析和跨网站信息综合能力。Finance Agent 采用专家提供的评分细则，每道问题通常需要专家花费 15–30 分钟。BrowseComp Plus 使用 LLM 将作答与标准答案进行比较，并给出置信度评分。出处：D. Datasets · p. 39
• WorkBench [34] 的 100 个业务场景测试函数调用工作流，Plancraft [21] 则测试 Minecraft 中的序列式合成规划。WorkBench 涵盖数据分析、日历、电子邮件、项目管理和客户关系管理，要求函数调用序列精确匹配，但允许日期有细微差异。plancraft-test 子集要求依赖关系推理、资源管理和动作排序，以能否在步数限制内完成合成判定成功。出处：D. Datasets · pp. 39–40
• SWE-bench Verified [20] 和 Terminal-Bench [25] 各取含 20 个实例的子集，分别评估 GitHub 问题修复和 CLI 任务执行。SWE-bench Verified 使用种子 42 进行确定性打乱，从 500 个实例中选取子集，提供七种工具，并要求补丁通过代码仓库测试。Terminal-Bench 使用 86 个实例中的前 20 个，提供两种工具，在不同时间限制下于 Docker 环境中评估任务是否实际完成。出处：D. Datasets · p. 40

E.1. 技术基础设施

• LiteLLM 统一不同提供商的模型接入，LangChain 则支持智能体编排、工具集成、对话管理和结构化提示。通过各提供商的专用 API 连接 GPT、Gemini 和 Claude 模型。轮换 API 密钥以应对速率和配额限制，自动截断对话历史以控制上下文长度。出处：§E.1 · p. 40
• 各数据集的专用环境通过 LangChain 的 BaseTool 接口提供结构化工具，并在模型支持函数调用时将工具动态绑定到模型。工具体系包括 Tavily 网络搜索、Python REPL 执行、数学运算和任务完成标记，均配有结构化输入模式和执行方法。出处：§E.1 · p. 41

E.2. 智能体配置

• 单智能体运行最多迭代 10 次；多智能体配置采用汇总、编排、辩论或混合协调方式，并设置各架构专用的执行限制。独立式系统使用三个智能体，仅通过汇总进行协调；集中式系统使用三个子智能体和一个编排器，最多运行五轮，每轮每个智能体迭代三次；去中心化系统使用三个智能体，进行三轮辩论，每轮迭代三次；混合式系统将编排与有限的同级通信结合。异构配置允许编排器与执行智能体使用不同模型，也支持去中心化系统中的执行智能体使用不同模型。出处：§E.2 · p. 41

E.3. 提示词编译系统

• 提示词编译将智能体提示词与共享的数据集模板合并，在保留任务特异性的同时，为不同架构提供一致的指令。具名 YAML 模板结合基础提示词与角色专用扩展，通过变量插值，并根据智能体类型和对话状态进行条件选择。数据集模板提供指令和示例，任务实例则提供问题描述、上下文和约束。出处：§E.3 · p. 41

E.4. 评估方法

• 选取 50 个 Finance Agent 实例，以及 BrowseComp Plus、WorkBench 和 Plancraft 各 100 个实例，兼顾评估成本与统计显著性。实例选择力求覆盖各基准中的任务类型和难度层次。出处：§E.4 · p. 41
• 从 SWE-bench Verified 和 Terminal-Bench 各选取 20 个实例，以控制基于 Docker 的评估环境的计算成本。SWE-bench Verified 对 500 个实例使用种子 42 进行确定性随机打乱；Terminal-Bench 则选取 86 个实例中的前 N 个。通过自助法估计的 95% 置信区间见 Table 16。出处：§E.4 · p. 41
• 各架构采用相同的工具接口和观测结构，并冻结模型权重、不进行微调，从而将架构效应与外部反馈及模型优化的影响区分开来。出处：§E.4 · p. 41
• 统一的上下文截断策略、API 速率限制和重试机制，使上下文管理标准化，并确保资源分配公平。出处：§E.4 · p. 41

E.5. 信息增益计算

• 信息增益 ΔI 通过初始推理轨迹与最终汇总输出之间的贝叶斯后验方差降幅，衡量协作对任务不确定性的降低程度。任务成功指标 Y 为二元变量。出处：§E.5 · p. 42
• 每个状态下以温度 0.7 采样 10 条推理轨迹，估计协作前后预测成功概率的经验方差。各样本的平均预测成功概率记为 p̂(s)。出处：§E.5 · p. 42

• 两个基准均报告任务解决率及其 95% 自助法置信区间，基于 20 个实例和 10,000 次重采样。出处：Table 16 · p. 43
• SWE-bench Verified 在单智能体基线表现较高时，多智能体增益有限，与能力饱和阈值的规律一致。出处：Figure 6 · p. 44
• Terminal-Bench 的单智能体基线表现虽较低，多智能体结果却有好有坏，工具数量少限制了协作收益。出处：Figure 6 · p. 44