AI 摘要 · 由英文经 AI 翻译
WikiSkill: Compiling Agent Experience into Persistent Knowledge for Skill Evolution
Liyan Tang, Cyrus Rashtchian, Chun-Sung Ferng, Andrew Tomkins, Da-Cheng Juan, Tu Vu
TL;DR
现有技能演化方法并未将学到的知识维护为独立且持续演化的表示。WikiSkill 将执行经验整合到持久化 wiki 中,以指导技能更新。在五个基准和五个模型上,它优于现有技能演化方法,并在大多数设置下优于无技能基线。
问题
如何在技能演化过程中保存和组织学到的知识,仍是一个关键设计问题:现有方法并未将这些知识维护为独立且持续演化的表示。
出处:§1 · p. 2方法
WikiSkill 将执行轨迹、积累的知识和程序性技能分离,持续将经验整合到持久化 wiki 中,为后续技能更新提供依据。
出处:§1 · p. 2结果
在五个基准和五个模型上,WikiSkill 优于现有技能演化方法,并在大多数模型与数据集组合上优于无技能基线。
出处:§7 · p. 14启示与局限
从其他模型迁移来的技能可能优于模型自身演化出的技能,表明技能发现与执行是不同的能力。
出处:§1 · p. 3评估将当前启用的技能直接注入提示词,未测试技能检索与触发,而这两项能力在技能库不断扩充时尤为重要。
出处:Limitations · p. 14
Abstract
from arXiv · showhide
Agent skills package specialized knowledge and workflows into reusable resources that extend AI agent capabilities. Recent work automatically discovers such skills from agent experience, which enables agents to progressively adapt through interaction. However, the insights that guide skill development typically remain scattered across optimization histories, limiting their systematic reuse across iterations. We introduce WikiSkill, a framework that co-evolves agent skills with a persistent knowledge base (wiki). At a high level, WikiSkill separates raw execution experience, accumulated knowledge, and executable skills, while continuously consolidating experience into the wiki, which subsequent skill updates can build on. Across diverse benchmarks and models, WikiSkill consistently outperforms state-of-the-art skill-evolution methods and improves over no-skill baselines in most model-benchmark settings. We find that skill evolution complements model scaling: larger models generally benefit more from evolved skills, while smaller models with skills can outperform substantially larger models without them. We also find that evolved skills transfer effectively across models and model families, and skills evolved by other models can outperform self-evolved skills. Finally, our ablation studies confirm that persistent knowledge accumulation in the wiki is critical for effective skill evolution. These results demonstrate the benefits of systematically accumulating and refining agent experience for developing reusable and transferable skills.
1. 引言
WikiSkill 让智能体技能与持久化 wiki 协同演化,将执行经验整合为知识,供后续更新使用。在五个基准和五个模型上,WikiSkill 优于现有技能演化方法,消融实验也证实了持续积累知识的重要性。
1. 引言
- WikiSkill 解决了手动编写技能时难以预判所需工作流,以及知识分散在各类技能演化产物中的问题。技能将指令、脚本和资源封装为可复用的文件系统模块,无需更新模型参数。WikiSkill 在原始经验与可执行技能之间引入了独立且持续演化的知识层。出处:§1 · p. 2
- WikiSkill 将不可变的执行轨迹、结构化的 wiki 知识和持续演化的程序性技能分离,并协调推理、wiki 维护、技能提议和基于验证的更新筛选。Skill Proposer 同时利用 wiki 知识和执行轨迹;筛选机制仅保留能提升验证集性能的更新。技能可以回滚,而 wiki 则持续保留,供后续更新使用。出处:§1 · p. 2
- 在五个基准和五个模型上,WikiSkill 优于现有技能演化方法,并在大多数设置下优于无技能基线。评估涵盖数学推理、网页搜索、电子表格操作、长上下文文档问答和交互式具身任务。出处:§1 · pp. 2–3
- Qwen 4B、9B 和 27B 模型的平均性能分别提升 12.3%、17.5% 和 23.9%,表明收益随模型规模增大而增加。使用 WikiSkill 的 Qwen-3.5-9B 还优于不使用技能的 Qwen-3.6-27B(47.4% vs. 39.4%),表明演化出的技能能够弥补显著的模型规模差距。出处:§1 · p. 3
- 在 ALFWorld 上,Qwen-3.5-9B 使用 Qwen-3.6-27B 演化出的技能时,表现优于使用自身演化出的技能:70.2% 对比 63.4%。演化出的技能也能有效迁移至不同模型家族;这些发现表明,技能发现与技能执行是两种不同的能力。出处:§1 · p. 3
- 消融实验证实,持续积累知识是 WikiSkill 取得性能收益的关键。跨迭代积累和提炼知识,有助于实现有效的技能演化。出处:§1 · p. 3
2. 问题设定
WikiSkill 在互不重叠的训练、验证和测试任务上,形式化定义了配备工具的 LLM 智能体的迭代式技能演化。它通过训练阶段的轨迹采样和验证门控,协同演化流程性技能与持久化知识,以最大化未见测试任务上的性能。
2. 问题设定
- 任务数据集为每个实例配有标准答案,并划分为互不重叠的训练集、验证集和测试集。这些划分分别记为 Dtrain、Dval 和 Dtest。出处:§2 · p. 3
- LLM 智能体配备工具,技能集初始为空,并针对每个数据集独立演化。技能以模块化文件系统目录的形式封装流程性知识、脚本和资源 (Chen et al., 2026a; Li et al., 2026; Liu et al., 2026)。每个目录均包含 SKILL.md,其中记录唯一名称、简要描述、操作步骤和适用条件。出处:§2 · p. 3
- 智能体通过观测–动作轨迹执行任务,在各任务划分上的性能以预测答案的领域特定评分均值衡量。动作可调用工具,最后一个动作输出预测答案。评分函数 f 将每个预测答案与标准答案比较,返回 [0, 1] 范围内的数值。出处:§2 · p. 3
- WikiSkill 协同演化当前启用的技能与持久化 Wiki,回退导致验证分数下降的技能更新,同时保留已积累的知识。两者均从空状态开始。训练阶段的轨迹采样、模式整合和验证门控共同引导演化,以最大化未见任务上的最终测试性能。出处:§2 · pp. 3–4
3. 方法
WikiSkill 通过任务执行、知识整合、技能提案和验证门控,协同演化智能体技能与持久化 wiki。其架构将原始执行轨迹、累积知识与当前启用的程序性技能分离。
3.1. 三层知识架构
- WikiSkill 将不可变的执行轨迹、持续积累的 wiki,以及关联到其形成动因模式的当前程序性技能分离。原始轨迹保留推理过程、工具调用、输出和最终答案;SKILL.md 存放技能指令,PURPOSE.md 则将技能映射到促成其产生的 wiki 模式。wiki 页面记录失败、成功策略和变通方案,演化日志与影响跟踪器则保留干预历史,揭示反复出现的错误。出处:§3.1 · pp. 4–5
3.2. 演化智能体与 wiki 编排
- 演化循环协调任务执行、wiki 整合、技能提案和验证,并在训练期间禁止推理智能体访问 wiki。这一限制源于消融实验的发现:训练期间访问 wiki 会对技能发展产生负面影响。出处:§3.2 · p. 5
3.2.1. 为推理智能体提供技能
- 沿用先前工作 (Ni et al., 2026; Yang et al., 2026),将全部技能完整注入系统提示词,排除触发和检索失败这两类实验混杂因素。推理智能体接收所有已启用技能的完整内容,从而在执行任务时可直接使用程序性指令。出处:§3.2.1 · p. 5
3.2.2. wiki 维护智能体:模式整合
- wiki 维护智能体结合完整 wiki 与抽样的成功、失败轨迹,诊断失败原因、提取策略,并逐步完善模式页面。抽样可避免超出上下文窗口限制;以补丁形式修改模式时,会触发目录更新,并在 logs.md 中追加本轮迭代摘要。每轮迭代新建或更新的模式数量没有硬性上限。出处:§3.2.2 · pp. 5–6
3.2.3. wiki 引导的技能提议智能体
- 技能提议智能体按需查阅模式和轨迹,生成一个原子化提案,用于创建一个技能或修补一个已有技能。为避免耗尽上下文窗口,它以 wiki 索引、历史影响跟踪器和所有训练任务的结果为起点,而非使用固定的预抽样轨迹,随后以多轮 ReAct 方式运行 (Yao et al., 2023)。出处:§3.2.3 · p. 6
3.2.4. 门控与回滚
- 验证门控保留获准的技能修改,否则恢复至上一次成功的技能集,同时保留 wiki 并记录每个提案的结果。验证阈值初始设为无技能基线的得分,提案获准后更新,达到 1.0 时终止演化。每次评估后,评估框架都会在 skill-impact.md 中记录提案元数据、目标技能、统一差异格式的补丁、验证得分和是否获准,以避免重复失败的修改。出处:§3.2.4 · p. 6
4. 实验与结果
WikiSkill 在全部五个受评模型上均取得最高平均性能,迁移技能还可优于模型自身演化的技能。收益随模型规模和任务而异,迁移效果则取决于技能的通用性及接收模型执行相应流程的能力。
4.1. 实验设置
- 五项基准测试涵盖数学、网页搜索、电子表格、长上下文问答和具身交互,在封闭权重和开放权重模型上对比技能演化方法与无技能基线。模型包括 Gemini-3.5-Flash (Google DeepMind, 2026)、Qwen-3.5-4B/9B-Instruct 、Qwen-3.6-27B 和 Gemma-4-31B-It (Gemma Team, 2026)。技能演化基线为 Trace2Skill (Ni et al., 2026)、EvoSkill (Alzubi et al., 2026) 和 SkillOpt (Yang et al., 2026)。出处:§4.1 · p. 7
4.2. 主要结果
- 每种方法独立运行三次演化,取平均测试得分,并采用配对自助法进行显著性检验,阈值为 p < 0.05。所有方法均从空技能集开始,并将演化所得技能注入推理提示。Gemini-3.5-Flash 在 ALFWorld 上的得分保持为 85.9%,因为其验证得分已达 100%,无法开展技能演化,也无法作为技能迁移来源。出处:§4.2 · p. 7, Table 1 · p. 8
4.2.1. 不同模型与任务上的技能演化
- WikiSkill 在每个受评模型上均取得最高平均性能,且在大多数模型–数据集组合上优于无技能基线。相较于各模型上最强的其他技能演化方法,Qwen-3.5-4B、Qwen-3.5-9B、Qwen-3.6-27B、Gemma-4-31B 和 Gemini-3.5-Flash 的平均得分分别提升 3.3、5.1、10.0、5.8 和 12.0 分。出处:§4.2.1 · pp. 7–8, Table 1 · p. 8
- Qwen-3.5-4B、Qwen-3.5-9B 和 Qwen-3.6-27B 的平均得分分别提升 12.3、17.5 和 23.9 分,表明收益随模型规模增大而增加。SpreadSheet 上的得分增幅同样随规模增大:Qwen-3.5-4B 为 +6.5 分,Qwen-3.5-9B 为 +9.3 分,Qwen-3.6-27B 为 +40.9 分。技能也能弥补规模差距:采用 WikiSkill 的 Qwen-3.5-9B 平均准确率达到 47.4%,超过不使用技能的 Qwen-3.6-27B 的 39.4%。出处:§4.2.1 · pp. 8–9
- LiveMath 上的得分提升达 20.6–39.6 分,但收益因任务而异:Qwen-3.5-4B 无法执行长上下文搜索流程时,OfficeQA 性能略有下降。在可开展技能演化的四个模型中,ALFWorld 得分提升 14.0–29.3 分。较大模型能有效执行演化所得的文档搜索流程,而 Qwen-3.5-4B 则退回默认的阅读方式。出处:§4.2.1 · p. 9
4.2.2. WikiSkill 的跨模型技能迁移
- Gemini-3.5-Flash 使用 Qwen-3.5-4B 的技能后,SpreadSheet 得分从无技能时的 50.5% 降至 18.1%,体现了模型特定变通方案带来的负迁移。相比之下,Qwen-3.6-27B 的技能将 Gemini-3.5-Flash 在 SpreadSheet 上的得分提升至 63.4%。较小模型的底层命令和字符串转换规则限制了端到端脚本编写,而碎片化诊断引入了冗余工具调用,可能耗尽交互预算。出处:§4.2.2 · p. 9
- Qwen-3.5-9B 使用 Qwen-3.6-27B 的技能后,SpreadSheet 得分达到 50.5%,高于无技能时的 24.3% 和使用自身演化技能时的 33.6%。迁移也能跨越模型家族:Qwen-3.6-27B 的技能将 Gemma-4-31B 的 LiveMath 得分提升至 73.7%,高于无技能时的 33.9% 和使用自身演化技能时的 56.7%。较小的来源模型也能帮助较大的目标模型:Qwen-3.5-4B 的技能使 Gemma-4-31B 在 LiveMath 和 ALFWorld 上分别达到 73.1% 和 66.9%。出处:§4.2.2 · p. 9, Table 2 · p. 10
- Qwen-3.6-27B 执行 Qwen-3.5-4B 的技能后,OfficeQA 得分达到 52.9%,高于无技能时的 42.1%,尽管来源模型的得分从 30.2% 降至 28.5%。更强的 Qwen 模型能从相同的流程性知识中获益更多。轨迹分析表明,较小模型容易被长上下文分散注意力,说明发现有效流程的能力与执行这些流程的能力并不相同。出处:§4.2.2 · p. 10
5. 分析与讨论
将持久化 wiki 的访问权限仅赋予技能提议者,而非推理智能体,有助于技能演化。积累的模式和提案历史支持持续改进,而技能结构和 wiki 积累情况因模型和基准而异。
5.1. 持久化知识在技能演化中的作用
- 使用 Gemini-3.5-Flash 并关闭推理智能体的 wiki 访问权限时,技能提议者可访问与不可访问持久化 wiki 的平均基准表现分别为 63.7% 和 48.7%。LiveMath 从 51.3% 提升至 72.6%,SpreadsheetBench 从 49.9% 提升至 76.6%。不允许技能提议者访问 wiki 的配置也移除了 wiki 维护者,从而取消了跨迭代的持久化知识积累。出处:Table 3 · p. 11, §5.1 · p. 11
- 在保留技能提议者访问权限的情况下,演化期间允许与不允许推理智能体访问 wiki 的平均基准表现分别为 60.9% 和 63.7%。LiveMath 从 72.6% 降至 64.8%。作者推测,直接访问 wiki 使推理过程可以绕过技能,导致训练轨迹对技能开发的参考价值降低。出处:§5.1 · p. 11, Table 3 · p. 11
5.2. 定性分析:技能与 wiki 的动态变化
- Qwen 的流程型技能长达 118.9-128.6 行,相比之下,Gemma-4-31B 为 45.1 行,Gemini-3.5-Flash 为 81.2 行。各模型的 wiki 积累平均包含 6.3-8.9 次模式创建和 7.0–18.4 次编辑。出处:§5.2 · pp. 11–12, Table 4 · p. 13
- SpreadSheet 的技能最长,达 142.5 行,wiki 模式也最多,达 9.8 个;LiveMath 的技能最短(84.6 行),模式最少(4.4 个)。这些数值均为基准层面的平均值。出处:§5.2 · p. 12, Table 4 · p. 13
- 各模型中,39%-52% 的已采纳更新发生在第 0–1 轮迭代,但中后期仍持续进行大量改进。各基准的初期占比为 39%-58%;SealQA 中,33% 的已采纳更新发生在中期,28% 发生在后期。保留的错误、被拒绝的提案及演化历史,为后续更新提供了积累的上下文。出处:§5.2 · p. 12
5.3. 案例研究:剖析 wiki 引导的技能演化
- 在 Qwen-3.6-27B 的 ALFWorld 案例中,第 0 轮被拒绝的提案为第 1 轮被采纳的技能提供了参考,该技能又在第 4 轮依据积累的证据得到改进。wiki 保留了被拒提案的差异及结果,为被采纳的规则“绝不将物品放回原位”提供了参考。后续的循环证据和已存储的轨迹则为“每件物品的每类操作仅执行一次”提供了依据。出处:Figure 3 · p. 12, §5.3 · p. 13
6. 相关工作
WikiSkill 通过持久化的 Wiki 层积累结构化知识,供后续技能更新使用,这使其区别于以往的技能演化方法。它关注技能质量而非检索,并在保持智能体整体框架不变的前提下演化程序性技能。
经验驱动的智能体技能演化
- 与 EvoSkill (Alzubi et al., 2026)、Trace2Skill (Ni et al., 2026) 和 SkillOpt (Yang et al., 2026) 不同,WikiSkill 维护独立且持续演化的知识表示。其持久化的 Wiki 层将各轮迭代中的经验整合为结构化知识,使后续技能更新能够系统地利用已积累的知识。出处:§6 · pp. 13–14
技能增强智能体与智能体自我改进
- WikiSkill 在保持智能体整体框架不变的前提下演化可复用的程序性技能,与优化框架本身的方法形成互补。框架优化研究利用执行轨迹和环境反馈,寻找更优的提示词、上下文、工具、记忆和工作流 (Chen et al., 2026b; Lee et al., 2026; Lin et al., 2026; Lou et al., 2026; Zhang et al., 2026b)。出处:§6 · p. 14
- WikiSkill 专注于技能质量,将其与针对具体任务检索相关技能的问题分开处理。检索研究关注随着可复用技能库不断扩展,如何选择相关技能 (Cho et al., 2026; Shi et al., 2026; Su et al., 2026; Ye et al., 2026; Zheng et al., 2026)。出处:§6 · p. 14
7. 结论
WikiSkill 让智能体技能与持久化 wiki 协同演化,将经验整合为知识,用于指导经验证的技能改进。在五个基准和五个推理模型上,其表现始终优于现有技能演化方法,消融实验也证实了持续积累知识的重要性。
7. 结论
- 五个基准和五个推理模型的结果表明,WikiSkill 始终优于现有技能演化方法,并在大多数模型—数据集组合上优于无技能基线。并非所有组合都优于无技能基线。出处:§7 · p. 14
- WikiSkill 将工作空间分为三层,将经验整合到持久化 wiki 中,提出知识引导的技能改进方案,并依据验证性能决定是否采纳变更。随着迭代推进,技能开发所依托的知识依据更充分、整合更完善。出处:§7 · p. 14
- 技能演化与模型规模扩展形成互补:较大模型通常受益更多,而具备演化技能的较小模型可以胜过规模大得多但无技能的模型。出处:§7 · p. 14
- 演化得到的技能可在不同模型及模型家族间有效迁移,迁移技能的效果还可能优于模型自身演化出的技能。出处:§7 · p. 14
- 消融实验证实,持续积累知识对有效的技能演化至关重要。出处:§7 · p. 14
局限性
WikiSkill 尚未评估技能检索与触发机制,会拒绝性能持平但可能有用的提案,也缺乏自动化 wiki 清理机制。其基准测试还未涵盖超长程任务,单次长执行轨迹内的适应仍有待未来研究。
局限性
- 将技能直接注入提示可单独考察技能质量,但未评估技能检索与触发机制;随着可用技能增多,这些机制会愈发重要。当前启用的技能直接注入智能体提示,以避免检索带来的混杂影响。出处:Limitations · p. 14
- 严格的验证门槛会拒绝性能持平、但可能在后续迭代中带来增益的提案。为确保公平比较,该方法沿用先前框架,要求每项获准采纳的提案都必须提高验证分数 (Alzubi et al., 2026; Yang et al., 2026)。更灵活的采纳标准仍有待未来研究。出处:Limitations · p. 14
- WikiSkill 持续积累模式页面、演化日志和提案差异记录,却缺乏自动化 wiki 清理机制。在更长的演化过程中,随着知识不断积累,清理可能变得必要。出处:Limitations · p. 14
- 该基准测试集未涵盖涉及数百次环境操作或持续数小时的超长程任务。测试集包含 OfficeQA 长上下文文档推理和多步工具交互。在单次长执行轨迹内通过在线适应完善过程性知识,仍有待未来研究。出处:Limitations · p. 14
A. 方法细节 · A.1. 算法 · A.2. 获准技能更新的分布
WikiSkill 通过执行训练任务、整合 wiki、生成候选提案和验证筛选来演化技能。提案被拒绝时,仅回滚技能,保留 wiki,并在其中记录提案结果和技能差异。
A.1. 算法
- 生成技能提案前,维护器将采样得到的部分训练轨迹整合到中间 wiki 中。wiki 维护结合上一版 wiki 状态与采样得到的轨迹进行。出处:§A.1 · p. 19
- 每轮迭代中,推理智能体使用上一轮启用的技能执行训练任务,生成轨迹。随后从这些训练轨迹中采样一部分,用于维护 wiki。出处:§A.1 · p. 19
- 提案被拒绝时,仅回滚技能;wiki 则予以保留,并写入提案结果和技能差异。由此得到本轮迭代的最终 wiki 状态。出处:§A.1 · p. 19
A.2. 获准技能更新的分布
- 验证决定接受所提议的技能还是回滚,Table 5 报告了技能更新提案何时获准。所提供的段落未包含 Table 5 中的接受分布。出处:§A.1 · p. 19, §A.2 · p. 19
A.1. 算法
- 提案器在 wiki 整合完成后、验证筛选前生成候选技能修改方案。演化循环的输入包括训练任务、验证任务、性能指标 R 和迭代次数 K。出处:§A.1 · p. 19
- 基线验证在验证任务上评估初始技能,并根据其性能指标初始化 Rbest。该评估在技能迭代演化过程开始前进行。出处:§A.1 · p. 19
B. 数据集详情与划分
评估涵盖五个基准,分别测试数学推理、网页检索、电子表格编程、长上下文金融问答和具身决策能力。报告的分数为三次独立演化运行的平均值,并采用配对自助法显著性检验评估变异性。
LiveMathematicianBench
- LiveMathematicianBench (He et al., 2026) 使用近期数学竞赛选择题,测试复杂推理、量词和极值条件的处理能力。LiveMath 要求不借助外部工具,单步给出最终答案。出处:B. Dataset Details and Splits · pp. 19–20
SealQA
- SealQA (Pham et al., 2026) 通过有效构造搜索查询、从网页结果中提取答案,测试学术事实问答能力。实验采用 July, 2026 版本,提供 Google Search API 访问和文件读取能力,以支持多步检索。出处:B. Dataset Details and Splits · pp. 19–20
SpreadsheetBench
- SpreadsheetBench (Ma et al., 2024) 测试在库使用约束下编写正确代码、完成复杂表格变换的能力。约束包括公式求值方面的限制;bash 命令行环境支持执行 Python 代码和处理表格。出处:B. Dataset Details and Splits · pp. 19–20
OfficeQA
- OfficeQA 要求综合长篇历史财政部公报和多页金融表格中的证据。遵循 Yang et al. (2026),提示中包含预先解析的 oracle 参考页面。智能体保留 glob、grep 和 read 工具,用于搜索磁盘上的完整公报文件并交叉核对。出处:B. Dataset Details and Splits · pp. 19–20
ALFWorld
- ALFWorld 通过文本模拟器中的多步家务任务,测试序贯决策、空间推理和错误恢复能力。智能体以文本发出动作指令并接收模拟器反馈,而非回答静态问题。出处:B. Dataset Details and Splits · p. 20
评估方案
- 整个演化流程独立运行三次,测试分数取平均值,并通过配对自助法显著性检验评估小规模验证集划分带来的变异性。任务划分和可用工具集严格沿用先前工作 (Alzubi et al., 2026; Yang et al., 2026)。出处:B. Dataset Details and Splits · pp. 20–21
C. 实现细节 · D. 基线方法详情与优化器 API 调用分析 · D.1. 基线方法
WikiSkill 使用分层抽取的执行轨迹提供诊断反馈,并通过 bootstrap 检验比较性能。基线方法从轨迹中生成改进方案,再根据验证结果筛选,以迭代演化技能。
C. 实现细节
- Wiki 维护器每轮迭代最多参考 8 条轨迹:最多五条失败轨迹用于根因分析,三条成功轨迹用于提炼有效策略和防止性能回退。每份执行日志在注入提示前均截断至最多 15,000 个字符。出处:C. Implementation Details · p. 21
- 每个基准进行 1,000 次配对 bootstrap 迭代,估计各候选方案的准确率及两两性能差距。每次迭代均对测试样本进行有放回抽样,构建与原测试集大小相同的评估集。出处:C. Implementation Details · p. 21
- 跨基准评估采用分层宏平均 bootstrap 重采样,在各基准内独立重采样,并对所有基准赋予相同权重。由此得到的统计量为宏平均准确率。出处:C. Implementation Details · p. 21
- 只有相较于每个竞争方法均达到 p < 0.05,观测性能领先的方法才会被判定为唯一最优方法。否则,所有与领先方法在 p ≥ 0.05 下无统计显著差异的方法均以粗体标为统计并列最优;初始排名依据观测性能或跨基准宏平均性能。出处:C. Implementation Details · p. 21
D.1. 基线方法
- Trace2Skill (Ni et al., 2026) 和 SkillOpt (Yang et al., 2026) 分层整合从成功与失败轨迹中提炼的补丁,并根据验证性能决定是否接受技能文档更新。Trace2Skill 使用并行的成功分析器和错误分析器,再递归合并二者生成的结构化补丁。SkillOpt 使用 ReflACT 六阶段流程——轨迹生成、反思、聚合、选择、更新、评估——对完整轨迹进行反思,并更新单一的整体式技能文档。出处:§D.1 · pp. 21–22
- 与 Trace2Skill (Ni et al., 2026) 不同,EvoSkill (Alzubi et al., 2026) 仅向方案生成器提供失败轨迹,并维护一个容量受限、由已验证技能候选组成的前沿集合。EvoSkill 按类别轮转抽取训练任务,并提供扁平化的方案结果历史。提出的修改会转化为 SKILL.md 文件,经过验证评分后进入高性能程序的前沿集合。出处:§D.1 · p. 21
D.2. 优化器 API 调用复杂度 · 3. 分层归约与应用阶段:𝑁train · E. 系统与智能体提示词
WikiSkill 采用全批量优化,使优化器 API 调用次数与训练集规模无关;相比之下,对比方法在各自报告的设置下,调用次数随训练集规模线性增长。所提供的提示词规定了各任务的推理行为、wiki 的增量维护方式,以及基于 wiki 的技能提议流程。
D.2. 优化器 API 调用复杂度
- 全批量 WikiSkill 每轮迭代调用优化器 1 + T_ReAct 次,相对于训练集规模的调用复杂度为 O(1)。首先调用一次维护 wiki,随后技能提议智能体进行约 10–20 轮推理,每轮调用一次。调用复杂度为常数,在某些数据集上仍可能产生更高的推理成本,但相较于已有技能演化方法,性能也持续提升。出处:Table 7 · p. 22, §D.2 · p. 22
3. 分层归约与应用阶段:𝑁train
- EvoSkill 和 SkillOpt 的调用复杂度为 O(N_train/B),而 Trace2Skill 需要逐一分析每条训练轨迹,因此需调用 O(N_train) 次。EvoSkill 和 SkillOpt 在小批量设置下表现最佳,而 WikiSkill 使用全批量,并按需选择性读取轨迹。Trace2Skill 还通过 c 叉归约树合并局部补丁,最后再调用一次完成格式整理。出处:§D.2 · p. 23, §3 · p. 23
E. 系统与智能体提示词 · LiveMathematicianBench 推理智能体系统提示词 · SealQA 推理智能体系统提示词
- 所提供的推理提示词将 LiveMathematicianBench 设为数学选择题任务,并为 SealQA 配备 web_search 和 read_file 工具以回答事实性问题。两者都要求将最终答案放在 <answer> 标签内:LiveMathematicianBench 仅输出一个选项标签,SealQA 则输出准确值,不附解释。本节完整列出了推理智能体、wiki 维护智能体和技能提议智能体的系统提示词。出处:E. System and Agent Prompts · p. 23, LiveMathematicianBench Inference Agent… · p. 24, SealQA Inference Agent System Prompt · p. 24
SpreadsheetBench 推理智能体系统提示词
- SpreadsheetBench 的推理提示词要求使用 Python 操作电子表格,仅可修改 answer_position 指定的位置,且文件访问范围仅限 working_directory。智能体必须严格使用所提供的绝对路径,将修改后的电子表格保存至指定的 output_path。出处:SpreadsheetBench Inference Agent… · pp. 24–25
OfficeQA 推理智能体系统提示词 · ALFWorld 推理智能体系统提示词
- OfficeQA 以本地财政部文档为回答依据,而 ALFWorld 接收任务描述、近期动作历史和当前观测。OfficeQA 要求定向搜索并少量读取证据,禁止编造数值,且仅允许在提取准确操作数后进行算术运算。出处:OfficeQA Inference Agent System Prompt · p. 25, ALFWorld Inference Agent System Prompt · p. 25
wiki 维护智能体系统提示词
- wiki 维护智能体记录可泛化的成功与失败模式,包括根因、准确的命令序列及具体解决方案,并更新已有模式,避免重复记录。wiki 包含模式目录、演化日志、技能结果记录和模式页面;增量 JSON 更新必须包含完整索引和追加的日志。索引描述概述问题、根因及修复方法。出处:Wiki Maintainer Agent System Prompt · pp. 26–27
技能提议智能体系统提示词
- 技能提议智能体先查阅 wiki 模式、被否决的提案及执行轨迹,诊断失败原因,再决定新建技能、修补技能或不作修改。它必须读取至少四条执行轨迹,避免采用此前被否决的方案,并优先修补部分正确的技能。新技能须包含适用条件、操作指令、来源、所解决的模式及演化历史。出处:§3 · p. 23, Skill Proposer Agent System Prompt · pp. 27–28
Related papers
This paper cites
- Efficient Memory Management for Large Language Model Serving with PagedAttention2023
- Terminal-Bench: Benchmarking Agents on Hard, Realistic Tasks in Command Line Interfaces2026
- SkillOpt: Executive Strategy for Self-Evolving Agent Skills2026
- SkillOS: Learning Skill Curation for Self-Evolving Agents2026
- SkillNet: Create, Evaluate, and Connect AI Skills2026
- HarnessX: A Composable, Adaptive, and Evolvable Agent Harness Foundry2026
Cited by
- Before the Next Rollout: Diagnosing Skill Utility Shifts from Policy Updates2026
- Skill Dreaming: Evolving Repository Skills through Pull Request Streams2026
- $\Delta\tau$-Bench: Pushing Agents Toward a Moving Capability2026
- HumanSkill-4D: Training-Free Language Querying of Animatable Gaussian Avatars in Space and Time2026
- Harness-Delta Attribution: Dissecting Gains From Harness Evolution2026
- VIEWCRAFT: Evolving What Multimodal Agents See and How They Read It2026