AI 요약 · 영어에서 AI 번역

WikiSkill: Compiling Agent Experience into Persistent Knowledge for Skill Evolution

Liyan Tang, Cyrus Rashtchian, Chun-Sung Ferng, Andrew Tomkins, Da-Cheng Juan, Tu Vu

arXiv:2608.27454v1cs.AIcs.CL

TL;DR

기존 스킬 진화 방법은 학습한 지식을 별도로 진화하는 표현으로 유지하지 않는다. WikiSkill은 실행 경험을 지속적으로 유지되는 위키에 통합하고 이를 바탕으로 스킬을 갱신해 이 문제를 해결한다. 다섯 개 벤치마크와 다섯 개 모델에서 기존 스킬 진화 방법을 능가하며, 대부분의 설정에서 스킬 미사용 베이스라인보다 성능이 높다.

  • 문제

    스킬 진화 과정에서 학습한 내용을 보존하고 체계화하는 방식은 여전히 핵심 설계 문제다. 기존 방법은 학습한 지식을 별도로 진화하는 표현으로 유지하지 않는다.

    출처: §1 · p. 2
  • 방법

    WikiSkill은 실행 기록, 축적된 지식, 절차적 스킬을 분리하고, 경험을 지속적으로 유지되는 위키에 꾸준히 통합해 이후 스킬 갱신에 활용한다.

    출처: §1 · p. 2
  • 결과

    다섯 개 벤치마크와 다섯 개 모델에서 WikiSkill은 기존 스킬 진화 방법을 능가하며, 대부분의 모델–데이터셋 조합에서 스킬 미사용 베이스라인보다 성능이 높다.

    출처: §7 · p. 14
  • 시사점과 한계

    다른 모델에서 전이한 스킬이 자체 진화시킨 스킬보다 성능이 높을 수 있으며, 이는 스킬 발견과 실행이 서로 구별되는 역량임을 시사한다.

    출처: §1 · p. 3

    평가에서는 활성 스킬을 프롬프트에 직접 삽입하므로, 스킬 모음이 커질수록 중요해지는 스킬 검색과 호출은 검증하지 않았다.

    출처: Limitations · p. 14

Abstract

from arXiv · show

Agent skills package specialized knowledge and workflows into reusable resources that extend AI agent capabilities. Recent work automatically discovers such skills from agent experience, which enables agents to progressively adapt through interaction. However, the insights that guide skill development typically remain scattered across optimization histories, limiting their systematic reuse across iterations. We introduce WikiSkill, a framework that co-evolves agent skills with a persistent knowledge base (wiki). At a high level, WikiSkill separates raw execution experience, accumulated knowledge, and executable skills, while continuously consolidating experience into the wiki, which subsequent skill updates can build on. Across diverse benchmarks and models, WikiSkill consistently outperforms state-of-the-art skill-evolution methods and improves over no-skill baselines in most model-benchmark settings. We find that skill evolution complements model scaling: larger models generally benefit more from evolved skills, while smaller models with skills can outperform substantially larger models without them. We also find that evolved skills transfer effectively across models and model families, and skills evolved by other models can outperform self-evolved skills. Finally, our ablation studies confirm that persistent knowledge accumulation in the wiki is critical for effective skill evolution. These results demonstrate the benefits of systematically accumulating and refining agent experience for developing reusable and transferable skills.

1. 서론

WikiSkill은 실행 경험을 향후 갱신에 활용할 지식으로 통합하는 영속적 위키와 에이전트 스킬을 함께 진화시킨다. 다섯 벤치마크와 다섯 모델에서 기존 스킬 진화 방법을 능가하며, 구성 요소 제거 실험은 지속적인 지식 축적의 중요성을 확인한다.

1. 서론

  • WikiSkill은 수동으로 스킬을 작성할 때 필요한 작업 흐름을 미리 예측하기 어렵다는 문제와 스킬 진화 산출물 전반의 지식 파편화를 함께 해결한다.스킬은 모델 매개변수를 갱신하지 않고도 지침, 스크립트, 자원을 재사용 가능한 파일 시스템 모듈로 묶는다. WikiSkill은 원시 경험과 실행 가능한 스킬 사이에 별도로 진화하는 지식 계층을 도입한다.출처: §1 · p. 2
  • WikiSkill은 변경 불가능한 실행 기록, 구조화된 위키 지식, 진화하는 절차적 스킬을 분리하고, 추론, 위키 관리, 스킬 제안, 검증 기반 갱신 선별을 조율한다.Skill Proposer는 위키 지식과 실행 기록을 모두 활용하며, 검증 성능을 높이는 갱신만 채택한다. 스킬을 이전 상태로 되돌리더라도 위키는 유지되어 향후 갱신에 활용된다.출처: §1 · p. 2
  • 다섯 벤치마크와 다섯 모델에서 WikiSkill은 기존 스킬 진화 방법을 능가하며, 대부분의 설정에서 스킬을 사용하지 않는 기준선보다 높은 성능을 보인다.평가는 수학적 추론, 웹 검색, 스프레드시트 조작, 긴 문맥의 문서 질의응답, 상호작용형 체화 과제를 포괄한다.출처: §1 · pp. 2–3
  • Qwen 4B, 9B, 27B 모델의 평균 성능이 각각 12.3%, 17.5%, 23.9% 향상되어, 모델 규모가 커질수록 성능 향상 폭도 커짐을 보여준다.WikiSkill을 적용한 Qwen-3.5-9B는 스킬을 사용하지 않는 Qwen-3.6-27B도 능가한다(47.4% vs. 39.4%). 이는 진화한 스킬이 상당한 모델 규모 차이를 보완할 수 있음을 보여준다.출처: §1 · p. 3
  • ALFWorld에서 70.2% 대 63.4%: Qwen-3.5-9B는 자체 스킬보다 Qwen-3.6-27B가 진화시킨 스킬을 사용할 때 더 높은 성능을 보인다.진화한 스킬은 서로 다른 모델 계열 사이에서도 효과적으로 전이된다. 이는 스킬 발견과 실행이 별개의 능력임을 시사한다.출처: §1 · p. 3
  • 구성 요소 제거 실험은 지속적인 지식 축적이 WikiSkill의 성능 향상에 핵심적임을 확인한다.반복 과정에 걸쳐 지식을 축적하고 정제하는 것이 효과적인 스킬 진화를 뒷받침한다.출처: §1 · p. 3

2. 문제 설정

WikiSkill은 서로 겹치지 않는 학습·검증·테스트 과제를 사용해 도구를 갖춘 LLM 에이전트의 반복적 스킬 진화를 정식화한다. 학습 롤아웃과 검증 기반 갱신 승인을 통해 절차적 스킬과 영속적 지식을 함께 발전시켜, 미지의 테스트 과제에서 성능을 극대화한다.

2. 문제 설정

  • 과제 데이터셋은 각 사례와 정답을 쌍으로 묶으며, 서로 겹치지 않는 학습·검증·테스트 집합으로 나뉜다.각 집합을 Dtrain, Dval, Dtest로 표기한다.출처: §2 · p. 3
  • LLM 에이전트는 도구와 초기에 비어 있는 스킬 집합을 갖추며, 스킬 집합은 데이터셋마다 별도로 발전한다.스킬은 절차적 지식, 스크립트, 자원을 묶은 모듈형 파일 시스템 디렉터리다 (Chen et al., 2026a; Li et al., 2026; Liu et al., 2026). 각 디렉터리에는 고유 이름, 간결한 설명, 절차적 지침, 적용 조건을 담은 SKILL.md가 있다.출처: §2 · p. 3
  • 에이전트는 관찰–행동 궤적을 따라 과제를 수행하며, 각 과제 집합에서의 성능은 예측 답변에 대한 도메인별 점수의 평균이다.행동은 도구를 호출할 수 있으며, 마지막 행동은 예측을 출력한다. 채점 함수 f는 각 예측을 정답과 비교해 평가하고 [0, 1] 범위의 값을 반환한다.출처: §2 · p. 3
  • WikiSkill은 사용 중인 스킬과 영속적 Wiki를 함께 발전시키며, 검증 점수를 떨어뜨리는 스킬 갱신은 되돌리되 축적된 지식은 유지한다.두 구성 요소는 모두 빈 상태에서 시작한다. 학습 롤아웃, 패턴 통합, 검증 기반 갱신 승인을 통해 미지의 과제에 대한 최종 테스트 성능을 극대화하는 방향으로 진화를 이끈다.출처: §2 · pp. 3–4

3. 연구 방법

WikiSkill은 과제 실행, 지식 통합, 스킬 제안, 검증 기반 승인을 통해 에이전트 스킬과 영속적 위키를 함께 발전시킨다. 이 구조는 원시 실행 기록, 축적된 지식, 활성 절차적 스킬을 분리한다.

3.1. 3계층 지식 구조

  • WikiSkill은 변경 불가능한 실행 기록, 지속적으로 축적되는 위키, 도출 근거가 된 패턴과 연결된 활성 절차적 스킬을 분리한다.원시 실행 기록에는 추론, 도구 호출, 출력, 최종 답변을 보존한다. SKILL.md에는 스킬 지침을 담고, PURPOSE.md에는 스킬과 그 도출 근거가 된 위키 패턴의 대응 관계를 기록한다. 위키 페이지는 실패, 성공 전략, 우회 방법을 문서화하며, 진화 로그와 영향 추적 기록은 개입 이력을 보존하고 반복되는 오류를 드러낸다.출처: §3.1 · pp. 4–5

3.2. 진화 에이전트와 위키 조율

  • 진화 루프는 과제 실행, 위키 통합, 스킬 제안, 검증을 조율하며, 학습 중에는 추론 에이전트의 위키 접근을 차단한다.이 제약은 학습 중 위키 접근이 스킬 개발에 부정적인 영향을 준다는 구성요소 제거 실험 결과에 따른다.출처: §3.2 · p. 5

3.2.1. 추론 에이전트에 스킬 제공

  • 선행 연구(Ni et al., 2026; Yang et al., 2026)에 따라 시스템 프롬프트에 스킬 전체를 삽입하여 스킬 활성화 및 검색 실패라는 실험 교란 요인을 제거한다.추론 에이전트는 모든 활성 스킬의 전체 내용을 제공받아 과제 실행 중 절차적 지침을 즉시 활용할 수 있다.출처: §3.2.1 · p. 5

3.2.2. 위키 관리 에이전트: 패턴 통합

  • 위키 관리 에이전트는 전체 위키와 표본으로 추출한 성공·실패 실행 기록을 함께 활용해 실패를 진단하고 전략을 추출하며 패턴 페이지를 점진적으로 개선한다.표본 추출로 컨텍스트 윈도 한계를 피한다. 패치로 패턴을 변경하면 목록을 갱신하고 logs.md에 해당 반복의 요약을 추가한다. 반복마다 생성하거나 갱신하는 패턴 수에는 명시적인 상한이 없다.출처: §3.2.2 · pp. 5–6

3.2.3. 위키를 활용하는 스킬 제안 에이전트

  • 스킬 제안 에이전트는 필요에 따라 패턴과 실행 기록을 살펴보고, 스킬 하나를 생성하거나 기존 스킬 하나를 수정하는 원자적 제안을 만든다.컨텍스트 윈도 소진을 피하기 위해 미리 고정된 표본 실행 기록 대신 위키 색인, 과거 영향 추적 기록, 모든 학습 과제의 결과를 바탕으로 시작한 뒤, 다중 턴 ReAct 방식(Yao et al., 2023)으로 동작한다.출처: §3.2.3 · p. 6

3.2.4. 승인과 롤백

  • 검증 기반 승인은 승인된 스킬 변경을 유지하거나 마지막으로 성공한 스킬 집합을 복원하되, 위키를 보존하고 모든 제안의 결과를 기록한다.검증 임계값은 스킬이 없는 기준선에서 시작해 제안이 승인될 때마다 갱신되며, 1.0에 도달하면 진화를 종료한다. 평가가 끝날 때마다 하네스는 제안 메타데이터, 대상 스킬, unified diff, 검증 점수, 승인 여부를 skill-impact.md에 기록해 실패한 수정을 반복하지 않도록 돕는다.출처: §3.2.4 · p. 6

4. 실험 및 결과

WikiSkill은 평가한 다섯 모델 모두에서 가장 높은 평균 성능을 달성하며, 전이된 스킬이 자체 진화시킨 스킬보다 우수할 수 있다. 이점은 모델 규모와 과제에 따라 달라지며, 전이 효과는 스킬의 범용성과 이를 받아들이는 모델의 절차 수행 능력에 좌우된다.

4.1. 실험 설정

  • 다섯 벤치마크는 수학, 웹 검색, 스프레드시트, 장문맥 질의응답, 체화 상호작용을 다루며, 가중치 비공개·공개 모델을 대상으로 스킬 진화 및 스킬 미사용 기준선과 비교한다.모델은 Gemini-3.5-Flash (Google DeepMind, 2026), Qwen-3.5-4B/9B-Instruct, Qwen-3.6-27B, Gemma-4-31B-It (Gemma Team, 2026)이다. 스킬 진화 기준선은 Trace2Skill (Ni et al., 2026), EvoSkill (Alzubi et al., 2026), SkillOpt (Yang et al., 2026)이다.출처: §4.1 · p. 7

4.2. 주요 결과

  • 방법별로 세 차례의 독립적인 진화 실행을 바탕으로 평균 테스트 점수를 산출하고, p < 0.05에서 대응표본 부트스트랩 유의성 검정을 수행한다.모든 방법은 빈 스킬 집합에서 시작하며, 진화시킨 스킬을 추론 프롬프트에 삽입한다. Gemini-3.5-Flash는 ALFWorld 검증 점수가 이미 100%여서 스킬 진화와 전이 원천으로의 활용이 불가능하므로, 성능이 85.9%에 머문다.출처: §4.2 · p. 7, Table 1 · p. 8

4.2.1. 모델과 과제에 따른 스킬 진화

  • WikiSkill은 평가한 모든 모델에서 가장 높은 평균 성능을 달성하며, 대부분의 모델–데이터셋 조합에서 스킬 미사용 대비 성능을 높인다.각 모델에서 가장 강력한 경쟁 스킬 진화 방법 대비 평균 향상 폭은 Qwen-3.5-4B에서 3.3점, Qwen-3.5-9B에서 5.1점, Qwen-3.6-27B에서 10.0점, Gemma-4-31B에서 5.8점, Gemini-3.5-Flash에서 12.0점이다.출처: §4.2.1 · pp. 7–8, Table 1 · p. 8
  • Qwen-3.5-4B, Qwen-3.5-9B, Qwen-3.6-27B의 평균 향상 폭은 각각 12.3점, 17.5점, 23.9점으로, 규모가 클수록 이점이 커진다.SpreadSheet에서도 향상 폭이 Qwen-3.5-4B의 +6.5점에서 Qwen-3.5-9B의 +9.3점, Qwen-3.6-27B의 +40.9점으로 커진다. 스킬은 규모 차이도 상쇄한다. WikiSkill을 사용하는 Qwen-3.5-9B는 평균 정확도 47.4%로, 스킬을 사용하지 않는 Qwen-3.6-27B의 39.4%를 넘어선다.출처: §4.2.1 · pp. 8–9
  • LiveMath에서는 20.6–39.6점 향상되지만, 이점은 과제에 따라 다르다. Qwen-3.5-4B는 장문맥 검색 워크플로가 실패할 때 OfficeQA 성능이 소폭 하락한다.스킬 진화가 이루어진 네 모델의 ALFWorld 향상 폭은 14.0–29.3점이다. 더 큰 모델은 진화된 문서 검색 워크플로를 효과적으로 수행하지만, Qwen-3.5-4B는 기본 읽기 방식으로 되돌아간다.출처: §4.2.1 · p. 9

4.2.2. WikiSkill을 통한 모델 간 스킬 전이

  • Gemini-3.5-Flash가 Qwen-3.5-4B의 스킬을 사용하면 SpreadSheet 성능이 스킬 미사용 시 50.5%에서 18.1%로 하락하며, 모델별 우회 방식에 따른 부정적 전이를 보여준다.반면 Qwen-3.6-27B의 스킬은 Gemini-3.5-Flash의 SpreadSheet 성능을 63.4%로 높인다. 더 작은 모델의 저수준 명령과 문자열 변환 규칙은 전체 작업을 아우르는 스크립트 작성을 제약하며, 파편화된 진단 절차는 중복 도구 호출을 유발해 상호작용 예산을 소진할 수 있다.출처: §4.2.2 · p. 9
  • Qwen-3.5-9B는 Qwen-3.6-27B의 스킬을 사용해 SpreadSheet에서 50.5%를 달성하며, 이는 스킬 미사용 시 24.3%, 자체 진화시킨 스킬 사용 시 33.6%보다 높다.전이는 모델 계열도 넘나든다. Qwen-3.6-27B의 스킬은 Gemma-4-31B의 LiveMath 점수를 73.7%로 높이며, 이는 스킬 미사용 시 33.9%, 자체 진화시킨 스킬 사용 시 56.7%보다 높다. 더 작은 원천 모델도 더 큰 대상 모델에 도움을 줄 수 있다. Qwen-3.5-4B의 스킬을 사용한 Gemma-4-31B는 LiveMath에서 73.1%, ALFWorld에서 66.9%를 달성한다.출처: §4.2.2 · p. 9, Table 2 · p. 10
  • Qwen-3.6-27B가 Qwen-3.5-4B의 스킬을 수행하면 OfficeQA 성능이 스킬 미사용 시 42.1%에서 52.9%로 높아지지만, 원천 모델의 성능은 30.2%에서 28.5%로 하락한다.더 강력한 Qwen 모델은 동일한 절차적 지식에서 더 큰 이점을 얻는다. 실행 궤적 분석은 작은 모델이 긴 문맥에 주의를 빼앗긴다는 점을 시사하며, 유용한 절차를 발견하는 능력과 이를 수행하는 능력을 구분한다.출처: §4.2.2 · p. 10

5. 분석 및 논의

지속적으로 유지되는 위키를 Inference Agent가 아닌 Skill Proposer만 이용하도록 할 때 스킬 진화가 개선된다. 축적된 패턴과 제안 이력은 지속적인 개선을 뒷받침하며, 스킬 구조와 위키 축적 양상은 모델과 벤치마크에 따라 다르다.

5.1. 스킬 진화에서 지속적으로 축적되는 지식의 역할

  • Gemini-3.5-Flash에서 Inference Agent의 접근을 차단하고 Skill Proposer에 지속적으로 유지되는 위키의 접근 권한을 부여하면 평균 벤치마크 성능은 63.7%로, 부여하지 않은 경우의 48.7%보다 높다.LiveMath는 51.3%에서 72.6%로, SpreadsheetBench는 49.9%에서 76.6%로 향상된다. Skill Proposer에 접근 권한을 부여하지 않는 구성은 Wiki Maintainer도 제거하므로 반복 간 지식이 지속적으로 축적되지 않는다.출처: Table 3 · p. 11, §5.1 · p. 11
  • 진화 과정에서 Skill Proposer의 위키 접근 권한을 유지하면서 Inference Agent에도 접근 권한을 추가하면 평균 벤치마크 성능은 60.9%로, 추가하지 않은 경우의 63.7%보다 낮다.LiveMath는 72.6%에서 64.8%로 하락한다. 저자들은 위키에 직접 접근하면 추론 과정에서 스킬을 우회할 수 있어 학습 궤적이 스킬 개발에 제공하는 정보가 줄어든다고 추정한다.출처: §5.1 · p. 11, Table 3 · p. 11

5.2. 정성적 분석: 스킬과 위키의 변화 양상

  • Qwen의 절차형 스킬은 118.9-128.6줄로, Gemma-4-31B의 45.1줄 및 Gemini-3.5-Flash의 81.2줄보다 길다.모델별 위키 축적 과정에서는 평균 6.3-8.9건의 패턴 생성과 7.0–18.4건의 편집이 이루어진다.출처: §5.2 · pp. 11–12, Table 4 · p. 13
  • SpreadSheet는 스킬이 142.5줄로 가장 길고 위키 패턴도 9.8개로 가장 많다. LiveMath는 스킬이 가장 짧고(84.6줄) 패턴도 가장 적다(4.4개).이는 벤치마크별 평균값이다.출처: §5.2 · p. 12, Table 4 · p. 13
  • 모델별로 채택된 갱신의 39%-52%가 0–1회차에 발생하지만, 중·후반에도 상당한 개선이 이어진다.벤치마크별 초기 단계 비중은 39%-58%다. SealQA에서는 채택된 갱신의 33%가 중반에, 28%가 후반에 발생한다. 보존된 오류, 기각된 제안, 진화 이력은 후속 갱신에 축적된 맥락을 제공한다.출처: §5.2 · p. 12

5.3. 사례 연구: 위키 기반 스킬 진화의 구조

  • Qwen-3.6-27B의 ALFWorld 사례에서는 0회차에 기각된 제안이 1회차에 채택된 스킬의 토대가 되었고, 이 스킬은 축적된 근거를 바탕으로 4회차에 개선되었다.위키는 기각된 제안의 diff와 결과를 보존하여, 채택된 규칙인 ‘물건을 원래 위치로 되돌려 놓지 않기’의 근거를 제공했다. 이후 반복 행동의 증거와 저장된 궤적은 ‘물건별로 각 작업 유형은 한 번만 수행하기’의 근거가 되었다.출처: Figure 3 · p. 12, §5.3 · p. 13

6. 관련 연구

WikiSkill은 후속 스킬 갱신에 활용할 구조화된 지식을 축적하는 영속적 위키 계층을 통해 기존 스킬 진화 방법과 차별화된다. 검색보다는 스킬 품질에 초점을 맞추며, 전체 에이전트 하네스를 고정한 채 절차적 스킬을 진화시킨다.

경험 기반 에이전트 스킬 진화

  • EvoSkill (Alzubi et al., 2026), Trace2Skill (Ni et al., 2026), SkillOpt (Yang et al., 2026)와 달리, WikiSkill은 지속적으로 진화하는 지식 표현을 별도로 유지한다.영속적 위키 계층은 반복 과정 전반의 경험을 구조화된 지식으로 통합하여, 후속 스킬 갱신이 축적된 지식을 체계적으로 활용할 수 있게 한다.출처: §6 · pp. 13–14

스킬 증강 에이전트와 에이전트 자기 개선

7. 결론

WikiSkill은 에이전트 스킬과 영속적 위키를 함께 발전시키며, 경험을 지식으로 통합해 검증을 거친 스킬 개선을 이끈다. 다섯 벤치마크와 다섯 추론 모델에서 기존 스킬 진화 방법을 일관되게 능가하며, 절제 실험에서도 지속적인 지식 축적의 중요성이 확인된다.

7. 결론

  • 다섯 벤치마크와 다섯 추론 모델에서 WikiSkill은 기존 스킬 진화 방법을 일관되게 능가하며, 대부분의 모델-데이터셋 조합에서 스킬 없는 기준선보다 성능이 높다.스킬 없는 기준선 대비 성능 향상이 모든 경우에 나타나는 것은 아니다.출처: §7 · p. 14
  • WikiSkill은 작업 공간을 세 계층으로 구성하고, 경험을 영속적 위키에 통합하며, 지식에 기반한 스킬 개선안을 제안하고, 검증 성능에 따라 변경 사항의 반영 여부를 결정한다.스킬 개발은 반복을 거치며 근거가 더 탄탄해지고 통합된 지식을 바탕으로 이루어진다.출처: §7 · p. 14
  • 스킬 진화는 모델 규모 확장을 보완한다. 일반적으로 큰 모델일수록 이점이 크지만, 진화한 스킬을 갖춘 작은 모델이 스킬 없는 훨씬 큰 모델을 능가할 수도 있다.출처: §7 · p. 14
  • 진화한 스킬은 모델 및 모델 계열 간에 효과적으로 전이되며, 전이된 스킬이 자체 진화한 스킬을 능가할 수도 있다.출처: §7 · p. 14
  • 절제 실험은 지속적인 지식 축적이 효과적인 스킬 진화에 핵심적임을 확인한다.출처: §7 · p. 14

한계

WikiSkill은 스킬 검색과 실행 조건을 평가하지 않고, 이후에 유용할 수 있어도 성능 변화가 없는 제안을 거부하며, 자동화된 위키 정리 기능이 없다. 또한 벤치마크에 매우 긴 작업이 포함되지 않아, 한 번의 긴 실행 롤아웃 내에서 이루어지는 적응은 향후 과제로 남아 있다.

한계

  • 스킬을 프롬프트에 직접 주입하면 스킬 자체의 품질을 분리해 평가할 수 있지만, 사용 가능한 스킬이 늘어날수록 중요해지는 스킬 검색과 실행 조건은 평가하지 못한다.검색에 따른 교란 효과를 피하기 위해 활성 스킬을 에이전트 프롬프트에 직접 주입한다.출처: Limitations · p. 14
  • 엄격한 검증 기반 수용 기준은 이후 반복에서 성능 향상으로 이어질 수 있어도 당장 성능 변화가 없는 제안을 거부한다.공정한 비교를 위해 기존 프레임워크를 따라 검증 점수를 높이는 제안만 수용한다 (Alzubi et al., 2026; Yang et al., 2026). 더 유연한 수용 기준은 향후 과제로 남아 있다.출처: Limitations · p. 14
  • WikiSkill은 패턴 페이지, 진화 로그, 제안 변경 내역을 지속적으로 축적하지만 자동화된 위키 정리 기능은 없다.진화 과정을 더 오래 실행하면 지식이 축적되면서 정리가 필요해질 수 있다.출처: Limitations · p. 14
  • 벤치마크 모음에는 환경 내 행동 수백 회나 수 시간에 걸친 매우 긴 작업이 포함되지 않는다.OfficeQA의 긴 문맥 문서 추론과 다단계 도구 상호작용은 포함된다. 한 번의 긴 실행 롤아웃 내에서 절차적 지식을 다듬는 온라인 적응은 향후 과제로 남아 있다.출처: Limitations · p. 14

A. 방법 세부 사항 · A.1. 알고리즘 · A.2. 채택된 스킬 업데이트의 분포

WikiSkill은 학습 과제 롤아웃, 위키 통합, 후보 제안, 검증을 통한 채택 결정을 거쳐 스킬을 진화시킨다. 제안이 거부되면 스킬만 되돌리고 위키는 유지하며, 위키에는 제안 결과와 스킬 변경 내역을 기록한다.

A.1. 알고리즘

  • 위키 관리자는 스킬 제안이 생성되기 전에 학습 실행 기록에서 표본으로 추출한 일부를 중간 위키에 통합한다.위키 관리에는 이전 위키 상태와 표본으로 추출한 실행 기록을 함께 사용한다.출처: §A.1 · p. 19
  • 각 반복에서 추론 에이전트는 이전 반복의 활성 스킬을 사용해 학습 과제에서 롤아웃을 수행한다.이후 위키 관리를 위해 이 학습 실행 기록 중 일부를 표본으로 추출한다.출처: §A.1 · p. 19
  • 제안이 거부되면 스킬만 되돌린다. 위키는 유지하며 제안 결과와 스킬 변경 내역을 반영해 갱신한다.이렇게 해당 반복의 최종 위키 상태를 얻는다.출처: §A.1 · p. 19

A.2. 채택된 스킬 업데이트의 분포

  • 검증을 통해 제안된 스킬을 채택할지 되돌릴지 결정하며, Table 5는 스킬 업데이트 제안이 언제 채택되는지 보고한다.제공된 본문에는 Table 5의 채택 분포가 포함되어 있지 않다.출처: §A.1 · p. 19, §A.2 · p. 19

A.1. 알고리즘

  • 제안자는 위키 통합 이후, 검증을 통한 채택 결정 이전에 스킬 수정 후보를 생성한다.진화 반복 과정은 학습 과제, 검증 과제, 성능 지표 R, 반복 횟수 K를 입력으로 받는다.출처: §A.1 · p. 19
  • 베이스라인 검증은 검증 과제에서 초기 스킬을 평가하고, 그 성능 지표로 Rbest를 초기화한다.이 평가는 반복적인 스킬 진화 과정에 앞서 수행된다.출처: §A.1 · p. 19

B. 데이터셋 세부 정보 및 분할

평가는 수학적 추론, 웹 검색, 스프레드시트 프로그래밍, 긴 문맥 기반 금융 질의응답, 체화된 의사결정을 평가하는 다섯 벤치마크에 걸쳐 이루어진다. 보고된 점수는 세 차례 독립적인 진화 실행의 평균이며, 대응표본 부트스트랩 유의성 검정으로 변동성을 평가한다.

LiveMathematicianBench

SealQA

  • SealQA (Pham et al., 2026)는 효과적인 검색 질의 구성과 웹 검색 결과에서의 답 추출을 통해 학술적 사실에 관한 질의응답을 평가한다.실험에서는 July, 2026 버전을 사용하고, 다단계 검색에 Google Search API 접근 및 파일 읽기를 활용한다.출처: B. Dataset Details and Splits · pp. 19–20

SpreadsheetBench

  • SpreadsheetBench (Ma et al., 2024)는 라이브러리 제약과 복잡한 표 변환 조건에서 올바른 코드를 작성하는 능력을 평가한다.제약에는 수식 계산의 한계가 포함되며, bash 셸은 Python 실행과 표 조작을 지원한다.출처: B. Dataset Details and Splits · pp. 19–20

OfficeQA

  • OfficeQA 는 긴 과거 재무부 공보와 여러 페이지에 걸친 재무 표의 근거를 종합해야 한다.Yang et al. (2026)을 따라 프롬프트에 미리 파싱한 정답 참조 페이지를 포함한다. 에이전트는 디스크에 있는 공보 전체 파일을 검색하고 교차 참조할 수 있도록 glob, grep, read 도구를 그대로 사용할 수 있다.출처: B. Dataset Details and Splits · pp. 19–20

ALFWorld

  • ALFWorld 는 텍스트 기반 시뮬레이터의 다단계 가사 작업으로 순차적 의사결정, 공간 추론, 오류 복구를 평가한다.에이전트는 정적인 질문에 답하는 대신 텍스트로 행동을 지시하고 시뮬레이터의 피드백을 받는다.출처: B. Dataset Details and Splits · p. 20

평가 절차

  • 전체 진화 파이프라인을 세 차례 독립적으로 실행해 테스트 점수를 평균하며, 대응표본 부트스트랩 유의성 검정으로 작은 검증 분할에서 발생하는 변동성을 평가한다.과제별 데이터 분할과 사용 가능한 도구 모음은 선행 연구 (Alzubi et al., 2026; Yang et al., 2026)와 엄격히 일치시킨다.출처: B. Dataset Details and Splits · pp. 20–21

C. 구현 세부 사항 · D. 베이스라인 세부 사항 및 최적화기 API 호출 분석 · D.1. 베이스라인 방법

WikiSkill은 층화된 실행 기록으로 진단 피드백을 얻고, 부트스트랩 검정으로 성능을 비교한다. 베이스라인은 실행 기록에서 도출한 수정안과 검증 기반 선택을 통해 스킬을 진화시킨다.

C. 구현 세부 사항

  • Wiki-maintainer는 반복마다 최대 8개의 실행 기록을 활용한다. 실패 기록은 최대 다섯 개로 근본 원인을 분석하고, 성공 기록은 최대 세 개로 효과적인 전략을 파악하고 성능 퇴행을 방지한다.각 실행 로그는 프롬프트에 삽입하기 전에 15,000자로 제한한다.출처: C. Implementation Details · p. 21
  • 벤치마크마다 대응 부트스트랩을 1,000회 반복해 후보별 정확도와 후보 간 쌍별 성능 차이를 추정한다.각 반복에서는 테스트 사례를 복원 추출해 원래 테스트 세트와 크기가 같은 평가 세트를 구성한다.출처: C. Implementation Details · p. 21
  • 벤치마크 통합 평가에는 층화 매크로 평균 부트스트랩 재표집을 사용하며, 각 벤치마크 안에서 사례를 독립적으로 재표집하고 모든 벤치마크에 동일한 가중치를 부여한다.이렇게 산출하는 통계량은 매크로 평균 정확도다.출처: C. Implementation Details · p. 21
  • 관측 성능이 가장 높은 방법을 단독 최상위로 판정하려면 다른 모든 방법과의 비교에서 p < 0.05를 충족해야 한다.그렇지 않으면 p ≥ 0.05에서 선두와 통계적으로 구별되지 않는 모든 방법을 통계적 공동 최상위 집단으로 묶어 굵게 표시한다. 초기 순위는 관측 성능 또는 벤치마크 통합 매크로 평균 성능을 기준으로 정한다.출처: C. Implementation Details · p. 21

D.1. 베이스라인 방법

  • Trace2Skill (Ni et al., 2026)과 SkillOpt (Yang et al., 2026)는 성공과 실패에서 도출한 패치를 계층적으로 통합하고, 검증 성능에 따라 스킬 문서 갱신을 수용한다.Trace2Skill은 성공 분석기와 오류 분석기를 병렬로 사용한 뒤, 이들이 생성한 구조화된 패치를 재귀적으로 병합한다. SkillOpt는 Rollout, Reflect, Aggregate, Select, Update, Evaluate의 여섯 단계로 구성된 ReflACT 파이프라인으로 전체 실행 기록을 성찰하고 하나의 통합 스킬 문서를 갱신한다.출처: §D.1 · pp. 21–22
  • Trace2Skill (Ni et al., 2026)과 달리 EvoSkill (Alzubi et al., 2026)은 제안기에 실패 기록만 제공하며, 검증된 스킬 후보로 구성된 크기가 제한된 프런티어를 유지한다.EvoSkill은 범주별 라운드 로빈 일정에 따라 훈련 과제를 표집하고, 제안 결과 이력을 계층 구조 없이 제공한다. 제안된 수정안은 SKILL.md 파일로 만들어져 검증 점수를 받은 뒤 성능 상위 프로그램의 프런티어에 편입된다.출처: §D.1 · p. 21

D.2. 최적화기 API 호출 복잡도 · 3. 계층적 축약 및 적용 단계: 𝑁train · E. 시스템 및 에이전트 프롬프트

WikiSkill은 전체 배치 최적화로 최적화기 API 호출 수를 학습 세트 크기와 무관하게 유지한다. 이는 보고된 설정에서 호출 수가 선형으로 증가하는 비교 방법들과 대조된다. 제공된 프롬프트는 과제별 추론 방식, 점진적 위키 관리, 위키 기반 스킬 제안 절차를 명시한다.

D.2. 최적화기 API 호출 복잡도

  • 전체 배치 방식의 WikiSkill은 반복당 최적화기를 1 + T_ReAct회 호출하므로 학습 세트 크기에 대한 호출 복잡도가 O(1)이다.한 번의 호출로 위키를 관리한 뒤, 스킬 제안 에이전트가 약 10–20회의 추론 턴을 수행하며 각 턴에 한 번의 호출이 필요하다. 호출 복잡도가 상수여도 일부 데이터셋에서는 추론 비용이 더 높을 수 있지만, 기존 스킬 진화 방법보다 일관된 성능 향상을 보인다.출처: Table 7 · p. 22, §D.2 · p. 22

3. 계층적 축약 및 적용 단계: 𝑁train

  • EvoSkill과 SkillOpt의 호출 복잡도는 O(N_train/B)인 반면, Trace2Skill은 모든 학습 궤적을 개별 분석하므로 O(N_train)회의 호출이 필요하다.EvoSkill과 SkillOpt는 미니배치에서 성능이 가장 좋지만, WikiSkill은 전체 배치를 사용하고 필요에 따라 실행 기록을 선별해 읽는다. Trace2Skill은 추가로 c진 축약 트리를 통해 개별 패치를 병합하고 마지막으로 형식 정리를 위한 호출을 수행한다.출처: §D.2 · p. 23, §3 · p. 23

E. 시스템 및 에이전트 프롬프트 · LiveMathematicianBench 추론 에이전트 시스템 프롬프트 · SealQA 추론 에이전트 시스템 프롬프트

  • 제공된 추론 프롬프트는 LiveMathematicianBench를 수학 객관식 과제로 설정하고, SealQA에는 사실 확인 질문에 답할 web_search와 read_file 도구를 제공한다.두 과제 모두 최종 답변을 <answer> 태그 안에 작성해야 한다. LiveMathematicianBench는 선택지 표기 하나를, SealQA는 설명 없이 정확한 값을 요구한다. 이 절에는 추론 에이전트, 위키 관리 에이전트, 스킬 제안 에이전트의 시스템 프롬프트 원문이 제시되어 있다.출처: E. System and Agent Prompts · p. 23, LiveMathematicianBench Inference Agent… · p. 24, SealQA Inference Agent System Prompt · p. 24

SpreadsheetBench 추론 에이전트 시스템 프롬프트

  • SpreadsheetBench의 추론 프롬프트는 Python으로 스프레드시트를 조작하도록 지시하며, 수정 범위를 answer_position으로, 파일 접근 범위를 working_directory로 제한한다.에이전트는 제공된 절대 경로를 정확히 사용해 수정한 스프레드시트를 지정된 output_path에 저장해야 한다.출처: SpreadsheetBench Inference Agent… · pp. 24–25

OfficeQA 추론 에이전트 시스템 프롬프트 · ALFWorld 추론 에이전트 시스템 프롬프트

위키 관리 에이전트 시스템 프롬프트

  • 위키 관리 에이전트는 일반화 가능한 성공·실패 패턴을 근본 원인, 정확한 명령어 순서, 구체적인 해결책과 함께 기록하며, 중복 항목을 만들기보다 기존 패턴을 갱신한다.위키는 패턴 목록, 진화 로그, 스킬 성과 기록, 패턴별 페이지로 구성된다. 점진적 JSON 갱신에는 전체 색인과 로그 추가분이 필요하다. 색인의 설명은 문제, 근본 원인, 해결책을 요약한다.출처: Wiki Maintainer Agent System Prompt · pp. 26–27

스킬 제안 에이전트 시스템 프롬프트

  • 스킬 제안 에이전트는 위키 패턴, 거절된 제안, 실행 기록을 참고해 실패를 진단한 뒤 스킬을 생성·수정하거나 변경하지 않기로 결정한다.실행 기록을 최소 네 개 읽고, 이전에 거절된 접근법을 피하며, 부분적으로 올바른 스킬은 수정을 우선해야 한다. 새 스킬에는 적용 조건, 지침, 출처, 해결 대상 패턴, 진화 이력이 포함된다.출처: §3 · p. 23, Skill Proposer Agent System Prompt · pp. 27–28
Loading 2608.27454v1…