PaperlayerView exact revision on arXiv

Source-linked AI summary

SkillZip: Contract-Preserving Graph Compression for Scalable Agent Skill Libraries

Xingyu Tan, Xiaoyang Wang, Qing Liu, Xiwei Xu, Xin Yuan, Liming Zhu, Wenjie Zhang

arXiv:2608.05604v1cs.CLcs.AI

TL;DR

Skill library는 procedural contract를 보존하면서도 실행에 필요한 최소 충분 context를 노출해야 하지만, 기존 시스템은 주로 전체 skill package 단위로 작동한다. SkillZip은 반복되는 section-level graph motif를 reversible하고 contract를 보존하는 macro로 압축하며, technical·embodied benchmark 전반에서 강력한 baseline을 일관되게 앞서고 최대 12.2 points의 향상을 보인다.

  • 문제

    기존 시스템은 실행이 완결되는 최소 subset 대신 전체 skill package를 검색하므로, 제한된 context budget에서 skill 수준 이하의 재사용이 제약된다.

  • 방법

    SkillZip은 skill을 section-level procedural graph로 표현하고, 반복되는 contract-valid motif를 reversible macro로 재작성하면서 dependency, verifier reachability, source expansion을 보존한다.

  • 결과

    SkillZip은 technical·embodied benchmark 전반에서 end-to-end 성능이 일관되게 가장 높으며, SkillDAG 대비 episode success rate를 12.2 points 향상한다.

  • 시사점 및 한계

    SkillZip은 장기 horizon agent task에서 효율적이고 신뢰할 수 있는 skill 재사용을 위해 실행 가능한 구조를 유지하면서 skill-library scalability를 향상한다.

  • 시사점 및 한계

    이 compression guarantee는 기록된 interface, dependency, verifier path, provenance를 복원하지만, 기록되지 않은 behavioral equivalence나 verifier correctness를 확립하지는 않는다.

Abstract

from arXiv · show

Large Language Models (LLMs) increasingly act as agents whose procedural knowledge is stored in reusable skill packages and loaded at inference time. As skill libraries grow, a central challenge is to expose the smallest sufficient executable context under a limited context budget. Existing systems struggle to reuse routines below the whole-skill level, preserve procedural contracts during compression, keep compressed routines executable and expandable, and update the compressed library as skills evolve. These challenges reveal a unit mismatch: skills are retrieved as packages, compressed as text, and converted into execution graphs only after retrieval, whereas reliable reuse requires a contract-bearing procedural unit. We propose SkillZip, an execution-aware procedural abstraction framework that performs contract-preserving compression over section-level graphs. SkillZip rewrites recurring contract-valid motifs into reversible ported macros while preserving boundary signatures, dependency closure, verifier reachability, and source-level expansion. At inference time, it hydrates a compact, dependency-closed context and expands macros only when required. ReZip further integrates new skills and revises risky macros using execution evidence. Comprehensive experiments1 on technical and embodied agent benchmarks show SkillZip consistently outperforms the strongest baseline by up to 12.2 points, while achieving a 3.46x compression ratio with 99.2% dependency preservation and 98.7% verifier reachability. Scaling analyses further confirm robust retrieval across skill libraries ranging from 200 to 100K skills.

1 서론

SkillZip은 계약을 담은 section subgraph를 절차적 재사용의 공통 단위로 취급해 whole-package retrieval, text compression, post-retrieval graph construction 사이의 불일치를 해결한다. 확장 가능한 agent skill library를 위해 contract-preserving graph compression, budgeted context hydration, execution-aware incremental maintenance를 제공한다.

  • 동기: Skill library는 LLM agent를 위한 편집 가능한 외부 절차 기억을 제공하며, task 성공은 factual knowledge보다 operations와 verification을 위한 procedure에 좌우되는 경우가 많다.Skill package는 instruction, resource, execution 및 verification rule을 저장하므로 retraining 없이 procedure를 변경할 수 있다.
  • 문제: 핵심 문제는 skill library가 커지고 중복되는 package가 늘어날 때, 제한된 budget 아래에서 가장 작으면서도 충분한 executable context를 retrieval하는 것이다.Provider는 task와 관련된 procedure를 선택하는 동시에 불완전하거나 중복된 context를 피해야 한다.
  • 문제: 기존의 whole-skill retrieval은 typed dependency와 verifier hook이 skill의 procedural contract를 규정하는 execution-complete section subset을 놓친다.서론은 공유 가능한 contract-compatible procedure를 한 번 retrieval하고 task-specific section만 추가해야 한다고 주장한다.
  • 기여: SkillZip은 source-grounded contract-bearing section-level graph를 중심으로 retrieval, compression, execution을 통합하고, contract, dependency, verifier, provenance를 보존하면서 반복되는 procedural motif를 ported macro로 재작성한다.이 framework는 표현 단위를 whole skill package에서 procedural dependency로 연결된 section-level unit으로 바꾼다.
  • 기여: SkillZip은 compact dependency-closed subgraph를 hydrate하고 필요할 때만 macro를 expand하며, ReZip 방식의 maintenance는 new skill을 매칭하고 residual motif를 승격하며 execution evidence를 사용해 risky macro를 수정한다.이러한 mechanism은 compressed procedure를 executable하고 expandable하게 유지하며 변화하는 skill과의 정합성을 보장한다.

2 관련 연구

기존 연구는 재사용 가능한 실행 지식을 위해 agent skill과 procedural memory를 발전시켜 왔으며, graph mining과 summarization 방법은 반복 구조를 압축한다. 그러나 agent skill library는 실행 인터페이스, dependency closure, verifier reachability, source provenance도 보존해야 한다.

  • Agent skill과 procedural memory: Agent skill과 procedural memory는 개별 tool call을 넘어 재사용 가능한 실행 지식을 지원하며, 여기에는 축적된 program, 정제된 경험, 이전 trajectory에서 검색한 workflow가 포함된다 [38] [45] [46] [57].Tool-augmented agent는 prompting, 학습된 tool invocation, 대규모 API collection을 통해 LLM reasoning과 외부 action을 결합한다 [18] [34] [35] [53].
  • Graph mining과 summarization: Graph mining과 summarization은 반복 구조를 발견하고 압축하는 방법을 제공하며, frequent-subgraph mining, MDL-based summary, grammar-based replacement, incremental maintenance가 포함된다 [5] [12] [13] [14] [15] [26].
  • 기존 방법의 한계: Agent skill library에는 execution interface, dependency closure, verifier reachability, source provenance를 보존하는 compression이 필요하다.

3 예비 지식

SkillZip은 전체 패키지만 검색하는 대신 agent skill library를 section-level granularity의 실행 가능한 procedural graph로 모델링한다. typed node, dependency, port, contract, provenance, reversible macro가 압축을 위한 표현과 유효성 조건을 정의한다.

  • 3 예비 지식: Skill library는 package-level retrieval과 provenance를 유지하면서 각 source occurrence를 더 세밀한 procedural section node로 표현한다.Section node는 execution role, content, typed input과 output, resource, guard 또는 verifier, 그리고 original skill source를 가리키는 pointer를 포함한다.
  • 3 예비 지식: Nine operational role이 procedural function을 규정하며, 호환 가능한 occurrence는 skill membership, multiplicity, source pointer를 잃지 않고 canonical prototype에 연결될 수 있다.역할은 Intent, Trigger, Input, Precondition, Operation, Resource, Failure, Verifier, Output이다.
  • 3 예비 지식: Procedural skill graph는 occurrence node와 prototype을 typed dependency, skill-membership, resource, equivalence edge로 결합하며, port는 외부 subgraph contract를 노출한다.Dependency relation에는 Requires, Binds, UsesResource, Verifies, Repairs가 포함되며, multi-input 및 multi-output procedure를 지원한다.
  • 3 예비 지식: Procedural contract는 interface, execution, verification을 함께 규정하며, source provenance는 reversible expansion을 가능하게 한다.Interface는 typed I/O와 resource binding을 포함하고, execution은 precondition, dependency, guard, effect, failure를 포함하며, verification은 success condition과 verifier hook을 포함한다.
  • 3 예비 지식: Valid macro는 연결된 section subgraph를 ported input과 output으로 압축하면서 contract와 source-backed expansion을 유지한다.유효성을 위해서는 모든 state-changing operation 또는 macro가 호환 가능한 occurrence 전반에서 reachable verifier를 유지해야 한다.

4 방법

SkillZip은 skill package를 source-grounded section graph로 변환하고, contract-valid motif를 reversible macro로 압축하며, token budget 내에서 dependency-closed context를 hydrate해 실행 가능한 procedural contract를 보존한다. ReZip은 반복된 contract-compatible execution evidence가 축적된 뒤에만 새로운 abstraction을 승격해 이 pipeline을 확장한다.

  • Sec2Graph: Sec2Graph는 heterogeneous skill package를 typed section, explicit contract, dependency, guard, verifier, root, terminal, cross-skill prototype link를 포함하는 source-grounded procedural subgraph로 변환한다.각 section은 typed input과 output, resource, guard, verifier condition, source provenance를 기록하며, skill membership와 endpoint node가 execution 구조를 이룬다.
  • MotifZip: MotifZip은 stable interface, closed dependency, 보존된 execution-to-verifier relationship이 reversible macro contract를 뒷받침할 때에만 반복되는 typed subgraph를 대체한다.Macro는 typed port, occurrence-specific mapping, executable contract, source-grounded expansion을 유지한다. 또한 selection은 frequency와 cross-skill reuse에 보상을 주고 boundary loss와 risk에는 불이익을 준다.
  • Correctness와 scope: MotifZip의 lifting guarantee는 기록된 interface, dependency, verifier path, source provenance를 복원하지만, 기록되지 않은 behavioral equivalence나 verifier correctness까지 확립하지는 않는다.이 guarantee는 structural하며, internal node가 compositional하게 rewrite 및 expand되는 non-conflicting accepted motif occurrence에 의존한다.
  • PathHydrate: PathHydrate는 task anchor를 section seed에 매핑하고, anchor coverage, dependency closure, verifier reachability, token budget constraint를 만족하는 executable context를 compile한다.Hydration을 위해 section이나 macro를 선택하기 전에 skill-level ranking과 node-level ranking을 결합해 fine-grained precision과 package coherence 사이의 균형을 맞춘다.
  • ReZip: ReZip은 established macro를 즉시 재사용하고, 반복된 cross-skill contract-compatible evidence가 동일한 validity check를 통과한 뒤에만 새로운 abstraction을 승격해 compressed library를 갱신한다.승격에는 minimum distinct-source support, compression gain, port validation, dependency-closure validation, verifier validation이 필요하다.

5 실험

SkillsBench와 ALFWorld에서 SkillZip은 평가한 두 backbone LLM 모두에서 end-to-end 성능이 가장 우수하며, 압축 중에도 실행 가능한 구조를 보존한다. Ablation 결과, section-level 표현과 adaptive하고 전역적으로 복구된 hydration이 retrieval, reward, token 효율을 실질적으로 뒷받침하는 것으로 나타났다.

  • RQ1: End-to-end 성능: SkillZip은 SkillsBench와 ALFWorld 및 평가한 두 backbone LLM 모두에서 end-to-end 성능이 가장 우수하며, gpt-5.2-codex를 사용한 ALFWorld에서 96.4%의 성공률을 달성한다.MiniMax-M2.7에서는 SkillZip의 task reward가 33이다.
  • RQ3: 실행 가능한 구조: exact-text deduplication을 통한 1.43× 압축은 표면적으로 동일한 section만 병합하므로 여전히 제한적이다.비교 결과는 SkillsBench 압축 및 structural fidelity에 대해 보고되었다.
  • RQ3: 실행 가능한 구조: Text compression은 SkillZip과 반올림 기준으로 동일한 압축률에 도달하지만 DPR을 65.0, VR을 60.0, reward를 25.5로 낮춘다.또한 쿼리의 45.0%가 원래 section에서 복구해야 하므로, context를 짧게 만드는 것만으로는 실행 가능성이 보장되지 않음을 보여준다.
  • RQ4: 구성요소 ablation: section-level node를 skill-level node로 대체하면 가장 큰 ablation 하락이 발생한다. Ret@1은 6.9 points 하락하고, reward는 5.4 points 하락하며, rendered context는 59.9% 증가한다.Section-level procedure가 이후 단계의 입력이다.
  • RQ4: 구성요소 ablation: 전역 section rescue를 제거하면 Ret@1은 68.2, reward는 30.4로 낮아지고, adaptive hydration을 비활성화하면 DPR과 VR은 유지되지만 33.3% more tokens를 사용한다.PathHydrate는 task당 1,941 tokens를 렌더링하며, top-5 whole-skill loading보다 72.1% 적다.

6 결론 … A.5 ReZip

SkillZip은 contract-preserving section-level procedural graph로 agent skill을 압축하고, compact task-specific context를 hydrate하며, 압축된 library를 점진적으로 업데이트한다. 이 논문은 SkillsBench와 ALFWorld에서 강력한 baseline 대비 end-task performance와 source-skill retrieval이 향상되었음을 보고하며, appendix에서는 알고리즘과 evaluation scope를 자세히 다룬다.

  • 6 결론: SkillZip은 SkillsBench와 ALFWorld 전반에서 end-task performance와 source-skill retrieval에 대해 강력한 retrieval 및 graph-based baseline을 능가한다.결론에서는 task outcome과 source skill 복원 모두에서 framework가 보이는 전반적인 empirical advantage를 요약한다.
  • Appendix 개요: Appendix에서는 compression fidelity, retrieval scalability, procedural overlap, hydration quality, lifecycle cost, ReZip maintenance, reliability, failures, case studies에 대한 evaluation을 개괄한다.나열된 research question은 compression, retrieval, domain applicability, context budget, system cost, evolving library, repeated run, backbone generalization, failure origin, 세 가지 case study를 다룬다.
  • A.1 SkillZip Workflow: SkillZip의 workflow는 section graph를 구축하고, 반복 motif를 압축하며, budget이 할당된 executable context를 hydrate하고, 새로운 skill이나 execution trace가 들어오면 library를 유지보수한다.Algorithm 1은 이러한 operation을 Sec2Graph, MotifZip, PathHydrate, ReZip stage로 구성한다.
  • A.2 Sec2Graph: Sec2Graph는 각 skill package를 명시적인 role, input/output signature, resource, guard, verifier, source pointer를 갖는 typed procedural graph로 변환한다.ordering, input-binding, requirement, verifier, repair edge를 추가하며, verifier link는 보수적으로 설정되어 도달 가능한 evidence를 요구한다.
  • A.3 MotifZip: MotifZip은 boundary signature, dependency, verifier reachability가 유효하게 유지될 때만 반복 motif를 수용하고, reversible macro를 생성하며 유효하지 않은 occurrence는 명시적으로 남긴다.Signature instability, missing dependency, weak verifier support, contradictory binding, nonpositive compression gain은 macro 생성을 차단한다.
  • A.4 PathHydrate: PathHydrate는 query를 anchor하고, skill evidence를 결합하며, scaffold와 closure를 복구하고, budget을 준수하며, macro rendering level을 선택해 연결된 task-specific context를 구성한다.Macro는 name, contract, outline, full source로 render할 수 있으며, task anchor, dependency, verifier reachability가 충족되면 filling을 중단한다.
  • A.5 ReZip: ReZip은 기존 macro를 통해 새로운 skill을 assimilate하고, execution trace에서 반복적인 expansion 필요나 downstream failure가 나타나면 risky macro를 revise한다.Revision에는 동일한 port, dependency-closure, verifier test를 적용하며, macro를 split하거나 retire하기 전에 hydration detail을 높이고 source expansion을 유지한다.
  • A.5 ReZip: 따라서 compressed library는 offline compression 과정에서와 마찬가지로 incremental maintenance 중에도 동일한 lifting invariant를 보존한다.ValidContract는 updated macro에 대해 MotifZip의 port, dependency-closure, verifier check를 재사용한다.

A.6 평가 지향 지표 · B 추가 실험

Algorithm 6은 SkillZip이 단순한 retrieval 성능이 아니라 구조적 조건을 보존하는지 검증하는 평가량으로 framework 로그를 변환한다. task, structural, downstream-execution metric을 사용해 압축 실행과 비압축 실행을 쌍으로 평가한다.

  • A.6 평가 지향 지표: Algorithm 6은 retrieval mechanism을 추가하지 않고 framework 수준 로그를 경험적 평가량으로 변환한다.압축 표현이 SkillZip이 주장하는 구조적 조건을 보존하는지 확인한다.
  • A.6 평가 지향 지표: 평가는 query, raw 및 compressed graph, macro dictionary, executor, profile, budget을 입력으로 받아 query별 로그와 aggregate report를 반환한다.
  • A.6 평가 지향 지표: 각 query에 대해 SkillZip은 budget이 지정된 compressed context를 hydrate하고, uncompressed context를 렌더링한 뒤, evaluation executor에서 둘 다 실행한다.
  • A.6 평가 지향 지표: 평가는 dependency preservation, verifier reachability, macro expansion requirements, full-source fallback을 확인한 뒤 task 및 structural metric을 집계한다.
  • A.6 평가 지향 지표: aggregate report는 task success, token reduction, dependency preservation, verifier reachability, macro expansion, full-source fallback, downstream execution inflation을 포괄한다.이러한 structural metric은 compact context가 단지 더 짧은 것이 아니라 실행 가능한 상태로 남는지 검증한다.
  • A.6 평가 지향 지표: Downstream inflation은 동일한 executor seed에서 쌍을 이룬 compressed 및 uncompressed 실행을 비교하며 J(τ) = n_repair(τ) + n_tool(τ) + 2n_vfail(τ)을 사용한다.보고되는 백분율은 100 max{0, J(τ_q) − J(τ_full q)}/max{1, J(τ_full q)}이다.
  • A.6 평가 지향 지표: Macro expansion과 full-source fallback은 query 수준 지표로 집계되며, full-source fallback은 expansion의 strict subset으로 취급된다.

B.1 압축 충실도와 계약 강건성

SkillZip의 압축 감사는 1K-skill 라이브러리에서 저장 공간 절감과 downstream recovery를 함께 평가하며, 계약 검증이 낮은 recovery 오버헤드를 유지함을 보인다. 검증을 제거해도 0.5 MB만 절약되지만 fallback과 downstream inflation은 크게 증가한다.

  • 압축 충실도: 이 감사는 동일한 1K-skill 라이브러리에서 active storage, 보존된 source package, fallback expansion, downstream inflation을 측정한다.active storage는 표현된 graph를 집계하고, 보존된 source package는 reversible expansion을 지원하며, downstream inflation은 raw-graph execution을 기준으로 측정한다.
  • 계약 강건성: 계약 검사를 제거하면 0.5 MB만 절약되는데도 fallback은 7.2%에서 24.7%로, downstream inflation은 2.7%에서 23.4%로 증가한다.이는 계약 검증이 실행 중 저장 공간 절감분이 다시 소모되는 것을 방지함을 뜻한다.
  • 압축 충실도: Table 4는 reversible expansion을 위해 source data를 보존하면서 active-storage compression과 downstream recovery를 평가한다.이 표는 1K-skill SkillsBench 라이브러리를 대상으로 하며 downstream inflation을 raw-graph execution 대비로 정의한다.
  • 계약 강건성: Figure 3은 annotated subset에서 계약 추출의 field-level F1과 exact match를 보고한다.점선은 macro average를 나타낸다.
  • 계약 강건성: Table 5는 계약 필드를 제거하거나 대체하는 방식으로 synthetic contract corruption을 가하고 expansion 및 fallback rate를 측정하여 강건성을 검증한다.fallback에는 original-source restoration이 필요하다.

B.2 검색 확장성과 모호성 · B.3 절차적 중첩과 도메인 적용 가능성

라이브러리가 커질수록 SkillZip은 SkillDAG보다 더 견고하게 검색을 확장하며, 절차적 중첩은 실행 충실도를 실질적으로 낮추지 않으면서 압축률을 높인다. 또한 section-level compression은 평가한 절차적 도메인 전반에서 보고된 task metric을 개선한다.

  • B.2 검색 확장성과 모호성: 라이브러리가 100K skills로 커질 때 SkillZip의 Ret@1은 78.3에서 65.1로 13.2 points 하락하는 반면, SkillDAG는 72.1에서 41.8로 30.3-point 하락한다.성능 격차는 200 skills에서 6.2 points였지만 100K skills에서는 23.3 points로 벌어진다.
  • B.2 검색 확장성과 모호성: 라이브러리가 확장될 때 SkillZip의 similar-skill confusion rate는 4.2%에서 12.4%로 상승하는 반면, SkillDAG는 8.5%에서 48.2%로 상승한다.결과는 section-level matching이 중첩되는 skill descriptions 속에서도 구체적 operations, dependencies, constraints를 더 잘 구분함을 보여준다.
  • B.2 검색 확장성과 모호성: SkillZip의 compression ratio는 2.31×에서 4.29×로 증가하며, online retrieval 및 hydration latency는 query당 18.4 ms에서 248.3 ms로 상승한다.100K skills에서도 latency는 250 ms 미만으로 유지된다.
  • B.3 절차적 중첩과 도메인 적용 가능성: 절차적 중첩이 클수록 mean macro support는 2.3에서 9.7 occurrences로, compression ratio는 1.18×에서 4.63×로 증가한다.통제된 변형에서는 library size와 query distribution을 고정한 채 반복되는 contract-compatible motifs를 늘린다.
  • B.3 절차적 중첩과 도메인 적용 가능성: 중첩 수준 전반에서 DPR은 99.1 이상, VR은 98.8 이상을 유지하며 reward는 1.1 points만 변한다.따라서 SkillZip은 안정적인 execution fidelity를 유지하면서 재사용 가능한 구조에 맞춰 compression을 조정한다.
  • B.3 절차적 중첩과 도메인 적용 가능성: SkillZip은 matched baseline이 있는 모든 평가된 절차적 도메인에서 SkillDAG보다 보고된 task metric을 개선한다.평가는 1,000 SkillsBench skills를 네 개의 명명된 도메인과 miscellaneous category로 나누고, ALFWorld도 별도로 테스트한다.
  • B.3 절차적 중첩과 도메인 적용 가능성: 도메인 전반에서 matched baselines를 사용할 수 있는 경우 SkillZip의 SkillDAG 대비 reward gains는 4.8 to 6.7 points 범위다.ALFWorld는 독립적으로 구조화된 embodied skill library로 평가되며, dash는 category-level baselines를 사용할 수 없음을 나타낸다.

B.4 Hydration 품질과 Context Compactness

PathHydrate는 executor budget을 채우기보다 compact하게 hydration된 context만으로 task reward의 대부분을 달성한다. 기본 3,000-token allowance에서 whole-skill retrieval보다 훨씬 적은 context를 렌더링하면서도 task-critical dependency와 verifier reachability를 보존한다.

  • Hydration 품질: 3,000 tokens에서의 33.3 reward가 1,000에서의 22.4와 비교되고, 5,000에서 추가되는 점수가 0.8에 불과하다는 결과는 hydration된 context를 확장할 때 diminishing returns가 나타남을 보여준다.execution-critical dependency와 verifier condition이 복구되는 2,000 tokens까지 curve가 가파르게 상승한 뒤 평탄해진다.
  • Context Compactness: 3,000-token budget에서 task당 평균 1,941 rendered tokens(중앙값 1,947)을 사용한다는 결과는 retrieved skill package를 full rendering하는 방식과 비교해 compact한 context delivery를 보여준다.비교에는 동일한 query의 top-K retrieved package와 Tables 2 and 3에서 사용한 default setting이 적용된다.
  • Context Compactness: task의 51.7%는 2,000 tokens 미만을 사용하고 74.7%는 2,500 미만을 사용하며, 26.4%는 최빈 1,000–1,500-token 구간에 속한다.이 분포는 compactness가 평균화의 산물이 아니며 hydration이 대체로 allowance를 소진하기 전에 중단됨을 나타낸다.
  • Context Compactness: PathHydrate는 3,000-token budget을 selection allowance로 취급하며, task anchor가 포함되고 dependency가 닫히며 verifier에 도달할 수 있게 되면 종료한다.이 stopping rule은 delivered context가 greedily 채워지지 않고 maximum budget보다 작게 유지되는 이유를 설명한다.

B.5 Skill Lifecycle 전반의 시스템 비용 · B.6 Streaming ReZip 유지보수

Skill lifecycle 전반에서 SkillZip은 캐시 가능한 offline construction과 경량 task-time retrieval을 결합해 더 낮은 비용으로 end-to-end execution의 성공률을 높인다. Streaming ReZip은 각 update 시점에 이용 가능한 evidence만으로 유입되는 skill과 contract drift 상황의 유지보수를 평가한다.

  • B.5 Skill Lifecycle 전반의 시스템 비용: Offline structural construction은 여전히 캐시 가능하며, 178 s 만에 4.77M개의 cached section nodes로 100K skills까지 확장된다.측정된 local stage는 100 skills에서 274 ms, 1K skills에서 1.44 s, 10K skills에서 16.1 s가 걸리며, LLM inference는 제외했다.
  • B.5 Skill Lifecycle 전반의 시스템 비용: retrieval에서 발생하는 SkillZip의 소폭 추가 graph operations는 더 작은 executable context로 상쇄되며, 이에 따라 downstream의 반복적인 context 및 interaction 비용이 감소한다.downstream 효과에는 multi-turn execution 전반에서 관련 없는 branch, 누락된 dependency, repair attempt, tool call의 감소가 포함된다.
  • B.5 Skill Lifecycle 전반의 시스템 비용: SkillDAG에서 Reward는 27.3에서 33.3으로 상승하는 반면, 전체 prompt processing은 47.0% 감소해 2.78M tokens에서 1.47M tokens가 된다.Completion tokens도 31,963에서 20,601로 감소해 35.5% 줄어든다.
  • B.5 Skill Lifecycle 전반의 시스템 비용: lifecycle 전반에서 offline construction은 일회성이며 캐시 가능하고, task-time retrieval은 경량으로 유지되며, end-to-end execution은 더 저렴하고 성공률도 높아진다.이는 executor에 표시되는 tokens와 library를 올바르게 사용하기 위해 필요한 downstream interaction을 모두 포함한 결론이다.
  • B.6 Streaming ReZip 유지보수: ReZip은 1K-skill pool의 나머지 50%를 ten fixed, non-overlapping batches로 추가하고 fifth batch 이후 contract drift를 주입해 streaming maintenance를 평가한다.drift는 tightened source-grounded verifier condition 아래에서 active macros의 고정된 domain-stratified subset을 대상으로 한다.
  • B.6 Streaming ReZip 유지보수: 각 update에서 ReZip은 cached section records와 observed execution traces만 사용하며, 일회성 LLM extraction은 update cost에서 제외한다.이는 fixed compressed graph, recompression 없는 append-only updates, periodic full-library recompression과 비교된다.
  • B.6 Streaming ReZip 유지보수: ten arriving-skill batches 이후 static graph는 28.7 reward와 91.2 VR에 도달하지만, library evolution에 따라 old macros는 성능이 저하된다.Table 12는 periodic full recompression으로 정규화한 cumulative update cost와 drift-recovery delay를 batches 단위로 보고한다.

B.7 실행 간 및 백본 전반의 신뢰성

SkillZip의 성능 향상은 반복된 agent 실행에서도 통계적으로 안정적이며, 6개 LLM backbone과 2개 benchmark 전반에 일반화된다. 이는 executor의 정체성이나 성능 자체보다 실행 가능한 section retrieval이 이점을 이끈다는 것을 보여준다.

  • 반복 실행에서의 신뢰성: 서로 대응하는 다섯 번의 실행에서 SkillZip은 네 가지 설정 모두에서 주요 결과의 순서를 유지했으며, 쌍별 성능 향상은 2.8에서 12.2점이고 모든 95% 신뢰구간이 0을 제외했다.Table 13은 서로 대응하는 다섯 번의 실행에 대한 평균±표준편차와 과제 또는 에피소드 결과에 대한 쌍별 bootstrap 신뢰구간을 보고한다.
  • 반복 실행 간 신뢰성: 보수적인 ALFWorld–gpt-5.2-codex 설정에서도 SkillZip은 success를 93.6에서 96.4로 높였으며, p= .031인 paired gain 2.8 points를 얻었다.baseline이 이미 높은 success를 보이고 남은 여지가 거의 없는 경우에도, 이 결과는 단일 trajectory를 넘어선 지속성을 뒷받침한다.
  • LLM backbone 전반의 일반화: SkillZip은 열두 개의 benchmark–backbone 설정 모두에서 Vector Skills보다 우수했으며, SkillsBench 보상을 19.9에서 26.2점 향상시키고 2.0×–3.2×의 상대적 성능 향상을 달성했다.가장 큰 상대적 성능 향상은 MiniMax-M2.7에서 나타났으며, 보상이 10.4에서 33.3으로 증가했다.
  • LLM backbone 전반의 일반화: SkillsBench에서 SkillZip은 모든 backbone의 reward를 향상시켰으며, Claude Sonnet 4.5는 26.2에서 52.4로, Gemini 3 Pro는 19.3에서 44.4로, gpt-5.2-codex는 21.5에서 43.0으로 증가했다.더 강력한 backbone에서도 gain은 크게 유지되며, 이는 executor의 성능만으로는 실행 가능한 section context의 필요성이 사라지지 않음을 보여준다.
  • LLM backbone 전반의 일반화: ALFWorld에서 SkillZip은 모든 backbone을 향상시켰으며, MiniMax-M2.7은 50.7에서 79.3으로 상승했고 더 강력한 model들은 97.9–99.1 success에 도달했다.인용된 강력한 model의 결과는 Kimi K2.5에서 97.9, Claude Sonnet 4.5에서 99.0, Gemini 3 Pro에서 99.1, gpt-5.2-codex에서 96.4다.

B.8 실패 분석

SkillZip은 남아 있는 실패를 최초 차단 단계에 따라 분류하여 절차적 컨텍스트 오류와 후속 실행 오류를 구분한다. 대부분의 실패는 SkillZip이 제어하는 단계, 특히 retrieval ambiguity에서 발생하며, execution은 여전히 가장 큰 단일 범주다.

  • 실패 귀속: 실패는 최초 차단 단계에 할당하여, 상위 retrieval 누락이 이후 contract, hydration 또는 execution 실패로 다시 집계되지 않도록 한다.이 분해는 기본 1K-skill SkillsBench 설정에서 절차적 컨텍스트 오류와 후속 실행 오류를 구분한다.
  • 실패 귀속: 남아 있는 실패의 58%는 SkillZip이 제어하는 단계에서 발생한다. retrieval이 26%, contract extraction이 18%, hydration이 14%를 차지한다.retrieval 오류는 주로 모호한 anchor 또는 누락된 candidate section과 관련되며, contract 오류는 암묵적 precondition, resource requirement, 불충분하게 명세된 verifier hook에 집중된다.
  • 실패 귀속: 실패의 33%는 agent execution 중 발생하며, context retrieval과 hydration 이후 infrastructure 오류가 9%를 차지한다.execution 실패에는 잘못된 action ordering, tool 오용, verifier rejection 이후 복구 실패가 포함되며, infrastructure 실패에는 environment, timeout, tool-interface 오류가 포함된다.

C 사례 연구

사례 연구는 SkillZip이 retrieval ambiguity를 해소하고, compression 중 executable contract를 보존하며, execution evidence가 risk를 드러낼 때 abstraction을 유지하는 방식을 보여준다. 이러한 workflow 전반에서 section-level retrieval은 무관한 context를 줄이고, contract check는 재사용 가능한 macro를 제약하며, ReZip은 시간에 따라 compression을 조정한다.

  • 사례 연구 1: skill-level ambiguity 해소: Section-level retrieval은 query를 operation 및 verifier anchor에 매핑하고, dependency-closed context를 hydrate하며, 무관한 continuation을 제외해 ambiguity와 context size를 줄인다.Header normalization의 경우 SkillZip은 재사용 가능한 ingest macro와 row-count verifier를 유지하고, 경쟁 routine은 제외한다.
  • 사례 연구 2: compression 중 contract 보존: MotifZip은 contract-compatible CSV routine만 compression하여 typed port, dependency, source map, verifier link를 보존하고 workbook occurrence는 거부한다.Pivot aggregation은 macro 바깥에 남고 output port를 통해 재연결된다. workbook routine이 formula preservation을 변경하기 때문이다.
  • 사례 연구 3: library evolution 중 compression 유지: ReZip은 full recompression 없이 반복적으로 호환되는 residual을 승격하고, 반복적인 expansion, repair 또는 verifier failure 이후 risk가 큰 macro를 강등하거나 분할한다.재사용이 안정적인 영역에서는 library가 compact한 상태를 유지하고, formula-bearing export task에서는 hydration을 늘리거나 risk를 국소화한다.

D 실험 세부사항 · E 상세 관련 연구 · F 프롬프트

이 논문은 retrieval, structural-fidelity, recovery, cost metric을 사용해 procedural artifact-construction 및 embodied-interaction benchmark에서 SkillZip을 평가한다. 또한 graph-based skill retrieval system 가운데 이 방법의 위치를 설명하고, contract 추출, data flow 정규화, task anchoring, executable context 활용을 지원하는 prompt를 명시한다.

  • D 실험 세부사항: SkillZip은 SkillsBench와 ALFWorld에서 평가되며, 1,000-skill 설정에서 검증 가능한 artifact construction과 장기 interactive task를 다룬다.SkillsBench는 executable verifier를 사용하고, ALFWorld는 episode success를 측정한다. verifier 정보는 실행 후 scoring 때까지 공개하지 않는다.
  • D 실험 세부사항: 평가는 task별 reward definition과 Ret@k 및 MRR을 사용해 end-task reward, retrieval quality, structural fidelity, recovery behavior, system cost를 보고한다.Structural metric에는 dependency preservation과 verifier reachability가 포함된다. whole-skill package가 target budget을 초과하면 측정된 final Tok을 사용한다.
  • D 실험 세부사항: Baseline은 whole-skill disclosure, semantic 및 graph retrieval, exact-text deduplication, task-agnostic text compression, 기타 representation-level compression variant를 포괄한다.모든 방법은 verifier code나 assertion excerpt 없이 동일한 agent-visible task brief와 benchmark metadata를 입력받는다.
  • D 실험 세부사항: 실험은 비교 block 내부에서 backbone, executor, retrieval setting을 맞추고, cached extraction, local graph construction, online retrieval, execution, token-accounting cost를 분리한다.Library-scaling 실험은 candidate library만 확장하며, strict-superset construction을 사용해 고정된 query와 annotation을 유지한다.
  • E 상세 관련 연구: 관련 연구는 reusable agent experience와 progressive disclosure에서 dependency-aware skill graphs, reusable subunits, adaptive retrieval levels, post-retrieval execution DAGs로 발전해 왔다.인용된 system은 Voyager [45], Reflexion [38], ExpeL [57], Graph-of-Skills [24], Group-of-Skills [54], SkillRAE [27], SkillLens [29], SkillDAG [1], GRASP [48]이다.
  • F 프롬프트: Sec2Graph는 offline에서 section role, contract, signature, effect, verifier hook을 추출하고, shared vocabulary normalization을 통해 section 간 artifact에 canonical names를 부여한다.생성된 structured record는 library와 함께 cache되며, prompt는 temperature zero에서 작동한다.
  • F 프롬프트: PathHydrate는 technical 및 embodied task brief를 ordered subgoal, signature-matched output, explicit action chain을 갖는 common structured task object로 변환한다.signature-oriented subgoal matching을 raw task wording과 결합한 뒤 executable context를 hydrate한다. ALFWorld는 고정된 expansion budget 안에서 누락된 procedural detail을 요청할 수 있다.
  • F 프롬프트: Benchmark interface는 hydrated context를 executor에 제공하며, executor는 직접 행동하거나 targeted expansion을 요청한다. SkillsBench의 tool search는 제약되고, ALFWorld는 하나의 action 또는 expansion request로 제한된다.ALFWorld interface는 도구를 임의로 만들거나 placement를 암묵적으로 처리하지 않고, 명시적인 navigation, manipulation, state-changing step을 요구한다.
Loading 2608.05604v1…