PaperlayerView exact revision on arXiv

Source-linked AI summary

RESOURCE2SKILL: Distilling Executable Agent Skills from Human-Created Multimodal Resources

Yijia Fan, Zonglin Di, Zimo Wen, Yifan Yang, Mingxi Cheng, Qi Dai, Bei Liu, Kai Qiu, Yue Dong, Ji Li, Chong Luo

arXiv:2606.29538v4cs.SEcs.AI

TL;DR

기존 software-agent skill library는 procedural knowledge를 전달할 수 있는 tutorial video와 기타 multimodal human resource를 충분히 활용하지 못한다. RESOURCE2SKILL은 이러한 resource를 hierarchical multimodal Skill Wiki로 distill해, no-skill agent 대비 artifact quality를 +11.9 points 향상하고 28개 main-aggregate cell 중 26개에서 agentic-harness baseline을 능가한다.

  • 문제

    기존 skill library는 대체로 expert writing, agent trace, text/code에 의존해 tutorial video와 기타 multimodal human expertise를 충분히 활용하지 못한다.

  • 방법

    RESOURCE2SKILL은 video, repository, article, documentation, artifact를 executable skill로 distill하고, 이를 hierarchical multimodal Skill Wiki에 조직한다.

  • 결과

    no-skill agent 대비 artifact quality가 +11.9 points 향상되며, RESOURCE2SKILL은 28개 main-aggregate cell 중 26개에서 두 agentic-harness baseline을 능가한다.

  • 시사점 및 한계

    human-created multimodal resource를 distill하면 software agent가 재사용 가능한 procedural knowledge를 확보해 다양한 authoring domain에서 성능을 높일 수 있다.

  • 시사점 및 한계

    Online acquisition은 search, distillation, validation latency를 추가하며, 무제한 test-time recall이 아니라 고정된 pool에서 별도로 평가된다.

Abstract

from arXiv · show

Skills are a useful abstraction for software agents, turning human and agent experience into reusable procedural knowledge. Yet existing skill libraries are mostly hand-written, text-centric, or derived from agent traces, leaving tutorial videos and other multimodal human resources largely underused. We present RESOURCE2SKILL, a framework that distills multimodal resources, including tutorial videos, repositories, articles, and reference artifacts, into executable skills for software agents. RESOURCE2SKILL organizes these skills as a hierarchical multimodal Skill Wiki, where each entry combines structured text, code, visual examples, metadata, and provenance. This design preserves complementary signals from different resources: videos capture temporal operations and visual effects, code captures executable tool patterns, and articles or artifacts provide conceptual and stylistic grounding. At inference time, agents retrieve and compose relevant skills from the wiki; when coverage is insufficient, the same construction operator can acquire new skills online. Across seven practical authoring domains, RESOURCE2SKILL improves average overall score by +11.9 percentage points over no-skill agents and outperforms strong harness baselines in 26 of 28 main-aggregate model-domain cells. Ablations confirm the value of multimodal skill format, hierarchical organization, source diversity, selection strategy, and online acquisition.

1 서론

RESOURCE2SKILL은 튜토리얼 비디오와 기타 인간이 만든 multimodal resource를 software agent를 위한 hierarchical multimodal Skill Wiki에 조직된 실행 가능한 skill로 distill한다. 또한 offline library construction과 online skill acquisition을 통합해 7개 software-authoring domain에서 성능을 향상시킨다.

  • 동기: RESOURCE2SKILL은 특히 튜토리얼 비디오를 비롯한 multimodal human-created resource에서 재사용 가능한 실행 가능한 skill을 distill해 skill library의 한계를 해결한다.기존 library는 주로 수작업으로 작성되거나 agent trace에서 도출되거나 text와 code에서 mining되며, 그 결과 인간이 만든 multimodal resource가 충분히 활용되지 못한다.
  • 방법: 이 framework는 structured text, 실행 가능하거나 수정 가능한 code, visual example, metadata, provenance를 결합한 hierarchical Wiki에 skill을 조직한다.Text는 적용 가능성과 작동 원리를 설명하고, code는 tool-grounded execution pattern을 제공하며, visual example은 layout, style, motion 및 기타 지각 정보를 보존한다.
  • 방법: 통합된 resource-to-skill operator는 offline domain library를 구축하고, 사용자 요구에서 capability gap이 드러날 때 online으로 새로운 skill을 획득한다.Inference 시 agent는 hierarchical index를 탐색하고 candidate pool을 구성한 뒤 실행 중 관련 multimodal entry를 조합한다.
  • 평가: 7개 software-authoring domain에서 skill access는 no-skill agent 및 강력한 harness baseline 대비 일관된 향상을 가져온다.Domain에는 slide design, web page, spreadsheet, Blender, CAD, UE5 scene, music production이 포함된다.
  • 평가: 실증 연구는 source diversity, multimodal format, hierarchical organization, selection strategy, online acquisition의 기여를 분리해 분석한다.평가는 7개 authoring benchmark suite와 통제된 ablation을 사용한다.

2 관련 연구

기존 연구는 tool-using agent를 위한 절차적 지식을 명시화하고 human-created resource에서 supervision을 얻지만, resource를 context로 다루거나 협소한 text/code library를 구축하는 경우가 많다. RESOURCE2SKILL은 대신 multimodal resource를 agent 실행을 위해 검증된 계층형 Skill Wiki로 distill한다.

  • LM agent와 재사용 가능한 memory: LM agent는 reasoning, tool invocation, executable action, execution feedback을 결합하며, retrieval, memory, skill-library 방법은 절차적 지식을 명시화한다.이러한 agent는 현실적인 web 및 software-engineering task에서 점점 더 평가되고 있지만, 절차적 지식은 여전히 weight, prompt 또는 interaction history에 암묵적으로 남는 경우가 많다.
  • Human-created resource에서 얻는 절차적 지식: Instructional video, web page, documented code는 풍부한 절차적 supervision을 제공하지만, raw resource는 실행과 잘 맞지 않으며 대개 pretraining 또는 retrieval context로 사용된다.Resource2Skill은 이러한 source를 raw form으로 남겨두는 대신 검증된 multimodal wiki로 distill한다.
  • Skill-library framework와의 비교: 기존 skill-library framework는 주로 단일 domain의 agent trace 또는 failure에서 text- 또는 code-only library를 확장하거나, hand-authored bundle을 사용하거나, offline skill을 채굴해 domain-specific tree로 구성한다.비교 대상에는 Voyager [31], AWM [32], ASI [33], SkillFlow [38], Anthropic Agent Skills, SkillFoundry [27]가 포함된다.

3 방법

RESOURCE2SKILL은 공유된 MCP-mediated browse-select-execute interface를 사용해 construction, wiki organization, selection, execution의 네 단계를 거쳐 executable skill을 구축한다. Skill은 structured text, visual evidence, executable code, taxonomy path, provenance metadata를 결합하며, 동일한 construction operator가 통제된 online acquisition도 지원한다.

  • 개요: 이 방법은 construction, wiki organization, selection, execution으로 구성되며, 모든 단계가 domain-specific backend 위에서 하나의 MCP-mediated browse-select-execute interface를 공유한다.offline coverage가 충분하지 않으면 별도 pipeline을 추가하는 대신 construction을 online에서 재사용한다.
  • Skill 표현: 각 skill은 taxonomy path, metadata, 그리고 applicability, evidence, executable procedure를 설명하는 상호보완적 text, visual, code view를 결합한다.reference-only entry에서는 visual과 code field가 비어 있을 수 있으며, metadata는 filtering, auditing, provenance를 지원한다.
  • Construction: Construction은 tutorial video, source repository, article, reference artifact를 정규화된 wiki entry로 distill하고, completeness, provenance, deduplication, modality consistency, executability를 검증한다.vision-capable language model이 modality별 evidence를 추출한 뒤, domain-specific predicate가 다섯 가지 validation check를 적용한다.
  • Selection: MetaBrowse는 먼저 taxonomy-aware lexical scoring으로 candidate를 좁힌 다음, language model이 composable subset을 선택하며 적합한 skill이 없으면 zero skill을 선택할 수도 있다.Candidate evidence에는 metadata와 사용 가능한 text, visual, code view가 모두 노출될 수 있다.
  • Online acquisition: Online acquisition은 동일한 construction 및 validation operator로 capability gap을 겨냥하고, temporary candidate를 offline skill과 분리해 통제된 gap-filler로 유지한다.Targeted query는 동일한 resource family를 사용하며, online candidate는 현재 task나 evaluation split에 노출되기 전에 validation을 거친다.

4 실험

7개 authoring domain과 4개 agent backend 전반에서 Resource2Skill은 no-skill agent와 off-the-shelf harness보다 일관되게 성능을 향상시킨다. 통제된 ablation 결과, 향상은 library 규모, hierarchical multimodal representation, 다양한 source, novel task를 위한 online acquisition에 기인한다.

  • 주요 비교: +11.9 points: Skills 사용 시 평균 56.8%로, Skills 미사용의 45.0%보다 높고 28개 model–domain cell 모두에서 승리한다. 또한 28개 cell 중 26개에서 더 강한 harness를 앞선다.Codex-H와 ClaudeCode-H의 평균은 각각 50.5%와 50.4%이며, 두 예외는 1 point 이내다.
  • 주요 비교: 향상 폭은 convention이 많은 domain에서 가장 크며, UE5에서는 +30 to +40 pp에 이른다. 반면 Reaper의 향상 폭은 가장 작다.free-form agent는 최소 실행 가능한 UE5 scene을 구성하지 못하는 경우가 많지만, Reaper는 더 강한 no-skill prior를 가진다.
  • Skill-pool scaling: 성능은 library 규모에 따라 단조롭게 상승하고 200 skills 부근에서 포화된다. 초기 0→200 구간은 +3.1 to +14.2 pp를 더하며, 400→Full은 domain당 최대 +0.8 pp를 추가한다.초기 entry는 일반적인 operation과 recovery routine을 다루고, 이후 entry는 domain-specific gap을 메운다.
  • Online acquisition: Online acquisition은 standard task에서 +0.7 pp만 추가하지만, novel-task 성능을 41.2%에서 62.8%로 높여 +21.6 pp 향상을 만든다.offline pool이 일반적인 request를 다루므로 online search는 주로 novel task의 gap을 메우는 역할을 한다.
  • Wiki 및 representation ablation: Full wiki는 모든 domain에서 가장 우수하며 flat text보다 2.5 to 8.2 pp 앞선다. multimodal content를 추가하면 Text의 65.0%에서 Full의 68.9%로 성능이 더 상승한다.Visual은 +1.9 pp, code는 +2.0 pp를 더하며, hierarchy, metadata, visual preview, executable code는 retrieval과 grounding을 향상시킨다.
  • Source 및 selection ablation: Video는 대체 불가능하다: 이를 제거하면 평균이 68.9%에서 59.4%로 하락하는 반면, MetaBrowse는 68.9%에 도달해 BM25의 66.0%를 앞서고 모든 domain에서 승리한다.Video-only skill은 video가 없는 three-source library보다 7.4 points 우수하다. MetaBrowse가 retrieval-only selection보다 보이는 최대 margin은 Excel (+5.0 pp), PPT (+3.8), Blender (+2.3)다.

5 결론

RESOURCE2SKILL은 multimodal human reference를 구조화된 executable Skill Wiki로 distill해 offline construction과 통제된 online gap filling을 지원한다. 7개 authoring domain과 4개 backend 전반에서 skill access는 artifact quality를 높이고 agentic-harness baseline을 능가한다.

  • 결론: 7개 authoring domain과 4개 backend 전반에서 skill access는 no-skill agent보다 +11.9 points 높은 성능을 보였으며, 28개 main-aggregate cell 중 26개에서 두 agentic-harness baseline을 앞섰다.이 결과는 human-created resource에서 distill한 reusable procedural knowledge가 software-agent artifact quality를 향상하는 메커니즘임을 뒷받침한다.

A 도메인별 세부 사항

이 논문은 도메인별 도구, 렌더링 경로, skill library를 사용해 7개 authoring domain 전반에 RESOURCE2SKILL을 구현한다. 주요 비교는 7개 도메인 모두를 포함하며, 조건별 ablation은 5개 도메인 core를 사용하고 compute를 제한하기 위해 CAD와 UE5를 제외한다.

  • 도메인 범위: 구현된 backend는 Web, Excel, PPT, Blender, Reaper, CAD, UE5를 아우르며, 조건별 ablation에서는 CAD와 UE5를 제외한다.주요 결과에는 7개 도메인이 모두 포함되지만, ablation에는 Web, Excel, Reaper, PPT, Blender를 사용한다.
  • 슬라이드 디자인: PPT는 고정된 16:9 canvas에서 SVG-to-PowerPoint rendering을 사용하며, 996개의 active wiki entries와 video 또는 contact-sheet frame scoring을 적용한다.범주에는 layout, typography, palette, charts, icons, photos, shells, motion이 포함된다.
  • 도메인별 pipeline: 각 도메인은 전문 authoring tools와 evaluation render path를 결합하며, Playwright screenshots, LibreOffice sheets, Blender hero frames, Reaper audio previews, CAD 또는 UE5 viewport composites를 포함한다.구현에는 vanilla HTML/CSS/JavaScript, openpyxl, Blender bpy, MCP 기반 ReaScript, FreeCAD fallback을 포함한 ezdxf, UE5-MCP bridge가 사용된다.
  • Skill representation: 각 skill은 agent-facing metadata, mechanism과 condition을 설명하는 structured prose, executable code, 요청 시에만 확인되는 optional visual thumbnails를 묶는다.이 설계는 multimodal access를 유지하면서 visual assets를 기본 text context에서 제외한다.
  • Inference-time context: BM25는 K=20개의 candidate를 선택하고 language-model selector는 n=5개의 full entry를 노출해, task마다 약 26–32k tokens의 skill-related context를 제공한다.selection 단계에서는 약 4–10k tokens를 사용하고, 이어서 확장된 5개 entry에 약 22k tokens를 사용한다.

B 벤치마크 구축 및 평가 프로토콜 … F Judge 신뢰도

평가는 wiki-blind, taxonomy 기반 benchmark 구축, 표준화된 artifact 렌더링과 blinded judging, 재현 가능한 matched 비교를 사용한다. Skill은 vision-language model 호출 1회와 deterministic validation을 통해 distill되며, retrieval, composition, judge 신뢰도는 logged run과 human-rater agreement를 바탕으로 평가한다.

  • B 벤치마크 구축 및 평가 프로토콜: Benchmark brief는 skill, source, solution step을 명시하지 않고 domain, request, output path, artifact type을 지정한다.Brief는 명확성, 실행 가능성, construction resource와의 중복 여부를 수동으로 심사한다.
  • B 벤치마크 구축 및 평가 프로토콜: Rendered artifact는 blinded domain-appropriate judge가 paper-facing axis 5개를 사용해 채점하며, matched 비교는 동일한 brief ID에 대해 집계한다.각 score에는 rendered artifact, rubric breakdown, overall score, judge metadata가 기록되어 이후 재집계에 사용된다.
  • B 벤치마크 구축 및 평가 프로토콜: Resource collection은 taxonomy 기반으로 이루어지고 benchmark brief는 wiki-blind이므로, benchmark identifier, wiki metadata, score가 library construction에 영향을 주지 않는다.Acceptance threshold는 scoring 전에 고정되며, benchmark outcome은 library나 benchmark generator에 다시 입력되지 않는다.
  • C Harness Baseline Configuration: ClaudeCode-H와 Codex-H는 동일한 brief, domain backend, output contract, matched evaluation protocol을 사용하는 off-the-shelf harness baseline으로 활용된다.이 harness는 custom-built variant나 stripped variant가 아니라 기본 planning 및 tool-use loop를 유지한다.
  • D Construction Operator 및 Acceptance Predicate: Resource2Skill은 vision-capable language model 호출 1회로 각 resource를 distill한 뒤, deterministic post-processing과 rule-based acceptance gate 5개를 적용한다.Gate는 completeness, provenance, deduplication, modality consistency, structural executability를 검사하며, 실행에 실패한 entry는 reference-only로 남고 verified-only mode에서 filter된다.
  • E Retrieval 및 Composition Quality: Run log는 retrieval 및 composition 분석을 위해 BM25 top-20 candidate, selected skill 5개, selection rationale, execution trace, tool outcome, artifact-level failure를 드러낸다.Composition은 multi-pass replanning이나 conflict arbitration 없이 selected skill을 순서대로 한 번 적용한다.
  • E Retrieval 및 Composition Quality: Matched-budget selection ablation은 ranking과 presentation을 분리해 분석하므로, 무관한 retrieval은 selector refusal, failed application, 또는 낮은 artifact score를 초래할 수 있다.전략 간 library, agent, judge, decoding seed, candidate budget은 고정된다.
  • F Judge 신뢰도: 17개 task–artifact pair에서 judge reliability는 overall axis에 대해 human rater 3명의 median과 비교할 때 ρ = 0.71, ICC = 0.66에 도달했다.Design과 detail은 human median과 가장 잘 일치했으며, utility에서 disagreement가 가장 컸다.

G 셀별 대응 결과 수와 Wilcoxon 검정

대응된 N=80개 brief 전반에 대해 Table 6은 셀별 대응 결과 수와 w Skills와 w/o Skills를 비교하는 Wilcoxon signed-rank 검정을 보고한다. w Skills의 delta는 보고된 모든 셀에서 유의하며, 9개 셀 중 8개에서 p < 10−8에 도달한다.

  • G 셀별 대응 결과 수와 Wilcoxon 검정: 분석은 보고된 각 셀에 대해 대응된 N=80개 brief를 다룬다.표는 w Skills와 w/o Skills 간 대응 비교를 요약한다.
  • G 셀별 대응 결과 수와 Wilcoxon 검정: Table 6은 각 대응 셀을 엄격한 w Skills 승리, 동률, 엄격한 w/o Skills 승리로 구분한다.대응 결과 수, 대응 delta, 대응 Wilcoxon signed-rank p-value를 보고한다.
  • G 셀별 대응 결과 수와 Wilcoxon 검정: 보고된 모든 셀에서 p < 10−3이며, w/o Skills 대비 w Skills의 delta에 대해 9개 셀 중 8개가 p < 10−8이다.이 결과는 셀당 대응된 N=80개 brief에 대해 paired Wilcoxon signed-rank 검정을 사용한다.

H 축별 주요 비교 세부사항 · I 온라인 획득 세부사항

논문은 축별 GPT-5.4 주요 비교 세부사항을 제시하고, 온라인 skill 획득을 위해 제한되고 검증되며 격리된 프로토콜을 명시한다. 도메인별 축 평균은 백분율로 보고되며, Table 1의 overall score와 평균적으로 일치한다.

  • H 축별 주요 비교 세부사항: 각 도메인의 5개 축 값은 Table 1의 대응하는 GPT-5.4 overall score로 평균된다.
  • H 축별 주요 비교 세부사항: w Skills 열은 각 도메인의 평균과 w/o Skills 대비 대응하는 percentage-point 차이를 보고한다.양의 차이는 녹색으로 표시된다.
  • H 축별 주요 비교 세부사항: Table 7은 각 도메인에 대한 5축 GPT-5.4 점수를 보고하며, 백분율은 축 평균 원시값에 10을 곱해 계산한다.각 도메인은 자체적인 5축 rubric을 사용한다.
  • I 온라인 획득 세부사항: 온라인 획득은 offline wiki가 요청된 capability에 대해 충분한 후보 집합을 반환하지 못할 때에만 활성화된다.
  • I 온라인 획득 세부사항: 온라인 부문은 새로 검색하고 distill한 skill을 최대 100개까지 추가할 수 있으며, 이 예산은 무제한 resource access가 아니라 coverage gain을 측정하기 위해 task set 전체에서 고정된다.
  • I 온라인 획득 세부사항: 온라인 후보는 offline 후보와 동일한 construction predicate를 거치며, executable code는 domain smoke check를 통과하거나 reference-only로 표시되어야 한다.거부된 후보는 agent에 노출되지 않는다.
  • I 온라인 획득 세부사항: 온라인 항목은 evaluation 전반에서 별도의 pool에 남으며, 주요 비교나 ablation에 사용되는 offline wiki에 통합되지 않는다.이를 통해 온라인 검색이 기본 skill library를 조용히 변경하는 것을 방지한다.

J 사례 연구

다섯 authoring domain의 사례 연구는 distill된 skill이 artifact 품질을 크게 향상시킬 수 있음을 보여주는 동시에, 불완전한 grounding과 지나치게 보수적인 composition에서 발생하는 실패도 드러낸다. 수작업으로 설계한 이러한 boundary probe는 matched benchmark aggregate를 반박하는 것이 아니라 보완한다.

  • 사례 연구 설계: 이 연구는 GPT-5.4에서 Web, PPT, Excel, Blender, Reaper 각각에 대해 skill-assisted 성공 사례 하나와 실패 사례 하나를 짝지어 side-by-side 정성 비교를 수행한다.실패는 단순한 missing-output failure가 아니라 진단적 boundary probe이며, matched benchmark aggregate에서는 제외된다.
  • 성공 사례: Web과 PPT의 성공 사례에서 skill은 no-skill output보다 더 풍부한 restaurant page와 더 조밀하고 다양한 all-hands deck을 생성한다.Web skill arm은 완전한 콘텐츠와 스타일이 적용된 testimonials block을 추가하고, PPT arm은 shell의 다양성, 조밀한 slide content, 일관된 theming을 추가한다.
  • 실패 사례: 실패 사례는 artifact에 unresolved binding이 남아 있을 때 skill 사용이 저조한 결과를 낼 수 있음을 보여준다. 여기에는 sparse Web 또는 PPT output, Excel의 #NAME? error, 식별할 수 없는 Blender render가 포함된다.Reaper 실패도 마찬가지로 한 section에 머무르는 반면, no-skill arm은 더 강한 variation 또는 polish를 달성한다. 실행 자체는 성공했다고 명시된 경우에도 이는 품질 실패다.
  • 성공 사례: Excel과 Blender의 성공 사례에서 skill은 sparse하거나 primitive한 output 대신 structured KPI workbook과 식별 가능한, 물질감과 극적인 조명이 적용된 jewelry render를 산출한다.Excel 결과에는 summary-first organization, 조밀한 table, 일관된 chart가 포함되고, Blender 결과에는 rim/key lighting과 PBR material이 포함된다.
  • 성공 사례: Reaper 성공 사례는 grounded sidechain pumping, bass, harmonic layering, 더 명확한 arrangement dynamics를 추가하는 반면, no-skill track은 유능하지만 더 평면적으로 남는다.비교에는 skill output과 no-skill output의 spectrogram 및 waveform visualization이 사용된다.
  • 실패 분석: 실패 사례 전반에서 partial grounding은 parameter가 해결되지 않은 채 차용된 surface pattern만 남기고, conservative composition은 단일 pattern을 지나치게 충실히 따르면서 variation을 희생한다.이러한 양상은 selection ablation에서 더 약한 Random-FullPool 및 Embed retrieval baseline과 일치하며, skill value가 성공적인 parameter binding에 달려 있음을 강조한다.

K 사용자 연구 · L Skill Library 스키마 및 저장

blinded human A/B 연구는 automatic judge의 선호 방향을 외부적으로 검증하며, skill library는 각 skill을 provenance를 인식하는 multimodal bundle로 저장하고 structured metadata와 실행 가능한 콘텐츠를 함께 담는다. 200개 rating에서 w Skills가 w/o Skills를 크게 앞서며, 이 스키마는 논문에서 제시한 추상적 multimodal skill tuple을 구현한다.

  • K 사용자 연구: blinded A/B 연구는 7개 도메인에서 균형 있게 구성한 artifact pair를 표본으로 추출하고, 익명화된 side-by-side 비교마다 5명의 rater가 더 나은 artifact를 선택하거나 tie를 선언하도록 한다.이는 training이나 selection signal이 아니라 automatic judge의 선호 방향을 외부적으로 검증하는 역할을 한다.
  • K 사용자 연구: w Skills는 200개 human rating 중 136개에서 승리해 68.0%를 기록한 반면, w/o Skills는 23승(11.5%)을 기록했으며 tie는 41개(20.5%)였다. tie를 제외하면 w Skills의 승률은 85.5%다.이 연구는 pair마다 5명의 rater를 사용하고, 200개의 individual vote에 대한 micro-average를 보고한다.
  • L Skill Library 스키마 및 저장: 각 skill은 skills_wiki/<domain>/<skill_id>/. 아래에 저장되는 modality bundle로 구체화된다.이 bundle은 source provenance, textual description, visual example, 실행 가능하거나 적용 가능한 code, metadata를 분리한다.
  • L Skill Library 스키마 및 저장: library는 source, text, visual, code, meta.json component를 체계화하여 skill이 provenance, 설명 콘텐츠, visual reference, procedure, validation 정보를 유지하도록 한다.source directory에는 provenance와 resource reference가 들어가며, text는 overview, mechanism, applicability, input을 다룬다. visual에는 thumbnail, screenshot, render 또는 diagram이 저장된다.
  • L Skill Library 스키마 및 저장: Metadata에는 skill identity, domain, category path, tag, applicability, source type, provenance field, validation status가 기록된다.이는 저장된 skill의 structured retrieval과 validation을 지원한다.
  • L Skill Library 스키마 및 저장: prose body는 mechanism, use condition, input, expected effect에 대한 semantic section을 사용하며, 이는 main text에서 사용한 구성과 일치한다.이 section들은 skill을 언제 어떻게 적용해야 하는지에 대한 structured description을 제공한다.
  • L Skill Library 스키마 및 저장: 저장 형식은 Section 3.1에서 소개한 추상적 multimodal skill tuple s = (p, xtext, xvisual, xcode, m)을 구현한다.이 tuple은 각각 provenance, text, visual content, code, metadata에 대응한다.

M 한계

평가는 수용 가능한 judge–human 일치도와 blinded human A/B 선호로 뒷받침되지만, 일반화, online acquisition 비용, raw-resource retrieval 비교에는 여전히 한계가 있다.

  • 평가 한계: 평가는 주로 GPT-5.4 vision에 의존하며, 수용 가능한 judge–human 일치도와 독립적인 blinded human A/B 검증이 7개 도메인 전체에서 확인되었다.Reaper는 audio-capable GPT-4o-series judge를 사용했으며, human study에서는 pair당 5명의 평정자를 사용했다.
  • 범위 한계: 이 framework는 programmatic tool interface나 procedural content의 public stream 중 어느 하나라도 없는 도메인으로의 일반화를 주장하지 않는다.
  • Online acquisition: Online acquisition은 search, distillation, validation latency를 추가하며, main comparison이 아니라 Tnovel에 대한 고정된 online pool에서 별도로 평가된다.이를 분리하면 test time의 통제되지 않은 context expansion과 library-scaling effect를 혼동하는 일을 피할 수 있다. 이 연구는 insuff로 알려진 capability region에서의 coverage gain을 측정한다.
  • Retrieval baseline: Retrieval baseline은 matched token budget하에서 raw resource가 아니라 distilled skill library를 대상으로 작동하므로, 이 비교는 future work로 남겨 둔다.
Loading 2606.29538v4…