PaperlayerView exact revision on arXiv

AI 요약 · 영어에서 AI 번역

Harness-Aware Distillation for Small Language Model Agents

Moonseok Choi, Taehong Moon, Giung Nam, Juho Lee

arXiv:2610.02858v1cs.AI

TL;DR

대형 에이전트를 증류해도 harness는 그대로 남지만, 일반적인 온폴리시 증류만으로는 student가 harness 정보에 따라 행동하도록 안정적으로 가르치기 어렵다. HAD는 harness 정보가 있을 때와 없을 때 동일한 teacher가 취하는 행동을 대조하고, harness 기록과 모순되는 선호 행동을 걸러 내며, 장기 과제 전반에서 동일한 harness를 사용하는 온폴리시 증류 기준선보다 뛰어난 성능을 보인다.

  • 문제

    공유 harness를 사용하는 온폴리시 증류는 더 작은 student가 harness를 계속 이용할 수 있는데도, harness 정보에 따라 행동하는 teacher의 능력을 안정적으로 전이하지 못한다.

    출처: §1 · pp. 1–2

  • 방법

    HAD는 온폴리시 응답 증류에, harness 정보가 있을 때와 없을 때 동일한 teacher의 행동을 대조하는 행동 선호를 결합하고, harness 기록과 모순되는 선호 행동을 걸러 낸다.

    출처: §1 · p. 2

  • 결과

    HAD는 여러 장기 에이전트 과제에서 동일한 harness를 갖춘 온폴리시 증류 방법 가운데 가장 높은 성능을 달성한다.

    출처: §5 · p. 9

  • 시사점 및 한계

    분석에 따르면 HAD는 학습 가능한 피드백은 가중치에 담아 두면서 상태 정보는 harness에서 읽고, 정체 상태에서 회복하는 법을 학습한다.

    출처: §1 · p. 2

    평가는 텍스트 기반 환경에서 최대 2B 파라미터의 student와 최대 30B의 teacher를 대상으로 했으며, harness는 수작업으로 설계되었다.

    출처: §5 · p. 9

Abstract

from arXiv · show

Language model agents are deployed with a harness, the software around the model that manages its context, tools, and feedback. When such an agent is distilled into a smaller one, the harness stays in place, so the student mainly needs the teacher-specific abilities that the harness cannot provide, such as acting correctly on harness information. Standard distillation, however, imitates the teacher's full outputs and treats the harness as part of the input. We propose Harness-Aware Distillation (HAD), which focuses distillation on what the teacher adds beyond the harness. HAD complements on-policy distillation with two components: an action preference that contrasts the same teacher's actions with and without the harness information, scored after the student's own reasoning, and a validity check that drops preference pairs whose preferred action contradicts the harness records. We show that the contrast gives the student information that imitating the teacher alone cannot provide, and HAD needs no task rewards, success labels, or future information. Across multiple long-horizon agent benchmarks and models, HAD outperforms on-policy distillation baselines with the same fixed harness. Our analysis shows that HAD enters fewer unproductive loops and recovers from errors more often than the baselines, and suggests that it adaptively keeps learnable feedback in its weights while reading state information from the harness.

1. 서론

교사를 더 작은 모델로 교체해도 harness는 그대로 유지되므로, 학생 모델은 harness가 이미 제공하는 정보가 아니라 그 정보를 바탕으로 행동하는 법을 학습해야 한다. HAD는 distillation에 harness-aware 선호와 타당성 필터링을 추가하며, 같은 harness를 사용하는 on-policy distillation 기준선보다 우수한 성능을 보인다.

동기

  • on-policy distillation에 harness를 추가해도 교사가 harness를 활용하는 능력이 안정적으로 전이되지는 않으며, 방법에 따라 harness 활용도 향상도 일관되지 않다.Harness 활용도는 학생의 행동과 harness 기록이 일치하는 정도다.출처: §1 · pp. 1–2
  • ALFWorld에서 distillation에 harness를 추가하면 성능은 43.1%에서 43.5%로 바뀌지만, HAD를 적용하면 57.4%로 높아진다.Harness 활용도는 harness를 추가했을 때 65.7%에서 73.1%로, HAD를 적용했을 때 81.0%로 높아진다.출처: Figure 2 · p. 2
  • on-policy distillation은 harness에 따라 달라지는 결정을 놓치고, harness가 제공한 정보와 교사의 판단을 혼동하며, harness 기록과 모순되는 교사 타깃도 받아들인다.예를 들어 harness는 목표 달성에 필요한 물체를 에이전트가 가지고 있지 않다는 사실을 알려줄 수 있다.출처: §1 · p. 2

기여

  • HAD는 harness 정보가 있을 때와 없을 때 같은 교사가 내리는 행동을 대조한 뒤, 선호되는 행동이 harness 기록과 모순되는 선호 쌍을 필터링한다.선호도는 학생 자신의 추론 이후에 점수화되며, HAD는 태스크 보상, 성공 레이블 또는 미래 정보를 사용하지 않는다.출처: §1 · p. 2
  • HAD는 여러 장기 에이전트 벤치마크와 모델에서 같은 harness를 사용하는 on-policy distillation 기준선보다 우수한 성능을 보인다.저자들은 이점의 원인을 정체 상태에서 회복하는 법을 학습하는 동시에 harness를 상태 정보에 활용하는 데 있다고 설명한다.출처: §1 · p. 2

2. 관련 연구

관련 연구는 에이전트 증류, 하네스 및 외부 맥락 학습, 선호도 기반 지도 학습을 다룬다. HAD는 학생이 방문한 상태에서 동일한 교사의 하네스 조건부 행동과 하네스 정보를 제거한 행동을 비교해 행동 선호도를 구성한다는 점에서 다르다.

언어 모델 에이전트 증류

  • 에이전트 증류는 추론 및 도구 사용 행동을 더 작은 모델로 전달하며, on-policy 방법은 교사 피드백을 사용해 학생이 생성한 시퀀스를 지도한다.기존 확장 방법으로는 단계별 지도, 시간적 커리큘럼, 선택적 교사 개입이 있다.출처: §2 · p. 3

외부 맥락 및 에이전트 하네스 학습

  • 맥락 증류와 하네스 자기 증류는 맥락 지식이나 하네스가 보강한 추론을 내재화하고자 하며, 다른 연구에서는 하네스 변형과 외부 지침을 다룬다.이 논문은 배포 시 하네스를 유지하면서 하네스 정보를 사용하는 방법을 지도한다.출처: §2 · p. 3

대조 지도 및 선호도 기반 증류

  • 기존 선호도 학습 방법은 대조 프롬프트, 검색 조건부 응답, 또는 교사와 학생의 생성 결과를 이용해 쌍을 구성한다. HAD는 동일한 교사를 하네스 정보가 있을 때와 없을 때 비교한다.HAD는 하네스 조건부 행동을 선호하고 하네스 기록과 모순되는 쌍을 제외하며, 작업 보상이나 성공 레이블을 사용하지 않는다.출처: §2 · p. 3

3. 방법

HAD는 하네스를 활성화한 상태에서 학생이 방문한 이력을 학습하며, 응답 증류와 하네스 정보의 유무에 따라 같은 교사의 행동을 대조해 형성한 행동 선호를 결합한다. 모순되는 선호 행동은 걸러내고, 학생 자신의 추론에 따른 행동에 선호 감독을 집중한다.

3.1. 하네스 인지 증류

  • 하네스는 환경 상태와 상호작용 이력에서 계산한 정보를 각 관측에 결정론적으로 추가한다. 이 정보를 제거해도 실현된 궤적에 미친 영향은 제거되지 않는다.논문은 하네스 정보의 내용에 대해 어떠한 가정도 하지 않는다.출처: §3.1 · p. 3
  • 응답 증류는 하네스를 활성화한 학생 롤아웃을 학습하며, 방문한 각 이력에서 교사의 완전한 응답을 사용한다.응답에는 추론과 행동이 포함되며, 토큰별 평균 음의 로그 가능도로 증류한다.출처: §3.1 · pp. 3–4
  • HAD는 하네스 정보를 제거한 이력에 대해 같은 교사에게 질의하고, 하네스 조건부 행동과 하네스 정보 제거 이력의 행동 사이에 행동 선호를 구성한다.행동 토큰 점수는 교사의 추론이 아니라 학생의 추론을 바탕으로 비교한다.출처: §3.1 · p. 4
  • 유효성 검사기는 하네스로 인해 관측된 내용과 충돌하는 행동을 거부하고, 응답 증류는 그대로 둔 채 선호 손실만 마스킹한다.최종 목적 함수는 응답 증류와 유효성 필터링을 거친 행동 선호를 결합하며, 미니배치 그래디언트 노름 균형화로 손실 가중치를 조정한다.출처: §3.1 · p. 4

3.2. 하네스 인지가 증류에 더하는 것

  • 선호 대조는 하네스 정보가 없을 때보다 있을 때 더 가능성 높은 행동을 강조하며, 이는 응답 증류만으로는 식별할 수 없는 차이다.하네스 조건부 행동은 양성으로, 하네스 정보 제거 이력의 행동은 음성으로 표시한다. 하네스 정보가 일반적으로 교사가 더 나은 행동을 선택하도록 돕는다고 가정한다.출처: §3.2 · pp. 4–5
  • 필터링은 하네스 관측과 모순되는 선호 행동을 제거하지만, 유효하면서도 잘못된 행동은 걸러낼 수 없다.양성 행동이 거부되면 해당 행동의 선호 손실만 제외한다. 이 한계는 불완전한 교사를 사용하는 증류에서 비롯된다.출처: §3.2 · p. 5

3.3. 학생 추론에 따른 행동 전용 선호의 이유

  • 행동만을 대상으로 하는 선호는 하네스로 인해 달라진 행동을 겨냥해, 교사의 전체 응답을 비교할 때 비교를 좌우할 수 있는 추론 차이를 피한다.보고된 절제 실험에서 전체 응답을 사용하는 변형의 성능은 더 낮다.출처: §3.3 · pp. 5–6
  • 학생이 생성한 추론을 바탕으로 교사 행동을 채점하면 배포된 학생의 의사결정 맥락에 부합하며, 응답 증류는 별도로 교사의 추론을 감독한다.선호 항은 교사의 하네스 미사용 추론을 조건으로 행동을 감독하지 않는다.출처: §3.3 · p. 6

4. 실험

실험에서는 장기 에이전트 벤치마크에서 공통 harness를 사용해 HAD를 on-policy distillation 기준선과 비교한다. 보고된 비교에서 HAD가 가장 높은 성능을 보이며, 분석에서는 오류 복구, harness 의존성, 모델 간 성능, 설계 요소를 살펴본다.

4.1. 실험 설정

  • 평가에는 Qwen3 학생 모델을 사용한 ALFWorld, WebShop, ScienceWorld와 ALFWorld의 Gemma-4가 포함된다. 각 방법은 task-agnostic harness와 학습 절차를 공유한다.harness는 행동을 선택하거나 차단하지 않고, 관측에 상태 추적 및 행동 모니터링 정보를 추가한다.출처: §4.1 · p. 6

4.2. 주요 실험

  • HAD는 모든 환경에서 가장 높은 성능을 달성한다. ALFWorld에서는 미관측 과제에서 63.4%, 관측 과제에서 51.4%를 기록해, 가장 강한 기준선의 47.0%와 41.4%를 각각 웃돈다.주요 결과 표는 harness 유무에 따른 성능을 보고하며, HAD는 ALFWorld에서 8B teacher도 능가한다.출처: §4.2 · p. 7, Table 2 · p. 7

4.3. 분석

  • HAD는 에피소드의 75.9%에서 정체를 피하고, 정체된 경우 59.7%에서 벗어난다. 다른 모델의 정체 없는 에피소드는 최대 64.6%이며, 기준선 중 어느 것도 학습 전 학생 모델의 46.8%보다 복구 성능이 뚜렷하게 향상되지 않는다.집계된 모든 정체는 harness가 표시하므로, HAD가 정체에서 벗어나기 위해 harness 정보를 활용하는 법을 학습했음을 시사한다.출처: §4.3 · p. 8, Table 3 · p. 8
  • 상태 추적을 숨기면 미관측 과제에서 HAD의 성공률은 63.4%에서 37.3%로, 관측 과제에서는 51.4%에서 40.7%로 낮아진다. 행동 모니터링을 숨기면 각각 56.0%와 45.0%로 낮아진다.저자들은 배포 시 상태 추적이 더 필수적이며, HAD가 행동 모니터링 피드백의 일부를 내재화할 수 있다고 추론한다.출처: §4.3 · p. 8, Table 4 · p. 8

4.4. 모델 간 일반화

  • Gemma-4에서 HAD는 ALFWorld의 미관측 과제에서 37.3%, 관측 과제에서 36.4%를 달성해, 가장 강한 기준선의 32.1%와 34.3%를 각각 웃돌며 모델 계열 전반으로 결과를 확장한다.평가에는 같은 학습 절차와 harness를 사용해 Gemma-4-12B에서 증류한 Gemma-4-E2B를 사용한다.출처: §4.4 · p. 8, Table 5 · p. 8

4.5. 절제 연구

  • 부정 사례를 제거하고 학생이 자체 추론 후 harness가 선택한 행동만 모방하게 하면 SR은 52.4%로, harness 활용률은 81.0%에서 74.4%로 낮아져 응답 증류만 적용한 경우의 73.1%에 가까워진다.응답 증류만 적용하면 SR은 43.5%다. harness 없이 선택한 행동과의 대비가 harness 활용률 향상의 대부분을 설명하며, 유효성 검사는 주로 과제 성능을 보호한다.출처: §4.5 · p. 9
  • teacher 예산을 두 배로 늘리면 OPD와 SOPD는 각각 43.5%에서 46.7%와 46.8%로 상승하지만, 여전히 HAD의 57.4%에 미치지 못한다.이 비교에서 기준선에는 학생 궤적과 업데이트가 두 배로 제공되어 유리한 조건이다.출처: §4.5 · p. 9, Table 7 · p. 9
  • 학생의 추론 이후 행동만 점수화하면 긴 추론과 teacher 문체 차이에 따른 희석을 피할 수 있다. teacher 참조 모델을 사용해도 성능은 향상되지 않으며, 성공률은 ρ=0.5에서 정점에 이른다.저자들은 행동 수준의 점수화가 배포 시 학생이 행동을 선택하는 방식과 일치한다고 설명한다.출처: §4.5 · p. 9

5. 결론

HAD는 행동 선호와 타당성 검사를 통해 교사 특유의 하네스 활용 능력을 증류하며, 장기 과제에서 동일한 하네스를 사용하는 온폴리시 증류 방법보다 뛰어난 성능을 보인다. 평가는 텍스트 환경, 더 작은 학생 모델과 교사 모델, 수작업으로 설계한 하네스에 한정된다.

5. 결론

  • 여러 장기 에이전트 과제에서 HAD는 동일한 하네스를 갖춘 온폴리시 증류 방법 중 최고 성능을 달성한다.출처: §5 · p. 9
  • HAD는 하네스 정보가 있을 때와 없을 때 동일한 교사의 행동을 대조한 뒤, 하네스 기록과 모순되는 선호 행동을 제외한다.출처: §5 · p. 9
  • 평가에는 매개변수가 최대 2B인 학생 모델과 최대 30B인 교사 모델, 텍스트 환경, 수작업으로 설계한 하네스가 포함된다.더 큰 모델, 도구 호출 또는 소프트웨어 에이전트, 자동으로 학습하거나 최적화한 하네스는 향후 연구 과제로 남아 있다.출처: §5 · p. 9

A.1. 실용적 구현

부록에서는 HAD의 실용적 선택 사항을 명시하고, action-preference 학습과 validity filtering이 supervision signal을 어떻게 바꾸는지 분석한다. 또한 정규화의 상충 관계와 preference proxy로 harness 접근을 사용하는 데 따르는 한계도 밝힌다.

A.1. 실용적 구현

  • checker는 과제 보상이나 미래 정보 없이 방문한 상태의 harness 기록과 모순되는 선호 행동을 거부하며, 거부된 쌍도 응답 distillation에는 영향을 주지 않는다.과제 진행에 도움이 되지 않지만 유효한 행동은 탐지할 수 없다.출처: §A.1 · p. 13
  • preference gradient의 기여도가 distillation gradient의 약 절반이 되도록 조정하며, held-out validation task에서 ρ와 함께 β = 0.5를 선택한다.출처: §A.1 · p. 13

A.2. Ablation 변형

  • ablation 변형은 응답 distillation만 적용한 경우와 filtering을 적용하지 않은 경우를 구분한다. 또 다른 비교에서는 점수를 매기는 구간과 행동 조건부 prefix를 모두 바꾼다.후자는 student-prefix supervision은 유지하지만 stripped-history 비교는 제거한다.출처: §A.2 · pp. 13–14

A.3. Harness-Aware Action Preference Learning의 추가 기여

  • positive response law만으로는 일반적으로 최적 action-preference score 차이를 식별할 수 없다. 추가 teacher query는 response imitation에 없는 대조 정보를 제공한다.이 분석이 response imitation을 통해 학습되는 유용한 harness 의존 행동의 가능성을 배제하는 것은 아니다.출처: §A.3 · p. 15

A.4. 정규화 편향과 Reference-Relative Preference

  • positive와 negative action law가 동일한 경우, reference-free preference만 따로 적용하면 비균일한 teacher 분포가 평탄화될 수 있다. 반면 reference-relative 변형에서는 reference law가 단독 적용 시의 최적값이 된다.reference를 선택하는 일은 쉽지 않으며, teacher reference ablation은 실험에서 성능이 더 낮다.출처: §A.4 · p. 15

A.5. Harness-Aware Validity Filtering의 추가 기여

  • filtering을 적용하지 않으면 거부된 행동의 positive-to-negative 확률 비율이 수용된 행동보다 클 수 있으므로, validity filtering은 불완전한 preference proxy로서의 harness 접근 문제를 다룬다.학습 중 negative candidate를 확인할 필요는 없다.출처: §A.5 · p. 16

A.6. 전체 응답 선호가 아니라 행동만의 선호를 사용하는 이유

이 분석은 학생의 추론 이후 행동만을 비교하는 방식과 교사의 추론까지 함께 점수화하는 전체 응답 비교를 구분한다. 특히 행동별 추론 대비가 서로 다르면 두 목표가 행동의 순위를 다르게 매길 수 있다.

A.6. 전체 응답 선호가 아니라 행동만의 선호를 사용하는 이유

  • Full-response preference는 각 후보를 그 후보에 대응하는 teacher reasoning과 함께 점수화하므로, conditional action comparison과 비교해 점수화 구간과 action-conditioning context가 모두 달라진다.출처: §A.6 · p. 16
  • 공유 prefix에서 full-response preference는 reasoning-conditioned action contrast를 사용하는 반면, action-only preference는 marginal action contrast를 사용한다.행동에 따라 달라지지 않는 reasoning contrast는 상쇄되지만, 행동별로 달라지는 contrast는 순위를 바꿀 수 있다.출처: §A.6 · p. 17
  • positive response와 action marginal을 고정한 채 negative reasoning만 바꾸면 conditional HAD objective는 그대로 유지되면서 full-response action 순서는 뒤집힐 수 있다.이 예시는 response distillation 또는 task utility와 결합한 full-response 변형이 아니라, 분리된 preference 최적점에 관한 것이다.출처: §A.6 · pp. 17–18

A.7. 학생 추론 접두부에서의 행동 전용 선호

부록에서는 학생 추론 접두부에서 점수를 매기는 행동 선호를 형식화하고, 선호 점수와 정규화된 행동 확률의 관계를 설명한다. 또한 접두부 범위와 분리된 선호 목적 함수가 해석에 미치는 영향을 한정한다.

A.7. 학생 추론 접두부에서의 행동 전용 선호

  • 독립적으로 표본 추출한 학생 접두부에서 교사 추론은 후보 행동을 생성하지만 행동 분포에서는 주변화되므로, 각 감독 대상 접두부에서 동일한 주변 행동 대조를 학습한다.출처: §A.7 · p. 19
  • 긍정적인 교사 추론을 점수 산출 접두부로 재사용하면 선택된 추론 궤적과의 양립성이 추가되어 목표가 달라진다.독립적으로 표본 추출한 학생 접두부를 사용하면 이러한 추가 조건화를 피할 수 있다.출처: §A.7 · p. 19
  • 학생 접두부 표본 추출은 접두부 분포 간 초과 위험의 전이를 피하지만, 낮은 초과 위험이나 향상된 태스크 리턴을 보장하지는 않는다.비교 분포가 양의 초과 위험을 가진 학생 접두부에 확률 질량을 전혀 부여하지 않으면, 어떤 유한한 전이 계수로도 충분하지 않다.출처: §A.7 · p. 20

A.8. 점수에서 확률로

  • 정규화된 확률에 대한 분리된 선호 최적점은 점수 차이와 행동 길이로 결정되며, 길이가 가변적이면 확률 순서와 점수 순서가 달라질 수 있다.이는 분리된 선호 손실의 최적점이지, 결합된 HAD 목적 함수의 최적점은 아니다.출처: §A.8 · p. 21

B.1. 모델 및 과제

부록에서는 방법 평가에 사용한 벤치마크 설정, 공통 하네스 설계, 하네스 활용도 측정법을 설명한다. 하네스는 상태 및 행동 정보를 제공하며, 활용도는 과제 비의존 규칙과의 일관성을 점수화한다.

B.1. 모델 및 과제

  • ALFWorld, WebShop, ScienceWorld의 환경 설정과 측정 지표를 부록에 명시하고, 모델 및 평가 설정은 Table 8에 요약한다.WebShop은 제품 1,000개 버전을 사용하고, ScienceWorld는 텔레포트 단순화가 적용된 버전 1.2.3과 30개 과제 유형에 걸친 149개 테스트 변형을 사용한다.출처: Table 8 · p. 21, §B.1 · p. 21
  • ALFWorld 프롬프트는 교대로 이어지는 전체 턴 기록을 유지하고, 최신 턴에 하네스 행을 삽입한다. 과제 행에는 해당 시행의 첫 번째 사람 주석을 사용한다.이 주석은 평가 과제 274개 중 10개에서 템플릿화된 목표와 다르며, 해당 과제는 정성적 예시에서 제외한다.출처: §B.1 · p. 21

B.2. 하네스

  • 하네스는 환경 전반에서 코드와 템플릿을 공유하고, 관찰 내용에 상태 및 행동 보고만 추가하며, 과제 힌트를 제공하거나 행동을 선택 또는 차단하지 않는다.환경에 이미 표시된 정보는 하네스 없이 평가하는 경우를 포함해 모든 조건에서 계속 이용할 수 있다.출처: §B.2 · p. 22
  • 하네스 임계값은 distillation 전에 held-out 검증 과제를 사용해 고정하며, 성공 에피소드의 진행을 방해하지 않도록 발동률을 보정한다.보정에는 평가 과제를 사용하지 않으며, HAD의 학습 목표에는 과제 보상이나 성공 레이블이 사용되지 않는다.출처: §B.2 · p. 22, Table 10 · p. 22

B.3. 하네스 활용도

  • 하네스 활용도는 별도로 점수를 매긴 다섯 구성 요소의 일관성을 평균하여 산출하되, 올바른 응답이 과제와 예산 카운터에 좌우되는 보고는 제외한다.비가중 평균을 사용하면 매 단계 적용되는 구성 요소가 드물게 발동하는 구성 요소보다 과도하게 큰 비중을 차지하지 않는다.출처: §B.3 · p. 23
  • 활용도 규칙은 허용 가능한 행동, 보유 물체, 예산 경고, 보고된 실패, 그리고 정체 보고 뒤에 새 상태가 이어지는지를 점검한다.5단계 이내에 새 상태에 도달하거나 에피소드가 성공적으로 끝나면 정체 보고를 일관된 것으로 센다.출처: §B.3 · pp. 23–24

B.4. 구현 세부사항

모든 방법은 공통된 온폴리시 학습 루프와 구현 설정을 사용하지만, OPD 기반 기준선은 감독 방식이 서로 다르다. 부록에는 정성적 예시에 사용한 프롬프트 형식도 기록되어 있다.

B.4. 구현 세부사항

  • 각 동기식 학습 라운드에서 학생은 harness와 함께 16개 작업을 롤아웃하고, 수집한 단계는 두 정책 버전에 걸쳐 보존한 뒤 한 번 사용한다.모든 방법은 전체 파인튜닝을 사용한다. OPD 계열 KL에는 교사의 상위 64개 토큰을 사용하며, 이 설정에서는 10^-6으로 학생을 학습시킬 수 없었으므로 학습률은 10^-5로 설정한다.출처: §B.4 · p. 24
  • HAD의 유효성 검사기는 허용되지 않거나, 보유하지 않은 객체를 사용하거나, 같은 상태에서 효과가 없다고 보고된 행동을 반복하는 선호 행동을 거부한다.교사는 온도 1.0에서 harness 정보가 있는 경우와 없는 경우의 응답을 독립적으로 샘플링하므로, 행동 차이에는 샘플링 변동이 포함된다.출처: §B.4 · p. 24
  • OPD 기준선은 턴 가중치, 교사 개입, 단계별 감독 방식이 서로 다르며, OPD 자체는 학생이 샘플링한 응답에 토큰 수준 역방향 KL을 적용한다.SAGE-OPD는 교사가 평가한 교정 필요도와 확신도에 따라 턴에 가중치를 부여하고, Guided-OPD는 감소하는 개입 일정을 사용하며, SOPD는 각 학생 상태에서 교사가 작성한 단계를 학습한다.출처: §B.4 · p. 24

C. 프롬프트와 예시

  • ALFWorld 예시에는 마지막 세 턴만 포함된 기록 프롬프트가 나오며, 허용 가능한 명령 앞에 harness 문구가 최신 사용자 턴에 표시된다.ALFWorld 사례마다 지침은 동일하며 Figure 6에 전체 내용이 제시되어 있다. 작업 문장은 해당 시행의 첫 번째 사람 주석이다.출처: C. Prompts and Examples · p. 25, Figure 6 · p. 25

D.1. 분석: 턴 수

하네스를 적용하면 HAD는 성공한 ALFWorld 에피소드에서 다른 방법들과 비슷한 턴 수를 사용하면서도 가장 많은 과제를 해결한다. 예시는 하네스 보고를 성공적으로 활용하는 경우와 진행이 없다는 보고를 받고도 회복하지 못하는 경우를 보여준다.

D.1. 분석: 턴 수

  • 하네스를 적용하면 HAD는 성공한 ALFWorld 에피소드에서 다른 방법들과 비슷한 턴 수를 사용하면서도 가장 많은 과제를 해결한다.하네스를 추가하면 교사 모델과 학습되지 않은 학생 모델을 포함한 대부분의 모델에서 턴 수가 늘어난다.출처: Table 13 · p. 25, §D.1 · p. 25
  • 성공 사례에서 HAD는 소파가 유일하게 방문하지 않은 장소라는 보고를 따라 두 번째 리모컨을 찾지만, 기준선 방법들은 서로 다른 행동 오류를 보인다.OPD는 자신이 들고 있지 않은 리모컨을 놓으려 하고, SOPD는 이미 살펴본 장소로 돌아간다.출처: Figure 7 · p. 26
  • 실패 사례에서 HAD는 진행이 없다는 보고를 받은 뒤 인벤토리를 반복해서 확인하고 단계 제한에 도달한다. OPD의 응답은 동일 상태 비교가 아니다.그 턴에서 OPD는 데워진 머그잔을 들고 있으며, 데워지지 않은 머그잔을 가진 HAD의 상태와 다르다.출처: Figure 8 · p. 27

D.2. 다른 모델 아키텍처로의 일반화

Gemma 모델을 사용한 ALFWorld에서 HAD는 두 분할 모두에서 하네스를 적용한 성공률이 가장 높고 하네스 활용률도 가장 높다. 미관측 과제에서 하네스 없이 평가하면 SOPD의 성공률이 HAD보다 높다.

D.2. 다른 모델 아키텍처로의 일반화

  • 미관측 과제에서 하네스 없이 평가하면 SOPD의 성공률은 29.9%로, HAD의 23.9%보다 높다. 이는 배포 시 유지되는 하네스에 HAD가 의존한다는 점과 일치한다.미관측 과제에서 하네스가 없는 조건을 비교한다.출처: §D.2 · p. 28, Table 14 · p. 28
  • 하네스를 적용하면 HAD는 두 분할 모두에서 성공률이 가장 높고, 하네스 활용률은 77.9%로 교사의 75.9%보다 높다.모든 OPD 기준선의 하네스 활용률은 학습하지 않은 학생 모델의 71.4%보다 낮다.출처: Table 14 · p. 28, §D.2 · p. 28
  • 하네스를 적용하면 HAD는 다른 방법보다 성공 에피소드에서 더 많은 턴을 수행하면서 가장 많은 과제를 해결한다.Table 14는 성공 에피소드에서 턴 수의 평균을 보고한다.출처: Table 14 · p. 28, §D.2 · p. 28

D.3. 추가 ablation

추가 ALFWorld ablation에서는 선호 항의 설계와 가중치를 살펴본다. 별도 분석에서는 세 벤치마크에서 harness 정보가 teacher의 행동을 얼마나 자주 바꾸는지, 그리고 그 변화가 어디서 일어나는지 측정한다.

D.3. 추가 절제 실험

  • ALFWorld에서 테스트한 Table 16의 선호 가중치 0.25부터 2.0 범위 중 ρ=0.5일 때 성공률이 가장 높다.주요 실험에서는 ρ=0.5를 사용한다.출처: §D.3 · p. 28, Table 16 · p. 28

D.3. 추가 ablation

  • Table 15는 ALFWorld에서 HAD와 전체 응답 대조 방식 및 teacher 참조 변형을 비교한다.해당 비교의 결과는 이 대목에 제시되지 않는다.출처: §D.3 · p. 28, Table 15 · p. 28

D.4. harness가 teacher 행동을 바꾸는 지점

  • harness가 있을 때와 없을 때 teacher 행동은 ALFWorld 상태의 15.5%, WebShop 상태의 25.6%, ScienceWorld 상태의 19.3%에서 달라지며, 이러한 차이는 에피소드 전반에 걸쳐 나타난다.Figure 9는 각 에피소드 위치에서 차이가 발생하는 빈도를 보여준다.출처: Figure 9 · p. 28, §D.4 · p. 28

Related papers

Loading 2610.02858v1…