PaperlayerView exact revision on arXiv

AI 요약 · 영어에서 AI 번역

How to Steal Reasoning Without Reasoning Traces

Tingwei Zhang, John X. Morris, Vitaly Shmatikov

arXiv:2603.07267v2cs.CR

TL;DR

추론 모델 API가 전체 추론 흔적을 숨길 때, 답변과 짧은 요약만 공개해도 모델의 추론 능력을 보호할 수 있는지는 여전히 불분명하다. Trace Inversion은 관찰 가능한 출력에서 추론 흔적을 생성하며, 이를 활용한 미세 조정은 수학, 과학적 추론, 코딩 벤치마크 전반에서 학생 모델의 성능을 높인다. 논문은 사고의 연쇄를 숨겨도 능력 탈취를 막지 못할 수 있다고 결론짓지만, 폐쇄형 모델의 실제 추론 흔적과 얼마나 일치하는지는 검증할 수 없다.

  • 문제

    추론 흔적은 능력 전이를 뒷받침할 수 있지만, 전체 사고의 연쇄를 공개하면 지식재산권과 민감 정보 문제가 생긴다. 이에 따라 요약과 답변만 공개하는 API가 등장했다.

    출처: §1 · p. 1

  • 방법

    Trace Inversion은 블랙박스 대상 모델의 입력, 답변, 그리고 선택적으로 공개된 추론 요약을 바탕으로 상세한 추론 흔적을 생성하는 역전 모델을 학습한다.

    출처: §1 · p. 1, §4 · p. 3

  • 결과

    수학, 과학적 추론, 코딩 벤치마크 전반에서 역전된 추론 흔적으로 미세 조정한 학생 모델은 대리 추론 흔적 또는 답변·요약 기준선보다 높은 성능을 보인다. 예를 들어 JEEBench 점수는 R1-Distill 추론 흔적을 사용했을 때 19.7%에서 31.6%로 높아진다.

    출처: §1 · pp. 1–2

  • 시사점 및 한계

    공개된 추론을 숨기거나 난독화하면 투명성은 낮아질 수 있지만, trace inversion을 통한 사용자의 추론 능력 탈취를 막지는 못할 수 있다.

    출처: §7 · p. 9

    폐쇄형 대상 모델의 경우, 저자들은 역전된 추론 흔적이 모델의 실제 추론 흔적과 정확히 일치하는지 확인할 수 없다.

    출처: §7 · p. 9

Abstract

from arXiv · show

Many large language models (LLMs) use reasoning to generate responses but do not reveal their full reasoning traces (a.k.a. chains of thought), instead outputting only final answers and brief reasoning summaries. To demonstrate that hiding reasoning traces does not prevent users from "stealing" a model's reasoning capabilities, we introduce trace inversion models that, given only the inputs, answers, and (optionally) reasoning summaries exposed by a target model, generate detailed, synthetic reasoning traces. We show that (1) traces synthesized by trace inversion have high overlap with the ground-truth reasoning traces (when available), and (2) fine-tuning student models on inverted traces substantially improves their reasoning and enables distillation from proprietary, black-box LLMs.

1 서론

추론 trace는 최종 답변만으로는 전달할 수 없는 능력까지 전이할 수 있지만, 전체 chain-of-thought를 공개하면 지식재산권 및 정보 유출 우려가 생긴다. Trace Inversion은 블랙박스 모델의 입력과 답변, 선택적으로 요약을 바탕으로 합성 trace를 재구성하며, 논문은 trace 중첩도와 이를 활용한 학생 모델의 성능 향상을 모두 보고한다.

1 서론

  • 교사의 단계별 trace는 학생 모델에 추론 능력을 전이할 수 있으며, 최종 답변만으로 fine-tuning하는 것보다 성능을 크게 높인다.서론에서는 전체 trace 공개가 지식재산권 위험을 낳는다고 설명하고, trace에 민감한 프롬프트, 안전 정책 또는 비공개 맥락이 포함될 수도 있다고 언급한다.출처: §1 · p. 1
  • Trace Inversion은 숨겨진 trace를 요구하는 대신, 대상 모델의 최종 답변과 선택적으로 압축 요약을 바탕으로 상세한 추론 trace를 합성한다.논문은 훨씬 약한 대리 모델로 역변환 모델을 학습했음에도 DeepSeek-R1 trace에서 토큰 길이 복원율 81%, token-overlap F1 52.76을 보고한다.출처: §1 · p. 1, Figure 1 · p. 2
  • 역변환한 trace로 fine-tuning한 모델은 JEEBench에서 31.6%를 기록해 R1-Distill의 추론 trace를 사용한 19.7%를 웃돌았고, GPT-5.4 mini의 추론 요약과 답변을 사용했을 때는 MATH500에서 52.4%를 기록해 16.4%보다 높았다.출처: §1 · p. 2
  • 저자들은 모델 탈취 공격과 방어 연구를 지원하기 위해 코드를 공개한다.출처: §1 · p. 2

2 배경 및 관련 연구

이 절에서는 추론 모델, 출력 기반 정보 누출, 모델 증류에 관한 연구 속에서 Trace Inversion의 위치를 설명한다. 제한적인 블랙박스 접근으로 모델의 능력을 이전하는 역량 탈취와 추론 입력 인버전 및 프롬프트 인버전을 구분한다.

2 배경 및 관련 연구

  • Chain-of-thought 프롬프팅과 추론 중심 튜닝은 산술, 논리, 기호 및 기타 벤치마크 성능을 높일 수 있는 중간 단계를 이끌어낸다.인용된 연구에서는 강화학습을 통해 소형 모델의 추론 성능이 대형 기본 모델에 더 가까워질 수 있다고도 보고한다.출처: §2 · p. 2
  • 블랙박스 정보 누출 연구에는 학습 데이터를 추출하고 특정 데이터가 학습에 포함되었는지 추론하는 작업이 포함되며, 문맥 내 설정도 다룬다.출처: §2 · p. 2
  • 모델 인버전은 블랙박스 출력에서 입력에 관한 정보를 추론하고, 프롬프트 인버전은 시스템 프롬프트와 같은 입력의 비공개 부분을 대상으로 한다.출처: §2 · pp. 2–3
  • 역량 탈취는 제한적인 접근만으로 교사의 능력을 학생에게 이전한다. 블랙박스 환경에서 공격자는 내부 상태, 매개변수 또는 학습 데이터에 접근하지 않고 출력만 관찰한다.선행 연구에 따르면 추론 과제 증류에서 추론 추적을 이용한 지도 학습은 추론 성능을 높일 수 있다. 반면 이 논문은 해당 추적을 제공하지 않는 API에 초점을 맞춘다.출처: §2 · p. 3

3 위협 모델

위협 모델에서 공격자는 내부 추론 흔적이 숨겨진 더 강력한 대상 모델에 블랙박스로 접근하며, 대상 모델의 API는 답변과 선택적으로 짧은 요약을 반환한다. 공격자는 이용 가능한 보조 모델과 공개 추론 데이터를 활용해 흔적을 합성하고 학생 모델을 미세 조정한다.

3 위협 모델

  • 대상 모델은 내부적으로 답변에 이르는 추론 흔적을 생성하지만, API를 통해 답변과 선택적으로 훨씬 짧은 요약만 공개한다.출처: §3 · p. 3
  • 공격자는 관측된 입력-출력 쌍과 일치하는 흔적을 합성해 학생 모델의 성능을 높이고자 하며, 흔적이 대상 모델의 실제 추론과 일치하는지는 상관없다.이 흔적은 학생 모델을 미세 조정하기 위한 감독 신호로 쓰인다.출처: §3 · p. 3
  • 공격자는 대리 모델, 압축 모델, 역추론 모델, 학생 모델을 활용할 수 있으며, 역추론 모델과 학생 모델을 미세 조정할 수 있어야 한다.대리 모델은 완전한 추론 흔적을 제공하며, 대개 대상 모델보다 성능이 낮다.출처: §3 · p. 3
  • 공격자는 대상 모델의 요약 압축 방식을 알 필요 없이, 역추론 모델을 학습하기 전에 대리 모델의 흔적을 프롬프트 기반 압축 모델에 입력해 압축한다.이후 역추론 모델은 대상 모델의 입력과 답변, 그리고 이용 가능한 경우 요약을 바탕으로 흔적을 합성한다.출처: §3 · p. 3
  • 공개 추론 데이터셋은 흔적을 얻기 위해 대리 모델에 질의하고, 답변과 요약을 얻기 위해 대상 모델에 질의할 입력을 제공한다.출처: §3 · p. 3

4 역전 방법론

Trace Inversion은 요약 제공 여부에 따라 별도의 역전 모델을 사용하는 3단계 공격이다. 대리 추적으로 학습하고, 대상 모델의 출력에 역전 모델을 적용한 뒤, 생성된 추적을 학생 모델에 증류하며 대리 데이터를 추가할 수도 있다.

4 역전 방법론

  • Trace Inversion은 3단계로 구성되며, 대상 모델이 추론 요약을 제공하는지에 따라 별도의 역전 모델을 사용한다.Figure 2는 파이프라인을 보여준다.출처: §4 · p. 3, Figure 2 · p. 4

4.1 1단계: 역전 모델 학습

  • 1단계에서는 대리 입력, 추적, 답변으로 학습하며, 요약 방식이 알려지지 않은 상용 API를 모사하기 위해 압축 요약을 선택적으로 추가한다.요약 설정과 비요약 설정의 학습 데이터셋은 압축 요약의 포함 여부가 다르다.출처: §4.1 · pp. 3–4
  • 1단계에서는 요약 설정의 역전 모델이 입력, 답변, 요약을 바탕으로 대리 추적을 예측하도록 토큰 수준 교차 엔트로피로 학습한다.비요약 설정에서는 요약 조건 없이 별도의 모델을 학습한다.출처: §4.1 · p. 4

4.2 2단계: 대상 모델 출력 역전

  • 2단계에서는 대상 모델에 입력을 질의해 출력을 얻은 다음, 학습된 역전 모델을 적용해 해당 관측과 부합하는 추적을 생성한다.대상 모델의 튜플에는 요약이 제공되는 경우 이를 포함한다.출처: §4.2 · p. 4

4.3 3단계: 학생 모델 증류

  • 3단계에서는 각 입력에 대해 합성 추적을 답변과 연결해 감독 목표로 삼아 학생 모델을 미세 조정한다.공격자는 이미 생성된 대리 예시를 이 데이터에 선택적으로 추가할 수 있으며, 함께 섞거나 커리큘럼으로 먼저 사용할 수 있다.출처: §4.3 · p. 4

5 평가

평가에서는 공개 가중치 모델과 블랙박스 모델을 대상으로 추론 흔적의 충실도와 학생 모델의 추론 능력을 검증한다. 역추론한 흔적은 접근 가능한 기준선보다 학생 모델의 성능을 높이며, 피해 모델이 GPT-5.4 mini인 경우에도 향상되지만, 개선 폭은 대리 모델과 과제에 따라 달라진다.

5.1 실험 설정

  • 실험 설정에서는 서로 겹치지 않는 10k개 예시의 대리 모델용 분할과 피해 모델용 분할을 사용하고, R1 또는 R1-Weak를 대리 모델로, Qwen과 Llama를 학생 모델로 사용한다.학생 모델은 MATH500, JEEBench, LiveCodeBench에서 평가하며, 추론 흔적 중복도 지표는 후속 추론 성능을 보조하는 지표로 사용한다.출처: §5.1 · p. 5

5.2 추론 흔적 역추론의 충실도

  • 대리 모델의 압축 프롬프트를 설정한 근거는 GPT-5.4 mini 요약과 중앙 길이 및 주요 문체 특징을 일치시키는 데 있다.피해 모델 요약의 중앙 길이는 ≈592 토큰이고 중앙 압축률은 ≈4.2×이다. 요약 분포를 맞추면 역추론의 일반화에 도움이 된다.출처: §5.2 · p. 5, Table 1 · p. 5
  • R1-Weak로 역추론한 경우, 생성된 추론 흔적의 길이는 4,972 / 5,434 토큰이고 TF1은 52.76 / 49.01로, 제로샷 TF1 35.36 / 37.58보다 높다.R1 충실도 평가에서 대리 모델 성능이 낮은 행은 현실적인 공격 설정이다. Table 2는 추론 흔적 길이와 정답 추론 흔적과의 중복도를 보고한다.출처: §5.2 · p. 6, Table 2 · p. 6

5.3 공개 가중치 모델(R1)의 추론 능력 탈취

  • MATH500에서 R1-Weak로 역추론한 추론 흔적을 사용하면 Qwen 성능이 Summary+Answer 사용 시 63.0%에서 71.8%로 오른다. JEEBench에서는 24.0%에서 36.3%로 오른다.Synthesized-Trace는 Llama를 포함해 거의 모든 실험에서 공격자가 사용할 수 있는 기준선보다 우수하다. Table 3은 R1 공격 시 후속 정확도를 보고한다.출처: §5.3 · p. 6, Table 3 · p. 7
  • 요약이 없을 때 Synthesized-Trace는 Answer-only와 Surrogate-Trace보다 성능이 높다(Qwen의 JEEBench 19.7%→29.7%). 강력한 R1 대리 모델을 사용하면 Qwen은 MATH500에서 74.1%, JEEBench에서 33.2%에 도달해 두 과제 모두 오라클에 근접한다.출처: §5.3 · p. 6

5.4 블랙박스 상용 모델(GPT-5.4 mini)의 추론 능력 탈취

  • GPT-5.4 mini 출력을 R1 기반으로 역추론하면 Qwen은 MATH500에서 76.0%, JEEBench에서 43.7%에 도달하고, Llama는 각각 52.4%와 19.9%에 도달한다.이 결과는 Qwen의 Answer-only 기준선 68.4%와 27.6%, Llama의 13.0%와 6.3%를 웃돈다.출처: §5.4 · p. 7, Table 4 · p. 8
  • GPT-5.4 mini를 대상으로 R1-Weak 역추론은 Qwen과 Llama의 JEEBench에서 Surrogate-Trace보다 성능이 높지만, R1 기반 역추론은 경쟁력은 있어도 그보다 낮을 수 있다.피해 모델과 대리 모델의 성능이 비슷한 경우, 대리 모델의 추론 흔적을 직접 사용하는 방법이 역추론만큼 효과적이거나 더 나을 수 있다.출처: §5.4 · pp. 7–8
  • 피해 모델 질의 수가 5k에서 15k로 늘면서 Qwen 정확도는 MATH500에서 67.0%에서 80.8%로, JEEBench에서 38.8%에서 44.5%로 상승한다.보고된 10k회 질의 수집 비용은 $173.28이며, 역추론과 학생 모델 미세 조정에는 GPT-5.4 mini에 대한 추가 질의가 필요하지 않다.출처: §5.4 · p. 8, Figure 3 · p. 8

6 방어

Trace inversion은 답변과 요약만으로도 작동할 수 있어, 추론을 숨기거나 난독화하는 방어의 위협이 된다. 관련 방어는 노출된 추론을 겨냥하며, 워터마킹은 출처 추적에 도움을 줄 수 있지만 inversion 이후에도 유지되는지는 알려져 있지 않다.

6 방어

  • 기존 방어에는 접근 제어, 질의 제한 및 잘라내기 [37], 그리고 증류 불가능한 교사 모델, 수정된 로짓, 적응형 노이즈와 같은 출력 교란 [23] [6]이 포함된다.인용된 교란 방법의 대부분은 로짓이나 중간 표현과 같은 이미지 분류기 내부 요소에 적용된다.출처: §6 · pp. 8–9
  • Trace inversion은 내부 추론에 접근하지 않고도 답변과 요약으로 유용한 추론 흔적을 합성할 수 있으며, 노출된 추론을 겨냥하는 방어와는 다르다 [33] [21].답변과 요약이 정확하기만 하면, 이 프레임워크는 답변과 요약을 얻은 방식에 구애받지 않는다.출처: §6 · p. 9
  • 생성 텍스트의 워터마킹은 사후 출처 추적을 뒷받침할 수 있지만 [18] [11] [32], 워터마크가 inversion과 후속 fine-tuning 이후에도 유지되는지는 미해결 문제다 [32].Table 5는 Llama student와 GPT-5.4 mini victim을 사용한 Synthesized-Trace의 추가 개선 사항을 다룬다고 설명한다.출처: §6 · p. 9, Table 5 · p. 9

7 논의 및 향후 연구

사고 과정을 숨겨도 추론 능력의 탈취를 막지 못할 수 있다. 답변만 제공하거나 요약을 제공하는 접근만으로도 trace inversion이 가능하다. 폐쇄형 모델을 대상으로는 역산된 추론 흔적이 실제 추론과 얼마나 일치하는지 불확실하며, 더 강력한 방어와 확장 및 검증 연구가 필요하다.

7 논의 및 향후 연구

  • 사고 과정을 숨겨도 추론 능력을 보호하지 못할 수 있다. 역산된 추론 흔적은 답변이나 대리 추론 흔적보다 학생 모델을 더 효과적으로 학습시킬 수 있다.폐쇄형 모델을 대상으로는 역산된 추론 흔적이 해당 모델의 실제 추론과 일치하는지 저자들이 판단할 수 없다.출처: §7 · p. 9
  • 공개된 추론을 난독화하면 사용자의 투명성은 낮출 수 있지만, 공격자가 출력만으로 trace inversion을 적용할 수 있으므로 능력 탈취를 막지는 못한다.출처: §7 · p. 9
  • 향후 연구에서는 질의 예산과 역산 모델을 확장하고, 추론 과제를 넓히며, 다양한 요약 방식에 걸쳐 학습하고, 학생 모델 미세조정 전에 추론 흔적을 검증할 수 있다.제안된 검증 방법에는 추론을 위한 자기 일관성 검사, 코드 실행, 수학을 위한 도구 기반 검사가 포함된다.출처: §7 · p. 9

영향 진술

영향 진술은 사고 연쇄를 숨기는 것이 추론 능력 탈취를 막는지 평가하는 연구로 이 논문을 제시하며, 더 견고한 방어책 개발을 촉진하려는 의도를 담는다.

영향 진술

A 타깃 및 대리 모델의 벤치마크 정확도

부록에서는 타깃 모델과 대리 모델의 벤치마크 정확도를 비교하고, 압축 및 제로샷 추론 흔적 역전 프롬프트를 제시한다. 이 프롬프트는 요약 또는 입력-답변 쌍을 상세한 추론 흔적으로 확장하는 방법을 설명한다.

A 타깃 및 대리 모델의 벤치마크 정확도

  • 부록에서는 MATH500, JEEBench, LiveCodeBench에서 R1, R1-Distill (R1-Weak), GPT-5.4-mini의 제로샷 정확도를 보고한다.제공된 발췌문에서는 Table 6을 벤치마크 정확도 표로 언급하지만, 표의 셀 값은 제시하지 않는다.출처: A Benchmark Accuracy of Victim and… · p. 13, Table 6 · p. 13

B Prompts for Compression and Zero-shot Trace Inversion

  • The compression prompt asks for a first-person inner-monologue recap of a long chain-of-thought trace.It specifies three to six short sections, a tentative present-tense voice, and roughly 600–900 tokens overall.출처: B Prompts for Compression and… · p. 13

B 압축 및 제로샷 추론 흔적 역전 프롬프트

  • 요약이 있는 경우, 역전 프롬프트는 문제, 답, 추론 버블을 제공하고 새로운 추론 단계를 추가하지 않은 채 버블을 구체화하는 상세한 추론 흔적을 작성하도록 요청한다.출처: B Prompts for Compression and… · p. 14
  • 요약이 없는 경우, 역전 프롬프트는 입력과 최종 출력만 사용해 그럴듯하고 상세한 추론 과정을 재구성한다.지침은 입력과 출력에 부합하도록 추론 흔적을 유지하면서 중간 단계와 대안을 포함하도록 한다.출처: B Prompts for Compression and… · p. 15

C 합성 추론 궤적 예시

대리 모델로 R1-Distill을 사용한 zero-shot inversion과 trace inversion을 비교하고, 해당 대리 모델이 생성한 합성 추론 궤적과 정답 추론 궤적을 비교한다.

C 합성 추론 궤적 예시

  • Figure 4는 대리 모델로 R1-Distill을 사용한 zero-shot inversion과 trace inversion을 대조한다.출처: Figure 4 · p. 16
  • Figure 5는 정답 추론 궤적과 대리 모델로 R1-Distill을 사용해 합성한 추론 궤적을 비교한다.출처: Figure 5 · p. 17

D 합성 추론 트레이스가 정답 추론 트레이스보다 나을 수 있다

이 예시는 R1의 정답 추론 트레이스와 합성 추론 트레이스를 비교한다. 합성된 발췌문은 여러 접근법을 시도하다 포기하는 정답 발췌문보다 더 직접적으로 추론한다.

D 합성 추론 트레이스가 정답 추론 트레이스보다 나을 수 있다

  • 합성된 발췌문은 여러 접근법을 시도하다 포기하는 R1의 정답 발췌문보다 더 직접적으로 추론한다.Figure 6은 두 발췌문과 짝을 이루는 질의를 위에 보여준다.출처: Figure 6 · p. 18
Loading 2603.07267v2…