Building Auditable AI Text Detectors with Sparse Autoencoders

• 탐지기는 에세이, 동료 심사 의견, 입사 지원서, 온라인 콘텐츠를 판별하며, 그 결과는 개인에게 영향을 미치는 의사결정에 반영된다.출처: §1 · p. 1
• 문체 분석 기반 탐지기는 해석 가능하지만 신경망 모델보다 성능이 낮고, 미세 조정된 신경망 탐지기는 높은 정확도를 내지만 여전히 블랙박스다.출처: §1 · p. 1
• 제안하는 파이프라인은 미세 조정된 탐지기의 residual stream에서 SAE를 학습하고, 설명 시뮬레이션 점수로 특징을 선별한 뒤, 해당 특징만으로 경량 분류기를 학습한다.추출된 특징에는 활성화 패턴을 특성화하도록 고안된 자연어 설명이 붙는다.출처: §1 · p. 1

2.1 Sparse Autoencoder

• SAE는 조밀한 신경망 활성값을 희소 feature 벡터로 변환해 다의적인 뉴런 활성을 더 해석하기 쉬운 개념으로 분리한다.입력을 재구성하면서 희소성 페널티를 최소화하도록 학습한다. 페널티 계수는 희소성과 재구성 정확도 사이의 균형을 조절한다.출처: §2.1 · p. 2

2.2 SAE Feature의 자동 해석

• Auto-interpretation은 활성값 분포 전반에서 표본 추출한 대표 문서를 바탕으로 SAE feature를 짧은 자연어 설명으로 생성한다.그런 다음 언어 모델이 설명으로부터 feature 활성을 모의하고, 실제 활성값과의 상관관계로 설명의 충실도를 측정한다.출처: §2.2 · p. 2

2.3 가설 생성을 위한 SAE

• 선행 연구는 예측력 있는 SAE feature를 텍스트 범주에 관한 가설로 활용했다. 예를 들어 뉴스 참여도를 위한 놀라움 관련 feature와 식당 평점을 위한 식품 안전 feature가 있다.출처: §2.3 · p. 2
• 이 논문은 해석 가능성을 현미경처럼 활용해 AI 생성 텍스트의 구체적이고 예측력 있는 언어적 단서를 찾아내고, 이를 바탕으로 분류기를 구축한다.출처: §2.3 · p. 2

• 언어적 특징 기반 탐지기는 대체로 블랙박스 시스템보다 성능이 낮고, 적대적 입력이나 분포 외 입력에 대한 일반화 능력이 제한적이다.출처: §3 · p. 2
• 신경망 분류기와 우도 지표는 분포 내 성능과 스타일로메트릭 방식보다 나은 일반화 성능을 보이는 한편, LIME과 SHAP은 토큰 예측성의 근거가 아니라 토큰 수준의 중요도를 제공한다.출처: §3 · p. 2
• 논문은 SAE 기반 AI 탐지기가 기존 AI 탐지 기준선보다 우수하며, 개념을 해석 가능하게 만들면서도 기반 신경망 모델의 성능을 유지한다고 보고한다.출처: §3 · p. 3, Figure 2 · p. 3
• 선행 연구에서는 SAE 특징 분류기가 여러 과제에서 유용한 것으로 나타났지만, 필터링 없이 모든 특징을 사용하면 시스템 수준 설명의 충실성이 저하될 수 있다.출처: §3 · p. 3
• 저자들은 자동 해석 가능성 점수에 전역 임계값을 적용할 것을 제안한다. 해석 가능성이 가장 낮은 특징만 제거해서는 남은 특징 자체의 해석 가능성이 보장되지 않기 때문이다.출처: §3 · p. 3
• 기존 SAE 기반 AI 탐지 연구는 탐지기에 SAE를 직접 학습시키거나 특징 설명의 정확도를 평가하지 않았다. 본 연구는 해석 가능한 탐지기를 위해 이 두 단계를 모두 제안한다.출처: §3 · p. 3

4.1 파이프라인 개요

• 문서 수준 특징은 토큰에 걸쳐 max-pooling하고 레이어별로 이어 붙인 다음, 임계값으로 마스킹해 L1 정규화 로지스틱 회귀에 입력한다.유지된 각 특징에는 자연어 설명이 있어, 순기여도 상위 특징을 나열해 예측을 설명할 수 있다.출처: §4.1 · pp. 3–4

4.2 자동 해석

• 설명은 층화된 활성화 분위수 표본에서 생성하며, 각 특징의 활성값이 가장 높은 토큰을 중심으로 발췌문을 구성한다.언어 모델이 최대 20단어로 설명을 생성하기 전에, 특징의 전역 최댓값 중 10%를 초과하는 토큰을 강조 표시한다.출처: §4.2 · p. 4
• 설명 시뮬레이션 점수는 문서 전반에 걸쳐 예측된 활성화 분위수 할당과 실제 할당 간 Spearman 상관계수다.파이프라인은 설명 생성에 문서 10개를 사용하고 검증에 50개를 사용한다.출처: §4.2 · p. 4

5.1 데이터

• 개방 영역 학습과 분포 내 테스트에는 COLING의 영어 학습 및 개발 분할을 사용하고, 평가에는 별도로 보류한 COLING 데이터와 적대적 사례가 아닌 RAID 데이터도 사용한다.COLING은 41개 언어 모델과 이에 대응하는 인간 작성 텍스트를 포함하며, 학습 및 개발 분할에는 각각 문서 610k개와 261k개가 들어 있다.출처: §5.1 · p. 4
• 폐쇄 영역 PRDB 실험에서는 인간이 작성한 리뷰를 GPT-4o 또는 Llama-3.1-70B 생성문과 각각 짝지어 학습하고, 보류된 인간 작성 텍스트와 다섯 모델의 생성문으로 평가한다.데이터셋에는 2016–2024년 NeurIPS 및 ICLR의 인간 작성 리뷰 106,413개가 포함된다.출처: §5.1 · p. 4

5.2 기준선

• 기준선에는 미세조정한 Gemma-2-2B와 gram2vec 문체 분류기, 그리고 제로샷으로 적용한 네 가지 공개 기성 탐지기가 포함된다.gram2vec 임베딩은 일곱 가지 언어 범주에 걸쳐 930개가 넘는 특징을 포함한다. 미세조정한 신경망 모델은 ID 및 OOD 텍스트에서 COLING RoBERTa 기준선보다 성능이 높다.출처: §5.2 · p. 5

5.3 모델

• 세 가지 SAE 조건은 사전학습한 GemmaScope SAE, 기반 모델 활성값으로 미세조정한 SAE, 또는 AI 탐지 모델의 활성값으로 미세조정한 SAE를 사용한다.모든 조건은 Gemma-2-2B 활성값을 재구성하도록 학습한 GemmaScope SAE를 기반으로 한다.출처: §5.3 · pp. 5–6

COLING 및 RAID

• FT-MODEL+SAE는 분포 내 dev 분할과 세 개의 홀드아웃 COLING OOD 분할에서 낮은 거짓 양성률 구간을 제외하면 기반 탐지기의 AUC와 F1을 재현한다.τ > 0.7일 때도 일부 feature만 사용해 전체 모델의 성능을 재현하거나 개선한다.출처: §6 · p. 6

OOD 일반화

• 미세조정 탐지기가 일반화에 실패하면 FT-MODEL+SAE도 일반화에 실패한다.따라서 저자들은 기반 탐지기를 능가하지 못한 점이 아니라 BASE-SAE와 FT-SAE의 OOD 성능이 놀라운 결과라고 본다.출처: §6 · p. 6

OOD 일반화 및 PRDB

• BASE-SAE와 FT-SAE는 OOD에서 특히 우수한 성능을 보이며, Binoculars와 Fast-DetectGPT보다 F1 점수가 약 8–12 높다.PRDB로 학습한 분류기도 거의 완벽한 성능을 내는데, 저자들은 이를 교란 요인이나 허위 단서 때문에 과제가 인위적으로 쉬워진 증거로 해석한다.출처: §6 · p. 6, Table 2 · p. 6

7.2 문서 수준 패러프레이즈 제거 실험

• Feature 기반 패러프레이즈 프롬프트는 모델 전반에서 일반 프롬프트보다 예측 반전율을 높이며, feature를 반복적으로 제거하면 토큰의 40% 미만을 수정해 60–100% 성공률을 얻는다.저자들은 이를 통해 feature 목록이 비교적 완전하고 재현율이 높음을 시사한다고 보지만, 확정적 증거는 아니라고 말한다.출처: Figure 5 · p. 7, §7.2 · p. 8

7.1 Feature 수준 패러프레이즈 제거 실험

• 12개 구성 전반에서 feature 중요도는 해당 feature를 패러프레이즈로 제거했을 때의 효과를 양의 상관으로 예측하며, 상관은 COLING보다 PRDB에서 더 강하다.PRDB에서 Spearman ρ는 0.69–0.81에 이르고 feature의 89–99%가 부호에서 일치한다. COLING에서 ρ는 0.36–0.62다.출처: Table 3 · p. 7, §7.1 · p. 7
• 자동 해석 점수가 0.7을 초과하는 feature로 제한하면 중요도와 패러프레이즈 간 상관이 높아지며, 특히 FT-MODEL+SAE에서 두드러진다.COLING에서 상관은 0.54에서 0.62로, PRDB에서는 0.69에서 0.80으로 상승한다.출처: §7.1 · p. 7, Table 3 · p. 7

7.2 문서 수준 패러프레이즈 제거 실험

• 문서 수준 공격에서는 각 데이터셋에서 AI 문서 2,500개를 표집하고, 활성 feature 설명과 중요도를 사용한 one-shot 및 3회 반복 프롬프트를 일반 프롬프트와 비교한다.모든 프롬프트는 패러프레이저가 문서 토큰의 30% 미만을 수정하도록 지시한다.출처: §7.2 · pp. 7–8

8 정성 분석

• GPT-4o 또는 Llama 쪽으로 예측을 기울게 하는 feature는 굵은 제목 뒤의 이중 콜론이나 리터럴의 여는 대괄호처럼 토큰 한두 개 또는 서식 기호에만 활성화될 수 있다.이중 콜론 feature는 인간 문서 11개에서, GPT-4o 문서 54,000개 초과에서 나타난다. 대괄호 feature는 인간 문서 7개에서, Llama 문서 22,000개 초과에서 나타난다.출처: §8 · pp. 8–9

8 Qualitative Analysis

• Human-predictive features are largely stylistic, including sentence-opening first-person pronouns, opinion hedges, and “see” as a review directive.On COLING, the top FT-SAE feature is an AI-style introductory phrase, while top BASE-SAE features include topical and domain-level cues such as HTML attributes and software-license boilerplate.출처: §8 · p. 9

8 정성 분석

• 기반 모델 탐지기의 feature는 텍스트의 문체적 속성보다 분야별 지름길에 더 의존할 수 있다.이 대비는 FT-SAE 및 BASE-SAE feature를 비교한 확장 COLING 표에서 보고된다.출처: §8 · p. 9
• 서식 feature가 허위 단서인지는 불분명하며, 제공자는 개별 feature를 감사하고 사용 여부를 사례별로 결정할 수 있다.논의에서는 일관되게 나타나는 서식상의 특이점도 맥락을 넘어 여전히 관련성이 있을 수 있다고 언급한다.출처: §8 · p. 9

9 결론

• 이 파이프라인은 신경망 탐지기의 잔차 스트림에 SAE를 학습시킨 뒤, 전역 해석 가능성 임계값을 통과한 특징만 사용해 분류한다.그 결과, 탐지기는 불투명한 신경망 분류기가 아니라 사람이 해석할 수 있는 개념을 기반으로 작동한다.출처: §9 · p. 9
• 추출된 특징을 사용하는 분류기는 이해하기 훨씬 쉬우면서도, 기반이 된 기본 모델의 성능과 일반화 특성을 유지한다.절제 실험 결과, 특징 설명은 특징 활성값과 예측 기여도를 나타내는 데 높은 재현율과 정밀도를 보인다.출처: §9 · p. 9
• 기본 모델 활성값의 SAE 분해에 기반한 분류기는 강력하고 널리 쓰이는 AI 탐지 기준선보다 뛰어난 성능을 보인다.논문은 이러한 분류기를 AI 생성 텍스트를 견고하게 탐지하는 모델로 설명한다.출처: §9 · p. 9
• 자주 쓰이는 구체적인 토큰 시퀀스와 서식 요소는 다른 도메인과 모델에서는 일반화되지 않을 수 있다.저자들은 어떤 특징이 탐지에 유효한지에 관한 질문을 제기하고, 비지도 개념 발견을 활용한 적대적 강화에 관한 후속 연구를 제안한다.출처: §9 · p. 9

특징 설명은 재현율에 치우쳐 있다

• 자동 해석 설명은 재현율은 높지만 정밀도는 낮을 수 있으며, 특징이 활성화되는 맥락들 사이의 의존성을 놓칠 수 있다.비공식적인 정규식 기반 평가에서 대략 절반의 특징은 완벽한 설명(99.5+ F1)을 보였고, 나머지 절반은 정도의 차이는 있지만 재현율 편향을 보였다.출처: Feature descriptions are biased… · pp. 9–10

A.1 하이퍼파라미터 및 학습 설정

• SAE는 다섯 가지 설정에서 학습되었다. COLING base(기반 활성값)와 Open(범용 AI 탐지기로 파인튜닝한 활성값), 그리고 각 학습 세트의 Gemma-2-2B 활성값을 사용한 PRDB base, GPT-4o 탐지기로 파인튜닝한 설정, Llama 탐지기로 파인튜닝한 설정이다.출처: §A.1 · p. 14

A.2 재매개변수화

• 공개된 GemmaScope 가중치에는 활성값 스케일링이 이미 접혀 들어가 있었으므로, 파이프라인은 파인튜닝을 위해 계층별 스케일을 경험적으로 추정하고 원시 활성값 추론을 위해 정규화를 다시 접어 넣었다.학습 설정에는 JumpReLU SAE, 그래디언트 투영, 재구성 손실과 희소성 페널티를 사용했으며, 보조 손실이나 죽은 잠재 변수 재표본화는 사용하지 않았다.출처: §A.2 · p. 14

A.3 Training Optimizations & Hardware

• Buffered token shuffling used a one-million-token activation buffer, avoiding full-dataset activation caching; SAEs across layers were trained simultaneously to reduce costly model passes.Training used NVIDIA DGX B200 GPUs for 185 GPU hours across model conditions.출처: §A.3 · pp. 14–15

A.4 평가

• Fine-tuning된 SAE는 기본 모델 SAE보다 평균 L0와 재구성 오차가 낮았지만, 기본 모델 SAE가 다운스트림 생성 텍스트 탐지에서는 더 나은 성능을 보였다.저자들은 재구성 기반 SAE 평가가 원하는 후속 효과와 상관관계를 보이지 않을 수 있다고 지적한다. 또한 fine-tuned SAE는 깊이가 증가할수록 L0가 낮아진 반면, base-model SAE는 깊이에 따라 거의 변하지 않았다.출처: §A.4 · p. 15

B.1 신경망 기준 모델 fine-tuning

• 신경망 기준 모델은 오픈 도메인 COLING 탐지와 GPT-4o 또는 Llama의 동료 심사 탐지 PRDB를 위해 각각 fine-tuning했으며, 학습된 모델은 공동 과제의 RoBERTa 기준 모델보다 앞섰다.모델은 개발 세트의 검증 손실을 기준으로 선택했다.출처: §B.1 · p. 15

B.2 로지스틱 회귀 분류기 학습

• 희소 로지스틱 회귀 분류기는 모멘텀을 적용한 미니배치 SGD와 정확히 0인 가중치를 만드는 soft-thresholding을 사용했다. SAE 특징은 0 활성화를 보존하기 위해 중심화하지 않고 RMS 스케일링했다.반면 gram2vec 기준 모델은 z-score 정규화를 사용했으며, 캐시된 최대 풀링 활성화 덕분에 언어 모델의 순전파 없이 CPU에서 분류기를 학습할 수 있었다.출처: §B.2 · p. 16

B.3 XGBoost 분류기 학습

• XGBoost는 false positive rate가 높은 구간에서 FT-Model+SAE와 base model 간 성능 격차를 대부분 줄이며, logistic regression은 대체로 XGBoost와 비슷한 성능을 보인다.Gram2vec은 XGBoost를 사용했을 때 성능이 크게 향상되며, 이는 초기 feature basis에 더 강한 상호작용이 있음을 시사한다.출처: §B.3 · p. 16

C.1 데이터 처리

• 여러 필드로 구성된 동료 심사 의견은 제목식 Markdown 헤더를 사용해 텍스트로 변환하며, 이 공통 형식은 악용 가능한 서식 아티팩트를 줄이기 위한 것이다.사람과 AI가 작성한 심사 의견 모두 같은 구조를 따르므로, 이 헤더를 추가하면 Markdown 기반 feature의 예측력이 낮아진다.출처: §C.1 · p. 17

C.2 생성 모델 및 도메인

• ArXiv, Wikipedia, QA는 학습 데이터와 테스트 데이터가 겹치므로, 이 컬렉션으로의 transfer가 실제 out-of-distribution 성능을 나타내지 않을 수 있다.저자들은 이 데이터셋들이 문헌에서 AI detector 학습에 널리 쓰이는 표준 데이터셋이라고 언급한다.출처: §C.2 · p. 17

D 자동 해석 파이프라인 프롬프트

• auto-interpretation 프롬프트는 실험과 검증에는 간결한 설명을 사용하고, 키워드 기반 설명과 더 긴 설명은 인터페이스 시각화에만 사용한다.프롬프트에는 feature 활성화 분포 전반에서 표집한 문서를 제시하며, 각 문서는 가장 크게 활성화된 token 주변의 구간으로 잘라낸다. 검증에서는 문서를 글머리표 목록으로 묶는다.출처: D Autointerpretation Pipeline Prompts · p. 18

F 인터페이스

• 인터페이스는 탐지기 예측과 영향력 있는 특성을 표시하고, 입력에서 특성이 활성화되는 위치를 강조하며, 추론 해석 가능성 임계값을 조정할 수 있게 한다.특성 카드에는 설명, 점수, 로짓 기여도가 표시되며, 마우스를 올리면 추가 특성 설명과 키워드가 나타난다.출처: F Interface · p. 20

H AI 지원

• 저자들은 인터페이스 구현, 논문 일부 초안 작성, 관련 연구 수집, 소규모 코딩 및 문서화 작업 지원에 AI 도우미를 사용했다.일상적인 질문에는 Gemini 2.5 Pro를, 더 큰 규모의 에이전트형 작업에는 Claude Opus 4.7을 사용했다고 밝혔다.출처: H AI Assistance · p. 21

E.1 특성 수준 패러프레이즈 제거 실험

• 패러프레이즈 효과와 영점 제거 효과의 일치는 COLING보다 PRDB에서 더 높으며, 자동 해석 점수가 높을수록 수정이 더 정밀하다.일치도는 COLING에서 ρ = 0.36–0.62, PRDB에서 0.69–0.81이다. 자동 해석 점수 사분위수에 따라 ρ는 0.78에서 0.87로 증가한다. PRDB 재작성은 일반적으로 표적 특성을 0.5–1.0만큼 변화시키는 반면, 다른 활성 특성은 0.02–0.3만큼 변화시킨다. COLING의 구두점 및 문장 경계 특성은 의미를 보존하는 재작성으로 제거하기가 더 어렵다.출처: §E.1 · p. 19, Figure 9 · p. 24

E.2 문서 수준 패러프레이즈 제거 실험

• 특성 기반 공격은 비유도 프롬프트보다 문서를 두 배에서 열 배 더 많이 뒤집으면서 수정 단어 수는 적지만, PRDB의 FT-SAE는 예외이며 AUROC는 F1보다 덜 저하될 수 있다.SAE를 한 번 적용하면 단어의 6–29%를, 세 번 적용하면 11–38%를 수정하며, 비유도 프롬프트는 24–39%를 수정한다. PRDB의 FT-SAE는 한 번 적용한 뒤 ASR이 3.4%, 세 번 적용한 뒤 21.8%다. GPT4o 학습 PRDB 헤드는 Llama 학습 헤드와 유사한 양상을 보인다.출처: §E.2 · p. 20, Table 23 · p. 32

G 추가 표와 그림

• PRDB의 홀드아웃 Qwen, Claude, Gemini 모델에서는 Llama로 학습한 탐지기가 대체로 GPT-4o로 학습한 탐지기보다 성능이 낮다.저자들은 이것이 Llama가 다른 유사 모델과 공유하는 구체적인 문체 경향이 더 적기 때문일 수 있다고 추정한다.출처: G Extra Tables and Figures · p. 20, Table 25 · p. 40
• RAID에서는 FT-MODEL+SAE가 대부분의 해석 가능성 임계값에서 전체 신경망 기준선과 대체로 비슷한 성능을 보이며, BASE-SAE와 FT-SAE는 COLING에 포함된 모델에서 더 나은 성능을 보인다.그림은 해석 가능성 임계값별 FPR=5%에서의 재현율을 보고한다.출처: G Extra Tables and Figures · p. 20, Figure 20 · p. 41

H AI 지원

• PRDB 표에는 FT-SAE GPT-4o 및 Llama 로지스틱 회귀 탐지기의 특성 상위 순위가 제시되며, 평균 로짓 기여도와 자동 해석 점수가 함께 표시된다.GPT-4o 표에는 자동 해석 점수가, Llama 표에는 자동 해석 시뮬레이션 점수가 명시되어 있다. 두 표 모두 τ > 0.85인 탐지기를 사용한다.출처: Table 33 · p. 49, Table 34 · p. 50