Layered Unlearning for Adversarial Relearning

• post-training 개입은 적대적 프롬프팅이나 fine-tuning으로 우회되거나 되돌려질 수 있으며, 선행 연구에서는 부분집합에 대한 fine-tuning으로 잊힌 정보를 다시 끌어낼 수 있음을 보였다.출처: §1 · p. 1
• 저자들은 기존 unlearning 방법이 공유되는 맥락 의존적 억제기를 도입하며, fine-tuning으로 이를 제거해 post-training 수정을 되돌릴 수 있다고 가정한다.출처: §1 · p. 1
• LU는 데이터를 서로 겹치지 않는 fold로 나누고, fold의 누적 합집합을 순차적으로 unlearning하며, 나머지 fold와 retain set을 함께 유지해 서로 구별되는 억제기를 만든다.출처: §1 · p. 1, Figure 1 · p. 2
• 합성 과제와 WMDP, Years, MMLU 전반에서 LU는 fine-tuning을 통한 복구에 대한 저항성을 높인다. 말뭉치 기반 공격은 표준 RTT(Deeb & Roger, 2025)보다 억제기를 더 효과적으로 우회하며, 표준 unlearning에서는 나타나지 않는 fold 간 차이를 드러낸다.출처: §1 · p. 2
• 논문은 LU를 심층 방어 접근법으로 제시하고, 합성 및 LLM 환경 모두에서 적대적 재학습에 대한 저항성이 높아졌다고 보고한다.출처: §1 · p. 2

2.1 Machine unlearning 표기법

• Machine unlearning은 forget set 없이 재학습하는 과정을 근사하면서 retain set의 성능을 보존한다.일반적인 unlearning 함수는 모델 파라미터, forget set과 retain set, 하이퍼파라미터를 입력으로 받아 갱신된 파라미터를 출력한다.출처: §2.1 · p. 3

2.2 합성 환경에서의 적대적 relearning

• 2D 과제에서는 radial basis function 특징을 사용해 Gaussian mixture에서 생성된 점을 uniform 배경과 구분하며, A, B, R은 데이터 부분집합을 나타낸다.Unlearning의 목표는 R을 유지하면서 A와 B를 제거하는 것이다.출처: §2.2 · p. 3
• 두 합성 과제에서 B를 relearning하면 2D 분류에서 A의 원래 성능 중 93%가, bigram 모델링에서 73%가 회복됐다.이 실험은 두 환경 모두에서 unlearning 후 과제 간 복구가 발생함을 재현한다.출처: §2.2 · pp. 3–4

2.3 Layered Unlearning 알고리즘

• LU는 나머지 fold와 R을 유지하면서 누적 fold를 순차적으로 unlearning해 각 단계에서 서로 다른 억제기를 유도한다.단계 i에서는 R 및 Fi+1부터 Fk까지를 유지하면서 F1부터 Fi까지를 unlearning한다.출처: §2.3 · p. 4

2.3.1 logistic regression을 위한 Layered Unlearning

• Gaussian이 다섯 개인 경우 2-fold LU에서 B를 relearning하면 A의 정확도가 0.29 상승하고, A를 relearning하면 B의 정확도가 0.91 상승한다.이 비교는 logistic-regression 환경에서 과제 간 복구가 비대칭적으로 나타남을 보여준다.출처: §2.3.1 · p. 5, Table 1 · p. 5

2.3.2 bigram 모델링을 위한 Layered Unlearning

• Unlearning 후 LU에서 A 또는 B를 relearning하면 다른 bigram 과제의 성능이 평균 0.17 향상된다. unlearning primitive U에서는 향상 폭이 0.43이다.저자들은 이를 양방향 견고성으로 설명하며, 독립적인 억제기가 A와 B 사이의 전이를 막는다고 본다.출처: §2.3.2 · p. 6, Table 2 · p. 6

3 LLM 언러닝 실험

• LLM 실험에서는 WMDP, MMLU, Years에서 LU를 적용하거나 적용하지 않은 RMU와 SimNPO를 평가하며, 유지 집합 평가는 MMLU를 사용한다.MMLU 언러닝에서는 언러닝 대상 범주를 유지 집합에서 제외한다.출처: §3 · pp. 6–7
• 평가에서는 각 망각 집합을 고정된 무작위 fold로 나누고, MCQ 데이터 또는 이에 대응하는 코퍼스를 사용해 진부분집합으로 파인튜닝한 다음 나머지 fold에서 정확도를 추적한다.유지 집합 정확도 하락이 10% 이하인 언러닝 모델만 고려하며, 실험에는 Zephyr-7B-β를 사용한다.출처: §3 · p. 7

3.1 Layered Unlearning은 적대적 재학습에 더 강건하다

• LU는 RMU의 강건성을 높이며, fold 순서에 따라 복구 양상이 달라진다. fold A에 접근하면 fold C에만 접근할 때보다 적대자가 B와 C에 관한 정보를 더 많이 복구할 수 있다.Figure 3은 방향성 장벽을 보여준다. B에서 재학습하면 C의 성능은 복구되지만 A의 성능은 복구되지 않는다.출처: §3.1 · p. 7, Figure 3 · p. 7
• SimNPO도 LU를 적용하면 더 강건해지지만 그 정도는 RMU보다 작다. L-SimNPO의 장벽은 더 대칭적이며, 이는 LU가 여러 언러닝 방법에 걸쳐 일반화됨을 보여준다.출처: §3.1 · p. 7

3.2 코퍼스 기반 파인튜닝은 더 강한 적대적 공격이다

• 코퍼스 기반 파인튜닝에서 RMU 성능은 평균 5% 증가한다. L-RMU의 경우 나중 fold로 재학습하고 앞선 fold에서 평가하면 성능이 10% 향상되며, 반대 방향에서는 6% 향상된다.두 L-RMU 수치는 서로 다른 재학습 및 평가 방향을 나타낸다.출처: §3.2 · p. 8
• 계층형 변형은 재학습에 대한 저항성을 높인다. Table 3은 L-RMU에서 단방향 장벽, L-SimNPO에서 부분적인 양방향 장벽을 보고하며, RMU 변형에서는 대체로 코퍼스 기반 공격이 MCQ 공격보다 강하다.Years와 MMLU에서도 유사한 결과가 Appendix E에 보고되어 있다.출처: Table 3 · p. 8, §3.2 · p. 8

• 기존 LLM unlearning 방법은 근사적 전략을 사용하지만, 모델은 여전히 adversarial attack과 이전에 접한 데이터의 작은 조각을 이용한 relearning에 취약하다.인용된 접근법에는 모델 최적화와 프롬프트 기반 또는 in-context 기법이 포함된다.출처: §4 · pp. 8–9
• Adversarial relearning은 잊힌 데이터의 작은 부분집합으로 fine-tuning해 전체 집합에 관한 정보를 복구한다. 기존 방어법은 이러한 공격을 일관되게 견뎌내지 못했다.정보적으로 구별되는 예시도 relearning을 유도할 수 있다 (Deeb & Roger, 2025).출처: §4 · p. 9
• 저자들은 corpus-based fine-tuning과 MCQ-based fine-tuning을 포괄적으로 비교한 연구가 없다고 보고하며, corpus-based fine-tuning이 더 자연스럽고 효과적인 adversarial relearning 전략이라고 밝힌다.기존 연구는 두 접근법을 모두 다뤘다 (Deeb & Roger, 2025).출처: §4 · p. 9
• 기존 연구는 저작권이 있는 정보를 제거하거나 망각 효율을 높이기 위한 순차적 unlearning을 연구했지만, adversarial relearning에 대한 견고성에 미치는 영향은 다루지 않았다 (Dou et al., 2025; Zhao et al., 2024).출처: §4 · p. 9

5 논의

• LU는 하이퍼파라미터에 민감하고 계산 비용이 더 많이 들며, fold 수가 늘어날수록 확장성이 떨어진다.모델은 각 fold 쌍을 구별해야 하며, 저자들은 향후 연구 과제로 더 효율적인 방법을 제안한다.출처: §5 · p. 9
• 재학습 부분집합이 기하급수적으로 커지고 설정에 따라 공격이 달라지기 때문에 포괄적인 적대적 평가는 여전히 어렵다.저자들은 전체 분석을 향후 연구 과제로 남겼으며, 고정된 설정만으로도 RMU와 SimNPO 기준선의 방어를 무너뜨리기에 충분했다.출처: §5 · p. 9
• 논문은 망각 대상 예시와 무관한 데이터에 대한 무해한 fine-tuning을 직접 평가하지 않는다.저자들은 관련 데이터에서도 LU가 취약성을 줄여 관련 데이터와 무관한 데이터에 대한 fine-tuning 간 격차를 좁힐 가능성이 있다고 가정한다.출처: §5 · p. 9
• LU의 서로 다른 억제기는 공통 억제기가 함께 영향을 미치는 행동을 분리하는 데 도움을 줄 수 있다.저자들은 무해성을 보존하면서 유용성을 fine-tuning하기 전에 무해성을 학습하는 가능한 정렬 전략을 제안한다.출처: §5 · pp. 9–10

6 결론

• LU는 견고성을 높이기 위해 기능적으로 서로 다른 문맥 의존적 억제 기제를 구성하는 k-fold 순차적 unlearning 프레임워크다.실험에서 합성 및 LLM 벤치마크 전반의 견고성이 향상되지만, 더 강력한 코퍼스 기반 공격에서는 한계가 여전히 드러난다.출처: §6 · p. 10

Layered Unlearning 그래픽

• Figure 4는 공동 망각과 LU의 단계적 경로를 대조한다. A를 잊는 동안 B를 유지한 뒤 두 fold를 모두 잊는다.캡션은 표준 경로에서 A와 B의 성능이 함께 저하된다고 설명한다.출처: Figure 4 · p. 14
• Figure 5는 망각의 첫 단계에서 A 정확도가 먼저 떨어지고, 두 번째 단계에서 B, 세 번째 단계에서 C의 정확도가 떨어짐을 보여준다.WMDP에서 RMU를 사용해 A, B, C 순서로 fold를 잊는다.출처: Figure 5 · p. 15

B.1 로지스틱 회귀

• LU는 클러스터 수가 증가해도 재학습에 일관되게 저항하지만, 랜덤 클러스터링에서는 강건성이 다소 낮아진다.클러스터 수가 늘어날수록 적대적 재학습의 효과가 커진다.출처: §B.1 · p. 15
• K-Means는 과제를 더 명확하게 분리하는 반면, 랜덤 클러스터링과 더 많은 클러스터는 과제가 중첩될 가능성을 높인다.저자들은 랜덤 클러스터링에서 적대적 재학습을 방어하기가 더 어려운 이유에 대한 직관으로 이를 제시한다.출처: §B.1 · p. 15

B.2 Bigram 모델링

• 구성요소 대체에서는 QK를 WQ와 WK로, OV를 WO와 WV로, UE를 WU와 WE로 묶는다.Figure 8에서는 대체를 이진 마스크로 나타내며, 000은 표준 unlearning, 111은 전체 LU를 뜻한다.출처: §B.2 · p. 15, Figure 8 · p. 17
• QK 또는 OV를 대체하면 adversarial relearning에 대한 견고성이 일관되게 가장 크게 향상되는 반면, retain 정확도와 task 정확도는 안정적으로 유지된다.저자들은 이 설정에서 attention이 중요하다고 보고, 작동 기제에 대한 조사는 향후 연구로 남겨 둔다.출처: §B.2 · p. 16, Table 4 · p. 17, Figure 8 · p. 17

C Retain 정확도

• retain 정확도 부록에는 제한된 MMLU 세트와 전체 MMLU 세트에 대한 평가가 보고되어 있으며, 건강, 역사, 법, 철학, 사회과학 분야의 retain 범주도 포함된다.표 캡션은 전체 MMLU 데이터셋과 small set이라 불리는 제한된 하위 집합을 구분한다.출처: C Retain accuracies · p. 18, Table 6 · p. 18

D Unlearning 정확도

• RMU-Split은 RMU의 공유 projection 대신 각 fold에 서로 다른 무작위 projection을 할당하며, 보고된 결과는 달라지지 않는다.부록에는 방법, 데이터셋, 평가 fold별 unlearning 정확도도 제시되어 있다.출처: D Unlearning accuracies · p. 19, Table 7 · p. 19

E 재학습 정확도

• 공격에는 학습률 10^-6과 배치 크기 4를 사용하며, MCQ는 8 epoch, 코퍼스는 5 epoch 동안 학습한다.저자들은 epoch 전반에 걸친 검증 정확도의 최댓값을 사용한다. 서로 다른 epoch 수는 저자들이 밝힌 조기 종료 고려 사항을 반영한다.출처: E Relearning accuracies · p. 19
• Tables 8–10은 두 개, 세 개, 네 개의 폴드에 걸친 WMDP 재학습 정확도를 다룬다.제공된 구절은 각 표의 범위를 밝히지만, 우수한 방법을 판단하기에 충분한 열 정보는 제공하지 않는다.출처: Table 8 · p. 20, Table 9 · p. 21, Table 10 · p. 22
• A, B, D; A, C, D; B, C, D의 경우, 제시된 행에는 RMU, L-RMU, RMU-Split, L-RMU-Split이 포함되며 MCQ와 코퍼스 항목으로 나뉜다.제공된 표 일부에는 값이 포함되어 있지만, 신뢰할 만한 비교를 하기에는 전체 열 구성을 알 수 없다.출처: §E.3 · p. 23

E.4 MMLU 3개 폴드

• Table 11은 3개 폴드로 나눈 MMLU에서 방법별 재학습 정확도를 보고한다.구절에는 표의 범위만 제시되어 있으며, 각 셀의 값이나 방법 간 비교는 제시되지 않는다.출처: Table 11 · p. 23

E.5 Years 3개 fold

• Table 12는 3개 fold로 나눈 Years에서 방법별 재학습 정확도를 보고한다.제공된 내용은 표의 범위를 밝히지만 셀 값은 제시하지 않는다.출처: Table 12 · p. 24

F 재학습 recovery rate

• Recovery rate는 재학습 후 회복된 정확도를 언러닝 후 정확도와 비교한다. recovery rate가 낮을수록 언러닝의 견고성이 높다.이 지표는 적대적 재학습에 대한 모델 P와 Q의 취약성을 비교하는 데 사용된다.출처: F Relearning recovery rates · p. 25

G 하이퍼파라미터

• 모델을 크게 언러닝한 경우, 성능 하한에서 recovery rate가 인위적으로 부풀려지는 것을 막기 위해 언러닝 정확도 임계값을 0.25로 설정한다.망각 임계값은 약 0.35로 설정하며, 0.25는 4지선다 MCQ에서 무작위 추측에 해당한다.출처: F Relearning recovery rates · p. 25, G Hyperparameters · p. 29

F 재학습 recovery rate

• Recovery rate 비교 표는 WMDP의 2, 3, 4개 fold, MMLU의 3개 fold, Years의 3개 fold를 다룬다..출처: Table 13 · p. 25, Table 14 · p. 26, Table 15 · p. 27

G 하이퍼파라미터

• 하이퍼파라미터 자료는 RMU, RMU-Split, L-RMU, L-RMU-Split, SimNPO, L-SimNPO의 설정을 제시한다. 온라인 체크포인트에서 fold를 충분히 언러닝하지 못해 SimNPO를 다시 실행했다.모든 모델의 실험에 Zephyr-7B-β를 사용한다.출처: G Hyperparameters · p. 29, §G.1 · p. 29, §G.2 · p. 29