A-Evolve-Training: Autonomous Post-Training of a 30B Model

기여

• 이 논문은 이전 공개 시연의 규모를 대략 GPT-2급 예산에서 30B 규모의 수 주간 학습 캠페인으로 확장한, 이 규모에서 최초로 공개 보고된 자율 post-training 실행 사례로 제시한다.이 주장은 인간 연구자와의 성능 대등이나 이정표를 내세우지 않고, 명시적이고 감사 가능한 단일 사례로 범위를 한정한다.출처: §1 · pp. 1–2

동기

• frontier 모델의 post-training은 실행과 인프라 규모를 몇 자릿수씩 키워, 재시도와 분기, 전수 탐색을 값싼 작업이 아닌 구속 조건으로 바꾼다.30B에서는 반복 실행마다 전체 학습을 수행해야 하므로, 아이디어 생성뿐 아니라 측정과 실행도 루프를 제약한다.출처: §1 · p. 2, Table 1 · p. 2

시스템 설계

• 시스템은 불변 기준 substrate, 동질적인 풀스택 작업자 여덟 명, 그리고 헌장으로 제약을 둔 라운드 단위 정책 업데이트를 사용한다.작업자들은 레시피와 데이터를 수정하고, 작업을 실행하고, 디버깅·평가·보고를 수행하며, 라운드가 바뀔 때 상태를 이어받지 않는다. 순차 갱신되는 탐색 정책만 바뀐다.출처: §1 · pp. 2–3
• 핵심 설계 원칙은 비대칭적 자유다. 비교 가능성에 필요한 불변 조건은 유지하면서 탐색이 가치를 창출하는 축에서는 자유를 극대화한다.기준 substrate는 덮어쓰지 않으며, 승격은 기준 작업 공간을 교체하는 대신 순차 갱신 정책에서 이뤄진다.출처: §1 · p. 3

결과

• 네 차례의 자율 라운드 후 공개 리더보드에서 0.86을 기록해 상위 제출물의 0.87에 근접했으며, 약 4000개 항목 중 8위를 차지했다.이 결과는 인간 연구자와 대등한 성과라는 주장이 아니라, frontier 규모 자율 루프가 완결된 감사 가능한 사례로 보고된다.출처: §1 · p. 3

발견

• 내부 지표가 최고 기록까지 상승했지만 외부 목표는 개선되지 않는 개입이 이어지자, 루프는 탐색 목표를 뒤집었다.도메인 재균형과 재가중한 체크포인트 선택을 포함해, 외부 목표를 개선하면서 proxy는 낮출 수 있는 개입을 탐색했다.출처: §1 · p. 3

소규모 LLM-as-scientist

• 소규모 LLM-as-scientist 시스템은 사람의 개입 없이 가설을 세우고 실험을 수행하며 결과를 작성하지만, 저렴하고 자유롭게 재시도할 수 있는 GPT-2급 학습에 의존한다.최근 평가 연구에 따르면, 유리한 이런 조건에서도 frontier 에이전트는 이미 알려진 개선 사항을 재현하는 데 여전히 어려움을 겪는다.출처: §2 · p. 4

LLM 유도 진화적 코드 탐색

• AlphaEvolve와 관련 시스템은 LLM 변이를 통해 프로그램 코드를 진화시키는 반면, 이 시스템은 post-trained 모델을 만들어 내는 코드와 데이터를 진화시킨다.둘 다 LLM 기반 변이를 사용하지만, 피드백 구조와 평가 비용은 자릿수 단위로 차이가 난다.출처: §2 · pp. 4–5

고전적 AutoML과 하이퍼파라미터 탐색

• 고전적 AutoML과 하이퍼파라미터 최적화는 고정된 매개변수화 파이프라인 안에서 좌표를 탐색하지만, 이 루프는 학습 레시피 자체를 수정한다.레시피 수준의 변경에는 데이터 구성, 혼합 비중, trainer 설정이 포함된다. 보고된 업샘플링 발견은 고정 격자 탐색으로는 표현할 수 없었다.출처: §2 · p. 5

이 연구의 위치

• Figure 1은 이 연구만이 시행당 수 주가 걸리는 영역에 있음을 보여준다. 이 영역에서는 루프를 저비용 재시도 주기로 취급하지 않고 평가 비용에 맞게 재구성해야 한다.이 그림은 관련 접근법별 탐색 대상과 평가 1회의 비용을 비교한다.출처: §2 · p. 5

기둥 1: 불변의 기준 substrate

• 불변의 기본 substrate를 라운드마다 fork해, 동일한 base checkpoint, data pipeline, 학습 코드, 평가 설정을 기준으로 recipe를 비교할 수 있게 한다.우승 recipe가 substrate를 덮어쓰거나 이후 라운드의 기반이 되는 일은 없다.출처: §3 · p. 5

기둥 2: 동질적이고 메모리가 없는 작업자

• 동일하고 메모리가 없는 작업자들은 특화된 역할 간 중간 상태를 주고받는 대신 할당된 축을 탐색한다. 중간 상태를 누적하면 recipe 간 비교 가능성이 깨지고 선택 신호가 왜곡되기 때문이다.이전의 특화 역할 설계는 실제로 효과가 없었다.출처: §3 · pp. 5, 7

기둥 3: 라운드별 근거 통합과 정책만의 승격

• 각 라운드에서는 수정된 검색 정책만 승격한다. manifest와 고정 스키마의 근거 요약을 바탕으로 헌법상 제약을 받는 메타 에이전트가 작동하며, substrate는 바뀌지 않는다.근거 산출물에는 후보 요약, 후보 간 패턴, dev/leaderboard 보정, 예상 밖의 결과, 근거 감사가 기록된다.출처: §3 · p. 7
• 누적 정책은 상시 recipe, 검색 축, 막다른 경로, 경험적 승격 규칙을 갱신하고, 고정된 constitution은 시스템 수준의 메타 규칙을 집행한다.근거가 쌓이면 정책은 승격 임계값 같은 경험적 규칙을 수정할 수 있다.출처: §3 · p. 7

전반을 관통하는 원칙

• 비대칭적 자유 원칙은 substrate, 평가 하네스, 비교 기준선을 고정하는 한편 의미적 변이에 대한 탐색을 극대화한다.이를 통해 실행 가능하고 비교 가능한 실험을 보존하면서, 가치를 창출할 수 있는 변화를 찾는 데 탐색 역량을 집중한다.출처: §3 · p. 7

4 결과

• 캠페인은 30B Nemotron 기반 모델에서 라운드마다 N=8개 워커를 사용해 4라운드 동안 진행했으며, 초기 substrate 작성 이후에는 사람의 개입이 없었다.NVIDIA Nemotron-Reasoning Challenge로 평가했다. 이 벤치마크는 비트 조작과 대수 방정식 등의 영역을 아우르는 논리 추론 퍼즐로 구성된다.출처: §4 · p. 8
• 0.86 대 0.87의 점수로 자율 모델은 리더보드 제출작 약 4,000개 가운데 8위에 올랐다.4라운드 이후 해당 점수에 도달했으며, 라운드가 거듭될수록 점수가 단조롭게 향상됐다.출처: Figure 3 · p. 8, §4 · p. 8

5 발견: 프록시가 더 이상 근거가 아니게 된 때

• 개발 점수는 0.93–0.94까지 올랐고 약한 수식 영역은 최고 0.82에 도달했지만, 외부 성능은 0.84–0.85에 머물렀다.이 결과는 가장 개선하기 쉬운 프록시 차원을 극대화하면 외부 목표가 개선된다는 가정을 반증했다.출처: §5 · p. 8
• 겉보기에 취약한 영역의 가중치를 낮추자 외부 목표를 저해하지 않으면서 내부 점수가 낮아졌다. 이는 해당 영역이 실제 성능의 병목 요인이 아님을 보여주었다.개발 점수가 높은 개입의 실패와 함께, 이 결과는 프록시의 실패를 살펴보는 단일 변수의 긍정적·부정적 탐침을 제공했다.출처: §5 · p. 8
• 이후 정책은 도메인 재균형과 체크포인트 선택 가중치 재조정 등을 포함해, 프록시를 낮추면서 외부 목표를 개선할 수 있는 개입을 찾도록 했다.개발 점수의 상승은 외부 탐침에서도 확인되지 않는 한 의심의 대상이 되었다.출처: §5 · p. 9
• 결론의 범위는 이 성능 구간으로 한정된다. 내부 지표가 쓸모없다고 밝혀진 것은 아니지만, 이 범위를 넘어서는 구간에서는 신뢰할 만한 인과적 지침이 아니었다.이 관찰은 운 좋게 얻은 단일 실행이 아니라 여러 탐침에 근거한다.출처: §5 · p. 9

6.1 규모를 확대한 자율 루프는 정해진 규칙 안에서 실행하는 데 그치지 않고 탐색 규칙 자체를 수정할 수 있다

• 복제되지 않은 단일 실험에서도 탐색 정책이 검증 가능하게 수정되었다. 루프는 측정 틀이 더 이상 증거가 되지 못한다는 점을 감지하고 작업자들이 무엇을 최대화할지 바꾸었다.저자들은 이 발견을 고정된 측정 틀 안에서의 최적화와 구분한다.출처: §6.1 · p. 9

6.2 시스템 설계의 교훈: 비대칭적 자유와 메모리를 공유하지 않는 작업자

• 운용 설계에서는 변경 불가능한 기반, 고정된 평가, 메모리를 공유하지 않는 작업자를 고정하고, 변이가 가치를 만드는 부분에서만 자유를 허용한다.다시 분기하면 라운드 간 비교 가능성이 유지되고, 공유된 중간 상태에서 관측되지 않은 변이가 누적되는 일을 피할 수 있다.출처: §6.2 · p. 9
• 기반과 구성 원칙은 라운드 전반에 걸쳐 변경하지 않고, 고정된 메타 규칙 아래 순환형 탐색 정책만 변경한다.이 분리는 목표 이탈과 기반 오염을 막으면서 시스템이 노이즈 밴드를 수정하고 축 범주를 폐기할 수 있게 한다.출처: §6.2 · pp. 9–10

6.3 운영상 RSI 틀에 비추어 본 위치

• 30B Nemotron 실험은 네 차례의 자율 라운드와 사람의 개입 없이 운영상 기준을 한 번 넘었으며, 최종 점수는 최고 인간 제출 점수보다 1점 낮았다.저자들은 이를 자율적 프런티어 후훈련이 가능하다는 증거로 보며, 재귀적 자기 개선이 해결되었다는 뜻으로 보지는 않는다.출처: §6.3 · p. 10

• 결과는 하나의 post-training 과제군에 한정되어 있어, 다른 영역에서 기존 가정의 범위를 벗어나는 결과가 나타날지는 아직 열려 있다.출처: §7 · p. 10
• 시스템은 30B Nemotron 기반 모델 하나에서 실행되었으므로, 루프의 행태와 체크포인트별 행태를 구분하려면 여러 기반 모델과 크기에서 재현해야 한다.출처: §7 · p. 10
• 최적화 주장은 공개 리더보드 하나에 의존하므로, 단일 지표에 대한 의존성을 줄이려면 더 폭넓은 벤치마킹이 중요하다.출처: §7 · p. 10
• 시스템은 내부 A-Evolve 프레임워크 버전을 사용하며, 코드와 기반 환경, 체크포인트의 공개 시점은 아직 확정되지 않았다.출처: §7 · p. 10

• 진행 양상은 내부 대리 지표 최적화에서 대리 지표와 목표 간 괴리 감지로, 마지막에는 검색 정책을 변경하는 단계로 이어진다.출처: Table 2 · p. 12