Chinchilla Scaling: A replication attempt

1 서론

• Hoffmann et al. (2022)에 따르면, 연산 최적 학습에서 모델 크기를 2×로 늘리려면 학습 토큰 수도 2×로 늘려야 한다.이 연구에서는 모델을 400개 넘게 학습했으며, 매개변수 수는 70M부터 16B 초과까지, 학습 토큰 수는 5B부터 500B까지였다.출처: §1 · p. 1
• Anil et al. (2023)은 토큰 수와 매개변수 수가 대략 비례하는 스케일링을 재현했다. Bi et al. (2024)은 데이터 품질이 높을수록 최적의 매개변수당 토큰 수가 낮아진다는 결과를 얻었다.Bi et al. (2024)도 대략 비례하는 스케일링을 관찰했지만, 이것이 데이터 품질에 민감하다는 점을 강조했다.출처: §1 · p. 1
• 접근법 3은 밀집 트랜스포머의 스케일링 법칙을 밝혀 이론적 설명(Michaud et al. 2024; Bordelon et al. 2024)과 학습–추론 연산량 최적화(Sardana and Frankle 2023)를 뒷받침한다.이러한 활용 사례로 인해 구체적인 모수 추정치는 최적 스케일링에 대한 함의를 넘어 과학적으로도 중요하다.출처: §1 · p. 1
• 재현 연구에서 적합한 모델은 Hoffmann et al.의 모델과 상당히 다르다. 이들의 적합 결과는 재구성한 데이터를 제대로 설명하지 못하며 다른 접근법에서 도출한 스케일링 정책과도 상충한다.이들이 보고한 신뢰구간은 데이터셋 크기를 고려하면 비현실적으로 좁다. 이들의 스케일링 정책 역시 재현 연구의 적합 결과에서 도출되는 정책과 일치하지 않는다.출처: §1 · p. 1
• 접근법 3은 사전학습 최종 손실을 모델 크기와 학습 토큰 수에 대한 모수적 함수로 적합한다. 재현 연구에서는 일부를 재구성한 데이터셋을 사용한다.적합한 함수는 L(N, D) = E + A N^α + B D^β이며, N은 모델의 매개변수 수, D는 학습 토큰 수다.출처: §1 · p. 1

• SVG 파싱으로 산점도 점의 좌표와 채우기 색상을 추출해 Hoffmann et al.의 Figure 4를 복원한다.원본 그래프는 모델 크기를 가로축, 학습 FLOP을 세로축, 손실을 색상으로 나타낸다.출처: §2 · pp. 1–2, Figure 2 · p. 2, Figure 1 · p. 2
• 축 레이블이나 눈금을 이용해 SVG 좌표를 모델 크기와 학습 FLOP에 대응시키지만, y축 눈금이 없어 레이블이 세로 방향으로 가운데 정렬되어 있다고 가정해야 한다.이 정렬 가정으로 인해 좌표 추출에 오차가 생길 수 있다.출처: §2 · p. 2
• 2.00–5.00 범위의 로그 색상 척도에 256개의 십육진수 값만 있어 손실 추정의 정밀도는 약 0.01로 제한된다.저자들은 색상 척도 픽셀의 수직 위치를 손실값에 대응시킨 뒤, 산점도의 각 점에 채움색을 바탕으로 손실값을 할당한다.출처: §2 · p. 2
• 계산 예산이 비슷한데도 일부 대형 모델에서 최대 70% 더 높은 손실이 나타난다. 이상치 다섯 개를 제외해도 적합도가 낮다는 결론은 실질적으로 달라지지 않는다.이 열의 맨 위 다섯 점은 학습 토큰 수 대 매개변수 수의 비율이 < 0.4이다. 이들의 손실이 높은 이유는 불분명하다.출처: §2 · p. 2

3 Hoffmann et al.의 접근법 3 재현 시도

• Huber 손실과 δ = 10^-3으로 Hoffmann et al.의 모수적 법칙을 적합한 뒤, 재구성한 관측치 240개에서 추출한 4,000개의 부트스트랩 재표본으로 매개변수 공분산을 추정한다.주 적합에는 원래의 초기화 격자를 사용한다. 이상치 5개는 매개변수 추정에서 항상 제외하되, 공분산을 부트스트랩으로 추정할 때는 선택적으로 포함한다.출처: §3 · pp. 2–3
• 이상치를 제외하면 p < 10^-51, 포함하면 p < 10^-35로, Hoffmann et al.이 보고한 매개변수 벡터와 재적합한 벡터가 같다는 가설이 기각된다.χ^2 검정은 원래 추정치가 최적이고 재구성 데이터가 일반적이거나 무작위인 부분집합이라고 가정하며, 부트스트랩 공분산을 사용한다. 개별 매개변수 중 E와 β는 유의하게 다르지만 A, B, α는 그렇지 않다.출처: §3 · p. 3

3.1 보고된 값 및 반올림 전 값보다 데이터에 더 잘 맞는 재추정치

• 데이터가 정확히 재구성되었다는 전제하에, 관측치의 90%에서 재적합한 매개변수가 Hoffmann et al.의 반올림된 매개변수보다 낮은 손실을 보인다.재적합의 잔차는 0 근처에 집중되며, Huber 손실의 98%가 Hoffmann et al.의 손실 중앙값보다 낮다. 우도비 검정은 p < 10^-235로 적합도가 같다는 가설을 기각한다.출처: Figure 3 · p. 3, §3.1 · p. 3
• β를 약 0.2849에서 0.28로 반올림하면 D = 10^11에서 유한 데이터에 따른 감소 가능 손실에 약 13%의 양의 편향이 발생한다.Hoffmann et al.의 TeX 소스 주석에서 더 정밀한 매개변수를 복원했다. 이를 사용하면 잔차의 편이를 설명하고 적합도 격차를 대부분 줄일 수 있지만, 완전히 해소하지는 못한다.출처: §3 · pp. 2–3, §3.1 · pp. 3–4
• 재적합은 Hoffmann et al.의 반올림 전 매개변수보다도 로그우도가 40–50 nats 높으며, 유의한 적합도 차이는 외삽한 최적 스케일링 전략에 영향을 미친다.손실이 가장 큰 이상치 5개를 포함하거나 제외해도 이러한 우위는 유지된다. Table 2는 음의 로그우도가 Huber 손실과 같은 확률분포에 기반한 우도비 검정으로, 이 이상치들을 제외한 적합 결과를 비교한다. 매개변수 차이 검정도 여전히 유의하다. 이상치를 제외하면 p < 10^-48이며, 공분산 추정에 포함하면 p < 10^-35이다.출처: Table 2 · p. 4, §3.1 · p. 4

3.2 Hoffmann et al.이 보고한 비현실적으로 좁은 신뢰구간

• 재적합에서 a의 80% 신뢰구간은 Hoffmann et al.의 것보다 약 50배 넓으며, 이는 그들이 보고한 정밀도를 얻으려면 거의 600,000회 실행이 필요함을 뜻한다.재적합에서 추정한 a의 표준오차는 0.018이며, 이에 해당하는 신뢰구간 폭은 약 0.05다. Hoffmann et al.은 관측치가 400–500개에 불과했을 가능성이 큰데도 a의 구간을 0.454–0.455, b의 구간을 0.542–0.543으로 보고한다.출처: §3.2 · p. 5
• Borgeaud (2024)가 설명했듯이, Huber 손실을 합산하지 않고 평균내면서 최적화가 조기 종료되어 적합한 매개변수의 품질이 떨어지고 부트스트랩 신뢰구간이 부당하게 좁아졌다.그 결과 높은 손실 척도로 인해 적합과 부트스트랩 과정 모두에서 조기 종료가 발생했고, 부트스트랩 매개변수는 초기값 근처에 머물렀다. 재현 연구는 일관되지 않은 스케일링 지침의 원인을 스케일링 법칙의 함수 형태가 아니라 이러한 최적화 실패로 본다.출처: §3.1 · p. 4, §3.2 · p. 5, §3.3 · p. 5

3.3 Chinchilla 및 재추정치와 일치하지 않는 Hoffmann et al.의 접근법 3 스케일링 전략

• 재적합에서는 매개변수당 약 20개 토큰이 최적으로, Chinchilla 및 접근법 1, 2와 일치한다. 반면 Hoffmann et al.의 접근법 3에서는 약 70개가 최적이다.재적합에서 a의 신뢰구간은 접근법 1, 2의 신뢰구간과 겹친다. 이 함수 형태가 잘 맞지 않는 경우는 매개변수 수에 비해 학습 데이터가 극히 적어 제외한 이상치 5개뿐이다.출처: Figure 5 · p. 5, §3.3 · p. 5

4 논의

• 보고된 파라미터의 반올림이 Hoffmann et al.의 재구성 데이터에 대한 낮은 적합도를 대부분 설명하지만, 보정된 파라미터도 동일한 함수 형태의 최적 추정치보다 적합도가 상당히 낮다.이러한 낮은 적합도는 이들의 Approach 3 추정치에서 지적된 세 가지 잠재적 문제 중 하나다.출처: §4 · p. 5
• 보고된 신뢰구간을 얻으려면 수십만 개의 관측값이 필요하지만, 실제로 확보한 관측값은 ∼400개에 불과한 것으로 보인다.따라서 보고된 신뢰구간은 데이터 포인트 수에 비해 비현실적으로 좁다.출처: §4 · pp. 5–6
• Hoffmann et al.의 Approach 3 모델이 함의하는 스케일링 정책은 이들의 다른 접근법 및 파라미터당 20 토큰이라는 경험칙과 일치하지 않는다.출처: §4 · p. 6
• 추정과 부트스트래핑 과정에서 최적화 알고리즘을 수렴할 때까지 실행하면 주어진 데이터에 대해 더 정확한 점추정치와 신뢰구간을 얻는다.원저자들은 세 문제 모두 최적화 알고리즘이 수렴 전에 중단된 데서 비롯되었다고 설명한다, Borgeaud (2024).출처: §4 · p. 6
• 스케일링 법칙의 지수를 유효숫자 여러 자리로 보고하는 것만으로는 이처럼 큰 파라미터 수와 토큰 수 사이의 관계를 정확히 규명하기에 부족하다.Hoffmann et al.의 연구 결과가 Google의 Gemini 제품군에 활용되었고(Google, 2023), 이들의 파라미터 추정치는 머신러닝 이론에서도 과학적으로 중요하므로 견고하고 재현 가능한 추정이 중요하다.출처: §4 · p. 6
• 1e26 FLOP 이상으로 학습한 모델에서는 도표에 제시된 정책 범위 내에서 파라미터당 4–40 토큰이 재현 연구에서 적합한 모델과 양립한다.이 규모의 실험 전에 추정 범위를 더 좁히면 실험 연산량의 상당 부분을 절약할 수 있다.출처: §4 · p. 6

A.1 이상치 다섯 개를 제외하지 않으면?

• 이상치 다섯 개를 포함해도 주요 결론은 그대로지만, 매개변수 추정의 불확실성은 커진다.이 실험들은 매개변수 대비 학습 토큰 수의 비율이 가장 낮았으며, Chinchilla 스케일링 법칙으로 적합하기 어려웠다.출처: §A.1 · p. 6
• 모형 동일성에 대한 χ2 검정에서 도출되는 p값은 6 × 10^-50으로, 일부 매개변수 추정치가 상당히 다름을 나타낸다.보고된 개별 매개변수의 차이는 E와 β에 관한 것이다.출처: §A.1 · p. 6
• E의 p값은 2.0 × 10^-5로, 예상되는 참값과의 차이가 매우 유의함을 나타낸다.출처: §A.1 · p. 6
• β의 p값은 2.4 × 10^-3으로, 예상되는 참값과의 차이가 매우 유의함을 나타낸다.출처: §A.1 · p. 6
• Table 3은 재현 연구의 매개변수 추정치를 Hoffmann et al.의 추정치와 비교하고, 부트스트랩 표준오차를 괄호 안에 제시한다.출처: Table 3 · p. 6
• 추정된 최적값은 매개변수당 토큰 25.6개이며, 추정 범위는 매개변수당 토큰 20개라는 경험칙과 부합한다.이 분석은 앞서 제외한 실험 다섯 개를 모두 포함한다.출처: §A.1 · p. 6

A.2 우도비 검정

• 음의 로그우도가 가산 상수를 제외하면 Huber 손실과 같은 확률밀도를 구성해 손실 최소화를 우도 최대화로 바꾼다.이 구성은 모든 δ > 0에 적용되며, 위치 µ와 척도 σ 매개변수를 추가한다.출처: §A.2 · p. 6
• 3가지 적합은 제약 없는 적합 하나와, σ는 변하게 두되 Hoffmann et al. (2022)의 매개변수를 반올림한 값 또는 더 정밀한 값으로 고정한 적합 둘로 구성된다.반올림한 값은 논문 본문에서, 더 정밀한 값은 TeX 소스에서 가져온다.출처: §A.2 · pp. 6–7
• Wilks (1938)에 따라, Hoffmann et al.의 매개변수 값이 맞다는 귀무가설하에서 우도비 p값 계산에 자유도 5의 점근적 χ^2 분포를 사용한다.이 검정은 제약 있는 적합과 제약 없는 적합 사이의 로그우도 차이를 평가한다.출처: §A.2 · pp. 6–7