PaperlayerView exact revision on arXiv

AI 요약 · 영어에서 AI 번역

SOLAR 10.7B: Scaling Large Language Models with Simple yet Effective Depth Up-Scaling

Dahyun Kim, Chanjun Park, Sanghoon Kim, Wonsung Lee, Wonho Song, Yunsu Kim, Hyeonwoo Kim, Yungi Kim, Hyeonju Lee, Jihoo Kim, Changbae Ahn, Seonghoon Yang, Sukyung Lee, Hyunbyung Park, Gyoungjin Gim, Mikyoung Cha, Hwalsuk Lee, Sunghun Kim

arXiv:2312.15166v3cs.CLcs.AIcs.LG

TL;DR

LLM을 효율적으로 확장하려면 학습 및 추론 방식을 복잡하게 변경해야 할 수 있다. 이 논문은 깊이 방향 스케일링과 continued pretraining을 결합한 DUS를 소개하고, SOLAR 10.7B와 SOLAR 10.7B-Instruct가 우수한 성능을 보인다고 보고한다. 또한 DUS의 하이퍼파라미터 선택이 아직 해결되지 않았으며 상당한 계산 자원이 필요하다는 점도 언급한다.

  • 문제

    기존 LLM 확장 방법은 학습 및 추론 프레임워크를 상당히 변경해야 할 수 있어, 더 단순하고 효율적인 확장 방법이 필요하다.

    출처: §1 · p. 1

  • 방법

    DUS는 사전학습 모델을 깊이 방향으로 확장한 뒤 continued pretraining을 적용하며, SOLAR 10.7B-Instruct는 지시 따르기 및 정렬 미세조정을 추가한다.

    출처: §1 · p. 1, §2 · p. 2

  • 결과

    SOLAR 10.7B는 여러 벤치마크에서 비교 가능한 모델보다 우수한 성능을 보이며, SOLAR 10.7B-Instruct는 평가 지표 전반에서 Mixtral-8x7B-Instruct보다 크게 앞선다.

    출처: §1 · p. 1, §4.2 · p. 4, §5 · p. 7

  • 시사점 및 한계

    DUS는 작은 모델에서 고성능 LLM을 확장하는 간단한 방법이며, SOLAR 모델은 계산 효율성과 폭넓은 프레임워크 호환성을 유지한다.

    출처: §1 · p. 1, §5 · p. 7

    하드웨어 제약과 continued pretraining에 필요한 시간 및 비용 때문에 더 폭넓은 실험이 제한되어, 최적의 DUS 하이퍼파라미터는 아직 밝혀지지 않았다.

    출처: Limitations · p. 7

Abstract

from arXiv · show

We introduce SOLAR 10.7B, a large language model (LLM) with 10.7 billion parameters, demonstrating superior performance in various natural language processing (NLP) tasks. Inspired by recent efforts to efficiently up-scale LLMs, we present a method for scaling LLMs called depth up-scaling (DUS), which encompasses depthwise scaling and continued pretraining. In contrast to other LLM up-scaling methods that use mixture-of-experts, DUS does not require complex changes to train and inference efficiently. We show experimentally that DUS is simple yet effective in scaling up high-performance LLMs from small ones. Building on the DUS model, we additionally present SOLAR 10.7B-Instruct, a variant fine-tuned for instruction-following capabilities, surpassing Mixtral-8x7B-Instruct. SOLAR 10.7B is publicly available under the Apache 2.0 license, promoting broad access and application in the LLM field.

1 서론

이 논문은 기존 접근법 다수가 요구하는 복잡한 학습 및 추론 변경 없이 LLM을 효율적으로 확장하는 과제를 다룬다. DUS를 소개하고, 간단한 프레임워크 호환성을 유지하면서 벤치마크에서 우수한 성능을 보이는 SOLAR 모델을 공개한다.

  • 기존 스케일링 방법은 LLM을 효율적으로 확장하는 데 상당한 학습 및 추론 변경을 요구할 수 있어, 더 단순한 방법이 필요하다.출처: §1 · p. 1
  • DUS는 기반 모델의 레이어 수를 늘리고, MoE 모듈이나 프레임워크 변경 없이 사전학습을 이어간다.출처: §1 · p. 1
  • SOLAR 10.7B has 10.7 billion parameters and outperforms Llama 2 and Mistral 7B across various benchmarks.출처: §1 · p. 1
  • SOLAR 10.7B-Instruct는 복잡한 지시 수행 작업에 맞게 미세조정되었으며, 평가 지표 전반에서 Mixtral-8x7B-Instruct보다 크게 우수한 성능을 보인다.출처: §1 · p. 1
  • SOLAR 10.7B는 연구자와 개발자의 폭넓은 접근 및 활용을 지원하기 위해 Apache 2.0 라이선스로 공개되었다.출처: §1 · pp. 1–2

2 깊이 업스케일링

DUS는 사전학습된 기본 모델의 일부를 잘라 복제한 뒤 결합해 더 깊은 transformer를 구성하고, 이어서 계속 사전학습을 수행해 성능을 회복한다. 추가 MoE 구성 요소를 피하고 기존 프레임워크에 효율적으로 통합하는 것을 목표로 한다.

  • DUS는 사전학습된 기본 모델 가중치, depthwise scaling, 계속 사전학습을 사용해 더 큰 LLM을 구축한다.출처: §2 · pp. 2–3
  • 기본 모델은 사전학습된 Mistral 7B 가중치로 초기화된 32층 Llama 2 아키텍처를 사용한다.출처: §2 · p. 2
  • depthwise scaling은 원본 모델의 마지막 m개 층과 복제본의 처음 m개 층을 제거한 뒤, 남은 모델을 이어 붙인다.출처: §2 · p. 2
  • n = 32, s = 48, m = 8일 때, 하드웨어 제약 조건에서 확장된 모델은 목표 매개변수 범위인 7–13 billion에 들어간다.출처: §2 · p. 2
  • 확장된 모델은 처음에는 성능이 저하되지만, 계속 사전학습을 통해 빠르게 회복한다.출처: §2 · p. 2
  • MoE를 통한 확장과 달리, DUS에는 게이팅 네트워크, 동적 전문가 선택, 별도의 학습 프레임워크 또는 특수 CUDA 커널이 필요하지 않다.출처: §2 · p. 3

3 학습 세부 사항

SOLAR 10.7B-Instruct는 instruction tuning에 이어 alignment tuning을 수행해 미세 조정한다. 학습 파이프라인에는 오픈 소스 데이터와 합성 수학 중심 데이터셋이 포함되며, 바꿔 쓴 답변에서 도출한 선호 쌍도 사용한다.

  • 미세 조정은 instruction tuning과 alignment tuning의 두 단계로 진행된다.출처: §3 · p. 3
  • instruction tuning에서는 오픈 소스 데이터셋과 Synth. Math-Instruct를 사용해 모델이 QA 형식의 지시를 따르도록 학습한다.출처: §3 · p. 3
  • alignment tuning에서는 sDPO를 사용해 instruction tuning된 모델을 사람이나 강력한 AI의 선호에 맞게 추가로 최적화한다.출처: §3 · p. 3
  • Synth. Math-Alignment에서는 바꿔 쓴 질문을 프롬프트로 사용하고, 바꿔 쓴 답변을 선택 응답으로, 원래 답변을 거부 응답으로 사용한다.출처: §3 · p. 3

4 결과

SOLAR 10.7B를 다른 모델과 비교하고 지시 튜닝, 정렬 튜닝, 모델 병합에 대한 절제 실험을 수행한다. 벤치마크 성능은 우수하지만, 데이터셋 선택과 병합 방식은 과제별 동작에 영향을 미치며 하이퍼파라미터 탐색은 제한적이다.

주요 결과

  • SOLAR 10.7B는 비슷한 규모의 사전학습 모델보다 우수한 성능을 보이며, SOLAR 10.7B-Instruct는 Mixtral 8x7B-Instruct와 Qwen 72B보다 작지만 가장 높은 H6 점수를 달성한다.H6는 ARC, HellaSwag, MMLU, TruthfulQA, Winogrande, GSM8K의 여섯 벤치마크 과제 점수를 평균한 값이다.출처: §4.2 · p. 4, §4.1 · p. 4

지시 튜닝 절제 실험

  • SFT v2의 H6 69.21은 SFT v1의 69.15와 거의 차이가 없지만, GSM8K는 52.24에서 57.32로 상승하고 ARC, HellaSwag, TruthfulQA는 하락한다.SFT v2는 SFT v1에서 사용한 Alpaca-GPT4 데이터에 OpenOrca를 추가한다.출처: §4.3.1 · pp. 4–5
  • SFT v1에 Synth. Math-Instruct를 추가한 SFT v4는 H6 70.88을 달성하며, 모든 과제에서 SFT v3보다 높은 점수를 얻는다.SFT v3도 Synth. Math-Instruct를 사용하지만, SFT v2의 데이터 조합을 기반으로 한다.출처: §4.3.1 · pp. 4–5
  • SFT v3와 SFT v4를 병합하면 SFT v4의 높은 GSM8K 외 점수를 유지하면서 GSM8K에서는 두 모델을 모두 앞선다.저자들은 과제별 강점이 다른 모델을 병합하는 것이 전반적인 성능을 높일 유망한 방법이라고 설명한다.출처: §4.3.1 · p. 5

정렬 튜닝 절제 실험

  • DPO v1의 H6 73.06은 SFT 기본 모델의 70.03보다 높지만, GSM8K는 58.83으로 하락한다. Synth. Math-Alignment를 추가하면 다른 과제 점수에 부정적인 영향을 주지 않으면서 GSM8K가 60.27로 상승한다.저자들은 Synth. Math-Alignment를 추가하면 H6가 향상된다고 결론짓는다.출처: §4.3.2 · pp. 5–6
  • 병합 방법에 따라 H6나 개별 과제 점수는 거의 달라지지 않지만, SFT 기본 모델 간 성능 차이가 정렬 튜닝 후에도 항상 유지되는 것은 아니다.병합 방법 비교에서는 여러 가중치를 적용한 Average와 SLERP를 사용하며, 기본 모델 비교에서는 DPO v2와 DPO v3를 대조한다.출처: §4.3.2 · p. 6

5 결론

SOLAR 10.7B and SOLAR 10.7B-Instruct are 10.7-billion-parameter models built with depth up-scaling, showing strong NLP performance while maintaining computational efficiency.

  • SOLAR 10.7B and SOLAR 10.7B-Instruct are depth up-scaled models with 10.7 billion parameters.출처: §5 · p. 7
  • 두 모델은 계산 효율성을 유지하면서 주요 NLP 과제에서 Llama 2, Mistral 7B, Mixtral-7B-Instruct보다 우수한 성능을 보인다.출처: §5 · p. 7
  • 실험 결과는 DUS가 소규모 LLM을 높은 성능의 LLM으로 확장할 수 있음을 보여준다.출처: §5 · p. 7
  • DUS를 더 탐구하면 접근법을 개선하고 LLM을 효율적으로 확장하는 또 다른 경로를 뒷받침할 수 있다.출처: §5 · p. 7

한계

이 연구는 DUS의 하이퍼파라미터 탐색, 계산 자원 요구량, 편향, 에너지 사용, 작업별 미세조정 필요성과 관련한 한계를 확인한다.

  • 주로 하드웨어 제약 때문에 m = 8개 층을 제거했으며, 성능 측면에서 이것이 최적인지는 아직 밝혀지지 않았다.출처: Limitations · p. 7
  • 추가 사전학습에 드는 시간과 비용 때문에 더 포괄적인 비교 실험을 수행하지 못했다.출처: Limitations · p. 7
  • SOLAR의 학습 및 추론에 필요한 계산 자원이 커서, 계산 자원이 제한된 사람들은 활용하기 어려울 수 있다.출처: Limitations · p. 7
  • 모델은 특정 상황에서 편향된 결과를 낳을 수 있는 학습 데이터의 편향에 여전히 취약하며, 에너지 소비는 환경에 대한 우려를 불러일으킨다.출처: Limitations · p. 7
  • 미세조정된 변형 모델도 전문 분야에서 최적의 성능을 내려면 작업별 미세조정이 여전히 필요하며, 이 과정은 자원 소모가 크고 항상 효과적이지는 않다.출처: Limitations · p. 7

윤리 선언

논문은 평가에서 데이터 오염이 낮았다는 점과 책임 있는 실험 및 운영 관행에 대한 명시적 고려를 포함해 SOLAR의 윤리적 보호 조치를 설명한다.

  • SOLAR 10.7B-Instruct는 보고된 평가에서 데이터 오염 수준이 낮았다.출처: Ethics Statement · p. 7
  • 실험은 발생 가능한 윤리적 문제를 피하도록 설계되었다.출처: Ethics Statement · p. 7
  • 논문은 SOLAR가 개인정보 보호 규범을 준수하고 지식재산권을 존중하며 알고리즘 편향이 없도록 하는 것을 목표로 한다고 밝힌다.출처: Ethics Statement · p. 7
  • 저자들은 SOLAR의 윤리적 체계가 견고하고 포괄적이라고 평가한다.출처: Ethics Statement · p. 7

A 기여

이 연구는 SOLAR 10.7B와 지시 미세조정 변형 모델을 소개하고, 다양한 벤치마크 성능과 지시 이행 능력, 상업적 활용이 가능한 개방성을 강조한다.

  • SOLAR 10.7B는 depthwise scaling을 적용하고 지속 사전학습한 10.7B 파라미터 모델로 공개되었다.출처: A Contributions · p. 11
  • Apache 2.0 라이선스에 따라 상업적 이용과 다양한 제품 및 서비스에의 통합이 허용된다.출처: A Contributions · p. 11
  • SOLAR 10.7B는 추론, 수학, MMLU 벤치마크 전반에서 Llama 2와 Mistral 7B보다 높은 성능을 보인다.출처: A Contributions · p. 11
  • SOLAR 10.7B-Instruct는 복잡한 지시를 더 잘 따르도록 미세조정됐다.출처: A Contributions · p. 11

B.2 전문가 혼합

전문가 혼합 모델은 효율성과 출력 다양성을 높일 수 있지만 구현상의 어려움이 따른다. 반면 DUS는 동적 구성 요소 없이 모델 깊이를 확장하고 계속 사전학습을 활용한다.

  • MoE 모델은 출력 다양성과 계산 효율성을 높일 수 있으며, 특히 희소 계산을 활용할 때 효과적이다.출처: §B.2 · p. 11
  • 동적 라우팅, 부하 불균형, 정적 텐서 형태와 관련된 하드웨어 제약으로 인해 MoE 구현은 복잡해진다.출처: §B.2 · p. 11
  • DUS는 모델을 수평이 아닌 수직 방향으로 확장하고 동적 요소를 배제해 MoE보다 복잡성을 낮춘다.출처: §B.2 · pp. 11–12
  • 확장 후 성능을 회복하기 위해 계속 사전학습을 수행한다. 추가 사전학습 없이 확장하면 성능이 저하되기 때문이다.출처: §B.2 · p. 12
  • 지시문 튜닝은 지시문, 입력, 출력 데이터로 모델을 미세 조정해 과업 행동을 더 효과적으로 제어하도록 한다.출처: §B.4 · p. 12
  • DPO는 RLHF의 강화학습 복잡성을 수반하지 않고 긍정 응답의 확률을 직접 높인다.출처: §B.5 · p. 12

B.6 데이터 오염

논문은 벤치마크 데이터 오염을 우려 사항으로 제시하고, 지침·원시 텍스트·주석 오염을 구분한다.

  • 학습 중 벤치마크 지침, 원시 벤치마크 텍스트 또는 벤치마크 주석에 노출되면 데이터 오염이 발생할 수 있다.출처: §B.6 · pp. 12–13

C 추가 정보

추가 정보에는 SOLAR 10.7B-Instruct의 필터링된 FLAN 기반 태스크 이름과 오염도 테스트 보고가 포함된다.

Related papers

Loading 2312.15166v3…