Source-linked AI summary
Motif 3: Technical Report
Junghwan Lim, Joon Son Chung, Sungmin Lee, Wai Ting Cheung, Gihun Cho, Minsu Ha, Sangho Kang, Beomgyu Kim, Dongseok Kim, Jangwoong Kim, Taehyun Kim, Taewhan Kim, Jeesoo Lee, Jeongdoo Lee, Junhyeok Lee, Dongpin Oh, Hyeyeon Cho, Dahye Choi, Jaeheui Her, Hanbin Jung, Changjin Kang, Minjae Kim, Youngrok Kim, Hyukjin Kweon, Hongjoo Lee, Yeongjae Park, Bokki Ryu
TL;DR
Motif 3는 대규모 학습을 폭넓은 역량을 갖춘 시스템으로 전환하는, 더욱 표현력 있고 효율적인 언어 모델 아키텍처 구축의 과제에 대응한다. fine-grained sparse MoE scaling, GDLA, 안정화 기법, targeted capability transfer를 결합해 agentic tool use, reasoning, coding, long-context understanding, instruction following 전반에서 강한 성능을 달성한다.
문제
더 나은 진전을 위해서는 대규모 학습을 강력하고 폭넓게 일반화 가능한 역량으로 전환하는, 더욱 표현력 있고 효율적인 아키텍처가 필요하다.
방법
Motif 3는 314-billion-parameter sparse MoE 아키텍처에 GDLA, 안정화 구성 요소, long-context 시스템, multi-teacher post-training을 결합한다.
결과
Motif 3는 agentic tool use, terminal problem solving, reasoning, coding, long-context understanding, instruction following 전반에서 강한 성능을 달성한다.
시사점 및 한계
post-training 파이프라인은 배포 시 별도 모델을 요구하지 않고 전문화된 역량을 단일 모델에 통합한다.
시사점 및 한계
학습과 평가는 실제 환경의 과제, 도메인, 언어, 상호작용 패턴, 배포 조건이 지닌 전체 다양성을 포괄하지 않는다.
Abstract
from arXiv · showhide
We introduce Motif 3, a decoder-only Mixture-of-Experts language model with 314 billion total parameters and 13.2 billion activated per token. Each sparse MoE layer contains 384 routed experts, with eight selected per token. This fine-grained sparsity provides substantial expert capacity while limiting computation. Motif 3 is built around Grouped Differential Latent Attention (GDLA), which integrates grouped differential attention with the compressed key-value representation of Multi-head Latent Attention. The architecture further incorporates modified manifold-constrained hyper-connections, Expert Specific PolyNorm activations, and multi-token prediction to improve optimization stability, expert specialization, and inference efficiency. We pretrain Motif 3 on approximately 12.5 trillion tokens spanning web documents, STEM, code, mathematics, multilingual content, and domain-specialized corpora. Expert-balancing and numerical-stabilization techniques support stable training at scale, while selective MXFP8 computation and communication, memory-efficient fused kernels, and window-aware context parallelism enable training with context lengths up to 256K tokens. Our post-training pipeline combines general supervised fine-tuning, six specialist teachers trained with reinforcement learning, a software-engineering teacher trained with supervised fine-tuning, and Multi-teacher On-Policy Distillation. The resulting unified model consolidates complementary capabilities in reasoning, coding, tool use, professional work, long-context understanding, calibrated abstention, and instruction following. Across a broad evaluation suite, Motif 3 demonstrates competitive performance against leading open weight models, including strong results on long-horizon agentic tasks, mathematical reasoning, scientific knowledge, and hallucination-sensitive evaluation.
1 서론
Motif 3는 토큰당 계산량은 제한하면서 expert capacity를 확장하는 고희소 Mixture-of-Experts 언어 모델로 소개된다. 개발 과정에서는 대규모·다양한 사전학습과 expert-balancing 기법, 역량별 실패에 초점을 둔 단계적 post-training을 결합한다.
- 동기: 최근 open-weight 모델은 선도 proprietary 시스템과의 역량 격차를 좁혔으며, Mixture-of-Experts 아키텍처는 계산량을 비례적으로 늘리지 않고도 모델 capacity를 확장한다.이러한 발전은 reasoning, coding, tool use, 장기 horizon agentic task 전반의 진전과 함께 이루어졌다.
- 아키텍처: Motif 3는 총 314 billion parameters를 사용하지만, 각 MoE layer에서 384개의 routed expert를 두고 토큰당 8개 expert를 선택해 토큰당 13.2 billion을 활성화한다.이 세분화된 희소성은 큰 expert-capacity pool을 제공하면서 각 토큰에 필요한 expert 계산량은 제한한다.
- 사전학습: Motif 3는 web, STEM, code, mathematics, synthetic question-answer, domain-specialized data를 아우르는 약 12.5 trillion tokens로 사전학습되며, multilingual, reasoning, legal, financial content에 중점을 둔다.대규모 expert pool을 안정적으로 학습하기 위해 계층적 expert-balancing 전략을 사용한다.
- Post-training: post-training pipeline은 general supervised fine-tuning, specialized teacher training, Multi-teacher On-Policy Distillation (MOPD) [48] [67]을 결합한다.예비 SFT 모델이 역량별 failure mode를 식별하고 표적 supervision을 생성하며, 특히 agentic trajectory에서 실패하기 쉬운 의사결정에 집중한다.
2 아키텍처 · 2.1 개요 · 2.2 Grouped Differential Latent Attention
Motif 3는 세밀한 expert sparsity를 통해 토큰당 약 13.2 billion parameters를 활성화하는 총 314-billion-parameter decoder-only MoE model이다. GDLA attention은 differential noise suppression, asymmetric signal allocation, MLA의 compact inference state를 결합하며, gated outputs와 shared compressed KV representations를 사용한다.
- 2.1 개요: Motif 3는 총 314 billion parameters를 포함하며 토큰당 약 13.2 billion parameters를 활성화하고, 각 sparse layer에서 384 experts 중 8개를 거쳐 각 토큰을 라우팅한다.이러한 세밀한 sparsity는 토큰당 expert computation을 비례적으로 늘리지 않고 expert capacity를 확장한다.
- 2.1 개요: GDLA는 GDA의 differential attention과 MLA의 compressed KV representation을 결합하고, Expert-Specific PolyNorm 및 multi-token prediction과 함께 query-dependent output gate를 적용한다.이 구성요소들은 attention selectivity, inference efficiency, activations, prediction structure를 개선하는 것을 목표로 한다.
- 2.2.2 Grouped Differential Attention: GDA는 noise heads보다 signal heads를 더 많이 사용해 대부분의 attention capacity를 signal modeling에 할당하며, shared KV heads로 noise estimation에 따른 추가 computation을 제한한다.Noise outputs는 대응하는 signal-head groups 전체에 반복되며, grouped-query attention은 더 적은 KV heads를 여러 query heads에 연결한다.
- 2.2.1 Latent Query and Key-Value Representations: MLA는 KV state를 low-rank latent로 압축하는 반면, GDLA는 하나의 normalization과 up-projection, shared content-key and value heads, 두 경로에 공통으로 사용되는 rotary key를 사용한다.따라서 두 query paths는 inference에서 별도의 KV states를 유지하는 대신 compact KV state를 공유한다.
- 2.1 개요: 이 아키텍처는 각 Transformer block의 GDLA token-mixing layer를 sparse MoE channel-mixing layer와 결합하고, mHC를 사용해 parallel residual streams를 혼합한다.Figure 1은 이러한 block-level components와 residual-stream mixing arrangement를 식별한다.
- 2.2 Grouped Differential Latent Attention: GDLA는 MLA보다 training tokens를 9.2% 적게 사용하면서 loss 3.2에 도달하며, GDA와 MLA보다 낮은 attention training loss를 달성한다.이 비교는 attention training-loss evaluation에서 보고된다.
- 2.2.2 Grouped Differential Attention: Differential coefficient는 input-dependent하며 (0, 1)로 sigmoid-constrained되어, noise path를 반전하거나 증폭하지 않고 noise suppression을 수행한다.각 noise-head output은 subtraction 전에 대응하는 signal-head group 전체에 반복된다.
- 2.2.3 Output Gating: Output projection 전에 normalized query latent로 계산한 sigmoid gate가 각 differential output channel을 조절하여, hidden-state-dependent control of individual attention channels를 가능하게 한다.Gated signal-head outputs는 concatenate된 뒤 model dimension으로 다시 projection된다.
2.3 수정된 매니폴드 제약 하이퍼 연결
Motif 3는 고정 residual addition을 수정된 매니폴드 제약 하이퍼 연결로 대체해 네 개의 병렬 residual stream 사이에서 정보를 동적으로 축소·변환·재분배한다. 시간 의존적 post-mapping scale은 초기 최적화 거동을 유지하면서 후반 학습의 activation 증폭과 outlier를 제한한다.
- 2.3 수정된 매니폴드 제약 하이퍼 연결: Motif 3는 수정된 매니폴드 제약 하이퍼 연결을 사용해 residual addition을 여러 병렬 stream 사이의 token-dependent information flow로 대체한다.이 mapping은 convex mixing과 identity-like propagation을 유지하면서 고정 residual addition보다 풍부한 cross-layer information flow를 가능하게 한다.
- 2.3 수정된 매니폴드 제약 하이퍼 연결: Expansion rate는 n = 4이며, 각 block은 stream을 sublayer input으로 축소한 뒤 원래 stream을 혼합하면서 출력을 재분배한다.Residual mapping은 nonnegative entry와 1인 행·열 합을 갖는 doubly stochastic 형태로, convex mixing과 identity 거동을 보존한다.
- 2.3 수정된 매니폴드 제약 하이퍼 연결: 모든 mapping은 merged projection, sigmoid-based pre-mapping, Sinkhorn-Knopp residual normalization, 그리고 수치적 안정성을 위한 FP32 computation을 사용해 token별로 동적으로 생성된다.Mapped residual stream은 projection, normalization, iteration 단계가 완료된 뒤 model activation dtype으로 다시 변환된다.
- 2.3 수정된 매니폴드 제약 하이퍼 연결: Post-mapping scale을 two에서 one으로 annealing하면 초기 최적화 거동을 유지하면서 학습 후반에 반복적인 sublayer 증폭과 누적 activation outlier를 제한한다.Post-mapping range는 forward activation을 hard-clipping하지 않고 (0, 2)에서 (0, 1)로 전환된다.
2.4 Expert-Specific PolyNorm
Motif 3는 공유 SiLU gate를 Expert-Specific PolyNorm으로 대체해 각 routed expert가 고유한 polynomial coefficient와 bias를 학습하도록 한다. Coefficient와 bias parameterization은 token별 hidden-dimension normalization을 유지하면서 activation scale을 제한한다.
- 2.4 Expert-Specific PolyNorm: Expert-Specific PolyNorm은 공유 SiLU gate를 대체해 각 expert에 대해 독립적으로 학습되는 polynomial coefficient와 bias를 사용한다.이를 통해 expert는 서로 다른 token distribution에 맞춰 각기 다른 nonlinear response를 갖는다.
- 2.4 Expert-Specific PolyNorm: Polynomial coefficient는 (0, 1) 범위에서 sigmoid-parameterized되며, 각 bias는 output growth를 제한하도록 [−0.5, 0.5]로 clipping된다.Normalization은 token별로 hidden dimension에 대해 계산되며 expert grouping의 영향을 받지 않는다.
- 2.4 Expert-Specific PolyNorm: Effective-rank measure는 weight-matrix rank로 bounded되며, 모든 nonzero singular value가 동일할 때 해당 rank에 도달한다.측정된 gate-weight matrix에서는 rank(W) = 512다.
2.5 Multi-Token Prediction
Motif 3는 보조 pretraining objective로 표준 multi-token prediction을 채택해, 기본 autoregressive architecture를 변경하지 않고 self-speculative decoding을 가능하게 한다.
3 Training System 최적화
Motif 3 학습은 topology-aware parallelism, selective 및 full activation recomputation, 메모리를 절약하는 fused kernel, 그리고 최적화에 중요한 state를 FP32로 유지하는 selective low-precision computation을 통해 최적화된다. 또한 수치적 안정성과 communication cost를 제어할 때 grouped-query attention과 context-window effect를 고려한다.
- Parallel layout: EP = 8은 각 expert-parallel group을 하나의 eight-GPU node 안에 배치하고, topology-aware hierarchical layout에서 expert dispatch와 combine communication에 NVLink를 사용한다.HybridEP 는 각 expert-parallel group 내부에서 dispatch와 combine을 구현한다.
- Activation memory: 256K-token SFT sequence length에서는 추가 computation을 감수하고 activation memory를 최소화하기 위해 모든 transformer block에 full activation recomputation을 적용한다.최대 128K의 더 짧은 pretraining 및 SFT length에서는 operator-level selective recomputation이 대부분의 intermediate를 rematerialize하고, 소수의 output은 유지한다.
- Output projection 및 loss: Fused linear cross-entropy kernel은 약 220K-entry output projection을 chunk 단위로 처리하여 전체 logits tensor의 materialization을 피한다.BF16 logits를 materialize하면 pretraining sequence length에서도 microbatch당 13 GB를 초과하는 메모리가 필요하며, 더 긴 context에서는 사용량이 더욱 증가한다.
- Low-precision training: 최적화에 중요한 state는 FP32로 유지하고, low-precision format은 memory-, communication-, computation-intensive한 training component에 선택적으로 적용한다.Low-precision recipe는 training과 communication의 서로 다른 부분에 MXFP8, BF16, FP32를 사용한다.
- Context parallelism: Window-aware context-parallel communication은 W = L/P를 넘어서는 구간에서 이상화된 lower bound다. 이는 halo region이 바로 앞 shard를 넘어 확장되고, implementation이 block-granular rotation으로 되돌아가기 때문이다.이 regime에서는 implementation이 plotted window-aware curve보다 많은 data를 전송한다.
4 사전학습
Motif 3는 동적 mixture scheduling과 특화 tokenizer training을 사용해 광범위한 multilingual, technical, code, mathematical, reasoning-oriented 소스에서 12.5 trillion tokens로 사전학습된다. Routing safeguards, decaying router noise, FFN magnitude regularization이 사전학습 안정성을 뒷받침한다.
- 데이터: 12.5 trillion tokens는 web, STEM, code, mathematics, multilingual, synthetic QA, reasoning, domain-specific 데이터를 결합해 technical, coding, mathematical, Korean 역량을 강화한다.코퍼스에는 일반 web 문서와 specialized source뿐 아니라 Korean 및 multilingual 전용 자료도 포함된다.
- 동적 mixture scheduling: Dynamic mixture scheduling은 학습 데이터를 19개에서 57개 dataset으로 확장하고, STEM, mathematics, code, synthetic QA, reasoning source를 향해 sampling을 지속적으로 이동시킨다.초기 단계에서는 general-domain 데이터가 지배적이며, 이후 category ratio는 linear 또는 cosine schedule을 사용해 target value를 향해 보간된다.
- Tokenizer: Motif 3는 English, Korean, code, mathematics에서 가장 강한 tokenizer compression을 달성하면서 다른 language partition에서도 경쟁력 있는 성능을 유지한다.Table 2는 bytes per token으로 compression을 측정하며, 값이 높을수록 token 수가 적음을 의미한다. 12.5-trillion-token 규모는 probe-based estimation에 따르면 비교 tokenizer 기준 15 trillion tokens를 초과한다.
- Routing 안정성: Decaying Gaussian router noise는 초기에는 더 많은 expert를 노출하고, balanced expert-load 형성을 가속하며, specialization이 진행되면 제거되어 학습 방해를 방지한다.이 방식은 선호되는 expert가 더 강한 gradient를 얻는 반면 활용도가 낮은 expert는 비활성화되는 self-reinforcing expert selection 문제를 해결한다.
- FFN magnitude regularization: FFN magnitude regularization은 과도한 activation만 penalize하면서 forward computation과 recovery gradient는 보존해, 학습 중 고립된 extreme outlier를 제거한다.이후 activation 증가는 고립된 극단값에 집중되지 않고 더 많은 channel에 분산되었다.
5 Post-training
Motif 3의 post-training pipeline은 general supervised fine-tuning, 7명의 전문 teacher, Multi-teacher On-Policy Distillation을 결합해 광범위하고 경쟁력 있는 역량을 갖춘 unified model을 만든다. 가장 뚜렷한 평가 강점은 agentic 실행과 terminal 기반 문제 해결이며, coding, reasoning, knowledge, long-context, abstention task 전반에서도 경쟁력 있는 성능을 유지한다.
- Post-training pipeline: 3단계 pipeline은 general SFT를 수행하고, 7명의 전문 teacher를 학습시키며, MOPD를 사용해 이들의 상호보완적 역량을 general SFT student에 다시 전이한다.6명의 teacher는 domain-specific reinforcement learning으로, 1명의 software-engineering teacher는 SFT로 학습한다. 최종 student는 광범위한 역량을 유지하면서 특정 분야의 전문성을 획득한다.
- Supervised fine-tuning: SFT corpus는 Nemotron-family dataset [1] [53]과 instruction following, reasoning, coding, knowledge, agentic task를 아우르는 수집 데이터 및 synthetic data를 결합한다.Tool-use example은 연속된 call 사이의 interaction context를 보존하며, 실패하기 쉬운 agentic decision에는 교정된 action 또는 continuation을 추가한다.
- Evaluation results: Motif 3은 τ3-Banking (35.3)에서 나열된 model 중 선두를 차지하고, Terminal-Bench 2.1에서 74.9, τ2-Bench Telecom에서 94.7에 도달하며, public ITBench-AA에서 51.5를 기록한다.또한 GDPval-AA v2에서 38.7을 기록하며, ITBench-AA 결과는 Table 6에 나열된 이용 가능한 결과 중 가장 높다.
- Evaluation results: Motif 3은 76.2 on SWE-bench Verified, 83.4 on GPQA Diamond, 71.6 non-hallucination on AA-Omniscience를 포함해 coding, mathematics, general knowledge, hallucination-sensitive, long-context evaluation에서 여전히 경쟁력 있다.AA-Omniscience accuracy는 30.1이며, AA-LCR에서 72.3, IFBench에서 78.2를 기록한다. SciCode와 CritPt는 여전히 가장 강한 model보다 낮다.
6 결론, 한계 및 향후 방향
Motif 3는 고도로 희소한 MoE 아키텍처와 통합 post-training을 결합해 다양한 능력에서 강한 성능을 뒷받침한다. 한계로는 실제 환경에 대한 불완전한 포괄성과 텍스트 전용 작동이 있으며, 이는 더 효율적인 스케일링, 더 긴 컨텍스트, 멀티모달 확장의 필요성을 제기한다.
- 결론: Motif 3는 총 314 billion total parameters와 토큰당 13.2 billion activated per token을 결합하며, 384개의 routed experts를 사용하고 토큰당 8개를 선택한다.아키텍처에는 GDLA, modified manifold-constrained hyper-connections, Expert-Specific PolyNorm, multi-token prediction도 포함된다.
- 결론: post-training 파이프라인은 전문화된 능력을 하나의 배포 가능한 모델로 통합하며, tool use, terminal problem solving, reasoning, coding, long-context understanding, instruction following에서 강한 성능을 보인다.일반 supervised fine-tuning, 능력별 teacher training, Multi-teacher On-Policy Distillation을 결합한다.
- 한계: Motif 3는 학습과 평가가 실제 환경의 전체 다양성을 포괄하지 못하기 때문에 대표성이 낮거나 평가되지 않은 과제에서 성능이 달라질 수 있다.또한 주로 텍스트 모델이므로 직접적인 시각 입력 이해가 필요한 과제에서는 한계가 있다.
- 향후 방향: 향후 연구는 Motif 3를 넘어 확장되는 저비용 아키텍처, one million tokens를 넘어서는 native context lengths, 이미지 및 비디오 입력을 위한 시각 능력을 목표로 한다.이러한 방향은 계산 효율성과 먼 정보의 효과적인 활용을 유지하면서 멀티모달 적용 범위를 넓히는 것을 목표로 한다.
A 토크나이저 · A.1 사전 토큰화 정규식
토크나이저는 subword 및 superword 학습 단계에 서로 다른 사전 토큰화 정규식을 사용한다. Stage 2는 숫자, 구두점, 줄바꿈, 공백 처리는 유지하면서 단어 분기를 공백으로 구분된 여러 단어까지 확장한다.
- A.1 사전 토큰화 정규식: 두 토크나이저 학습 단계는 regex 문법과 Unicode property class로 표현된 서로 다른 사전 토큰화 패턴을 사용한다.패턴은 Stage 1과 Stage 2에 대해 별도로 지정된다.
- A.1 사전 토큰화 정규식: Stage 1은 단어형 단위, 축약형, 짧은 숫자열, 기호, 줄바꿈, 공백을 분리하는 일반적인 subword 사전 토큰화 패턴을 사용한다.정규식에는 Unicode property class와 한 자리에서 세 자리까지의 숫자열이 포함된다.
- A.1 사전 토큰화 정규식: Stage 1은 단어, 숫자, 기호, 줄바꿈, 공백 분기와 함께 대소문자를 구분하지 않는 선택적 suffix group을 통해 축약형을 인식한다.나열된 suffix는 's, 't, 're, 've, 'm, 'll, 'd다.
- A.1 사전 토큰화 정규식: Stage 2는 각 Stage 1 단어 분기에 반복되는 공백-문자열 group을 추가해 하나의 사전 토큰화 단위가 여러 단어에 걸쳐 나타날 수 있도록 한다.이 수정은 regex의 두 단어 분기에 모두 적용된다.
- A.1 사전 토큰화 정규식: Stage 2는 단어 분기만 변경하고 숫자 그룹화, 구두점, 줄바꿈, 공백에 대한 Stage 1 처리는 유지한다.superword regex는 Stage 1의 대응하는 비단어 분기를 보존한다.
B Figure 4 통신량 도출
부록에서는 Figure 4의 rank별 통신량을 도출하고, Ring Attention과 Ulysses를 비교할 때 통신량과 latency를 구분한다. causal early exit를 적용하면 Ring의 평균 통신량은 Ulysses의 full-attention 통신량의 2/3이지만, 마지막 rank에서는 이 순서가 뒤집힌다.
- 해석: 통신량은 latency proxy가 아니다. Ring은 rotation을 attention 연산과 overlap할 수 있지만 Ulysses의 all-to-all은 그럴 수 없고, Ring의 통신량은 rank에 따라 달라진다.Ulysses의 all-to-all 통신량은 모든 rank에서 동일하지만, Ring은 early exit에서 rank-dependent 통신량을 보인다.
- Early-exit 통신량 계산: causal early exit에서는 rank r이 바로 앞의 r개 key/value shard만 수신하므로, Ring의 rank-average 통신량은 (P −1)/2가 된다.uniform rotation은 평균 volume을 두 배로 늘리지만, 어느 방식에서도 마지막 rank가 모든 shard를 받으므로 가장 바쁜 rank는 변하지 않는다.
- Rank별 통신량 비율: 2/3: rank 전체에서 평균하면 Ring은 Ulysses보다 33% less data를 전송하지만, 마지막 rank의 ratio는 4/3이 되어 순서가 뒤집힌다.Figure 4b는 rank 평균을 보고하고, 이를 마지막 rank가 수신하는 통신량까지 확장한다.
C 평가 세부 사항
평가는 τ2-Bench Telecom, Terminal-Bench 2.1, SWE-bench Verified 전반에서 task-specific simulator, agent harness, generation limit, step 또는 episode cap, timeout을 사용한다.
- τ2-Bench Telecom: τ2-Bench Telecom은 non-reasoning mode의 Qwen3-235B-A22B-2507을 user simulator로 사용하며, 각 task repeat는 100 steps로 제한된다.
- Terminal-Bench 2.1: Terminal-Bench 2.1은 Terminus 2 agent harness를 사용하며, 한 run당 최대 250 episodes를 허용하고 two-hour 또는 task-specific timeout을 적용한다.각 episode는 모델이 현재 state를 관찰하고 terminal action을 계획하는 하나의 cycle이다.
- SWE-bench Verified: SWE-bench Verified는 step당 최대 16K generated tokens, task당 250 steps, four-hour timeout을 적용해 mini-SWE-agent를 사용한다.
기여
기여 내역은 저자 성을 기준으로 알파벳순으로 나열하며, 기술 및 관리 리더십, 핵심 기여자, 추가 기여자를 구분한다.
- 저자는 성을 기준으로 알파벳순으로 정렬된다.
- 기술 및 관리 리더십은 Joon Son Chung, Sungmin Lee, Junghwan Lim이 맡았다.
- 핵심 기여자로는 Wai Ting Cheung, Gihun Cho, Minsu Ha, Sangho Kang, Beomgyu Kim, Dongseok Kim, Jangwoong Kim, Taehyun Kim, Taewhan Kim, Jeesoo Lee, Jeongdoo Lee, Junhyeok Lee, Dongpin Oh가 있다.
- 추가 기여자로는 Hyeyeon Cho, Dahye Choi, Jaeheui Her, Hanbin Jung, Changjin Kang, Minjae Kim, Youngrok Kim, Hyukjin Kweon, Hongjoo Lee, Yeongjae Park, Bokki Ryu가 있다.