Chronos: Learning the Language of Time Series

• 예측은 소매, 에너지, 금융, 의료, 기후과학 전반의 의사결정을 지원하지만, 딥러닝 예측 모델은 대개 동일한 데이터셋에서 학습하고 예측한다.출처: §1 · p. 1
• Chronos는 시계열 값을 스케일링하고 양자화해 이산 토큰으로 변환함으로써 예측을 언어 모델링으로 재구성한다.출처: §1 · p. 2
• Figure 1은 토큰화, cross-entropy를 이용한 언어 모델 학습, 예측 분포를 위한 여러 궤적의 autoregressive sampling을 보여준다.출처: Figure 1 · p. 2
• 공개 시계열 데이터셋에 TSMixup과 Gaussian-process synthesis를 결합해 데이터의 양과 질의 제약을 보완한다.출처: §1 · p. 2
• 42개 데이터셋에서 Chronos는 도메인 내 및 zero-shot 예측 모두에서 전통적 모델과 과제별 딥러닝 접근법을 능가한다.출처: §1 · p. 2
• Chronos는 과제별 조정 없이 zero-shot 예측을 제공하며, 비교적 작은 규모로 계산 비용이 큰 대형 모델의 대안이 된다.출처: §1 · p. 3

• 예측은 과거 맥락을 바탕으로 미래 값의 공동분포를 예측하며, Chronos는 단변량 스칼라 관측값에 초점을 둔다.출처: §2 · p. 3
• 고전적 방법은 시계열마다 별도의 로컬 모델을 적합하는 반면, 딥러닝 전역 모델은 데이터셋 내 여러 시계열에 걸쳐 학습한다.출처: §2 · p. 3
• 언어 모델은 유한 어휘의 다음 토큰을 예측하며, 흔히 transformer 인코더-디코더 또는 디코더 전용 아키텍처를 사용한다.출처: §2 · p. 3
• 기존 LLM 예측 모델은 텍스트 프롬프트, 특수 토큰화, 패치 임베딩 또는 태스크별 미세조정을 사용하며, 데이터셋별 적응이 필요한 경우가 많다.출처: §2 · pp. 3–4
• 제로샷 예측은 학습에서 보지 못한 데이터셋의 시계열에 모델을 적용해 평가한다. Chronos는 실제 데이터와 Gaussian process 합성 데이터를 결합해 확률 예측을 생성한다.출처: §2 · p. 4
• 다른 사전학습 예측 모델은 실수 입력과 시간 특성, 시차, 패칭, 분포 헤드 같은 시계열 특화 설계를 사용한다.출처: §2 · p. 4

시계열 토큰화

• Chronos는 각 시계열을 먼저 스케일링한 다음 값을 구간으로 양자화해 실수값 관측치를 유한 어휘에 대응시킨다.출처: §3.1 · p. 5
• 학습 데이터와 값의 분포가 다를 수 있는 미관측 데이터셋에 대응하기 위해 균등 구간화를 사용하지만, 예측값은 [c1, cB] 범위로 제한된다.출처: §3.1 · p. 5

모델 아키텍처

• Chronos는 어휘 크기 조정 외에는 아키텍처를 변경하지 않고 인코더-디코더 또는 디코더 전용 언어 모델로 토큰 시퀀스를 처리할 수 있다.출처: §3.1 · p. 6

목적 함수

• 모델은 EOS 토큰을 포함해 다음 각 토큰의 예측 분포에 대해 범주형 교차 엔트로피로 학습된다.출처: §3.2 · p. 6
• 범주형 모델링은 다중 모드 분포를 포함한 임의의 출력 분포를 보존하며, 회귀를 양자화된 구간에 대한 분류로 다룬다.출처: §3.2 · p. 6

확률적 예측

• 추론 시 Chronos는 토큰 경로를 자기회귀적으로 샘플링하고, 역양자화한 뒤 스케일링을 되돌려 여러 수치 예측 궤적을 얻는다.출처: §3.3 · pp. 6–7

• 공개 시계열 데이터는 NLP 텍스트 데이터셋보다 양이 적고 다양성이 낮아 제로샷 예측 모델 학습에 어려움을 준다.출처: §4 · p. 7

4.1 TSMixup: 시계열 Mixup

• TSMixup은 여러 시계열을 추출해 스케일을 조정한 뒤 볼록 결합하여 Mixup을 확장하고 학습 패턴을 다양화한다.이 방법은 학습 데이터셋에서 지정된 길이의 시계열 k개를 추출하고, 스케일을 조정한 뒤 혼합한다.출처: §4.1 · p. 7
• TSMixup은 서로 다른 시계열의 패턴을 결합해 패턴 다양성을 높이는 증강 데이터를 만든다.출처: §4.1 · p. 7, Figure 2 · p. 7

4.2 KernelSynth: 가우시안 프로세스를 이용한 합성 데이터 생성

• KernelSynth는 가우시안 프로세스로 합성 시계열을 생성해 실제 데이터의 부족을 보완한다.다양한 시계열 패턴을 표현할 수 있는 조합적 가우시안 프로세스 커널에서 착안했다.출처: §4.2 · p. 7
• KernelSynth는 기저 커널을 추출하고 이를 무작위 덧셈 또는 곱셈으로 결합한 뒤, 그 결과로 얻은 가우시안 프로세스 사전분포에서 합성 시계열을 표본 추출한다.이러한 조합은 단순한 기저 커널로 복잡한 패턴을 만들 수 있다.출처: §4.2 · p. 8, Figure 3 · p. 8

주요 결과

• Chronos 모델은 42개 데이터셋 평가에서 고전 통계 모델, 특정 과업용 딥러닝 모델, 기타 사전학습 모델을 능가한다.평가에는 도메인 내 데이터셋 15개와 제로샷 데이터셋 27개가 포함된다.출처: §5.1 · p. 9, §5.5 · p. 10

벤치마크 I: 도메인 내 결과

• 더 큰 Chronos-T5 모델은 도메인 내 15개 데이터셋 벤치마크에서 집계 점수와 평균 순위가 가장 높다.이 모델들은 로컬 모델, PatchTST와 DeepAR 같은 특정 과업용 모델, Lag-Llama와 Moirai-1.0-R 같은 사전학습 모델보다 우수하다.출처: §5.5.1 · p. 11

벤치마크 II: 제로샷 결과

• 미관측 데이터셋 27개에서 Chronos 모델은 단독 로컬 모델과 기타 사전학습 모델을 능가하면서 최고 성능의 특정 과업용 딥러닝 모델과 대등한 성능을 보인다.Chronos-T5 (Large) ranks second for point forecasting and Chronos models place second through fourth for probabilistic forecasting.출처: §5.5.2 · pp. 12–13
• Chronos-T5 (Small)를 벤치마크 II의 개별 데이터셋에 미세 조정하면 평균적으로 가장 성능이 좋은 모델이 된다.미세 조정된 모델은 더 큰 제로샷 Chronos 모델과 최고 성능의 특정 과업용 모델을 앞선다.출처: §5.5.2 · p. 13

하이퍼파라미터 분석

• 도메인 내 및 제로샷 벤치마크 모두에서 모델 크기가 커질수록 성능이 향상되지만, 추론이 실용적이지 않을 것으로 판단해 710M 파라미터를 초과하는 모델은 탐색하지 않았다.평가한 모델의 크기는 20M부터 710M 파라미터까지다.출처: §5.6 · p. 13
• 합성 데이터는 학습 데이터 비율이 10%에 가까울 때 도메인 내 및 제로샷 지표를 가장 일관되게 개선하지만, 비율이 더 커지면 성능이 저하되는 경향이 있다.저자들은 이러한 저하의 원인을 합성 Gaussian process 데이터가 모든 실제 시계열을 대표하지 못하는 데서 찾는다.출처: §5.6 · pp. 14–15

• Chronos는 포괄적인 테스트 데이터셋 모음에서 뛰어난 zero-shot 성능을 달성한다.출처: §6 · p. 19

Zero-shot 단변량 예측을 넘어

• 이 연구는 단변량·등간격 예측에 초점을 맞추며, 외생 정보, 불규칙 샘플링, 다변량 예측은 주요 범위에서 제외한다.이러한 설정은 추가 모델링이 필요한 일반적인 실용적 확장 과제로 제시된다.출처: §6.1 · pp. 19–20
• Chronos 표현은 분류, 군집화, 이상 탐지를 지원할 가능성이 있지만, 이러한 다운스트림 응용은 향후 과제로 남아 있다.출처: §6.1 · p. 20

추론

• Chronos는 태스크별 학습 없이 다양한 과거 데이터 길이, 빈도, 예측 구간, 컨텍스트 길이에 걸쳐 배포할 수 있다.이는 각 태스크마다 별도로 학습한 모델에 비해 예측 파이프라인을 크게 간소화한다.출처: §6.2 · p. 20
• 대규모 Chronos 모델은 태스크별 딥러닝 모델보다 추론 속도가 느릴 수 있지만, 지나치게 느리지는 않다.추론 속도는 일부 통계적 로컬 모델과 비슷하다.출처: §6.2 · p. 20

데이터

• 고품질 공개 시계열 데이터가 부족해, 더 많은 데이터셋으로 학습하는 것과 zero-shot 평가를 위해 데이터셋을 남겨 두는 것 사이에 절충이 생긴다.저자들은 학습에 포함할 경우 Gaussian process 합성 데이터가 모델 성능을 향상한다고도 보고한다.출처: §6.3 · pp. 20–21

• Chronos는 시계열에 특화된 아키텍처 대신 스케일링 및 양자화 토큰화를 사용해 기존 언어 모델 아키텍처를 시계열 예측에 적용한다.출처: §7 · p. 21
• Chronos는 학습 도메인 예측에서 기존 로컬 모델과 과제별 딥러닝 기준 모델을 유의하게 능가한다.출처: §7 · p. 21
• Chronos는 제로샷 예측에서 미관측 데이터셋으로 학습한 최고 딥러닝 기준 모델과 경쟁력 있는 성능을 보인다.저자들은 미세 조정을 통해 결과를 더 개선할 수 있다는 유망한 근거도 제시한다.출처: §7 · p. 21
• Chronos의 우수한 성능은 사전 학습된 언어 모델이 정확도를 희생하지 않고 예측 파이프라인을 단순화할 수 있음을 시사한다.실용적인 대안으로 과제마다 모델을 학습하고 조정하는 대신 추론만 수행하는 배포 방식을 제안한다.출처: §7 · p. 21

• Algorithm 1과 Algorithm 2는 각각 TSMixup과 KernelSynth의 의사 코드를 제시한다.출처: A Algorithms · p. 29
• Table 2에는 KernelSynth가 사용하는 커널 뱅크 K가 나열되어 있다.출처: Table 2 · p. 29

• 실험에는 데이터셋 55개를 사용했다. 이 중 13개는 사전학습에만, 15개는 도메인 내 평가에, 27개는 zero-shot 평가에 사용했다.출처: B Datasets · p. 30

에너지

• Spanish Energy and Weather는 스페인 전역의 전력 소비량, 발전량, 가격 및 기상 데이터를 결합한다.출처: §B.1 · p. 30

금융 및 경제

• 금융 및 경제 데이터셋에는 CIF 2016 은행 데이터, 8개국 환율, 월별 FRED-MD 지표, ATM 현금 인출 데이터가 포함된다.출처: §B.2 · p. 30

금융 및 경제학

• 여러 데이터셋은 실제 시계열과 인공 시계열을 결합하며, CIF 2016의 경우 24개 시계열은 실제 데이터이고 48개는 인공적으로 생성되었다.출처: §B.2 · p. 30

• Covid Deaths contains daily COVID-19 death counts from countries and states between January and August 2020.출처: §B.3 · p. 30
• Hospital contains monthly patient-count time series for medical products from January 2000 through December 2006.출처: §B.3 · p. 30
• 데이터셋 표는 데이터를 사전학습 전용, 도메인 내 평가, 제로샷 평가 범주로 나눈다.출처: Table 3 · p. 31

기상 및 기후

• 기상 및 기후 데이터셋에는 기온, 강수량, 대기질, 기상 변수, 기후 지표와 격자형 WeatherBench 측정값이 포함된다.데이터는 관측소 수준 관측부터 32×64 공간 격자까지 다양하며, 시간별·일별·주별 빈도를 포함한다.출처: §B.4 · p. 32

기타 분야

• 그 밖의 데이터셋은 자동차 부품 판매, 소매업체 SKU 수익, 보행자 수, 일별 Wikipedia 페이지 조회 수를 나타낸다.이 시계열은 월별·주별·일별 빈도와 장기 관측 설정에 걸쳐 있다.출처: §B.5 · p. 32, §B.6 · p. 32, §B.8 · p. 33

교통

• 교통 데이터셋은 자전거 대여소, 차량 공유 서비스, 택시 운행, 도로 점유율, Uber 승차 건수를 다룬다.멕시코시티, 뉴욕, 샌프란시스코 베이 지역의 시간별, 30분별, 일별 및 집계 관측을 포함한다.출처: §B.6 · pp. 32–33

예측 벤치마크

• 이 컬렉션에는 월별, 연별, 시간별 및 기타 표본 추출 기간에 걸친 관광 및 예측 경진대회 데이터셋이 포함된다.M1, M3, M4는 경제, 산업, 인구 통계, 금융 및 기타 분야를 다루며, M5에는 검증용 제품 판매 데이터가 포함된다.출처: §B.6 · p. 32, §B.7 · p. 33

기준선 계열

• 17개 기준선 방법에는 로컬 통계 모델과 DeepAR, PatchTST, TFT, DLinear, WaveNet 같은 태스크별 딥러닝 아키텍처가 포함된다.통계 모델 구현에는 StatsForecast를 사용하며, 나열된 신경망 아키텍처는 태스크별 비교 기준을 제공한다.출처: C Baselines · p. 33

연산 자원

• 추론에는 로컬 모델과 일부 아키텍처에 CPU를, 여러 딥러닝 및 사전학습 모델에 V100 GPU 한 개를, LLMTime에 V100 GPU 여덟 개를 사용한다.WaveNet과 GPT4TS는 NVIDIA V100 GPU 한 개로 학습했으며, 다른 기준선은 인텔 기반 CPU 인스턴스를 사용했다.출처: C Baselines · p. 33

설정

• 대부분의 기준선 설정은 데이터셋별 또는 전역적으로 튜닝하지 않았으며, 확률적 태스크별 모델은 세 번 학습 및 평가한 뒤 평균을 냈다.보고된 설정에는 일부 구현의 배치 크기, 시간 제한, 조기 종료도 명시되어 있다.출처: C Baselines · pp. 33–34
• 통계 기준선은 데이터 빈도에서 추론한 계절 길이를 사용하고 StatsForecast의 기본 하이퍼파라미터를 적용한다.예를 들어 일별 데이터에는 7, 시간별 데이터에는 24의 계절 길이를 사용한다.출처: C Baselines · p. 34

모델별 설정

• GPT4TS의 context length는 빈도별 승수에 예측 길이를 곱해 설정하며, LLMTime은 context length를 512로 설정한다.GPT4TS 규칙은 Table 4에 요약되어 있다. LLMTime은 수정된 설정으로 Llama-2 70B만 평가했다.출처: C Baselines · p. 34, Table 4 · p. 34

문서화

• Table 5에는 기준선 모델과 하이퍼파라미터 설정이 요약되어 있으며, 명시하지 않은 값은 구현의 기본값을 사용한다.출처: C Baselines · p. 34

평가 설정

• 평가 데이터셋에는 시계열 N개가 포함되며, 각 시계열은 컨텍스트 길이 C와 예측 구간 H로 이루어진다.모든 시계열에 걸쳐 x_i,C+1:C+H에 대한 예측을 사용해 정확도를 평가하며, 점 예측 또는 확률 예측을 이용한다.출처: D Evaluation Metrics · p. 34

점 예측

• MASE는 각 시계열의 평균 절대 오차를 계절성 나이브 모델의 경험적 오차로 나눈다.분모가 시계열 값에 비례해 변하므로 이 지표는 척도에 독립적이며, 데이터셋 MASE는 시계열별 값을 평균한다.출처: D Evaluation Metrics · p. 34

벤치마크 문서화

• Table 5에는 벤치마크 설정을 해석하는 데 필요한 기준선 모델의 하이퍼파라미터 선택 사항이 정리되어 있다.출처: Table 5 · p. 35

확률 예측

• WQL은 예측된 분위수와 여러 시계열 및 예측 시점에 대한 분위수 손실을 집계한다.평가에는 0.1부터 0.9까지의 분위수 수준을 사용하므로 K = 9이다.출처: D Evaluation Metrics · p. 35

벤치마크 결과

• 표 7–10은 도메인 내 데이터셋 15개와 미관측 데이터셋 27개의 WQL 및 MASE 점수와 종합 상대 점수, 평균 순위를 보고한다.Chronos와 과업별 모델의 점수는 무작위 시드 3개에 걸쳐 평균했다.출처: E Additional Results · p. 35, Table 7 · p. 36, Table 8 · p. 36
• 그림 18과 19는 각각 도메인 내 벤치마크와 미관측 벤치마크에서 모델 평균 순위를 비교한다.벤치마크 I에는 Chronos 학습에 포함된 데이터셋 15개가, 벤치마크 II에는 학습 중 보지 못한 데이터셋 27개가 포함된다.출처: Figure 18 · p. 37, Figure 19 · p. 37

합성 데이터 평가

• Chronos-T5-Synth (Small)는 합성 데이터만으로 학습했으므로 두 벤치마크 모두에서 zero-shot으로 평가한다.비교 대상에는 지역 모델과 과업별 모델이 포함된다.출처: Figure 20 · p. 38

예측 사례

• Chronos-T5 (Base)는 AR(2) 및 AR(3) 과정에서 그럴듯한 예측과 예측 구간을 산출하지만, 더 단순한 AR(2) 과정에서는 AR 모델의 MSE가 더 낮다.그림 설명에는 실제 AR 모델, 올바른 순서로 적합한 AR 모델, AutoARIMA와의 비교도 기술되어 있다.출처: Figure 21 · p. 39

수정 및 업데이트

• 디코딩된 빈 인덱스의 off-by-one 오류로 이전 Chronos 결과가 인위적으로 나빠졌으며, 추론을 수정하자 모델을 재학습하지 않고도 결과가 크게 개선되었다.이 수정으로 어휘 크기 실험의 결론도 바뀌었다.출처: §F.1 · p. 43