2403.07815.md

背景

• 背景
  文章介绍了在多种领域中，时间序列预测作为决策的必要组件，传统上由ARIMA、ETS等统计模型主导。随着大量多样化的时间序列数据源的可用性和深度学习技术的发展，预测领域逐渐转向深度预测模型。尽管深度预测模型表现出色，但它们通常在相同的数据集上进行训练和预测，尚未合并到一个通用的、全能的预测模型。

• 已有的工作 已有研究试图通过直接激发预训练的大型语言模型或针对时间序列任务微调大型语言模型来开发时间序列的“基础模型”。这些方法通常需要对每个新任务进行提示工程或微调，并依赖于需要大量计算资源和推理时间的大规模模型，如GPT-3和Llama 2等。同时，当前也存在以复杂的时间序列特定设计在大量实时和（或）合成时间序列数据上预训练基于变换器的模型的工作。

核心贡献

• 提出了一个简单而有效的预训练概率时间序列模型框架Chronos

  • 挑战1：时间序列与语言模型的根本不同 虽然时间序列看似不同于语言模型（如一系列来自有限字典的token与无界连续领域的值），Chronos质疑时间序列特定修改的必要性，并通过简单缩放和量化将时间序列转化为离散的bins，使得标准语言模型能够“无缝”学习“时间序列的语言”，挑战了对同域和跨域预测的标准方式，展示了通过最小变化使用语言模型架构处理广泛时间序列问题的潜力。

  • 挑战2：公开可用的时间序列数据集的匮乏 Chronos不仅使用了广泛的公共数据集训练，还整合了数据增强策略，包括TSMix（基于不同训练数据集的时间序列的凸组合生成新时间序列）与KernelSynth（使用高斯过程通过随机组合核函数生成合成时间序列）。这些技术解决了时间序列预测中训练集规模小的内在限制，增强了模型的鲁棒性和泛化能力。

实现与部署

Chronos在42个数据集上进行了全面评估，证明了其在同域和零样本预测中的基准性能，超越了传统模型和任务特定的深度学习方法。值得注意的是，Chronos能够直接从框架中实现令人印象深刻的零样本预测性能，无需针对特定任务进行调整。它的准确性以及相对适中的模型大小使其成为零样本预测应用中更大、计算要求更高模型的首选替代品。

总结

Chronos作为一个预训练的时间序列预测模型框架，在零样本和标准预测任务中表现出色。它利用了数据增强策略和公共数据集的优势，证实了时间序列预测中语言模型架构通用性的潜力，为将来的时间序列模型提供了新的研究方向。