时序预测再出新范式，华东师大提出DUET：「双向聚类」新设计，性能刷新SOTA

【导读】DUET创新性的引入了一种时间和通道双向聚类架构，有效解决了时序分布漂移以及多变量时间序列中变量关系难以动态建模的难题。研究团队在最新时间序列预测基准评测TFB的25个数据集上进行了广泛验证，证明了DUET的卓越性能，为各行业的时间序列预测任务提供了全新的解决方案。

多变量时间序列预测（MTSF）在金融投资、能源管理、天气预测和交通优化等领域具有重要应用。然而，现实中的时间序列通常面临两大挑战： 

1. 时间模式的异质性，即由于外部因素的影响，真实时间序列往往表现出非平稳性（Temporal Distribution Shift, TDS），导致其分布和模式发生显著变化；

2. 通道间的复杂关系，即不同通道（变量）之间通常存在复杂且交错的相关性，包括显著相关的通道、噪声通道以及无关通道，这种复杂性使得精准建模变得尤为困难。

近日，来自华东师范大学和丹麦奥尔堡大学的科研人员合作，创新性地提出了一种基于时间和通道双向聚类架构的时间序列预测模型DUET，在多变量时间序列预测领域取得了巨大的突破。

论文地址：https://arxiv.org/pdf/2412.10859 

Github：https://github.com/decisionintelligence/DUET

主要挑战

由时序漂移引起的异质性时间模式难以建模

在实际应用中，描述不稳定系统的时间序列往往容易受到外部因素的影响。这种时间序列的非平稳性意味着数据分布会随着时间的推移发生变化，这一现象被称为时间分布漂移（Temporal Distribution Shift, TDS）TDS会导致时间序列呈现出不同的时间模式，这种现象正式被称为时间模式的异质性。

例如，图1(a) 展示了一个经济领域的时间序列，反映了随国际环境变化而产生的波动。

可以观察到，三个时间区间 A、B 和 C 遵循不同的时间分布，这一点可以通过图1 (b)、图1 (c) 和图1 (d) 所示的值直方图得到证明。这种分布的变化伴随着时间模式的差异。正如图1 (a) 所示，蓝色区间 A 呈现下降趋势，绿色区间 B 呈现上升趋势，而黄色区间 C 则表现为更陡峭的下降趋势。

考虑到这些模式在时间序列中的普遍存在，将其纳入建模过程显得尤为重要。然而，近期的研究大多以隐式方式处理时间模式的异质性，这在很大程度上削弱了预测的准确性。

复杂的通道间关系难以灵活建模

多变量时间序列预测任务中，建模不同通道之间的相关性至关重要，因为利用其他相关通道的信息往往可以提升特定通道的预测精度。

例如，在天气预测中，温度的预测可以通过结合湿度、风速和气压等数据得到改进，因为这些因素之间相互关联，可以提供更全面的天气状况信息。

研究人员探索了多种通道策略，包括：将每个通道独立对待 (Channel-Independent, CI); 假设每个通道与其他所有通道相关(Channel-Dependent, CD); 以及将通道分组为若干簇 (Channel-Hard-Clustering, CHC)。

CI强制对不同通道使用相同的模型。尽管这一策略具有一定的鲁棒性，但它忽略了通道之间的潜在交互，可能在未见通道的泛化能力和建模容量上受到限制；

CD 则同时考虑所有通道，并生成用于解码的联合表示，但可能受到无关通道噪声的干扰，从而降低模型的鲁棒性；

CHC 通过硬聚类将多变量时间序列划分为互不相交的簇，在每个簇内使用 CD 建模方法，而在簇之间使用CI方法。

然而，该方法仅考虑同一簇内的关系，限制了其灵活性和通用性。目前尚未有一种方法能够精确且灵活地建模通道之间的复杂交互关系。

核心贡献

为了解决多变量时间序列预测（MTSF）问题，论文提出了一个通用框架——DUET。该框架通过时间维度和通道维度的双向聚类，学习准确且自适应的预测模型。 

研究人员设计了时间聚类模块（TCM），将时间序列划分为细粒度的分布簇。针对不同的分布簇设计了多种模式提取器，以捕捉其独特的时间模式，从而建模时间模式的异质性。

通道聚类模块（CCM），通过度量学习在频率域中灵活捕捉通道间的关系，并进行稀疏化处理以抑制噪声通道的影响，从而实现灵活且高效的通道关系建模。

最后，在TFB的25个数据集上进行了广泛实验，实验结果表明，DUET优于现有的最先进基线。此外，所有数据集和代码已公开。

模型框架

时间聚类模块 (TCM)

分布路由器：通过两层全连接网络将时间序列的潜在分布投影到高维空间，利用 Noisy Gating 技术选择最可能的分布簇。

线性模式提取器：将时间序列分解为趋势部分和季节性部分，分别通过线性变换提取特征。

聚合器：利用分布路由器的权重，动态聚合提取的特征，整合为全局时间特征表示。

通道聚类模块 (CCM)

频域通道表示：利用傅里叶变换将时间序列映射到频率空间，以频域特征衡量通道的相关性；使用可学习的Mahalanobis距离构建通道间的关系矩阵。

稀疏化：通过Gumbel Softmax重采样策略，将通道关系矩阵转化为稀疏的掩码矩阵，仅保留对预测任务有益的通道连接。

融合模块 (FM)

使用掩码注意力机制，将时间特征与通道掩码矩阵相结合，以生成最终的特征表示。

实验效果

整体性能

DUET在10个被广泛认可的真实数据集上大幅领先于当前最先进模型。从绝对性能的角度来看，DUET 相较于表现次优的基线模型 PDF，有显著提升，均方误差（MSE）降低了6.9%，平均绝对误差（MAE）降低了 6.2%。

DUET 在应对由时间分布漂移引起的时间异质性问题时表现出卓越的能力。此外，在不同通道策略的对比中，DUET 同样展现了 CSC 策略的显著优势。

消融实验

文中进一步提供了一系列消融实验来验证模型框架设计的合理性。实验表明，DUET的设计在提升模型精度上是有效的。

参数敏感性分析：

DUET根据时间序列的时间分布将其聚类为M类，其中M是模式提取器的数目，研究人员分析了不同M值对预测精度的影响，并得出以下观察结论：

1）当M=1时，模型性能低于M≠1的情况

2）对于来自相同领域的数据集，例如电力领域的数据集ETTh1和ETTh2，最佳M值相同，均为4

3）对于来自不同领域的数据集，例如 ILI（健康领域）和 Exchange（经济领域），最佳N值分别为2和5

4）在选择最合适的M时，模型性能在大多数情况下显著优于其他变体，突显了在时间视角下进行聚类的有效性，并表明来自相同领域的数据集通常具有相似的时间分布，反之亦然。

总结

论文提出了一种通用框架DUET，该框架通过在时间维度和通道维度上引入双向聚类来提升多变量时间序列的预测能力。 

DUET集成了一个时间聚类模块（Temporal Clustering Module，TCM），该模块将时间序列聚类为细粒度的分布簇，并针对不同分布簇设计多种模式提取器，以捕捉其独特的时间模式，从而建模时间模式的异质性。

此外，研究人员引入了通道聚类模块（Channel Clustering Module，CCM），采用通道软聚类策略，通过度量学习在频率域中捕捉通道之间的关系，并进行稀疏化处理。

最后，融合模块（Fusion Module，FM）基于掩码注意力机制，将TCM提取的时间特征与CCM生成的通道掩码矩阵高效结合，这些创新机制共同赋予DUET卓越的预测性能。

参考资料： 

https://github.com/decisionintelligence/DUET 

https://decisionintelligence.github.io/OpenTS/ 

团队成员相关论⽂： 

TFB: Towards Comprehensive and Fair Benchmarking of Time Series Forecasting Methods, PVLDB 2024  ( Best Research Paper Award Nomination). 

https://arxiv.org/abs/2403.20150 

本文来自微信公众号“新智元”，编辑：LRST ，36氪经授权发布。