【时间序列】从ICLR2022投稿中了解图神经⽹络和时间序列 相结合的研究趋势...
这篇⽂章从 ICLR 2022 的论⽂投稿中学习下 「时间序列」 和 「图神经⽹络」 相结合的研究趋势，主要包含较为个⼈关注的两个研究领域融合；然后总结下研究趋势。 芍倍注射液⾸先介绍下 ICLR 会议：
❝
ICLR，全称为 International Conference on Learning Representations（国际学习表征会议），2013年由两位深度学习巨佬、图灵奖得主 Yoshua Bengio 和 Yann LeCun 创办，被认为是“深度学习领域的顶级会议”。ICLR 未在 CCF 推荐会议列表中但被清华推荐为 A 类会议，懂得都懂！
❞
Articles
ICLR 2022 OpenReview 上时间序列相关研究的投稿⾮常多，主要总结下 ICLR 2022 时间序列和 GNNs 相结合领域的⽂章列表。
❝
注意⽬前投稿仅处于 Double-blind Review 阶段并不代表已接收，所以仅能代表⼤佬们的研究趋势。但接收⽂章也是从投稿中选择的！
❞
01
「论⽂标题」 Evaluating the Robustness of Time Series Anomaly and Intrusion Detection Methods against Adversarial Attacks
「涉及领域」 时间序列⼁异常检测⼁⼊侵检测⼁对抗攻击
「主要内容」 时间序列异常和⼊侵检测在统计学、经济学和计算机科学中得到⼴泛研究。多年来，已经提出了许多使⽤基于深度学习的⽅法进⾏时间序列异常和⼊侵检测的⽅法。其中许多⽅法在基准数据集上展⽰了最先进的性能，给⼈⼀种错误的印象，即这些系统在实际和⼯业场景中是健壮且可部署的。在本⽂中，我们证明了通过向传感器数据添加对抗性扰动可以轻松欺骗最先进的异常和⼊侵检测⽅法。我们在属于航空航天应⽤、汽车、服务器机器和⽹络物理系统的⼏个公共和私有数据集上使⽤不同的评分指标，例如预测误差、异常和分类分数。我们评估了最先进的深度神经⽹络 (DNN) 和图神 经⽹络 (GNN) ⽅法，它们声称对异常和⼊侵具有鲁棒性，并发现它们的性能在对抗性攻击下可以降⾄ 0% 来⾃快速梯度符号⽅法 (FGSM) 和投影梯度下降 (PGD) ⽅法。据我们所知，我们是第⼀个展⽰异常和⼊侵检测系统对抗对抗性攻击的漏洞的⼈。代码可见：anonymous.4open.science/r/ICLR298
「论⽂地址」 openreview/forum?id=C5u6Z9voQ1
02
「论⽂标题」 Spatiotemporal Representation Learning on Time Series with Dynamic Graph ODEs
「涉及领域」 时序预测⼁多元序列⼁表⽰学习
「主要内容」 多变量时间序列的时空表⽰学习在预测交通和能源数据⽅⾯受到了极⼤的关注。最近的⼯作要么依赖于复杂的离散神经架构或图先验，阻碍了它们在现实世界中的有效性和应⽤。在本⽂中，受神经常微分⽅程和图结构学习的启发，我们提出了⼀个名为 Dynamic Graph ODE (DyG-ODE) 的完全连续模型来捕获远程空间和时间依赖性，以学习任意多元时间序列数据的表达表⽰不受严格的先决条件（例如，先验图）的限制。为了对时空线索的连续动态进⾏建模，我们通过耦合所提出的时空 ODE 设计了⼀个简单⽽强⼤的动态图ODE，这不仅使模型能够获得⽆限的时空感受野，⽽且显着
降低了数值误差和模型复杂度.我们的实证评估证明了 DyG-ODE 在许多基准数据集上的卓越有效性和效率。
「论⽂地址」 openreview/forum?id=Jh9VxCkrEZn
03
「论⽂标题」 Multivariate Time Series Forecasting with Latent Graph Inference
「涉及领域」 时序预测⼁多元序列⼁因果推理
「主要内容」 本⽂介绍了⼀种⽤于多元时间序列预测的新架构，它同时推断和利⽤时间序列之间的关系。我们将我们的⽅法作为对单变量架构的模块化扩展，其中在对整个输⼊信号进⾏编码后获得的潜在空间中动态推断单个时间序列之间的关系。我们的⽅法⾜够灵活，可以根据所考虑的预测任务的需求进⾏适当的扩展。在其最直接和通⽤的版本中，我们推断出⼀个潜在的全连接图来对时间序列之间的相互作⽤进⾏建模，与⽤于预测的最先进的图神经⽹络相⽐，这使我们能够获得具有竞争⼒的预测准确性。此外，虽然以前的潜在图推理⽅法缩放田间持水量
图灵奖
O(N^2) 节点数 N（代表时间序列），我们展⽰了如何配置我们的⽅法来满⾜现代时间序列⾯板的规模。通过假设推断图是⼆部图，其中⼀个分区由原始 N 个节点组成，我们引⼊了 K 个节点（从低秩
分解中汲取灵感），我们将过程的时间复杂度降低到 O(NK)。这使我们能够利⽤依赖结构，并在预测准确性⽅⾯做出很⼩的权衡。我们证明了我们的⽅法对各种数据集的有效性，在完全连接和⼆分假设下，它⽐以前的⽅法表现更好或⾮常有竞争⼒。
「论⽂地址」 openreview/forum?id=JpNH4CW_zl
04
「论⽂标题」 TAMP-S2GCNets: Coupling Time-Aware Multipersistence Knowledge Representation with Spatio-Supra Graph Convolutional Networks for Time-Series Forecasting
「涉及领域」 时序预测⼁多元序列⼁拓扑分析科里奥利力
「主要内容」 图神经⽹络 (GNN) 已被证明是⼀种强⼤的机制，可⽤于在多元时空过程中学习复杂的依赖关系。然⽽，⼤多数现有的 GNN 具有固有的静态架构，因此，没有明确考虑编码知识的时间依赖性，并且在同时推断实体之间潜在的时间条件关系的能⼒⽅⾯受到限制。我们假设这种隐藏的时间条件属性可以被多重持久性⼯具捕获，即拓扑数据分析中的⼀种新兴机制，它允许我们沿着多个⼏何维度量化数据形状的动态。我们迈出了整合时间感知深度学习和多持久性两个新兴研究⽅向的第⼀步，并提出了⼀个新模型，时间感知多持久性空间-超图卷积⽹络（TAMP-S2GCNets）。我们将数据
的固有时间条件拓扑属性总结为时间感知多持久性 Euler-Poincar'e 表⾯并证明其稳定性。然后我们构建了⼀个超图卷积模块，它同时解释了数据中提取的时空内和时空依赖性。我们对⾼速公路交通流量、以太坊价格和COVID-19 住院的⼴泛实验表明，TAMP-S2GCNets 在多元时间序列预测任务中优于最先进的⼯具。
「论⽂地址」 openreview/forum?id=wv6g8fWLX2q
05
「论⽂标题」 Neural graphical modelling in continuous-time: consistency guarantees and algorithms
「涉及领域」 复杂系统⼁结构学习
「主要内容」 从时间序列数据中发现结构是复杂系统研究领域的⼀个关键问题。⼤多数可识别性结果和学习算法都假设潜在的动态在时间上是离散的。相⽐之下，很少有⼈在⽆限⼩的时间间隔内明确定义依赖关系，⽽与观察规模和采样规律⽆关。在本⽂中，我们考虑基于分数的结构学习来研究动⼒系统。我们证明，对于在⼀⼤类神经⽹络中参数化的向量场，使⽤⾃适应正则化⽅案的最⼩⼆乘优化始终如⼀地恢复随机微分⽅程系统中局部独⽴性的有向图。使⽤这种见解，我们提出了⼀种基于惩罚神经常微分⽅程（对平均过程建模）的基于分数的学习算法，我们证明该算法适⽤于不规则采样的多元时间序列的⼀般设置并优于现有技术跨越⼀系列动态系统。
「论⽂地址」 openreview/forum?id=SsHBkfeRF9L
06
「论⽂标题」 Filling the G_ap_s: Multivariate Time Series Imputation by Graph Neural Networks
「涉及领域」 时序插值⼁多元序列
「主要内容」 在处理来⾃实际应⽤程序的数据时，处理缺失值和不完整的时间序列是⼀项劳动密集型、乏味且不可避免的任务。有效的时空表⽰将允许插补⽅法通过利⽤来⾃不同位置的传感器的信息来重建丢失的时间数据。然⽽，标准⽅法在捕捉互连传感器⽹络中存在的⾮线性时间和空间依赖性⽅⾯存在不⾜，并且没有充分利⽤可⽤的（通常是强的）相关信息。值得注意的是，⼤多数基于深度学习的最先进的插补⽅法都没有明确地对关系⽅⾯进⾏建模，并且在任何情况下都没有利⽤能够充分表⽰结构化时空数据的处理框架。相反，图神经⽹络最近作为⽤于处理具有关系归纳偏差的序列数据的表达性和可扩展性⼯具⽽⼤受欢迎。在这项⼯作中，我们在多元时间序列插补的背景下⾸次评估了图神经⽹络。特别是，我们引⼊了⼀种名为 GRIN 的新型图神经⽹络架构，旨在通过消息传递学习时空表⽰来重建多元时间序列不同通道中的缺失数据。实证结果表明，我们的模型在相关现实世界基准的插补任务中优于最先进的⽅法，平均绝对误差改进通常⾼于 20%。
「论⽂地址」 openreview/forum?id=kOu3-S3wJ7
07
「论⽂标题」 Graph-Guided Network for Irregularly Sampled Multivariate Time Series
「涉及领域」 时序分类⼁时序采样⼁多元序列
「主要内容」 在许多领域，包括医疗保健、⽣物学和⽓候科学，时间序列是不规则采样的，连续观察之间的时间可变，并且在不同的时间点观察不同的变量⼦集（传感器），即使在对齐开始事件之后也是如此。这些数据为假设完全观察和固定长度特征表⽰的流⾏模型带来了多重挑战。为了应对这些挑战，必须了解传感器之间的关系以及它们如何随时间演变。在这⾥，我们介绍了 RAINDROP，这是⼀种图引导⽹络，⽤于学习不规则采样的多元时间序列的表⽰。RAINDROP 将每个样本表⽰为图形，其中节点表⽰传感器，边表⽰它们之间的依赖关系。RAINDROP 使⽤神经消息传递和时间⾃注意⼒来模拟传感器之间的依赖关系。它考虑了跨样本共享的传感器间关系以及每个样本所特有的随时间变化的关系，并根据附近的观察结果⾃适应地估计未对齐的观察结果。我们使⽤ RAINDROP 对时间序列进⾏分类并解释三个医疗保健和⼈类活动数据集的时间动态。RAINDROP 优于最先进的⽅法⾼达 11.4%（F1 分数中的绝对分数），包括使⽤固定离散化和集合函数处理不规则采样的⽅法，甚⾄在具有挑战性的离开传感器设置和设置中需要推⼴到新的患者体。
「论⽂地址」 openreview/forum?id=Kwm8I7dU-l5
08
「论⽂标题」 GAETS: A Graph Autoencoder Time Series Approach Towards Battery Parameter Estimation
「涉及领域」 时间序列⼁参数估计⼁因果推理
「主要内容」 锂离⼦电池正在为正在进⾏的交通电⽓化⾰命提供动⼒。锂离⼦电池具有较⾼的能量密度和良好的电化学性能，使其成为电动汽车的⾸选能源。精确估计电池参数（充电容量、电压等）对于估计电动汽车的可⽤范围⾄关重要。基于图的估计技术使我们能够了解⽀持它们以改进估计的变量依赖性。在本⽂中，我们采⽤图神经⽹络进⾏电池参数估计，我们介绍了⼀种独特的图⾃动编码器时间序列估计⽅法。众所周知，电池测量中的变量在某种因果结构中相互之间存在潜在关系。因此，我们将因果结构学习领域的思想作为我们学习的邻接矩阵技术的正则化。我们使⽤基于 NOTEARS Zheng 等⼈的⾮线性版本的图⾃动编码器。(2018) 因为这允许我们在学习结构时执⾏梯度下降（⽽不是将其视为组合优化问题）。所提出的架构优于最先进的图形时间序列（GTS）Shang 等⼈。(2021a) ⽤于电池参数估计的架构。我们称我们的⽅法为 GAETS（Graph AutoEncoder Time Series）。
「论⽂地址」 openreview/forum?id=2z5h4hY-LQ
09
「论⽂标题」 Graph-Augmented Normalizing Flows for Anomaly Detection of Multiple Time Series
「涉及领域」 多元序列⼁异常检测
「主要内容」 异常检测是⼀项⼴泛研究的任务，适⽤于各种数据类型；其中，多个时间序列经常出现在应⽤中，例如电⽹和交通⽹络。然⽽，由于组成序列之间错综复杂的相互依赖性，检测多个时间序列的异常是⼀个具有挑战性的课题。我们假设异常发⽣在分布的低密度区域，并探索使⽤归⼀化流进⾏⽆监督异常检测，因为它们在密度估计⽅⾯具有出⾊的质量。此外，我们通过在组成序列之间施加贝叶斯⽹络来提出⼀种新的流模型。贝叶斯⽹络是⼀种对因果关系建模的有向⽆环图 (DAG)；它将序列的联合概率分解为易于评估的条件概率的乘积。我们将这种图形增强归⼀化流⽅法称为 GANF，并提出对 DAG 与流参数的联合估计。我们对真实世界的数据集进⾏了⼤量实验，并证明了 GANF 在密度估计、异常检测和时间序列分布漂移识别⽅⾯的有效性。
「论⽂地址」
10
「论⽂标题」 Back2Future: Leveraging Backfill Dynamics for Improving Real-time Predictions in Future
「涉及领域」 时序预测⼁流⾏预测
「主要内容」 对于公共卫⽣和宏观经济等领域的实时预测，数据收集是⼀项艰巨⽽艰巨的任务。通常在最初发布后，它会在之后进⾏多次修订（可能由于⼈为或技术限制）——因此，数据达到稳定值可能需要数周时间。这种所谓的“回填”现象及其对模型性能的影响在先前的⽂献中⼏乎没有得到解决。在本⽂中，我们以 COVID-19 为例介绍了多变量回填问题。我们构建了⼀个由过去⼀年⼤流⾏的相关信号组成的详细数据集。然后，我们系统地描述了回填动态中的⼏种模式，并利⽤我们的观察来制定⼀个新的问题和神经框架 Back2Future，旨在实时改进给定模型的预测。我们⼴泛的实验表明，我们的⽅法改进了⽤于 COVID-19 预测和 GDP 增长预测的各种顶级模型的性能。具体来说，我们表明 Back2Future 将顶级 COVID-19 模型精炼了 6.65% ⾄ 11.24%，并⽐⾮平凡基线提⾼了 18%。此外，我们表明我们的模型也改进了模型评估；因此，决策者可以更好地实时了解预测模型的真实准确性。
「论⽂地址」 openreview/forum?id=L01Nn_VJ9i概念模型设计
11
「论⽂标题」 Causal discovery from conditionally stationary time-series
「涉及领域」 时间序列⼁因果推理
欲望都市 绝望主妇「主要内容」 因果发现，即从对场景或系统的观察中推断出潜在的因果关系，是⼈类认知中的⼀种固有机制，但已被证明对⾃动化极具挑战性。⽂献中针对此任务的⼤多数⽅法都考虑了具有完全观察变量或来⾃平稳时间序列的数据的受限场景。在这项⼯作中，我们的⽬标是在更⼀般的场景中发现因果关系，即随着时间的推移具有⾮平稳⾏为的场景。出于我们的⽬的，我们在这⾥将场景视为随着时间的推移相互交互的合成对象。⾮平稳性被建模为以潜在变量、状态为条件的平稳性，该状态可以具有不同的维度、或多或少隐藏给定的场景观察，并且也或多或少直接依赖于这些观察。我们提出了⼀种称为状态相关因果推理 (SDCI) 的概率深度学习⽅法，⽤于在这种条件平稳的时间序列数据中发现因果关系。在两种不同的合成场景中的结果表明，即使在具有隐藏状态的情况下，该⽅法也能够以⾼精度恢复潜在的因果依赖关系。
「论⽂地址」 openreview/forum?id=q9zIvzRaU94
Thoughts
根据⼤佬们的投稿中总结下 GNNs + TS 的研究趋势：
多元时序分类⼁时序预测⼁异常检测：GNNs 在捕获多变量间的关系具有天然的优势，因此在这三项任务中结合是必然且容易考虑到的，主要创新在于如果如何构建多元序列间的关系图和模型的花式组合。
时序数据插值⼁预处理：业界时序数据通常存在很多缺失和采样的问题，因此如果需要提⾼模型效果就必然需要考虑如何提⾼数据质量。⾄于从何种⾓度利⽤ GNNs 处理同样是⼀种创新。
时序因果推理⼁因果结构学习：这个属于极其有价值但⾮常难的研究⽅向。个⼈觉得难点在于业界时序通常为表象⽽因果通常为隐变量，直接从表象直接挖掘因果往往较难。所以通过 GNNs 进⾏关系推理同样成为⼀种选择，但难以说明是 “casuality” ⽽⾮“correlation”。
单变量时序：⽬前除了因果推理⽅向，单变量时序已然难以提起⼤佬们研究兴趣且业界⽅案也较为成熟。
：AI蜗⽜车
保持谦逊、保持⾃律、保持进步
个⼈
备注：昵称+学校/公司+⽅向
如果没有备注不拉！
拉你进AI蜗⽜车交流
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议