【文献阅读】Interaction-Aware Graph Neural Networks for Fault Diagnosis of Complex Industrial Processes

论文原文连接

https://ieeexplore.ieee.org/document/9655479

摘要

复杂工业过程的故障诊断成为一项具有挑战性的任务，这是由于传感器信号的各种故障模式的和不同单元之间的复杂相互作用导致的。考虑到工业过程中传感器信号及其相互作用的节点和边可以用图表示的特点，提出了一种用于复杂工业过程故障诊断的交互感知神经网络（IAGNNs），具体步骤如下：

1. 首先，为了描述工业过程中复杂的相互作用，将传感器信号转换成具有多种边类型的异质图，并通过注意力机制自适应地学习边权重。
2. 然后，多个独立的图神经网络块被用来提取每个具有一种边类型的子图的故障特征。
3. 最后，每个子图特征通过加权求和等融合方式生成最终的图嵌入。

该方法可以从每个子图的GNNs的消息传递过程中学习传感器信号之间的多个相互作用，并提取故障特征。最终的故障特征包含来自传感器原始数据的信息和传感器信号之间的的相互作用。作者最终将该方法应用在三相流设备和电力系统中，并取得良好的效果。

引言

由于过程工业控制工程的大规模和复杂性，这些多变量传感器读数的特征在于高维和复杂的相互作用。由于监控系统可以提供大量的相关数据，这使得可以采用监督机器学习方法。因此，复杂工业过程的故障诊断可以定义为基于多变量时间序列信号的识别任务。

【前提】一旦有错误产生，它将传播到子过程，甚至影响整个过程的运行。 原则上，由于不同单元之间的相互作用，多个传感器的读数会偏离正常状态。同时，部分变量将响应不同的故障，这意味着一个故障类别涉及多个变量，并且分布不规则。这些复杂的相互作用包含了过程的非线性关系、相关性和控制规则等信息，需要综合的建模技术来探索故障的表示。因此，挖掘多传感器测量的相互作用和融合信息对于大规模工业过程的故障诊断至关重要。

现有的方法大多以网格数据作为输入，忽略了过程的拓扑结构和监控变量之间的相互作用，而实际中具有拓扑结构的图数据远比网格数据更为常见。且有论文支撑，一些非结构化场景被转换为图，并使用基于图的方法来实现可以获得更好的性能。

由于传感器测量之间的复杂的相互作用，结构化属性图是一个合适的数据结构来描述数据特性和传感器数据的关系，其中每个传感器测量对应于一个节点，并且这些节点通过表示相互作用的隐式边连接。此外，故障信息，如故障源和故障传播，可以在这个图中表示。故障诊断的一个关键任务是识别故障类别，因此将此任务表示为图分类问题。图分类问题将面临以下挑战：

1. 一种可学习的图构造方法，为各种故障类别提供不同的图拓扑结构，并揭示传感器信号之间的复杂相互作用
2. 一种模型，该模型保持图的特性以用于交互多样性表示，同时学习由故障信息定向的图表示。

相关工作（简略）

模型详解

多层交互感知层

我的理解是，多层交互感知层实际上是一种构图方法。纵观全文，最重要的部分就是多层交互感知层，它为后面的GNN输入提供了材料——传感器异质图。具体做法如下：

1. 基于传感器信号的平稳不变性，可以通过滑动窗口将多传感器信号截取成时间序列，滑动窗口大小基于信号的平稳性。所得时间序列，用于作为传感器异质图中的节点。
   
2. 将（1）中所得节点，构成全连接图。
3. 将全连接图输入至多层交互感知层中，进行边的筛减。多层交互感知层，是由注意力机制和特定的筛选函数Sparsemax组成的。首先，各个全连接图中各节点之间使用注意力机制计算，得到连边的分数。再通过筛选函数将低于一定分数阈值的边断开，从而形成第一种边类型的子图。以此类推，得到第二种边类型子图、第三种边类型子图等。这种多视角的方法，是比较常见的，在Graph Transformer Network 中也有相似的处理。多视角是为了得到多种情况下的关联。这里作者做了相关实验，多层交互感知层的层数控制在3-5层效果较好。
4. 多层交互感知层最终得到的是多种边类型的子图。

这里引入一个问题，为什么需要多层交互感知层？
因为这是一种自适应的构图方法，边是自动取筛选的。这也是性能提升的关键，因为对于复杂工程的故障诊断而言，故障是牵涉到多个传感器数据之间的相互作用的，简单的依靠先验知识构图，存在粒度不够，对于某些相似故障的区分度不够。全连接图冗余边信息过多，极大的影响了模型性能。KNN（K-nearest neighbor）只关注据局部特征，对于节点之间的复杂相互作用并没有考虑到。论文中还提到了MINE（Max Information Nonparametric Explore），这种手段，可以与KNN图进行互补。

嵌入层

该模型使用的是最基础的GCN，因为，这个模型主要针对的是构图方法的改变，所以不注重特征提取的手段，使用其他的图神经网络模型，例如GAT，HAN都是可以的。在通过图神经网络更新完节点特征后，需要通过融合方法将各个节点的特征融合成最终的子图特征。这里的融合方法是，对整张子图做最大池化和平均池化，然后将两个池化向量做拼接，作为子图的特征向量。

聚合向量层

这里融合方法讨论了两种，一种是直接拼接的方法，但“由于故障差异并不明显”，得到的最终特征表示会加入很多冗余信息，所以考虑采用基于注意力的加权求和办法，这个不是重点，可以参看原文。最终得到的即为多传感器异质图向量，应用于故障诊断。

实验

其中作者，做了相当多的消融实验，比如GCN层数、交互感知层层数，其中比较有意思的实验是通过可视化得到各个节点之间的强连接，如下所示。颜色越深即连接越强，交互越强。

学习收获

1. 复杂故障模式下，图分类效果更加优秀（之前做的工作都是节点分类的~）
2. 异质图对于模型性能的影响极大。
3. 该模型还是基于注意力机制计算得分的方式，可解释性较差。
4. 将传感器作为节点的设置固然可以，但是可以作进一步的提炼，将传感器进行划分，已得到一个更好的效果。

参考文献

[1] X. Deng, X. Tian, S. Chen, and C. J. Harris, “Nonlinear process fault diagnosis based on serial principal component analysis,” IEEE Trans. Neural Netw. Learn. Syst., vol. 29, no. 3, pp. 560–572, Mar. 2018.
[2] Z. Chen, S. X. Ding, T. Peng, C. Yang, and W. Gui, “Fault detection for non-Gaussian processes using generalized canonical correlation analysis and randomized algorithms,” IEEE Trans. Ind. Electron., vol. 65, no. 2,
pp. 1559–1567, Feb. 2018.
[3] Y. Tao, H. Shi, B. Song, and S. Tan, “A novel dynamic weight principal component analysis method and hierarchical monitoring strategy for process fault detection and diagnosis,” IEEE Trans. Ind. Electron., vol. 67, no. 9, pp. 7994–8004, Sep. 2020.
[4] Q. Jiang, S. Yan, H. Cheng, and X. Yan, “Local–global modeling and distributed computing framework for nonlinear plant-wide process monitoring with industrial big data,” IEEE Trans. Neural Netw. Learn. Syst., vol. 32, no. 8, pp. 3355–3365, Aug. 2021.
[5] Z. Li, L. Tian, Q. Jiang, and X. Yan, “Distributed-ensemble stacked autoencoder model for non-linear process monitoring,” Inf. Sci., vol. 542, pp. 302–316, Jan. 2021
[6] M. Sugiyama, “Dimensionality reduction of multimodal labeled data by local Fisher discriminant analysis,” J. Mach.Learn.Res., vol. 8, no. 1,pp. 1027–1061, Jan. 2007.
[7] C.-L. Liu, W.-H. Hsaio, and Y.-C. Tu, “Time series classification with multivariate convolutional neural network,” IEEE Trans. Ind. Electron.,vol. 66, no. 6, pp. 4788–4797, Jun. 2019.
[8] O. Costilla-Reyes, P. Scully, and K. B. Ozanyan, “Deep neural networks for learning spatio-temporal features from tomography sensors,” IEEE Trans. Ind. Electron., vol. 65, no. 1, pp. 645–653, Jan. 2018.
[9] D. Yang, Y. Pang, B. Zhou, and K. Li, “Fault diagnosis for energy inter-net using correlation processing-based convolutional neural networks,” IEEE Trans. Syst., Man, Cybern. Syst., vol. 49, no. 8, pp. 1739–1748,
Aug. 2019.
[10] T. Li, Z. Zhao, C. Sun, R. Yan, and X. Chen, “Multireceptive field graph convolutional networks for machine fault diagnosis,” IEEE Trans. Ind. Electron., vol. 68, no. 12, pp. 12739–12749, Dec. 2021.
[11] D. Wu and J. Zhao, “Process topology convolutional network model for chemical process fault diagnosis,” Process Saf. Environ. Protection,vol. 150, pp. 93–109, Jun. 2021.
[12] Z. Chen, J. Xu, T. Peng, and C. Yang, “Graph convolutional network-based method for fault diagnosis using a hybrid of measurement andprior knowledge,” IEEE Trans. Cybern., early access, Mar. 12, 2021,
doi: 10.1109/TCYB.2021.3059002.
[13] D. Chen, R. Liu, Q. Hu and S. X. Ding, “Interaction-Aware Graph Neural Networks for Fault Diagnosis of Complex Industrial Processes,” in IEEE Transactions on Neural Networks and Learning Systems, vol. 34, no. 9, pp. 6015-6028, Sept. 2023, doi: 10.1109/TNNLS.2021.3132376.

PPT

相关PPT已经上传，欢迎下载使用。