基于多传感器融合超图神经网络的故障确定方法和设备

1.本技术涉及机电系统技术领域，尤其涉及一种基于多传感器融合超图神经网络的故障确定方法和设备。


背景技术：

2.针对旋转机械、核电厂机电系统等结构比较复杂的机电系统，若其中的某一重要设备零件损坏，极有可能造成设备无法正常工作甚至引发事故，因此需要对设备进行实时监测和故障诊断，及时排查设备故障风险。
3.现有技术中，利用人工智能技术，基于设备故障样本和人工诊断结果，构建故障诊断模型，再通过该故障诊断模型对新出现的设备故障进行诊断，进而完成对机电系统的故障诊断。
4.但是上述方式中，由于机电系统中设备发生的故障次数较少，尤其是从大型设备处获取故障样本的机会更少，进而导致基于少量样本所预测出的故障类型不准确。


技术实现要素：

5.本技术提供一种基于多传感器融合超图神经网络的故障确定方法和设备，用以解决因获取故障样本的机会较少导致基于少量样本所预测出的故障类型不准确问题。
6.第一方面，本技术提供一种基于多传感器融合超图神经网络的故障确定方法，包括：
7.获取机电系统的待处理数据集合；其中，所述待处理数据集合中包括机电系统中每一传感器的数据子集，所述数据子集中包括传感器在每一时刻所采集的传感器数据；
8.对所述待处理数据集合进行超图计算处理，得到第一超图的第一关联矩阵和第二超图的第二关联矩阵；其中，所述第一超图表征数据子集中的传感器数据之间的关联关系，所述第一关联矩阵包括各数据子集中每一数据子集中的传感器数据之间的关联关系；所述第二超图表征待处理数据集合中的传感器数据之间的关联关系，所述第二关联矩阵包括待处理数据集合中的传感器数据之间的关联关系；
9.根据所述待处理数据集合、所述第一关联矩阵以及所述第二关联矩阵，确定所述机电系统的故障类型。
10.第二方面，本技术提供一种基于多传感器融合超图神经网络的模型训练方法，包括：
11.获取机电系统的待训练数据集合；其中，所述待训练数据集合中包括机电系统中每一传感器的数据子集，所述数据子集中包括传感器在每一时刻所采集的传感器数据；
12.对所述待训练数据集合进行超图计算处理，得到第一超图的第一关联矩阵和第二超图的第二关联矩阵；其中，所述第一超图表征数据子集中的传感器数据之间的关联关系，所述第一关联矩阵包括各数据子集中每一数据子集中的传感器数据之间的关联关系；所述第二超图表征待训练数据集合中的传感器数据之间的关联关系，所述第二关联矩阵包括待
训练数据集合中的传感器数据之间的关联关系；
13.根据所述待训练数据集合、所述第一关联矩阵以及所述第二关联矩阵，对初始模型进行训练，得到预设的故障诊断模型；其中，所述初始模型为基于超图神经网络模型所得到的模型；
14.其中，所述预设的故障诊断模型用于对基于多传感器融合超图神经网络的故障确定方法所述的待处理数据集合进行识别得到机电系统的故障类型。
15.第三方面，本技术提供一种基于多传感器融合超图神经网络的故障确定装置，包括：
16.获取单元，用于获取机电系统的待处理数据集合；其中，所述待处理数据集合中包括机电系统中每一传感器的数据子集，所述数据子集中包括传感器在每一时刻所采集的传感器数据；
17.处理单元，用于对所述待处理数据集合进行超图计算处理，得到第一超图的第一关联矩阵和第二超图的第二关联矩阵；其中，所述第一超图表征数据子集中的传感器数据之间的关联关系，所述第一关联矩阵包括各数据子集中每一数据子集中的传感器数据之间的关联关系；所述第二超图表征待处理数据集合中的传感器数据之间的关联关系，所述第二关联矩阵包括待处理数据集合中的传感器数据之间的关联关系；
18.确定单元，用于根据所述待处理数据集合、所述第一关联矩阵以及所述第二关联矩阵，确定所述机电系统的故障类型。
19.第四方面，本技术提供一种基于多传感器融合超图神经网络的模型训练装置，包括：
20.获取单元，用于获取机电系统的待训练数据集合；其中，所述待训练数据集合中包括机电系统中每一传感器的数据子集，所述数据子集中包括传感器在每一时刻所采集的传感器数据；
21.处理单元，用于对所述待训练数据集合进行超图计算处理，得到第一超图的第一关联矩阵和第二超图的第二关联矩阵；其中，所述第一超图表征数据子集中的传感器数据之间的关联关系，所述第一关联矩阵包括各数据子集中每一数据子集中的传感器数据之间的关联关系；所述第二超图表征待训练数据集合中的传感器数据之间的关联关系，所述第二关联矩阵包括待训练数据集合中的传感器数据之间的关联关系；
22.训练单元，用于根据所述待训练数据集合、所述第一关联矩阵以及所述第二关联矩阵，对初始模型进行训练，得到预设的故障诊断模型；其中，所述初始模型为基于超图神经网络模型所得到的模型；
23.其中，所述预设的故障诊断模型用于对基于多传感器融合超图神经网络的故障确定装置所述的待处理数据集合进行识别得到机电系统的故障类型。
24.第五方面，本技术提供一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；
25.所述存储器存储计算机执行指令；
26.所述处理器执行所述存储器存储的计算机执行指令，以实现第一方面和第二方面所述的方法。
27.第六方面，本技术提供一种计算机可读存储介质，所述计算机可读存储介质中存
储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现第一方面和第二方面所述的方法。
28.第七方面，本技术提供一种计算机程序产品，所述计算机程序产品包括：计算机程序，所述计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从所述可读存储介质读取所述计算机程序，所述至少一个处理器执行所述计算机程序使得电子设备执行第一方面和第二方面所述的方法。
29.本技术提供的基于多传感器融合超图神经网络的故障确定方法和设备，针对机电系统的多个传感器数据，根据每一传感器数据，构造单传感器融合超图及其关联矩阵，并根据多个传感器数据，构造多传感器融合超图及其关联矩阵；进而可以丰富用于确定机电系统故障的输入信息；再将单传感器融合超图及其关联矩阵和多传感器融合超图及其关联矩阵，进行分析处理，确定出机电系统的故障类型；进而，提高基于少量传感器数据进行故障确定的准确度。
附图说明
30.此处的附图被并入说明书中并构成本说明书的一部分，示出了符合本技术的实施例，并与说明书一起用于解释本技术的原理。
31.图1为本技术实施例提供的一种基于多传感器融合超图神经网络的故障确定方法的流程示意图；
32.图2为本技术实施例提供的另一种基于多传感器融合超图神经网络的故障确定方法的流程示意图；
33.图3为本技术实施例提供的一种基于机电系统的单传感器超图构造过程示意图；
34.图4为本技术实施例提供的一种基于机电系统的多传感器超图构造过程示意图；
35.图5为本技术实施例提供的一种基于机电系统的超图神经网络结构示意图；
36.图6为本技术实施例提供的一种基于多传感器融合超图神经网络的模型训练方法的流程示意图；
37.图7为本技术实施例提供的另一种基于多传感器融合超图神经网络的模型训练方法的流程示意图；
38.图8为本技术实施例提供的一种基于多传感器融合超图神经网络的故障确定装置的结构示意图；
39.图9为本技术实施例提供的另一种基于多传感器融合超图神经网络的故障确定装置的结构示意图；
40.图10为本技术实施例提供的一种基于多传感器融合超图神经网络的模型训练装置的结构示意图；
41.图11为本技术实施例提供的另一种基于多传感器融合超图神经网络的模型训练装置的结构示意图；
42.图12为本技术实施例提供的一种电子设备的结构示意图；
43.图13为根据一示例性实施例示出的一种电子设备的框图。
44.通过上述附图，已示出本技术明确的实施例，后文中将有更详细的描述。这些附图和文字描述并不是为了通过任何方式限制本技术构思的范围，而是通过参考特定实施例为
本领域技术人员说明本技术的概念。
具体实施方式
45.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本技术相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本技术的一些方面相一致的装置和方法的例子。
46.首先对本技术所涉及的名词进行解释：
47.超图：是指有限集合的子集系统，是离散数学中最一般的结构，可以和任意个数的顶点相连的超边；我们可以把关系数据库中的任意一个自然连接看作一个超图，属性是顶点，关系图式即关系的属性集合是边。
48.超图神经网络：一个可以建模多模态数据和复杂数据相关性的通用框架，用于使用超图结构进行表示学习；能够通过其超图结构形成复杂的高阶数据相关性，并能够高效地使用超边缘卷积运算。
49.针对旋转机械、核电厂机电系统等结构比较复杂的机电系统，若其中的某一重要设备零件损坏，极有可能造成设备无法正常工作甚至引发事故，因此需要对设备进行实时监测和故障诊断，及时排查设备故障风险。
50.一个示例中，利用人工智能技术，基于设备故障样本和人工诊断结果，构建故障诊断模型，再通过该故障诊断模型对新出现的设备故障进行诊断，进而完成对机电系统的故障诊断。
51.但是上述方式中，由于机电系统中设备发生的故障次数较少，尤其是从大型设备处获取故障样本的机会更少，进而导致基于少量样本所预测出的故障类型不准确。
52.本技术提供的基于多传感器融合超图神经网络的故障确定方法和设备，旨在解决现有技术的如上技术问题。
53.需要说明的是，本技术所涉及的用户信息(包括但不限于用户设备信息、用户个人信息等)和数据(包括但不限于用于分析的数据、存储的数据、展示的数据等)，均为经用户授权或者经过各方充分授权的信息和数据，并且相关数据的收集、使用和处理需要遵守相关法律法规和标准，并提供有相应的操作入口，供用户选择授权或者拒绝。
54.需要说明的是，本技术基于多传感器融合超图神经网络的故障确定方法和设备可用于机电系统技术领域，也可用于除机电系统技术领域之外的任意领域，本技术基于多传感器融合超图神经网络的故障确定方法和设备的应用领域不做限定。
55.下面以具体地实施例对本技术的技术方案以及本技术的技术方案如何解决上述技术问题进行详细说明。下面这几个具体的实施例可以相互结合，对于相同或相似的概念或过程可能在某些实施例中不再赘述。下面将结合附图，对本技术的实施例进行描述。
56.图1为本技术实施例提供的一种基于多传感器融合超图神经网络的故障确定方法的流程示意图，如图1所示，该方法包括：
57.s101、获取机电系统的待处理数据集合；其中，待处理数据集合中包括机电系统中每一传感器的数据子集，数据子集中包括传感器在每一时刻所采集的传感器数据。
58.示例性地，本实施例的执行主体可以是电子设备。首先，针对某一机电系统，该系
统安装多个传感器，用于采集当前时刻下机电系统的运行数据，电子设备从机电系统处获取到所有传感器处采集实时的运行数据，可以是多个同类传感器或者多个不同类别的传感器所获采集的运行数据，并将获取的数据切分出若干片段，整理为一个数据集合，即待处理数据集合，其中，待处理数据集合中包括机电系统中每一传感器对应的数据子集，每一数据子集中包括对应的传感器在每一时刻所采集的传感器数据，即机电系统的运行数据。
59.s102、对待处理数据集合进行超图计算处理，得到第一超图的第一关联矩阵和第二超图的第二关联矩阵；其中，第一超图表征数据子集中的传感器数据之间的关联关系，第一关联矩阵包括各数据子集中每一数据子集中的传感器数据之间的关联关系；第二超图表征待处理数据集合中的传感器数据之间的关联关系，第二关联矩阵包括待处理数据集合中的传感器数据之间的关联关系。
60.示例性地，在获取到所有传感器处采集实时的运行数据之后，基于超图及其关联矩阵可用于表征各类复杂关系，针对各传感器中每一传感器采集的传感器数据，通过分析各传感器中每一传感器采集的传感器数据之间的关联关系，并基于每一传感器的传感器数据之间的关联关系进行超图构造，得到各传感器中每一传感器所对应的第一超图，根据对该第一超图进行转换处理，得到该第一超图对应的第一关联矩阵，以表征各传感器中每一传感器采集的传感器数据之间的关联关系；针对各传感器中采集的所有传感器数据，通过分析各传感器中采集的所有传感器数据之间的关联关系，并基于各关联关系进行超图构造，得到各传感器所对应的第二超图，根据对该第二超图进行转换处理，得到该第二超图对应的第二关联矩阵，以表征各传感器中传感器数据之间的关联关系；进而，基于少量的数据融合了大量的信息，对提升故障诊断效果显著。
61.s103、根据待处理数据集合、第一关联矩阵以及第二关联矩阵，确定机电系统的故障类型。
62.示例性地，在得到第一超图的第一关联矩阵和第二超图的第二关联矩阵之后，将待处理数据集合中的传感器数据、第一超图的第一关联矩阵和第二超图的第二关联矩阵进行融合分析处理，得到该机电系统当前所处的故障类型，比如，该机电系统当前无故障；或者该机电系统当前所处的故障类型为1类故障或2类故障。
63.本实施例中，提供了一种基于多传感器融合超图神经网络的故障确定方法，针对机电系统的多个传感器数据，根据每一传感器数据，构造单传感器融合超图及其关联矩阵，并根据多个传感器数据，构造多传感器融合超图及其关联矩阵；进而可以丰富诊断机电系统故障的输入信息；再将单传感器融合超图及其关联矩阵和多传感器融合超图及其关联矩阵，进行分析处理，确定出机电系统的故障类型；进而，提高基于少量传感器数据进行故障确定的准确度。
64.图2为本技术实施例提供的另一种基于多传感器融合超图神经网络的故障确定方法的流程示意图，如图2所示，该方法包括：
65.s201、获取机电系统的待处理数据集合；其中，待处理数据集合中包括机电系统中每一传感器的数据子集，数据子集中包括传感器在每一时刻所采集的传感器数据。
66.示例性地，本步骤可以参见步骤101，不再赘述。
67.s202、对待处理数据集合中的传感器数据进行傅里叶变换处理，得到处理后的待处理数据集合。
68.示例性地，在获取到各传感器采集的传感器数据后，针对每一传感器，当该传感器中各传感器数据为时序数据时，可以直接进行处理，得到该传感器中各传感器数据对应的数据，比如均值、方差、最大值以及最小值，进而得到对应的处理后的待处理数据集合；可选的，基于快速傅里叶变换(fast fourier transform，简称fft)算法，可以对该传感器中各传感器数据进行傅里叶变换处理，将时序数据变为频域数据；进一步的，可以对该传感器的频域数据进行特征处理，得到该传感器的传感器数据对应的特征数据，比如幅度和相位，进而得到对应的处理后的待处理数据集合。
69.s203、针对待处理数据集合中的每一传感器的数据子集，确定该传感器的数据子集中每一对传感器数据之间的第一距离信息；其中，第一距离信息表征一对传感器数据之间的数据差值。
70.示例性地，针对各传感器中每一传感器所采集的数据子集中的传感器数据，每一时刻下的传感器数据对应有具体的数值，可以通过计算每两个时刻下对应的一对传感器数据对应的数值之间的差值，进而，将该差值确定为该传感器的数据子集中每一对传感器数据之间的距离信息，即第一距离信息。可选的，针对各传感器中每一传感器所采集的数据子集中的传感器数据，在傅里叶变换处理后，将得到的处理后的待处理数据集合中每一对数据，进行计算处理，得到每一对傅里叶变换后数据对应的数值之间的差值，进而，将该差值确定为该传感器的数据子集中每一对传感器数据之间的距离信息，即第一距离信息。
71.s204、针对待处理数据集合中的每一传感器的数据子集，依据该传感器的数据子集对应的各第一距离信息，基于k近邻法对该传感器的数据子集进行处理，得到该传感器的第三超图的第三关联矩阵；其中，第三超图表征传感器的至少一个第一特征信息；第一特征信息表征传感器在各时刻下的传感器数据之间的关联关系。
72.示例性地，根据计算得到的该传感器的数据子集对应的各第一距离信息，针对每一个时刻下的传感器数据，基于k近邻法，从该传感器数据相关的各第一距离信息中选择k个第一距离信息对应数值最小的第一距离信息，并根据该k个第一距离信息，从所有时刻下的传感器数据中选择该k个第一距离信息所对应的k个时刻下的传感器数据，将该传感器数据与k个传感器数据进行关联。针对每一传感器，基于各个传感器数据之间的关联关系，构造一个该传感器对应的第三超图，其中，每一第三超图具有该传感器中对应的特征信息，即第一特征信息，该特征信息表征该传感器对应的数据子集中各传感器数据之间的关联关系；进一步地，将该第三超图进行转换，得到该第三超图的第三关联矩阵，以表征该传感器对应的数据子集中各时刻下的传感器数据之间的关联关系。
73.s205、对各传感器的第三超图的第三关联矩阵进行拼接，得到第一超图的第一关联矩阵；其中，第一关联矩阵包括每一传感器的第一特征信息。
74.示例性地，在得到每一传感器对应的第三超图的第三关联矩阵之后，对各传感器的第三超图的第三关联矩阵进行拼接操作，得到各传感器对应的第一超图的第一关联矩阵；其中，第一关联矩阵包括每一传感器的第一特征信息，以表征各传感器中每一传感器中给传感器数据之间的关联关系。
75.一个示例中，图3为本技术实施例提供的一种基于机电系统的单传感器超图构造过程示意图，如图3所示，在机电系统中安装3个传感器，传感器sensor1、传感器sensor2和传感器sensor3，分别在五个时刻下采集每一个时刻下的传感器数据，该五个时刻为x1、x2、
x3、x4和x5，针对第1个传感器sensor1所采集的数据集合中五个时刻下的传感器数据x
11
、x
21
、x
31
、x
41
和x
51
，将传感器数据x
11
与2个传感器数据x
31
和x
51
分别进行关联，将传感器数据x
21
与2个传感器数据x
31
和x
41
分别进行关联；针对第2个传感器sensor2所采集的数据集合中的五个时刻下的传感器数据x
12
、x
22
、x
32
、x
42
和x
52
，将传感器数据x
12
与2个传感器数据x
32
和x
42
分别进行关联，将传感器数据x
22
与2个传感器数据x
32
和x
52
分别进行关联；针对第3个传感器sensor3所采集的数据集合中的五个时刻下的传感器数据x
13
、x
23
、x
33
、x
43
和x
53
，将传感器数据x
13
与2个传感器数据x
43
和x
53
分别进行关联，将传感器数据x
23
与2个传感器数据x
33
和x
53
分别进行关联。基于每一传感器中各个传感器数据之间的关联关系，构造该传感器对应的单传感器超图，即第三超图，以及该超图对应的关联矩阵h1、h2和h3，即第三关联矩阵。将该三个超图，根据时间维度上进行拼接(concat)操作，得到各传感器数据对应的单传感器融合超图s-hypergraph，即第一超图；将三个超图的关联矩阵在时间维度上进行拼接得到单传感器融合超图s-hypergraph对应的关联矩阵h
sf
，即第一关联矩阵；其中，每一单传感器融合超图具有该传感器中对应的特征信息，包括传感器sensor1对应的e1和e2、传感器sensor2对应的e3和e4、传感器sensor3对应的e5和e6，以表征每一时刻下每一传感器对应的数据子集中的传感器数据之间的关联关系。
76.s206、根据待处理数据集合，确定待处理数据集合中归属于同一时刻的传感器数据，为该时刻下的超图节点；其中，超图节点包括机电系统中的各传感器下的归属于同一时刻的传感器数据。
77.示例性地，根据各传感器所采集的传感器数据集合，即待处理数据集合中的传感器数据，针对每一传感器数据的采集时刻，将归属于该时刻下采集的各传感器数据进行分析处理，确定为该时刻下的超图节点。可选的，根据各传感器中每一传感器所采集的数据子集中的传感器数据，在傅里叶变换处理后，将得到的处理后的待处理数据集合中每一对数据，针对每一采集时刻，将归属于该时刻下采集的各传感器数据进行分析处理，确定为该时刻下的超图节点。针对每一超图节点来说，该超图节点包括机电系统中的各传感器下的归属于同一时刻的传感器数据。
78.举例来说，针对机电系统，安装三个传感器，分别为第一压力传感器、第二压力传感器和温度传感器，该三个传感器在连续的2个时刻下分别采集每一时刻对应的传感器数据包括压力数据和温度数据，将会这些数据按照采集时刻进行整理为待处理数据集合，其中，每一时刻对应三个传感器分别采集的第一压力数据、第二压力数据和温度数据，针对时刻t1，将归属于该时刻下的包括第一压力数据t11、第二压力数据t12和温度数据t13，进行融合分析，确定为一个超图节点t1(t11，t12，t13)，该节点融合了对应时刻t1下所采集的所有传感器数据t11、t12、t13。
79.s207、针对每一对超图节点，根据每一对超图节点中一个超图节点的各传感器数据、以及每一对超图节点中另一个超图节点的各传感器数据，确定每一对超图节点之间的第二距离信息；其中，第二距离信息表征一对超图节点在预设空间上的距离；预设空间为以机电系统中的传感器的个数为维度所建立的多维空间。
80.示例性地，根据机电系统中的传感器，预先建立一个多维的传感器空间，维度数量由机电系统中的传感器的个数决定，每一个维度表示一个传感器，每一得到的超图节点，其包含了对应时刻下所采集的所有传感器数据，或者包含对应时刻下所采集的所有传感器数
据对应的处理后的特征数据。针对每一得到的超图节点，可以在该多维的传感器空间中确定该超图节点对应的位置；针对每一对超图节点，根据每一对超图节点中一个超图节点的各传感器数据、以及每一对超图节点中另一个超图节点的各传感器数据，可以计算得到该一对超图节点在传感器空间对应的两个位置之间的距离，即为每一对超图节点之间的第二距离信息。
81.一个示例中，第二距离信息为
[0082][0083]
其中，xi为第i时刻下对应在预设空间中的超图节点，xj为第j时刻下对应在预设空间中的超图节点，x
is
为第s个传感器在第i时刻采集的传感器数据，x
js
为第s个传感器在第j时刻采集的传感器数据，i为大于等于1的整数，j为大于等于1的整数，s为大于等于1的整数。
[0084]
示例性地，针对机电系统中的3个传感器，可以定义传感器空间rs，每一个维度表示一个传感器，则在传感器空间r3中，每一传感器数据为对应某一维度之上的“坐标值”，即每一时刻下对应的各传感器数据是一个向量，而不是一个数值。将待处理数据集合中的5个时刻下对应的多个传感器数据，可以表示为该时刻下的3个传感器数据所对应的超图节点，对应着传感器空间中的一个点x，在传感器空间rs中，定义每两个时刻对应的超图节点在传感器空间上的距离d根据如下公式计算：
[0085][0086]
其中，xi为第i时刻下对应在多维空间中的超图节点，xj为第j时刻下对应在多维空间中的超图节点，x
is
为在传感器空间中xi在第s个维度的坐标值，x
js
为在传感器空间中点xj在第s个传感器维度的坐标值，i为大于等于1、小于等于5的整数，j为大于等于1、小于等于3的整数，s为大于等于1的整数，此处s为3；则计算得到的距离，即为该对超图节点xi和xj之间的第二距离信息。
[0087]
s208、依据各第二距离信息，基于k近邻法对待处理数据集合进行处理，得到第二超图的第二关联矩阵；其中，第二超图表征超图节点的至少一个第二特征信息；第二特征信息表征超图节点之间的关联关系；第二关联矩阵包括各超图节点的各第二特征信息。
[0088]
示例性地，根据在传感器空间计算得到的超图节点之间的各距离信息，针对待处理数据集合中每一时刻对应的超图节点，基于k近邻法，从与该超图节点相关的各距离信息中选择k个距离信息对应数值最小的距离信息，并根据该k个距离信息，从所有时刻下的超图节点中，选择该k个距离信息所对应的k个时刻下的传感器数据，将该超图节点与k个超图节点进行关联。基于各个时刻对应的超图节点之间的关联关系，构造待处理数据集合对应的一个多传感器融合超图，即第二超图，其中，该超图具有超图节点的对应的特征信息，即第二特征信息，该特征信息表征各传感器对应的待处理数据集合中各传感器数据之间的关联关系；进一步地，针对待处理数据集合对应的一个多传感器融合超图，将该超图进行转换，得到该超图的关联矩阵，即第二关联矩阵，以表征各传感器对应的待处理数据集合中各
传感器数据之间的关联关系。
[0089]
一个示例中，图4为本技术实施例提供的一种基于机电系统的多传感器超图构造过程示意图，如图4所示，在机电系统中安装3个传感器，传感器1、传感器2和传感器3，分别在五个时刻下采集每一个时刻下的传感器数据，针对第1个传感器1所采集的数据集合中五个时刻下的传感器数据x
11
、x
21
、x
31
、x
41
和x
51
，第2个传感器2所采集的数据集合中的五个时刻下的传感器数据x
12
、x
22
、x
32
、x
42
和x
52
，第3个传感器3所采集的数据集合中的五个时刻下的传感器数据x
13
、x
23
、x
33
、x
43
和x
53
；针对每一时刻，在预设的传感器空间中，维度为三个维度，该五个时刻分别对应超图节点x1、x2、x3、x4和x5，比如，根据第一时刻下对应的超图节点x1，在该空间中的每一维度上的坐标值为(x
11
，x
12
，x
13
)，由此可以得到其他时刻下对应的超图节点和对应坐标值，进而根据各时刻下超图节点对应的坐标值，在传感器空间根据公式计算得到各第二距离信息，基于k近邻法，将超图节点x1与2个超图节点x3和x4分别进行关联，将超图节点x2与2个超图节点x3和x5分别进行关联。基于各关联关系，构造该传感器对应的多传感器超图m-hypergraph，即第二超图，以及第二超图对应的关联矩阵h
mf
，即第三关联矩阵；其中，第二超图具有超图节点对应的第二特征信息，包括f1和f2，以表征各传感器对应的待处理数据集合中的传感器数据之间的关联关系。
[0090]
s209、将待处理数据集合和第一关联矩阵，输入至预设的故障诊断模型的第一超图神经网络分支中，得到第一特征向量；其中，第一特征向量表征待处理数据集合与第一关联矩阵的融合特征；预设的故障诊断模型为基于超图神经网络模型所得到的模型。
[0091]
示例性地，为了对机电系统进行故障确定，可以预先设置一个基于超图神经网络模型所得到的模型，即为故障诊断模型，在该模型中可以设置一个超图神经网络分支；可以将各传感器采集的传感器数据、以及得到的单传感器超图的关联矩阵，输入至该预设的故障诊断模型中，基于该模型的超图神经网络分支，进行计算处理，得到该待处理数据集合的特征向量，即第一特征向量，以表征该待处理数据集合与单传感器超图对应的关联矩阵之间的融合特征。可选的，利用该模型的第一超图神经网络分支，针对傅里叶变换处理后的各传感器采集的传感器数据进行处理，得到该傅里叶处理后的待处理数据集合的特征向量，即第一特征向量，以表征该傅里叶处理后的待处理数据集合、与处理后的待处理数据集合对应的单传感器超图对应的关联矩阵之间的融合特征。
[0092]
一个示例中，步骤s209包括以下步骤：
[0093]
步骤s209的第一步骤、将待处理数据集合和第一关联矩阵，输入至预设的故障诊断模型的第一超图神经网络分支中，对待处理数据集合和第一关联矩阵进行卷积处理，得到第一中间特征；其中，第一中间特征表征待处理数据集合与第一关联矩阵的融合特征。
[0094]
步骤s209的第二步骤、对第一中间特征和第一关联矩阵进行卷积处理，得到第一特征向量。
[0095]
示例性地，为了对机电系统进行故障确定，可以预先设置一个基于超图神经网络模型所得到的模型，即为故障诊断模型，在该模型中可以设置一个超图神经网络分支，针对各传感器采集的传感器数据和单传感器超图对应的关联矩阵，将这两者输入至该预设的故障诊断模型中，基于该模型的超图神经网络分支中的第一图卷积层，进行卷积计算处理，得到该待处理数据集合的中间特征，即第一中间特征，以表征该待处理数据集合与该待处理数据集合对应的第一关联矩阵之间的融合特征；再基于该模型的第一超图神经网络分支中
的第二图卷积层，继续对该中间特征和单传感器超图对应的关联矩阵进行卷积处理，得到该待处理数据集合的特征向量，即第一特征向量，以表征该待处理数据集合与单传感器超图对应的关联矩阵之间的融合特征。
[0096]
一个示例中，图5为本技术实施例提供的一种基于机电系统的超图神经网络结构示意图，如图5所示，该预设故障诊断模型包括两个超图神经网络分支s-hgnn和m-hgnn，分别包括两层hconv图卷积层，激活函数均选取leakyrelu；该预设故障诊断模型还包括全连接层(激活函数relu)和softmax函数组成的多层感知机(multilayer perceptron，简称mlp)。基于预设的计算框架多传感器融合超图神经网络(hypergraph neural network，简称msfhgnn)，将超图s-hypergraph及其关联矩阵h
sf
、待处理数据集合x以及超图m-hypergraph及其关联矩阵h
mf
输入至模型中，针对超图s-hypergraph、关联矩阵h
sf
以及待处理数据集合x，基于第一层图卷积层，对关联矩阵h
sf
以及待处理数据集合x进行卷积计算，得到中间特征hconv(x，h
sf
)；基于第二层图卷积层，继续对特征向量hconv(x，h
sf
)和关联矩阵h
sf
进行卷积处理，得到第一特征向量z
sf
＝(hconv(hconv(x，h
sf
)，h
sf
))，该特征向量表征该待处理数据集合x与该待处理数据集合对应的第一关联矩阵h
sf
之间的融合特征。
[0097]
s210、将待处理数据集合和第二关联矩阵，输入至预设的故障诊断模型的第二超图神经网络分支中，得到第二特征向量；其中，第二特征向量表征待处理数据集合与第二关联矩阵的融合特征。
[0098]
示例性地，为了对机电系统进行故障确定，可以预先设置一个基于超图神经网络模型所得到的模型，即为故障诊断模型，将各传感器采集的传感器数据以及多传感器融合超图的关联矩阵输入至该预设的故障诊断模型中，基于该模型的第二个超图神经网络分支，即第二超图神经网络分支，进行计算处理，得到各传感器采集的传感器数据的第二个特征向量，即第二特征向量，以表征各传感器采集的传感器数据与多传感器融合超图的关联矩阵之间的融合特征。可选的，利用该模型的第二个超图神经网络分支，针对傅里叶变换处理后的各传感器采集的传感器数据进行处理，得到该傅里叶处理后的待处理数据集合的第二个特征向量，即第二特征向量，以表征该傅里叶处理后的待处理数据集合与多传感器融合超图的关联矩阵之间的融合特征。
[0099]
一个示例中，步骤s210包括以下步骤：
[0100]
步骤s210的第一步骤、将待处理数据集合和第二关联矩阵，输入至预设的故障诊断模型的第二超图神经网络分支中，对待处理数据集合和第二关联矩阵进行卷积处理，得到第二中间特征；其中，第二中间特征表征待处理数据集合与第二关联矩阵的融合特征。
[0101]
步骤s210的第二步骤、对第二中间特征和第二关联矩阵进行卷积处理，得到第二特征向量。
[0102]
示例性地，为了对机电系统进行故障确定，可以预先设置一个基于超图神经网络模型所得到的模型，即为故障诊断模型，该预设故障诊断模型包括两个超图神经网络分支s-hgnn和m-hgnn，分别包括两层hconv图卷积层，激活函数均选取leakyrelu；该预设故障诊断模型还包括全连接层(激活函数relu)和softmax函数组成的多层感知机(multilayer perceptron，简称mlp)。针对各传感器采集的传感器数据以及得到的第二关联矩阵，将这两者输入至该预设的故障诊断模型中，基于该模型的第二超图神经网络分支中的第一图卷积层，进行卷积计算处理，得到该待处理数据集合的第二个中间特征，即第二中间特征，以表
征该待处理数据集合与该待处理数据集合对应的第二关联矩阵之间的融合特征；再基于该模型的第二超图神经网络分支中的第二图卷积层，继续对该中间特征和对应的第二关联矩阵进行卷积处理，得到该待处理数据集合的第二特征向量，以表征该待处理数据集合与该待处理数据集合对应的第二关联矩阵之间的融合特征。
[0103]
一个示例中，基于预设的计算框架多传感器融合超图神经网络(hypergraph neural network，简称msfhgnn)，设置一个第二超图神经网络分支即m-hgnn，针对超图m-hypergraph、关联矩阵h
mf
以及待处理数据集合x，基于第一层图卷积层，对关联矩阵h
mf
以及待处理数据集合x进行卷积计算，得到中间特征hconv(x，h
mf
)；基于第二层图卷积层，继续对特征向量hconv(x，h
mf
)和关联矩阵h
sf
进行卷积处理，得到第一特征向量z
mf
＝(hconv(hconv(x，h
mf
)，h
mf
))，该特征向量表征该待处理数据集合x与该待处理数据集合对应的第二关联矩阵h
mf
之间的融合特征。
[0104]
s211、将第一特征向量和第二特征向量进行连接，得到待处理特征向量。
[0105]
示例性地，经过预设的故障诊断模型的卷积处理后，将所得到的第一个特征处理向量和第二个特征处理向量进行连接，得到各传感器数据所采集的待处理数据集合对应的待处理特征向量。
[0106]
举例来说，针对所得到的第一特征处理向量z
sf
和第二特征处理向量z
mf
，将二者进行连接concat操作，得到z＝concat(z
sf
，z
mf
)，即为各传感器数据所采集的待处理数据集合对应的待处理特征向量。
[0107]
s212、基于预设的故障诊断模型对待处理特征向量进行识别，得到机电系统的故障类型。
[0108]
示例性地，在经过预设故障诊断模型中两个超图神经网络分支的两层hconv卷积层处理和拼接处理，得到待处理特征向量之后，基于预设的故障诊断模型中的多层感知机，对该待处理特征向量进行计算处理和识别，得到机电系统当前所处的故障类型，比如，该机电系统当前无故障；或者该机电系统当前所处的故障类型为1类故障或2类故障。
[0109]
一个示例中，预设故障诊断模型包括两个超图神经网络分支s-hgnn和m-hgnn，分别包括两层hconv卷积层，激活函数均选取leakyrelu；该预设故障诊断模型还包括全连接层(激活函数relu)和softmax函数组成的多层感知机(multilayer perceptron，简称mlp)。在经过预设故障诊断模型中两个超图神经网络分支的两层hconv卷积层处理和拼接concat处理，得到待处理特征向量之后，基于预设的故障诊断模型中的多层感知机，对该待处理特征向量进行计算处理和识别，输出标签信息label y＝mlp(z)，该标签信息label y即为机电系统当前所处的故障类型，比如，该机电系统当前无故障；或者该机电系统当前所处的故障类型为1类故障或2类故障。
[0110]
s213、根据机电系统的故障类型生成告警信息，并发出告警信息；其中，告警信息为以下的一种或多种：语音信息、文字信息、图像信息、视频信息、灯光信息。
[0111]
示例性地，在确定当前机电系统所处的故障类型后，根据该机电系统所处的故障类型，生成每一故障类型所对应的告警信息，并将该告警信息发出去，可以提示当前工作人员控制该机电系统是否继续作业，其中，该告警信息可以为以下的一种或多种：语音信息、文字信息、图像信息、视频信息、灯光信息。
[0112]
一个示例中，在确定当前机电系统所处的故障类型后，根据该机电系统所处的故
障类型为1类故障，则对应生成该类故障类型所对应的告警信息，并以亮灯形式发出告警，以提示当前工作人员检控制该机电系统停止作业。
[0113]
本实施例中，在上述实施例的基础上，首先，针对机电系统的多个传感器数据，根据每一传感器数据，构造单传感器融合超图及其关联矩阵，并根据多个传感器数据，基于多维传感器超图，构造多传感器融合超图及其关联矩阵；进而可以丰富诊断机电系统故障的输入信息；再将单传感器融合超图及其关联矩阵和多传感器融合超图及其关联矩阵，进行分析处理，确定出机电系统的故障类型；进而，提高基于少量传感器数据进行故障确定的准确度；另一方面，在确定故障类型后，根据故障类型发出告警，可以提示当前工作人员控制该机电系统是否继续作业，以避免该机电系统因发生故障而造成各类生产损失。
[0114]
图6为本技术实施例提供的一种基于多传感器融合超图神经网络的模型训练方法的流程示意图，如图6所示，该方法包括：
[0115]
s301、获取机电系统的待训练数据集合；其中，待训练数据集合中包括机电系统中每一传感器的数据子集，数据子集中包括传感器在每一时刻所采集的传感器数据。
[0116]
示例性地，本实施例的执行主体可以是电子设备。首先，针对某一机电系统，该系统安装多个传感器，用于采集历史时间段内每一时刻下机电系统的运行数据，电子设备从机电系统处获取到所有传感器处采集实时的运行数据，可以是多个同类传感器或者多个不同类别的传感器所获采集的运行数据，并将获取的数据整理为一个数据集合，即待训练数据集合，其中，待训练数据集合中包括机电系统中每一传感器对应的数据子集，每一数据子集中包括对应的传感器在每一时刻所采集的传感器数据，即机电系统历史时间段内的运行数据。
[0117]
s302、对待训练数据集合进行超图计算处理，得到第一超图的第一关联矩阵和第二超图的第二关联矩阵；其中，第一超图表征数据子集中的传感器数据之间的关联关系，第一关联矩阵包括各数据子集中每一数据子集中的传感器数据之间的关联关系；第二超图表征待训练数据集合中的传感器数据之间的关联关系，第二关联矩阵包括待训练数据集合中的传感器数据之间的关联关系。
[0118]
示例性地，在获取到所有传感器处采集历史时间段内的运行数据之后，基于超图及其关联矩阵可用于表征各类复杂关系，针对各传感器中每一传感器采集的待训练的传感器数据，通过分析各传感器中每一传感器采集的待训练的传感器数据之间的关联关系，并基于每一传感器的待训练的传感器数据之间的关联关系进行超图构造，得到各传感器中每一传感器所对应的第一超图，根据对该第一超图进行转换处理，得到该第一超图对应的第一关联矩阵，以表征各传感器中每一传感器采集的待训练的传感器数据之间的关联关系；针对各传感器中采集的所有传感器数据，通过分析各传感器中采集的所有传感器数据之间的关联关系，并基于各关联关系进行超图构造，得到各传感器所对应的第二超图，根据对该第二超图进行转换处理，得到该第二超图对应的第二关联矩阵，以表征各传感器中传感器待训练的数据之间的关联关系；进而，基于少量的数据融合了大量的信息，对提升故障诊断效果显著。
[0119]
s303、根据待训练数据集合、第一关联矩阵以及第二关联矩阵，对初始模型进行训练，得到预设的故障诊断模型；其中，初始模型为基于超图神经网络模型所得到的模型；其中，预设的故障诊断模型用于对基于多传感器融合超图神经网络的故障确定方法的待处理
数据集合进行识别得到机电系统的故障类型。
[0120]
示例性地，在得到待训练数据集合对应的第一超图的第一关联矩阵和第二超图的第二关联矩阵之后，将待训练数据集合中的传感器数据、第一超图的第一关联矩阵和第二超图的第二关联矩阵输入至预设的初始模型中，初始模型为基于超图神经网络模型所得到的模型，对该初始模型进行训练处理，得到预设的故障诊断模型，该模型用于对基于多传感器融合超图神经网络的故障确定方法的待处理数据集合进行识别得到机电系统的故障类型。
[0121]
本实施例中，提供了一种基于多传感器融合超图神经网络的模型训练方法，针对机电系统的历史时间段内的多个传感器数据，根据每一待训练的传感器数据，构造单传感器融合超图及其关联矩阵，并根据多个待训练的传感器数据，构造多传感器融合超图及其关联矩阵；进而可以丰富诊断机电系统故障的输入信息，提高基于少量待训练的传感器数据进行故障确定的准确度；再将单传感器融合超图及其关联矩阵和多传感器融合超图及其关联矩阵，对初始模型进行分训练，得到预设的故障诊断模型；进而，利用该超图计算对模型进行训练，可以简化训练过程，提高了算法的效率，并根据该模型确定出机电系统的故障类型。
[0122]
图7为本技术实施例提供的另一种基于多传感器融合超图神经网络的模型训练方法的流程示意图，如图7所示，该方法包括：
[0123]
s401、获取机电系统的待训练数据集合；其中，待训练数据集合中包括机电系统中每一传感器的数据子集，数据子集中包括传感器在每一时刻所采集的传感器数据。
[0124]
示例性地，本步骤可以参见步骤301，不再赘述。
[0125]
s402、对待训练数据集合中的传感器数据进行傅里叶变换处理，得到处理后的待训练数据集合。
[0126]
示例性地，在获取到各传感器采集的待训练的传感器数据后，针对每一传感器，当该传感器中各传感器数据为时序数据时，可以直接进行处理，得到该传感器中各传感器数据对应的数据，比如均值、方差、最大值以及最小值，进而得到对应的处理后的待训练数据集合；可选的，基于快速傅里叶变换(fast fourier transform，简称fft)算法，可以对该传感器中各传感器数据进行傅里叶变换处理，将时序数据变为频域数据；进一步的，可以对该传感器的频域数据进行特征处理，得到该传感器的传感器数据对应的特征数据，比如幅度和相位，进而得到对应的处理后的待训练数据集合。
[0127]
s403、针对待训练数据集合中的每一传感器的数据子集，确定该传感器的数据子集中每一对传感器数据之间的第一距离信息；其中，第一距离信息表征一对传感器数据之间的数据差值。
[0128]
示例性地，针对待训练数据集合中每一数据子集中的传感器数据，每一时刻下的传感器数据对应有具体的数值，可以通过计算每两个时刻下对应的一对传感器数据对应的数值之间的差值，进而，将该差值确定为该传感器的数据子集中每一对传感器数据之间的第一距离信息；或者，针对各传感器中每一传感器所采集的数据子集中的传感器数据，在傅里叶变换处理后，将得到的处理后的待训练数据集合中每一对数据，进行计算处理，得到每一对傅里叶变换后数据对应的数值之间的差值，进而，将该差值确定为该传感器的数据子集中每一对传感器数据之间的第一距离信息。
[0129]
s404、针对待训练数据集合中的每一传感器的数据子集，依据该传感器的数据子集对应的各第一距离信息，基于k近邻法对该传感器的数据子集进行处理，得到该传感器的第三超图的第三关联矩阵；其中，第三超图表征传感器的至少一个第一特征信息；第一特征信息表征传感器在各时刻下的传感器数据之间的关联关系。
[0130]
示例性地，根据计算得到的该传感器的数据子集对应的各第一距离信息，针对每一个时刻下的待训练的传感器数据，基于k近邻法，从该传感器数据相关的各第一距离信息中选择k个第一距离信息对应数值最小的第一距离信息，并根据该k个第一距离信息，从所有时刻下的待训练的传感器数据中，选择该k个第一距离信息所对应的k个时刻下的传感器数据，将该传感器数据与k个传感器数据进行关联。针对每一传感器，基于各个传感器数据之间的关联关系，构造一个传感器对应的超图，即第三超图，其中，每一第三超图具有该传感器中对应的特征信息，即第一特征信息，该特征信息表征该传感器对应的数据子集中各传感器数据之间的关联关系；进一步地，针对传感器对应的超图，将该超图进行转换，得到该超图的关联矩阵，即第三关联矩阵，以表征该传感器对应的数据子集中各时刻下的待训练的传感器数据之间的关联关系。
[0131]
s405、对各传感器的第三超图的第三关联矩阵进行拼接，得到第一超图的第一关联矩阵；其中，第一关联矩阵包括每一传感器的第一特征信息。
[0132]
示例性地，在得到每一传感器对应的第三超图的第三关联矩阵之后，对各传感器的第三超图的第三关联矩阵进行拼接操作，得到各传感器对应的第一超图的第一关联矩阵；其中，第一关联矩阵包括每一传感器的第一特征信息，以表征各传感器中每一传感器中待训练的传感器数据之间的关联关系。
[0133]
s406、根据待训练数据集合，确定待训练数据集合中归属于同一时刻的传感器数据，为该时刻下的超图节点；其中，超图节点包括机电系统中的各传感器下的归属于同一时刻的传感器数据。
[0134]
示例性地，根据各传感器所采集的传感器数据集合，即待训练数据集合中的传感器数据；或者，根据各传感器中每一传感器所采集的数据子集中的传感器数据，在傅里叶变换处理后，将得到的处理后的待训练数据集合中每一对数据，针对每一采集时刻，将归属于该时刻下采集的各传感器数据进行分析处理，确定为该时刻下的超图节点。
[0135]
s207、针对每一对超图节点，根据每一对超图节点中一个超图节点的各传感器数据、以及每一对超图节点中另一个超图节点的各传感器数据，确定每一对超图节点之间的第二距离信息；其中，第二距离信息表征一对超图节点在预设空间上的距离；预设空间为以机电系统中的传感器的个数为维度所建立的多维空间。
[0136]
示例性地，根据机电系统中的传感器，预先建立一个多维的传感器空间，维度数量由机电系统中的传感器的个数决定，每一个维度表示一个传感器，针对每一得到的超图节点，其包含了对应时刻下所采集的所有待训练的传感器数据，可以在该多维的传感器空间中确定该超图节点的位置，针对每一对超图节点，根据每一对超图节点中一个超图节点的各待训练的传感器数据、以及每一对超图节点中另一个超图节点的各待训练的传感器数据，可以计算得到该一对超图节点在传感器空间对应的两个位置之间的距离，即为每一对超图节点之间的第二距离信息。
[0137]
一个示例中，第二距离信息为
[0138][0139]
其中，nk为第k时刻下对应在预设空间中的超图节点，nq为第q时刻下对应在预设空间中的超图节点，nk为第s个传感器在第k时刻采集的传感器数据，nq为第t个传感器在第q时刻采集的传感器数据，k为大于等于1的整数，q为大于等于1的整数，t为大于等于1的整数。
[0140]
示例性地，针对机电系统中的3个传感器，可以定义传感器空间p
t
，每一个维度表示一个传感器，则在传感器空间p3中，每一传感器数据为对应某一维度之上的“坐标值”，即每一时刻下对应的各传感器数据是一个向量，而不是一个数值。将待处理数据集合中的5个时刻下对应的多个传感器数据，可以表示为该时刻下的3个传感器数据所对应的超图节点，对应着传感器空间中的一个点n，在传感器空间r
t
中，定义每两个时刻对应的超图节点在传感器空间上的距离d根据如下公式计算：
[0141][0142]
其中，nk为第k时刻下对应在多维空间中的超图节点，nq为第q时刻下对应在多维空间中的超图节点，n
kt
为在传感器空间中nk在第t个维度的坐标值，n
qt
为在传感器空间中nq在第t个维度的坐标值，k为大于等于1、小于等于5的整数，q为大于等于1、小于等于3的整数，t为大于等于1的整数，此处t为3；则计算得到的距离，即为该对超图节点nk和nq之间的第二距离信息。
[0143]
s408、依据各第二距离信息，基于k近邻法对待训练数据集合进行处理，得到第二超图的第二关联矩阵；其中，第二超图表征超图节点的至少一个第二特征信息；第二特征信息表征超图节点之间的关联关系；第二关联矩阵包括各超图节点的各第二特征信息。
[0144]
示例性地，根据在传感器空间计算得到的各第二距离信息，针对待训练数据集合中每一时刻对应的超图节点，基于k近邻法，从与该超图节点相关的各第二距离信息中选择k个第二距离信息对应数值最小的第二距离信息，并根据该k个第二距离信息，从所有时刻下的超图节点中，选择该k个第一二距离信息所对应的k个时刻下的传感器数据，将该超图节点与k个超图节点进行关联。基于各个时刻对应的超图节点之间的关联关系，构造待训练数据集合对应的一个超图，即第二超图，其中，第三超图具有超图节点的对应的特征信息，即第二特征信息，以表征传感器的至少一个第二特征信息，该特征信息表征各传感器对应的待训练数据集合中各传感器数据之间的关联关系；进一步地，将该第二超图进行转换，得到该第二超图的第二关联矩阵，以表征各传感器对应的待训练数据集合中各传感器数据之间的关联关系。
[0145]
s409、将待训练数据集合和第一关联矩阵，输入至初始模型的第一超图神经网络分支中，得到第一特征向量；其中，第一特征向量表征待训练数据集合与第一关联矩阵的融合特征。
[0146]
示例性地，为了对机电系统进行故障确定，可以预先设置一个基于超图神经网络模型所得到的模型，即为初始模型，在该模型中可以设置一个第一超图神经网络分支；将各传感器采集的传感器数据以及得到的第一关联矩阵输入至该预设的初始模型中，基于该模
型的第一超图神经网络分支，进行计算处理，得到该待训练数据集合的第一特征向量，以表征该待练数据集合与该待练数据集合对应的第一关联矩阵之间的融合特征；或者，利用该模型的第一超图神经网络分支，针对傅里叶变换处理后的各传感器采集的传感器数据进行处理，得到该傅里叶处理后的待训练数据集合的第一特征向量，以表征该傅里叶处理后的待训练数据集合与处理后的待训练数据集合对应的第一关联矩阵之间的融合特征。
[0147]
一个示例中，步骤s409包括以下步骤：
[0148]
步骤s409的第一步骤、将待训练数据集合和第一关联矩阵，输入至初始模型的第一超图神经网络分支中，对待训练数据集合和第一关联矩阵进行卷积处理，得到第一中间特征；其中，第一中间特征表征待训练数据集合与第一关联矩阵的融合特征。
[0149]
步骤s409的第二步骤、对第一中间特征和第一关联矩阵进行卷积处理，得到第一特征向量。
[0150]
示例性地，为了对机电系统进行故障确定，可以预先设置一个基于超图神经网络模型所得到的模型，即为初始模型，在该模型中可以设置一个第一超图神经网络分支，针对各传感器采集的传感器数据以及得到的第一关联矩阵，将这两者输入至该预设的初始模型中，基于该模型的第一超图神经网络分支中的第一图卷积层，进行卷积计算处理，得到该待训练数据集合的第一中间特征，以表征该待训练数据集合与该待训练数据集合对应的第一关联矩阵之间的融合特征；再基于该模型的第一超图神经网络分支中的第二图卷积层，继续对该中间特征和对应的第一关联矩阵进行卷积处理，得到该待训练数据集合的第一特征向量，以表征该待训练数据集合与该待训练数据集合对应的第一关联矩阵之间的融合特征。
[0151]
s410、将待训练数据集合和第二关联矩阵，输入至初始模型的第二超图神经网络分支中，得到第二特征向量；其中，第二特征向量表征待训练数据集合与第二关联矩阵的融合特征。
[0152]
示例性地，为了对机电系统进行故障确定，可以预先设置一个基于超图神经网络模型所得到的模型，即为初始模型，将各传感器采集的传感器数据以及得到的第二关联矩阵输入至该预设的初始模型中，基于该模型的第二超图神经网络分支，进行计算处理，得到该待训练数据集合的第二特征向量，以表征该待训练数据集合与该待训练数据集合对应的第二关联矩阵之间的融合特征；或者，利用该模型的第二超图神经网络分支，针对傅里叶变换处理后的各传感器采集的传感器数据进行处理，得到该傅里叶处理后的待训练数据集合的第二特征向量，以表征该傅里叶处理后的待训练数据集合与处理后的待训练数据集合对应的第二关联矩阵之间的融合特征。
[0153]
一个示例中，步骤s410包括以下步骤：
[0154]
步骤s410的第一步骤、将待训练数据集合和第二关联矩阵，输入至初始模型的第二超图神经网络分支中，对待训练数据集合和第二关联矩阵进行卷积处理，得到第二中间特征；其中，第二中间特征表征待训练数据集合与第二关联矩阵的融合特征。
[0155]
步骤s410的第二步骤、对第二中间特征和第二关联矩阵进行卷积处理，得到第二特征向量。
[0156]
示例性地，为了对机电系统进行故障确定，可以预先设置一个基于超图神经网络模型所得到的模型，即为初始模型，针对各传感器采集的传感器数据以及得到的第二关联
矩阵，将这两者输入至该预设的初始模型中，基于该模型的第二超图神经网络分支中的第一图卷积层，进行卷积计算处理，得到该待训练数据集合的第二中间特征，以表征该待训练数据集合与该待训练数据集合对应的第二关联矩阵之间的融合特征；再基于该模型的第二超图神经网络分支中的第二图卷积层，继续对该中间特征和对应的第二关联矩阵进行卷积处理，得到该待训练数据集合的第二特征向量，以表征该待训练数据集合与该待训练数据集合对应的第二关联矩阵之间的融合特征。
[0157]
s411、将第一特征向量和第二特征向量进行连接，得到待处理特征向量。
[0158]
示例性地，经过预设的初始模型的卷积处理后，将所得到的第一特征处理向量和第二特征处理向量进行连接，得到各传感器数据所采集的待训练数据集合对应的待处理特征向量。
[0159]
举例来说，针对所得到的第一特征处理向量z
sf
和第二特征处理向量z
mf
，将二者进行连接concat操作，得到z＝concat(z
sf
，z
mf
)，即为各传感器数据所采集的待训练数据集合对应的待处理特征向量。
[0160]
s412、基于初始模型对待处理特征向量进行识别，得到机电系统的识别出的故障类型。
[0161]
示例性地，在经过初始模型中两个超图神经网络分支的两层卷积层处理和拼接处理，得到待处理特征向量之后，基于预设的初始模型中的多层感知机，对该待训练特征向量进行计算处理和识别，得到机电系统所处的故障类型，比如，该机电系统当前无故障；或者该机电系统当前所处的故障类型为1类故障或2类故障。
[0162]
s413、根据实际的故障类型和识别出的故障类型，对初始模型的参数进行调整，得到预设的故障诊断模型。
[0163]
一个示例中，待训练数据集合对应有实际的故障类型。
[0164]
示例性地，在通过模型确定机电系统所处的故障类型后，根据待训练数据集合对应有实际的故障类型，与通过初始模型确定的故障类型进行对比，并进一步通过初始模型的损失函数，对该初始模型进行优化参数，直至该损失函数的值最小，表征该模型输出的故障类型与真实故障类型一致，即得到训练后的初始模型，即为预设的故障诊断模型。
[0165]
本实施例中，在上述实施例的基础上，一方面，针对机电系统的历史时间段内的多个传感器数据，根据每一待训练的传感器数据，构造单传感器融合超图及其关联矩阵，并根据多个待训练的传感器数据，构造多传感器融合超图及其关联矩阵；进而可以丰富诊断机电系统故障的输入信息，提高基于少量待训练的传感器数据进行故障确定的准确度；另一方面，将单传感器融合超图及其关联矩阵和多传感器融合超图及其关联矩阵，对初始模型进行分训练，得到预设的故障诊断模型；进而，利用该超图计算对模型进行训练，可以简化训练过程，提高了算法的效率，并利用该模型确定出机电系统的故障类型。
[0166]
图8为本技术实施例提供的一种基于多传感器融合超图神经网络的故障确定装置的结构示意图，如图8所示，该装置500包括：
[0167]
获取单元501，用于获取机电系统的待处理数据集合；其中，待处理数据集合中包括机电系统中每一传感器的数据子集，数据子集中包括传感器在每一时刻所采集的传感器数据。
[0168]
处理单元502，用于对待处理数据集合进行超图计算处理，得到第一超图的第一关
联矩阵和第二超图的第二关联矩阵；其中，第一超图表征数据子集中的传感器数据之间的关联关系，第一关联矩阵包括各数据子集中每一数据子集中的传感器数据之间的关联关系；第二超图表征待处理数据集合中的传感器数据之间的关联关系，第二关联矩阵包括待处理数据集合中的传感器数据之间的关联关系。
[0169]
确定单元503，用于根据待处理数据集合、第一关联矩阵以及第二关联矩阵，确定机电系统的故障类型。
[0170]
本实施例的装置，可以执行上述方法中的技术方案，其具体实现过程和技术原理相同，此处不再赘述。
[0171]
图9为本技术实施例提供的另一种基于多传感器融合超图神经网络的故障确定装置的结构示意图，如图9所示，该装置600包括：
[0172]
获取单元601，用于获取机电系统的待处理数据集合；其中，待处理数据集合中包括机电系统中每一传感器的数据子集，数据子集中包括传感器在每一时刻所采集的传感器数据。
[0173]
处理单元602，用于对待处理数据集合进行超图计算处理，得到第一超图的第一关联矩阵和第二超图的第二关联矩阵；其中，第一超图表征数据子集中的传感器数据之间的关联关系，第一关联矩阵包括各数据子集中每一数据子集中的传感器数据之间的关联关系；第二超图表征待处理数据集合中的传感器数据之间的关联关系，第二关联矩阵包括待处理数据集合中的传感器数据之间的关联关系。
[0174]
确定单元603，用于根据待处理数据集合、第一关联矩阵以及第二关联矩阵，确定机电系统的故障类型。
[0175]
一个示例中，确定单元603，包括：
[0176]
第一生成模块6031，用于将待处理数据集合和第一关联矩阵，输入至预设的故障诊断模型的第一超图神经网络分支中，得到第一特征向量；其中，第一特征向量表征待处理数据集合与第一关联矩阵的融合特征；预设的故障诊断模型为基于超图神经网络模型所得到的模型。
[0177]
第二生成模块6032，用于将待处理数据集合和第二关联矩阵，输入至预设的故障诊断模型的第二超图神经网络分支中，得到第二特征向量；其中，第二特征向量表征待处理数据集合与第二关联矩阵的融合特征。
[0178]
连接模块6033，用于将第一特征向量和第二特征向量进行连接，得到待处理特征向量。
[0179]
识别模块6034，用于基于预设的故障诊断模型对待处理特征向量进行识别，得到机电系统的故障类型。
[0180]
一个示例中，第一生成模块6031，包括：
[0181]
第一处理子模块，用于将待处理数据集合和第一关联矩阵，输入至预设的故障诊断模型的第一超图神经网络分支中，对待处理数据集合和第一关联矩阵进行卷积处理，得到第一中间特征；其中，第一中间特征表征待处理数据集合与第一关联矩阵的融合特征。
[0182]
第一生成子模块，用于对第一中间特征和第一关联矩阵进行卷积处理，得到第一特征向量。
[0183]
一个示例中，第二生成模块6032，包括：
[0184]
第二处理子模块，用于将待处理数据集合和第二关联矩阵，输入至预设的故障诊断模型的第二超图神经网络分支中，对待处理数据集合和第二关联矩阵进行卷积处理，得到第二中间特征；其中，第二中间特征表征待处理数据集合与第二关联矩阵的融合特征。
[0185]
第二生成子模块，用于对第二中间特征和第二关联矩阵进行卷积处理，得到第二特征向量。
[0186]
一个示例中，处理单元602，包括：
[0187]
第一确定模块6021，用于针对待处理数据集合中的每一传感器的数据子集，确定该传感器的数据子集中每一对传感器数据之间的第一距离信息；其中，第一距离信息表征一对传感器数据之间的数据差值。
[0188]
第一处理模块6022，用于针对待处理数据集合中的每一传感器的数据子集，依据该传感器的数据子集对应的各第一距离信息，基于k近邻法对该传感器的数据子集进行处理，得到该传感器的第三超图的第三关联矩阵；其中，第三超图表征传感器的至少一个第一特征信息；第一特征信息表征传感器在各时刻下的传感器数据之间的关联关系。
[0189]
第一拼接模块6023，用于对各传感器的第三超图的第三关联矩阵进行拼接，得到第一超图的第一关联矩阵；其中，第一关联矩阵包括每一传感器的第一特征信息。
[0190]
一个示例中，处理单元602，还包括：
[0191]
第二确定模块6024，用于根据待处理数据集合，确定待处理数据集合中归属于同一时刻的传感器数据，为该时刻下的超图节点；其中，超图节点包括机电系统中的各传感器下的归属于同一时刻的传感器数据。
[0192]
第二处理模块6025，用于针对每一对超图节点，根据每一对超图节点中一个超图节点的各传感器数据、以及每一对超图节点中另一个超图节点的各传感器数据，确定每一对超图节点之间的第二距离信息；其中，第二距离信息表征一对超图节点在预设空间上的距离；预设空间为以机电系统中的传感器的个数为维度所建立的多维空间。
[0193]
第二拼接模块6026，用于依据各第二距离信息，基于k近邻法对待处理数据集合进行处理，得到第二超图的第二关联矩阵；其中，第二超图表征超图节点的至少一个第二特征信息；第二特征信息表征超图节点之间的关联关系；第二关联矩阵包括各超图节点的各第二特征信息。
[0194]
一个示例中，第二距离信息为
[0195][0196]
其中，xi为第i时刻下对应在预设空间中的超图节点，xj为第j时刻下对应在预设空间中的超图节点，x
is
为第s个传感器在第i时刻下采集的传感器数据，x
js
为第s个传感器在第j时刻下采集的传感器数据，i为大于等于1的整数，j为大于等于1的整数，s为大于等于1的整数。
[0197]
一个示例中，在处理单元602用于对待处理数据集合进行超图计算处理，得到第一超图的第一关联矩阵和第二超图的第二关联矩阵之前，装置600还包括：
[0198]
变换单元604，用于对待处理数据集合中的传感器数据进行傅里叶变换处理，得到处理后的待处理数据集合。
[0199]
一个示例中，装置600还包括：
[0200]
告警单元605，用于根据机电系统的故障类型生成告警信息，并发出告警信息；其中，告警信息为以下的一种或多种：语音信息、文字信息、图像信息、视频信息、灯光信息。
[0201]
本实施例的装置，可以执行上述方法中的技术方案，其具体实现过程和技术原理相同，此处不再赘述。
[0202]
图10为本技术实施例提供的一种基于多传感器融合超图神经网络的模型训练装置的结构示意图，如图10所示，该装置700包括：
[0203]
获取单元701，用于获取机电系统的待训练数据集合；其中，待训练数据集合中包括机电系统中每一传感器的数据子集，数据子集中包括传感器在每一时刻所采集的传感器数据。
[0204]
处理单元702，用于对待训练数据集合进行超图计算处理，得到第一超图的第一关联矩阵和第二超图的第二关联矩阵；其中，第一超图表征数据子集中的传感器数据之间的关联关系，第一关联矩阵包括各数据子集中每一数据子集中的传感器数据之间的关联关系；第二超图表征待训练数据集合中的传感器数据之间的关联关系，第二关联矩阵包括待训练数据集合中的传感器数据之间的关联关系。
[0205]
训练单元703，用于根据待训练数据集合、第一关联矩阵以及第二关联矩阵，对初始模型进行训练，得到预设的故障诊断模型；其中，初始模型为基于超图神经网络模型所得到的模型。
[0206]
其中，预设的故障诊断模型用于基于多传感器融合超图神经网络的故障确定装置中的待处理数据集合进行识别得到机电系统的故障类型。
[0207]
本实施例的装置，可以执行上述方法中的技术方案，其具体实现过程和技术原理相同，此处不再赘述。
[0208]
图11为本技术实施例提供的另一种基于多传感器融合超图神经网络的模型训练装置的结构示意图，如图11所示，该装置800包括：
[0209]
获取单元801，用于获取机电系统的待训练数据集合；其中，待训练数据集合中包括机电系统中每一传感器的数据子集，数据子集中包括传感器在每一时刻所采集的传感器数据。
[0210]
处理单元802，用于对待训练数据集合进行超图计算处理，得到第一超图的第一关联矩阵和第二超图的第二关联矩阵；其中，第一超图表征数据子集中的传感器数据之间的关联关系，第一关联矩阵包括各数据子集中每一数据子集中的传感器数据之间的关联关系；第二超图表征待训练数据集合中的传感器数据之间的关联关系，第二关联矩阵包括待训练数据集合中的传感器数据之间的关联关系。
[0211]
训练单元803，用于根据待训练数据集合、第一关联矩阵以及第二关联矩阵，对初始模型进行训练，得到预设的故障诊断模型；其中，初始模型为基于超图神经网络模型所得到的模型。
[0212]
其中，预设的故障诊断模型用于基于多传感器融合超图神经网络的故障确定装置中的待处理数据集合进行识别得到机电系统的故障类型。
[0213]
一个示例中，待训练数据集合对应有实际的故障类型；训练单元803，包括：
[0214]
第一生成模块8031，用于将待训练数据集合和第一关联矩阵，输入至初始模型的
第一超图神经网络分支中，得到第一特征向量；其中，第一特征向量表征待训练数据集合与第一关联矩阵的融合特征。
[0215]
第二生成模块8032，用于将待训练数据集合和第二关联矩阵，输入至初始模型的第二超图神经网络分支中，得到第二特征向量；其中，第二特征向量表征待训练数据集合与第二关联矩阵的融合特征。
[0216]
连接模块8033，用于将第一特征向量和第二特征向量进行连接，得到待处理特征向量。
[0217]
识别模块8034，用于基于初始模型对待处理特征向量进行识别，得到机电系统的识别出的故障类型。
[0218]
调整模块8035，用于根据实际的故障类型和识别出的故障类型，对初始模型的参数进行调整，得到预设的故障诊断模型。
[0219]
一个示例中，第一生成模块8031，包括：
[0220]
第一处理子模块，用于将待训练数据集合和第一关联矩阵，输入至初始模型的第一超图神经网络分支中，对待训练数据集合和第一关联矩阵进行卷积处理，得到第一中间特征；其中，第一中间特征表征待训练数据集合与第一关联矩阵的融合特征。
[0221]
第一生成子模块，用于对第一中间特征和第一关联矩阵进行卷积处理，得到第一特征向量。
[0222]
一个示例中，第二生成模块8032，包括：
[0223]
第二处理子模块，用于将待训练数据集合和第二关联矩阵，输入至初始模型的第二超图神经网络分支中，对待训练数据集合和第二关联矩阵进行卷积处理，得到第二中间特征；其中，第二中间特征表征待训练数据集合与第二关联矩阵的融合特征。
[0224]
第二生成子模块，用于对第二中间特征和第二关联矩阵进行卷积处理，得到第二特征向量。
[0225]
一个示例中，处理单元802，包括：
[0226]
第一确定模块8021，用于针对待训练数据集合中的每一传感器的数据子集，确定该传感器的数据子集中每一对传感器数据之间的第一距离信息；其中，第一距离信息表征一对传感器数据之间的数据差值。
[0227]
第一处理模块8022，用于针对待训练数据集合中的每一传感器的数据子集，依据该传感器的数据子集对应的各第一距离信息，基于k近邻法对该传感器的数据子集进行处理，得到该传感器的第三超图的第三关联矩阵；其中，第三超图表征传感器的至少一个第一特征信息；第一特征信息表征传感器在各时刻下的传感器数据之间的关联关系。
[0228]
第一拼接模块8023，用于对各传感器的第三超图的第三关联矩阵进行拼接，得到第一超图的第一关联矩阵；其中，第一关联矩阵包括每一传感器的第一特征信息。
[0229]
一个示例中，处理单元802，包括：
[0230]
第二确定模块8024，用于根据待训练数据集合，确定待训练数据集合中归属于同一时刻的传感器数据，为该时刻下的超图节点；其中，超图节点包括机电系统中的各传感器下的归属于同一时刻的传感器数据。
[0231]
第二处理模块8025，用于针对每一对超图节点，根据每一对超图节点中一个超图节点的各传感器数据、以及每一对超图节点中另一个超图节点的各传感器数据，确定每一
对超图节点之间的第二距离信息；其中，第二距离信息表征一对超图节点在预设空间上的距离；预设空间为以机电系统中的传感器的个数为维度所建立的多维空间。
[0232]
第二拼接模块8026，用于依据各第二距离信息，基于k近邻法对待训练数据集合进行处理，得到第二超图的第二关联矩阵；其中，第二超图表征超图节点的至少一个第二特征信息；第二特征信息表征超图节点之间的关联关系；第二关联矩阵包括各超图节点的各第二特征信息。
[0233]
一个示例中，第二距离信息为
[0234][0235]
其中，nk为第k时刻下对应在预设空间中的超图节点，nq为第q时刻下对应在预设空间中的超图节点，nk为第s个传感器在第k时刻采集的传感器数据，nq为第t个传感器在第q时刻下采集的传感器数据，k为大于等于1的整数，q为大于等于1的整数，t为大于等于1的整数。
[0236]
一个示例中，在处理单元802用于对待训练数据集合进行超图计算处理，得到第一超图的第一关联矩阵和第二超图的第二关联矩阵之前，装置800还包括：
[0237]
变换单元804，用于对待训练数据集合中的传感器数据进行傅里叶变换处理，得到处理后的待训练数据集合。
[0238]
本实施例的装置，可以执行上述方法中的技术方案，其具体实现过程和技术原理相同，此处不再赘述。
[0239]
图12为本技术实施例提供的一种电子设备的结构示意图，如图12所示，电子设备900包括：存储器901，处理器902；存储器901；用于存储处理器902可执行指令的存储器。
[0240]
其中，处理器902被配置为执行如上述实施例提供的方法。
[0241]
终端设备还包括接收器903和发送器904。接收器903用于接收其他设备发送的指令和数据，发送器904用于向外部设备发送指令和数据。
[0242]
图13是根据一示例性实施例示出的一种电子设备的框图，该设备可以是移动电话，计算机，数字广播终端，消息收发设备，游戏控制台，平板设备，医疗设备，健身设备，个人数字助理等。
[0243]
装置1000可以包括以下一个或多个组件：处理组件1002，存储器1004，电源组件1006，多媒体组件1008，音频组件1010，输入/输出(i/o)接口1012，传感器组件1014，以及通信组件1016。
[0244]
处理组件1002通常控制装置1000的整体操作，诸如与显示，电话呼叫，数据通信，相机操作和记录操作相关联的操作。处理组件1002可以包括一个或多个处理器1020来执行指令，以完成上述的方法的全部或部分步骤。此外，处理组件1002可以包括一个或多个模块，便于处理组件1002和其他组件之间的交互。例如，处理组件1002可以包括多媒体模块，以方便多媒体组件1008和处理组件1002之间的交互。
[0245]
存储器1004被配置为存储各种类型的数据以支持在装置1000的操作。这些数据的示例包括用于在装置1000上操作的任何应用程序或方法的指令，联系人数据，电话簿数据，消息，图片，视频等。存储器1004可以由任何类型的易失性或非易失性存储设备或者它们的
组合实现，如静态随机存取存储器(sram)，电可擦除可编程只读存储器(eeprom)，可擦除可编程只读存储器(eprom)，可编程只读存储器(prom)，只读存储器(rom)，磁存储器，快闪存储器，磁盘或光盘。
[0246]
电源组件1006为装置1000的各种组件提供电力。电源组件1006可以包括电源管理系统，一个或多个电源，及其他与为装置1000生成、管理和分配电力相关联的组件。
[0247]
多媒体组件1008包括在装置1000和用户之间的提供一个输出接口的屏幕。在一些实施例中，屏幕可以包括液晶显示器(lcd)和触摸面板(tp)。如果屏幕包括触摸面板，屏幕可以被实现为触摸屏，以接收来自用户的输入信号。触摸面板包括一个或多个触摸传感器以感测触摸、滑动和触摸面板上的手势。触摸传感器可以不仅感测触摸或滑动动作的边界，而且还检测与触摸或滑动操作相关的持续时间和压力。在一些实施例中，多媒体组件1008包括一个前置摄像头和/或后置摄像头。当装置1000处于操作模式，如拍摄模式或视频模式时，前置摄像头和/或后置摄像头可以接收外部的多媒体数据。每个前置摄像头和后置摄像头可以是一个固定的光学透镜系统或具有焦距和光学变焦能力。
[0248]
音频组件1010被配置为输出和/或输入音频信号。例如，音频组件1010包括一个麦克风(mic)，当装置1000处于操作模式，如呼叫模式、记录模式和语音识别模式时，麦克风被配置为接收外部音频信号。所接收的音频信号可以被进一步存储在存储器1004或经由通信组件1016发送。在一些实施例中，音频组件1010还包括一个扬声器，用于输出音频信号。
[0249]
i/o接口1012为处理组件1002和外围接口模块之间提供接口，上述外围接口模块可以是键盘，点击轮，按钮等。这些按钮可包括但不限于：主页按钮、音量按钮、启动按钮和锁定按钮。
[0250]
传感器组件1014包括一个或多个传感器，用于为装置1000提供各个方面的状态评估。例如，传感器组件1014可以检测到装置1000的打开/关闭状态，组件的相对定位，例如组件为装置1000的显示器和小键盘，传感器组件1014还可以检测装置1000或装置1000一个组件的位置改变，用户与装置1000接触的存在或不存在，装置1000方位或加速/减速和装置1000的温度变化。传感器组件1014可以包括接近传感器，被配置用来在没有任何的物理接触时检测附近物体的存在。传感器组件1014还可以包括光传感器，如cmos或ccd图像传感器，用于在成像应用中使用。在一些实施例中，该传感器组件1014还可以包括加速度传感器，陀螺仪传感器，磁传感器，压力传感器或温度传感器。
[0251]
通信组件1016被配置为便于装置1000和其他设备之间有线或无线方式的通信。装置1000可以接入基于通信标准的无线网络，如wifi，2g或3g，或它们的组合。在一个示例性实施例中，通信组件1016经由广播信道接收来自外部广播管理系统的广播信号或广播相关信息。在一个示例性实施例中，通信组件1016还包括近场通信(nfc)模块，以促进短程通信。例如，在nfc模块可基于射频识别(rfid)技术，红外数据协会(irda)技术，超宽带(uwb)技术，蓝牙(bt)技术和其他技术来实现。
[0252]
在示例性实施例中，装置1000可以被一个或多个应用专用集成电路(asic)、数字信号处理器(dsp)、数字信号处理设备(dspd)、可编程逻辑器件(pld)、现场可编程门阵列(fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述方法。
[0253]
在示例性实施例中，还提供了一种包括指令的非临时性计算机可读存储介质，例如包括指令的存储器1004，上述指令可由装置1000的处理器1020执行以完成上述方法。例
如，非临时性计算机可读存储介质可以是rom、随机存取存储器(ram)、cd-rom、磁带、软盘和光数据存储设备等。
[0254]
本技术实施例还提供了一种非临时性计算机可读存储介质，当该存储介质中的指令由电子设备的处理器执行时，使得电子设备能够执行上述方法。
[0255]
本技术实施例还提供了一种计算机程序产品，计算机程序产品包括：计算机程序，计算机程序存储在可读存储介质中，电子设备的至少一个处理器可以从可读存储介质读取计算机程序，至少一个处理器执行计算机程序使得电子设备执行上述任一实施例提供的方案。
[0256]
本领域技术人员在考虑说明书及实践这里公开的发明后，将容易想到本技术的其它实施方案。本技术旨在涵盖本技术的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本技术的一般性原理并包括本技术未公开的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本技术的真正范围和精神由下面的权利要求书指出。
[0257]
应当理解的是，本技术并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本技术的范围仅由所附的权利要求书来限制。

技术特征：
1.一种基于多传感器融合超图神经网络的故障确定方法，其特征在于，所述方法包括：获取机电系统的待处理数据集合；其中，所述待处理数据集合中包括机电系统中每一传感器的数据子集，所述数据子集中包括传感器在每一时刻所采集的传感器数据；对所述待处理数据集合进行超图计算处理，得到第一超图的第一关联矩阵和第二超图的第二关联矩阵；其中，所述第一超图表征数据子集中的传感器数据之间的关联关系，所述第一关联矩阵包括各数据子集中每一数据子集中的传感器数据之间的关联关系；所述第二超图表征待处理数据集合中的传感器数据之间的关联关系，所述第二关联矩阵包括待处理数据集合中的传感器数据之间的关联关系；根据所述待处理数据集合、所述第一关联矩阵以及所述第二关联矩阵，确定所述机电系统的故障类型。2.根据权利要求1所述的方法，其特征在于，根据所述待处理数据集合、所述第一关联矩阵以及所述第二关联矩阵，确定所述机电系统的故障类型，包括：将所述待处理数据集合和所述第一关联矩阵，输入至预设的故障诊断模型的第一超图神经网络分支中，得到第一特征向量；其中，所述第一特征向量表征所述待处理数据集合与所述第一关联矩阵的融合特征；所述预设的故障诊断模型为基于超图神经网络模型所得到的模型；将所述待处理数据集合和所述第二关联矩阵，输入至预设的故障诊断模型的第二超图神经网络分支中，得到第二特征向量；其中，所述第二特征向量表征所述待处理数据集合与所述第二关联矩阵的融合特征；将所述第一特征向量和所述第二特征向量进行连接，得到待处理特征向量；基于所述预设的故障诊断模型对待处理特征向量进行识别，得到所述机电系统的故障类型。3.根据权利要求2所述的方法，其特征在于，将所述待处理数据集合和所述第一关联矩阵，输入至预设的故障诊断模型的第一超图神经网络分支中，得到第一特征向量，包括：将所述待处理数据集合和所述第一关联矩阵，输入至预设的故障诊断模型的第一超图神经网络分支中，对所述待处理数据集合和所述第一关联矩阵进行卷积处理，得到第一中间特征；其中，所述第一中间特征表征所述待处理数据集合与所述第一关联矩阵的融合特征；对所述第一中间特征和所述第一关联矩阵进行卷积处理，得到所述第一特征向量。4.根据权利要求2所述的方法，其特征在于，将所述待处理数据集合和所述第二关联矩阵，输入至预设的故障诊断模型的第二超图神经网络分支中，得到第二特征向量，包括：将所述待处理数据集合和所述第二关联矩阵，输入至预设的故障诊断模型的第二超图神经网络分支中，对所述待处理数据集合和所述第二关联矩阵进行卷积处理，得到第二中间特征；其中，所述第二中间特征表征所述待处理数据集合与所述第二关联矩阵的融合特征；对所述第二中间特征和所述第二关联矩阵进行卷积处理，得到所述第二特征向量。5.根据权利要求1所述的方法，其特征在于，对所述待处理数据集合进行超图计算处理，得到第一超图的第一关联矩阵，包括：针对所述待处理数据集合中的每一传感器的数据子集，确定该传感器的数据子集中每
一对传感器数据之间的第一距离信息；其中，所述第一距离信息表征一对传感器数据之间的数据差值；针对所述待处理数据集合中的每一传感器的数据子集，依据该传感器的数据子集对应的各第一距离信息，基于k近邻法对该传感器的数据子集进行处理，得到该传感器的第三超图的第三关联矩阵；其中，所述第三超图表征传感器的至少一个第一特征信息；所述第一特征信息表征传感器在各时刻下的传感器数据之间的关联关系；对各传感器的第三超图的第三关联矩阵进行拼接，得到所述第一超图的第一关联矩阵；其中，所述第一关联矩阵包括每一传感器的第一特征信息。6.根据权利要求1所述的方法，其特征在于，对所述待处理数据集合进行超图计算处理，得到第二超图的第二关联矩阵，包括：根据所述待处理数据集合，确定所述待处理数据集合中归属于同一时刻的传感器数据，为该时刻下的超图节点；其中，所述超图节点包括机电系统中的各传感器下的归属于同一时刻的传感器数据；针对每一对超图节点，根据每一对超图节点中一个超图节点的各传感器数据、以及每一对超图节点中另一个超图节点的各传感器数据，确定每一对超图节点之间的第二距离信息；其中，所述第二距离信息表征一对超图节点在预设空间上的距离；所述预设空间为以所述机电系统中的传感器的个数为维度所建立的多维空间；依据各所述第二距离信息，基于k近邻法对所述待处理数据集合进行处理，得到所述第二超图的第二关联矩阵；其中，所述第二超图表征超图节点的至少一个第二特征信息；所述第二特征信息表征超图节点之间的关联关系；所述第二关联矩阵包括各超图节点的各第二特征信息。7.根据权利要求6所述的方法，其特征在于，所述第二距离信息为其中，x
i
为第i时刻下对应在预设空间中的超图节点，x
j
为第j时刻下对应在预设空间中的超图节点，x
is
为第s个传感器在第i时刻下采集的传感器数据，x
js
为第s个传感器在第j时刻下采集的传感器数据，i为大于等于1的整数，j为大于等于1的整数，s为大于等于1的整数。8.根据权利要求1-7中任一项所述的方法，其特征在于，对所述待处理数据集合进行超图计算处理，得到第一超图的第一关联矩阵和第二超图的第二关联矩阵之前，还包括：对所述待处理数据集合中的传感器数据进行傅里叶变换处理，得到处理后的待处理数据集合。9.根据权利要求1-7中任一项所述的方法，其特征在于，所述方法还包括：根据所述机电系统的故障类型生成告警信息，并发出所述告警信息；其中，所述告警信息为以下的一种或多种：语音信息、文字信息、图像信息、视频信息、灯光信息。10.一种基于多传感器融合超图神经网络的模型训练方法，其特征在于，所述方法包括：获取机电系统的待训练数据集合；其中，所述待训练数据集合中包括机电系统中每一
传感器的数据子集，所述数据子集中包括传感器在每一时刻所采集的传感器数据；对所述待训练数据集合进行超图计算处理，得到第一超图的第一关联矩阵和第二超图的第二关联矩阵；其中，所述第一超图表征数据子集中的传感器数据之间的关联关系，所述第一关联矩阵包括各数据子集中每一数据子集中的传感器数据之间的关联关系；所述第二超图表征待训练数据集合中的传感器数据之间的关联关系，所述第二关联矩阵包括待训练数据集合中的传感器数据之间的关联关系；根据所述待训练数据集合、所述第一关联矩阵以及所述第二关联矩阵，对初始模型进行训练，得到预设的故障诊断模型；其中，所述初始模型为基于超图神经网络模型所得到的模型；其中，所述预设的故障诊断模型用于对权利要求1-9中任一项所述的待处理数据集合进行识别得到机电系统的故障类型。11.根据权利要求10所述的方法，其特征在于，所述待训练数据集合对应有实际的故障类型；根据所述待训练数据集合、所述第一关联矩阵以及所述第二关联矩阵，对初始模型进行训练，得到预设的故障诊断模型，包括：将所述待训练数据集合和所述第一关联矩阵，输入至所述初始模型的第一超图神经网络分支中，得到第一特征向量；其中，所述第一特征向量表征所述待训练数据集合与所述第一关联矩阵的融合特征；将所述待训练数据集合和所述第二关联矩阵，输入至所述初始模型的第二超图神经网络分支中，得到第二特征向量；其中，所述第二特征向量表征所述待训练数据集合与所述第二关联矩阵的融合特征；将所述第一特征向量和所述第二特征向量进行连接，得到待处理特征向量；基于所述初始模型对待处理特征向量进行识别，得到所述机电系统的识别出的故障类型；根据所述实际的故障类型和所述识别出的故障类型，对所述初始模型的参数进行调整，得到所述预设的故障诊断模型。12.根据权利要求11所述的方法，其特征在于，将所述待训练数据集合和所述第一关联矩阵，输入至所述初始模型的第一超图神经网络分支中，得到第一特征向量，包括：将所述待训练数据集合和所述第一关联矩阵，输入至所述初始模型的第一超图神经网络分支中，对所述待训练数据集合和所述第一关联矩阵进行卷积处理，得到第一中间特征；其中，所述第一中间特征表征所述待训练数据集合与所述第一关联矩阵的融合特征；对所述第一中间特征和所述第一关联矩阵进行卷积处理，得到所述第一特征向量。13.根据权利要求11所述的方法，其特征在于，将所述待训练数据集合和所述第二关联矩阵，输入至所述初始模型的第二超图神经网络分支中，得到第二特征向量，包括：将所述待训练数据集合和所述第二关联矩阵，输入至所述初始模型的第二超图神经网络分支中，对所述待训练数据集合和所述第二关联矩阵进行卷积处理，得到第二中间特征；其中，所述第二中间特征表征所述待训练数据集合与所述第二关联矩阵的融合特征；对所述第二中间特征和所述第二关联矩阵进行卷积处理，得到所述第二特征向量。14.根据权利要求10所述的方法，其特征在于，对所述待训练数据集合进行超图计算处理，得到第一超图的第一关联矩阵，包括：
针对所述待训练数据集合中的每一传感器的数据子集，确定该传感器的数据子集中每一对传感器数据之间的第一距离信息；其中，所述第一距离信息表征一对传感器数据之间的数据差值；针对所述待训练数据集合中的每一传感器的数据子集，依据该传感器的数据子集对应的各第一距离信息，基于k近邻法对该传感器的数据子集进行处理，得到该传感器的第三超图的第三关联矩阵；其中，所述第三超图表征传感器的至少一个第一特征信息；所述第一特征信息表征传感器在各时刻下的传感器数据之间的关联关系；对各传感器的第三超图的第三关联矩阵进行拼接，得到所述第一超图的第一关联矩阵；其中，所述第一关联矩阵包括每一传感器的第一特征信息。15.根据权利要求10所述的方法，其特征在于，对所述待训练数据集合进行超图计算处理，得到第一超图的第二关联矩阵，包括：根据所述待训练数据集合，确定所述待训练数据集合中归属于同一时刻的传感器数据，为该时刻下的超图节点；其中，所述超图节点包括机电系统中的各传感器下的归属于同一时刻的传感器数据；针对每一对超图节点，根据每一对超图节点中一个超图节点的各传感器数据、以及每一对超图节点中另一个超图节点的各传感器数据，确定每一对超图节点之间的第二距离信息；其中，所述第二距离信息表征一对超图节点在预设空间上的距离；所述预设空间为以所述机电系统中的传感器的个数为维度所建立的多维空间；依据各所述第二距离信息，基于k近邻法对所述待训练数据集合进行处理，得到所述第二超图的第二关联矩阵；其中，所述第二超图表征超图节点的至少一个第二特征信息；所述第二特征信息表征超图节点之间的关联关系；所述第二关联矩阵包括各超图节点的各第二特征信息。16.根据权利要求15所述的方法，其特征在于，所述第二距离信息为其中，n
k
为第k时刻下对应在预设空间中的超图节点，n
q
为第q时刻下对应在预设空间中的超图节点，n
k
为第s个传感器在第k时刻采集的传感器数据，n
q
为第t个传感器在第q时刻下采集的传感器数据，k为大于等于1的整数，q为大于等于1的整数，t为大于等于1的整数。17.根据权利要求10-16中任一项所述的方法，其特征在于，在对所述待训练数据集合进行超图计算处理，得到第一超图的第一关联矩阵和第二超图的第二关联矩阵之前，还包括：对所述待训练数据集合中的传感器数据进行傅里叶变换处理，得到处理后的待训练数据集合。18.一种基于多传感器融合超图神经网络的故障确定装置，其特征在于，所述装置包括：获取单元，用于获取机电系统的待处理数据集合；其中，所述待处理数据集合中包括机电系统中每一传感器的数据子集，所述数据子集中包括传感器在每一时刻所采集的传感器数据；
处理单元，用于对所述待处理数据集合进行超图计算处理，得到第一超图的第一关联矩阵和第二超图的第二关联矩阵；其中，所述第一超图表征数据子集中的传感器数据之间的关联关系，所述第一关联矩阵包括各数据子集中每一数据子集中的传感器数据之间的关联关系；所述第二超图表征待处理数据集合中的传感器数据之间的关联关系，所述第二关联矩阵包括待处理数据集合中的传感器数据之间的关联关系；确定单元，用于根据所述待处理数据集合、所述第一关联矩阵以及所述第二关联矩阵，确定所述机电系统的故障类型。19.一种基于多传感器融合超图神经网络的模型训练装置，其特征在于，所述装置包括：获取单元，用于获取机电系统的待训练数据集合；其中，所述待训练数据集合中包括机电系统中每一传感器的数据子集，所述数据子集中包括传感器在每一时刻所采集的传感器数据；处理单元，用于对所述待训练数据集合进行超图计算处理，得到第一超图的第一关联矩阵和第二超图的第二关联矩阵；其中，所述第一超图表征数据子集中的传感器数据之间的关联关系，所述第一关联矩阵包括各数据子集中每一数据子集中的传感器数据之间的关联关系；所述第二超图表征待训练数据集合中的传感器数据之间的关联关系，所述第二关联矩阵包括待训练数据集合中的传感器数据之间的关联关系；训练单元，用于根据所述待训练数据集合、所述第一关联矩阵以及所述第二关联矩阵，对初始模型进行训练，得到预设的故障诊断模型；其中，所述初始模型为基于超图神经网络模型所得到的模型；其中，所述预设的故障诊断模型用于对权利要求18中所述的待处理数据集合进行识别得到机电系统的故障类型。20.一种电子设备，包括：处理器，以及与所述处理器通信连接的存储器；所述存储器存储计算机执行指令；所述处理器执行所述存储器存储的计算机执行指令，以实现如权利要求1-17中任一项所述的方法。21.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质中存储有计算机执行指令，所述计算机执行指令被处理器执行时用于实现如权利要求1-17中任一项所述的方法。22.一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现权利要求1-17中任一项所述的方法。

技术总结
本申请提供一种基于多传感器融合超图神经网络的故障确定方法和设备。该方法包括：获取机电系统的待处理数据集合；对待处理数据集合进行超图计算处理，得到第一超图的第一关联矩阵和第二超图的第二关联矩阵；根据待处理数据集合、第一关联矩阵以及第二关联矩阵，确定机电系统的故障类型。本申请的方法，提高了基于少量传感器数据进行故障确定的准确度。于少量传感器数据进行故障确定的准确度。于少量传感器数据进行故障确定的准确度。


技术研发人员：闫循石 时振刚 莫逆 高跃
受保护的技术使用者：清华大学
技术研发日：2023.06.02
技术公布日：2023/9/5