基于深度学习的桥梁管养知识图谱自动构建方法

1.本法发明属于桥梁管理和养护技术领域，具体涉及基于深度学习的桥梁管养知识图谱自动构建方法。


背景技术：

2.桥梁的大量常规和结构检测报告内蕴含了与结构管养相关的重要信息，但传统的桥梁检测信息录入耗时耗力，存储冗余，检索繁复，可视化程度和利用效率低。知识图谱是一种结构化的语义知识库，用于描述真实世界中的概念及其相互关系，其可以包含专业领域的海量知识，可以同时实现存储、查询、处理、可视化等多重数据任务。这使得依据检测报告和行业规范等文本信息构建桥梁管养知识图谱，成为解决传统检测桥梁运维管理工作效率低和信息利用率差等问题的有效手段。同时，桥梁管养知识图谱也可以实现充分利用和挖掘检测报告中蕴含的丰富信息，提供更为全面可靠的结构状态信息。目前桥梁管养知识图谱的构建方法单一，且限制于桥梁专业性，知识图谱的建立过程需行业资深专家参与。此外，桥梁文本信息繁复需手工进行实体和关系的提取、消融、对齐，这些问题都导致创建桥梁管养知识图谱的组织难度大、构建成本高、自动化程度低。如何利用深度学习技术，自动、快速、准确、可靠地建立桥梁管养知识图谱是亟待解决的一种技术问题。


技术实现要素：

3.本发明的目的在于：解决桥梁管理知识图谱自动构建的相关问题，包括桥梁管养领域标注数据库的建立，桥梁管养领域实体自动提取模型的建立，桥梁管养领域关系自动识别模型的建立，桥梁管养知识图谱可视化等技术问题。实现依据桥梁管养文本数据，全自动构建桥梁管养知识图谱。
4.为实现上述目的，本发明提供如下技术方案：基于深度学习的桥梁管养知识图谱自动构建方法，包括如下步骤：
5.s1、对桥梁管养领域文本进行预处理，并建立桥梁管养领域文本标注数据库；
6.s2、采用bert+bilstm+crf模型构建桥梁领域实体自动提取模型：以清洗和规范化处后理的文本序列为输入，利用中文迁移学习预训练模型bert，获得含有语义特征的序列向量；
7.利用bilstm模型捕捉桥梁管养领域文本上下文信息的双向语义依赖；利用条件随机场crf通过邻近实体标签的关系获得一个最优的预测序列，识别桥梁管养领域实体；
8.s3、建立桥梁管养领域关系自动识别模型：建立桥梁领域实体关系目录，抽取步骤s2得到的桥梁管养领域实体的实体对，利用两阶段关系识别算法识别该实体对中实体之间的匹配关系；
9.s4、根据步骤s3获得的实体对中实体之间的匹配关系建立实体-关系-实体三元组，然后对全部的实体-关系-实体三元组中的多个实体进行对齐消融，得到桥梁管养知识图谱。
10.进一步地前述的步骤s1包括以下子步骤：
11.s101、对桥梁管养领域文本进行清洗和规范化处理；
12.s102、根据桥梁管养领域实体目录，按照三位序列标注法，对桥梁管养领域文本中的实体开始部分，中间部分和非实体部分进行标注。
13.进一步地前述的步骤s101包括以下子步骤：
14.s101-1、采用jieba工具库和自定义字典对桥梁管养领域文本进行分词；
15.s101-2、对文本信息中的英文表述转化为中文表述，同时清除标点符号；
16.进一步地前述的步骤s102包括以下子步骤：
17.s102-1、建立桥梁管养领域实体目录：定义桥梁管养领域知识图谱实体，依据定义的实体，对文本信息中的实体进行提取，创建桥梁管养领域实体目录e：
[0018][0019]
其中，ei为定义实体，i＝{1,2,
…
,n}，n为实体个数；
[0020]
s102-2、根据桥梁管养领域实体目录e，采用相同字段自动标注和专家校正相结合的实体标注方法，对桥梁管养相关文本实体开始、结尾和非实体部分进行标注，获得桥梁管养领域标注数据库。
[0021]
进一步地前述的步骤s2包括以下子步骤：
[0022]
s201、利用中文迁移学习预训练模型bert，对经过s101-1分词和s101-2清洗的文本序列的部分词进行mask，再为序列的开头添加一个特殊标记[cls]，句子间用标记[sep]分隔；将序列向量输入到双向transformer编码器进行特征提取；得到含有语义特征的序列向量，所述transformer编码器结构，如下式：
[0023][0024]
其中，q,k,v是字向量矩阵，dk是嵌入维度；
[0025]
s202、利用多头注意力机制，通过多个不同的线性变换对q,k,v进行投影，最后将不同的attention结果拼接起来，如下公式(3)、(4)：
[0026]
multihead(q,k,v)＝concat(head1,
…
,headn)woꢀꢀꢀꢀ
(3)
[0027]
headi＝attention(qw
iq
,kw
ik
,vw
iv
)
ꢀꢀꢀ
(4)
[0028]
其中，w是权重矩阵，模型可以得到不同空间下的位置信息；
[0029]
s203、transformer编码器在数据预处理前加入位置编码，并与输入向量数据进行求和，得到句子中每个字的相对位置，transformer编码器的全链接前馈网络包括两层全连接网络：第一层的激活函数是relu，第二层是一个线性激活函数；全连接前馈网络ffn表示为下式：
[0030]
ffn(z)＝max(0，zw1+b1)w2+b2ꢀꢀꢀꢀ
(5)其中，多头注意力机制的输出z，w1和b1分别是第一层全连接网络的权重和偏置向量，w2和b2分别是第二层全连接网络的权重和偏置向量；
[0031]
s204、bilstm用于捕捉对桥梁管养领域文本上下文信息的双向语义依赖；lstm包含遗忘门、输入门、输出门以及记忆cell结构；输入门与遗忘门两者对于实体识别的无用信息进行筛除,将有用信息传入到下一时刻；整个结构的输出，由记忆cell的输出和输出门的
输出相乘得到的；序列输入lstm模型，输出为：
[0032][0033]
其中，σ是激活函数，w是权重矩阵，b是偏置向量，z
t
是待增加的内容，c
t
是t时刻的更新状态，i
t
,f
t
,o
t
分别是输入门、遗忘门及输出门的输出结果，h
t
是整个lstm单元t时刻的输出；bilstm对每个词序列分别采取前向和后向lstm，然后将同一个时刻的输出进行合并；对于每一个时刻,对应着前向与后向的信息，实际输出如下式：
[0034][0035]
其中，为lstm前向输出，为lstm反向输出；
[0036]
s205、按如下公式计算bilstm的输出得分：
[0037]
p＝∑p
t
[0038]
其中，p是bilstm的输出得分矩阵，p的大小为n
×
k，其中k为词的个数，n为实体个数，p
ij
表示第i个词的第j个实体的分数；
[0039]
s206、条件随机场crf通过邻近实体标签的关系获得一个最优的预测序列，用于弥补bilstm仅善于处理长距离的文本信息，但无法处理相邻实体标签之间的依赖关系的缺点；对于桥梁管养文本x＝(x1,x2,
…
,xn)和预测的桥梁管养文本y＝(y1,y2,
…
,yn)而言，其得分数函数如下式：
[0040][0041]
其中，a表示转移分数矩阵，a
ij
代表实体i转移为实体j的分数；
[0042]
按如下公式获得预测桥梁管养文本y产生的概率：
[0043][0044]
对公式取对数得到预测文本序列的似然函数：
[0045][0046]
式中,y表示预测的标注文本序列，yx表示所有可能的标注文本序列。解码后得到最大分数的输出序列：
[0047][0048]
其中，y*是经过模型识别后桥梁管养领域实体。
[0049]
进一步地前述的步骤s3包括如下子步骤：
[0050]
s301、根据桥梁管养领域实体关系，建立桥梁管养领域实体关系目录r：
[0051][0052]
其中，ri为管养领域实体关系，i＝{1,2,
…
,m}，管养领域实体关系ri作为定义关系组，集成于知识图谱自动构建模型中。
[0053]
s302、利用两阶段关系识别算法，从步骤s2得到的桥梁管养领域实体中抽取实体对(ei，ej)，并识别实体ei和ej间的关系。
[0054]
进一步地前述的步骤s302包括以下子步骤：
[0055]
s302-1、第一阶段：针对中间不存在文本信息的桥梁管养领域实体ei和ej间的关系进行识别，依据已提取实体和预设关系目录r，将全部的定义实体e和预设关系r进行匹配，建立实体-关系-实体元组t：
[0056]
ti＝(ei→ri
→ei+1
)
ꢀꢀꢀꢀ
(13)
[0057]
其中，ti为e
i-r
i-e
i+1
元组，ei为第i个实体，ri为第i个关系，e
i+1
为第i+1个实体；将经过s2步骤后的实体集合中的实体ei和ej与全部元组t进行匹配，元组内的实体间为有向关系，采用双向匹配算法获得实体间关系ri，如下式：
[0058]ri
＝match[ti,(ei,ej)]
ꢀꢀꢀ
(14)
[0059]
s302-2、第二阶段：针对一组相邻且中间存在文本信息的桥梁管养领域实体和间的关系进行识别，首先对实体和间的非实体文本进行最大池化操作，获得文本特征向量如果两个识别的实体间不存在文本，将设置为0，获得关系的向量表示，每一个实体对得到两个关系表示，如下式：
[0060][0061][0062]
其中，和为已识别的实体特征向量；
[0063]
将和这两个关系输入进一个全连接网络，再使用sigmoid函数进行激活，该过程表示如下式：
[0064][0065]
其中，对应桥梁管养领域关系目录r中不同关系的概率，概率值最大的位置代表的实体关系即为该组实体匹配的关系ri。
[0066]
进一步地前述的步骤s4包括以下子步骤：
[0067]
s401、建立实体-关系-实体三元组：将自动识别的实体(ei,ej)与自动匹配的关系ri建立有向关系，形成桥梁管养知识图谱的基础单元——实体-关系-实体三元组(ei,ri,ej)；s402、补全桥梁管养知识图谱：采用余弦相似度，将全部的实体进行对齐消融，如下式：
[0068]
[0069]
其中，ei和ek分别是(ei,ri,e
i+1
)和(ek,rk,e
k+1
)的两个不同三元组中的实体；
[0070]
s403、根据实体ei和ek间的余弦值cos(θ)，并结合预设值，对ei,ek实体进行消融对齐成为一个实体ei，使两个三元组(ei,ri,e
i+1
)和(ek,rk,e
k+1
)融合形成新的图谱结构(e
i+1
,ri,ei,rk,e
k+1
)，进行迭代循环，将全部三元组进行对齐融合，构建统一完整的桥梁管养图谱；
[0071]
s404、桥梁管养知识图谱可视化：使用全部实体-关系-实体三元组，利用neo4j图数据库进行桥梁管养知识图谱可视化。
[0072]
进一步地前述的步骤s301中，所述ri为管养领域实体关系，i＝{1,2,
…
,m}，m＝6；具体实体关系定义为：r
1-构件所在位置、r
2-构件产生的病害、r
3-病害所在位置、r
4-病害性状类别、r
5-病害性状数值、r
6-病害建议措施。
[0073]
进一步地前述的步骤s102中：所述ei为定义实体，i＝{1,2,
…
,n}，n＝8，具体实体目录定义为：e
1-桥梁构件、e
2-桥梁构件部位、e
3-病害类别、e
4-病害位置、e
5-病害数量、e
6-病害性状类别、e
7-病害性状数值、e
8-维护措施。
[0074]
相较于现有技术，本发明的有益效果如下：本发明利用深度学习技术，为桥梁管理养护人员提供了自动、快速、准确、可靠的桥梁管养知识图谱的自动构建技术，有效提升了桥梁管养知识图谱构建效率，解决了桥梁管养知识图谱组织难度大、构建成本高、自动化程度低的问题。
附图说明
[0075]
图1是本发明基于深度学习的桥梁管养知识图谱自动构建方法流程图。
[0076]
图2是桥梁管养领域实体自动提取模型图。
[0077]
图3是桥梁管养领域关系自动识别模型图。
[0078]
图4是桥梁管养知识图谱自动构建模型图。
[0079]
图5是桥梁管养知识图谱可视化示例图。
具体实施方式
[0080]
为了更了解本发明的技术内容，特举具体实施例并配合所附图式说明如下。
[0081]
在本发明中参照附图来描述本发明的各方面，附图中示出了许多说明性实施例。本发明的实施例不局限于附图所述。应当理解，本发明通过上面介绍的多种构思和实施例，以及下面详细描述的构思和实施方式中的任意一种来实现，这是因为本发明所公开的构思和实施例并不限于任何实施方式。另外，本发明公开的一些方面可以单独使用，或者与本发明公开的其他方面的任何适当组合来使用。
[0082]
如图1所示，本发明的基于深度学习的桥梁管养知识图谱自动构建方法，包括如下步骤：
[0083]
s1、对桥梁管养领域文本进行预处理，并建立桥梁管养领域文本标注数据库；
[0084]
s2、采用bert+bilstm+crf模型构建桥梁领域实体自动提取模型：以清洗和规范化处后理的文本序列为输入，利用中文迁移学习预训练模型bert，获得含有语义特征的序列向量；利用bilstm模型捕捉桥梁管养领域文本上下文信息的双向语义依赖；利用条件随机场crf通过邻近实体标签的关系获得一个最优的预测序列，识别桥梁管养领域实体；
[0085]
s3、建立桥梁管养领域关系自动识别模型：建立桥梁领域实体关系目录，抽取步骤s2得到的桥梁管养领域实体的实体对，利用两阶段关系识别算法识别该实体对中实体之间的匹配关系；
[0086]
s4、根据步骤s3获得的实体对中实体之间的匹配关系建立实体-关系-实体三元组，然后对全部的实体-关系-实体三元组中的多个实体进行对齐消融，得到桥梁管养知识图谱。
[0087]
进一步的，作为本发明基于深度学习的桥梁管养知识图谱自动构建方法的一个优选实施例，步骤s1包括如下子步骤：
[0088]
s101、对包括检测报告、行业规范、专家报告等大量桥梁管养领域文本进行清洗和规范化处理；
[0089]
s102、根据桥梁管养领域实体目录，按照三位序列标注法，对桥梁管养领域文本中的实体开始部分，中间部分和非实体部分进行标注，形成桥梁管养领域标注数据库。
[0090]
进一步的，作为本发明基于深度学习的桥梁管养知识图谱自动构建方法的一个优选实施例，步骤s101包括如下子步骤：
[0091]
s101-1、采用jieba工具库和自定义字典对桥梁管养领域文本进行分词，例如，将“1-20#箱梁左侧20处析白结晶”分词为“1-20#箱梁左侧20处析白结晶”；
[0092]
s101-2、对文本信息规范化处理，将文本中的“mm、m、mm2、m
2”等单位转化为中文表述的“毫米、米、平方毫米、平方米”，将文本中的“l、w、s”等度量词转化为中文表述的“长度、宽度、面积”，同时，清除文本中的句号、问号、感叹号等特殊字符。
[0093]
进一步的，作为本发明基于深度学习的桥梁管养知识图谱自动构建方法的一个优选实施例，步骤s102包括如下子步骤：
[0094]
s102-1、建立桥梁管养领域实体目录：定义桥梁管养领域知识图谱实体，依据领域的实体，对文本信息中的实体进行提取，创建桥梁管养领域实体目录e：
[0095][0096]
其中，ei为定义实体，i＝{1,2,
…
,n}，n＝8，具体实体目录定义为：e
1-桥梁构件、e
2-桥梁构件部位、e
3-病害类别、e
4-病害位置、e
5-病害数量、e
6-病害性状类别、e
7-病害性状数值、e
8-维护措施；
[0097]
s102-2、根据桥梁管养领域实体目录e，采用相同字段自动标注和专家校正相结合的实体标注方法，对桥梁管养相关文本实体开始、结尾和非实体部分进行标注，形成桥梁管养领域标注数据库。例如，将“桥墩存在病害”标注为“桥(b)墩(i)存(o)在(o)病(b)害(i)”。
[0098]
进一步的，作为本发明基于深度学习的桥梁管养知识图谱自动构建方法的一个优选实施例，如图2所示，步骤s2包括如下子步骤：
[0099]
s201、利用中文迁移学习预训练模型bert，对已经过s101-1分词和s101-2清洗的文本序列的部分词进行mask，再为序列的开头添加一个特殊标记[cls]，句子间用标记[sep]分隔；将序列向量输入到双向transformer编码器进行特征提取；得到含有语义特征的序列向量，所述transformer编码器结构，如下式：
[0100]
[0101]
其中，q,k,v是字向量矩阵，dk是嵌入维度；
[0102]
s202、利用多头注意力机制，通过多个不同的线性变换对q,k,v进行投影，最后将不同的attention结果拼接起来，如下公式(3)、(4)：
[0103]
multihead(q,k,v)＝concat(head1,
…
,headn)woꢀꢀꢀ
(3)
[0104]
headi＝attention(qw
iq
,kw
ik
,vw
iv
)
ꢀꢀꢀ
(4)
[0105]
其中，w是权重矩阵，模型可以得到不同空间下的位置信息；
[0106]
s203、transformer编码器在数据预处理前加入位置编码，并与输入向量数据进行求和，得到句子中每个字的相对位置，transformer编码器的全连接前馈网络包括两层全连接网络：第一层的激活函数是relu，第二层是一个线性激活函数；全链接前馈网络ffn表示为下式：
[0107]
ffn(z)＝max(0，zw1+b1)w2+b2ꢀꢀꢀ
(5)
[0108]
其中，多头注意力机制的输出z，w1和b1分别是第一层全连接网络的权重和偏置向量，
[0109]
w2和b2分别是第二层全连接网络的权重和偏置向量；
[0110]
s204、bilstm用于捕捉对桥梁管养领域文本上下文信息的双向语义依赖；lstm包含遗忘门、输入门、输出门以及记忆cell结构；输入门与遗忘门两者对于实体识别的无用信息进行筛除,将有用信息传入到下一时刻；整个结构的输出，由记忆cell的输出和输出门的输出相乘得到的；序列输入lstm模型，输出为：
[0111][0112]
其中，σ是激活函数，w是权重矩阵，b是偏置向量，z
t
是待增加的内容，c
t
是t时刻的更新状态，i
t
,f
t
,o
t
分别是输入门、遗忘门及输出门的输出结果，h
t
是整个lstm单元t时刻的输出；bilstm对每个词序列分别采取前向和后向lstm，然后将同一个时刻的输出进行合并；对于每一个时刻,对应着前向与后向的信息，实际输出如下式：
[0113][0114]
其中，为lstm前向输出，为lstm反向输出；
[0115]
s205、按如下公式计算bilstm的输出得分：
[0116]
p＝∑p
t
[0117]
其中，p是bilstm的输出得分矩阵，p的大小为n
×
k，其中k为词的个数，n为实体个数，p
ij
表示第i个词的第j个实体的分数；
[0118]
s206、条件随机场crf通过邻近实体标签的关系获得一个最优的预测序列，用于弥补bilstm仅善于处理长距离的文本信息，但无法处理相邻实体标签之间的依赖关系的缺
点；对于桥梁管养文本x＝(x1,x2,
…
,xn)和预测的桥梁管养文本y＝(y1,y2,
…
,yn)而言，其得分数函数如下式：
[0119][0120]
其中，a表示转移分数矩阵，a
ij
代表实体i转移为实体j的分数；
[0121]
按如下公式获得预测桥梁管养文本y产生的概率：
[0122][0123]
对公式取对数得到预测文本序列的似然函数：
[0124][0125]
式中，y表示预测的标注文本序列，yx表示所有可能的标注文本序列。解码后得到最大分数的输出序列：
[0126][0127]
其中，y*是经过模型识别后的桥梁管养领域实体。
[0128]
进一步的，作为本发明基于深度学习的桥梁管养知识图谱自动构建方法的一个优选实施例，步骤s3包括如下子步骤：
[0129]
s301、建立桥梁管养领域实体关系目录：根据桥梁领域专业知识，确定桥梁管养领域实体关系，创建领域关系目录r：
[0130][0131]
其中，ri为管养领域实体关系，i＝{1,2,
…
,m}，m＝6。具体实体关系定义为：r
1-构件所在位置、r
2-构件产生的病害、r
3-病害所在位置、r
4-病害性状类别、r
5-病害性状数值、r
6-病害建议措施。将管养领域实体关系ri作为定义关系组，集成于知识图谱自动构建模型中；
[0132]
s302、如图3所示，建立桥梁管养领域关系自动识别模型。通过预定义的管养领域关系目录r，利用两阶段关系识别算法，从步骤s2得到的桥梁管养领域实体中抽取的实体对(ei，ej)，并识别实体ei和ej间的关系。
[0133]
进一步的，作为本发明基于深度学习的桥梁管养知识图谱自动构建方法的一个优选实施例，步骤s302包括如下子步骤：
[0134]
s302-1、第一阶段：针对中间不存在文本信息的桥梁管养领域实体ei和ej间的关系进行识别，依据已提取实体和预设关系目录r，将全部的定义实体e和预设关系r进行匹配，建立实体-关系-实体元组t：
[0135]
ti＝(ei→ri
→ei+1
)
ꢀꢀꢀ
(13)
[0136]
其中，ti为e
i-r
i-e
i+1
元组，ei为第i个本体，ri为第i个关系，e
i+1
为第i+1个本体；将经过s2步骤后的实体集合中的实体ei和ej与全部元组t进行匹配，元组内的实体间为有向关系，采用双向匹配算法获得实体间关系ri，如下式：
[0137]ri
＝match[ti,(ei,ej)]
ꢀꢀꢀ
(14)
[0138]
例如：文本信息“2#主梁多处纵向裂缝”经过s2步骤为：
[0139][0140]
选取实体对(e2，e4)，将实体对与t进行双向匹配：
[0141][0142]
获得该对实体(e2主梁，e4纵向裂缝)的关系为r2(构件产生的病害)；
[0143]
s302-2、第二阶段：针对一组相邻且中间存在文本信息的桥梁管养领域实体和间的关系进行识别，首先对实体和间的非实体文本进行最大池化操作，获得文本特征向量如果两个识别的实体间不存在文本，将设置为0，获得关系的向量表示，由于关系非对称，每一个实体对得到两个关系表示，如下式：
[0144][0145][0146]
其中，和为已识别的实体特征向量；
[0147]
将和这两个关系输入进一个全连接网络，再使用sigmoid函数进行激活，该过程表示如下式：
[0148][0149]
其中，对应桥梁管养领域关系目录r中不同关系的概率，概率值最大的位置代表的实体关系即为该组实体匹配的关系ri。
[0150]
例如，文本信息“10#主梁主要的病害是纵向裂缝”经过s2步骤为：
[0151][0152]
将实体(e2，e3)中间的文本信息c“主要的病害是”进行最大池化并通过上述算法进行自动识别，获得该对实体(e2主梁，e4纵向裂缝)的关系为r2(构件产生的病害)。
[0153]
进一步的，作为本发明基于深度学习的桥梁管养知识图谱自动构建方法的一个优选实施例，步骤s4包括如下子步骤：
[0154]
s401、如图4所示，构建实体-关系-实体三元组。将自动识别的实体(ei,ej)与自动匹配的关系ri建立有向关系，形成桥梁管养知识图谱的基础单元——“实体-关系-实体”三元组(ei,ri,ej)；
[0155]
s402、桥梁管养图谱补全：采用余弦相似度，将全部的实体进行对齐消融：
[0156][0157]
其中，ei和ek分别是(ei,ri,e
i+1
)和(ek,rk,e
k+1
)的两个不同三元组中的实体。如果
实体ei和ek间的余弦值cos(θ)越接近于1，说明两个实体类似，对ei,ek实体进行消融对齐成为一个实体ei，使两个三元组(ei,ri,e
i+1
)和(ek,rk,e
k+1
)融合形成新的图谱结构(e
i+1
,ri,ei,rk,e
k+1
)。进行迭代循环，将全部三元组进行对齐融合，构建统一完整的桥梁管养图谱；s403、如图5所示，桥梁管养知识图谱可视化，使用全部“实体-关系-实体”三元组，利用neo4j图数据库进行桥梁管养知识图谱可视化。
[0158]
虽然本发明已以较佳实施例阐述如上，然其并非用以限定本发明。本发明所属技术领域中具有通常知识者，在不脱离本发明的精神和范围内，当可作各种的更动与润饰。因此，本发明的保护范围当视权利要求书所界定者为准。

技术特征：
1.基于深度学习的桥梁管养知识图谱自动构建方法，其特征在于，包括如下步骤：s1、对桥梁管养领域文本进行预处理，并建立桥梁管养领域文本标注数据库；s2、采用bert+bilstm+crf模型构建桥梁领域实体自动提取模型：以清洗和规范化处后理的文本序列为输入，利用中文迁移学习预训练模型bert，获得含有语义特征的序列向量；利用bilstm模型捕捉桥梁管养领域文本上下文信息的双向语义依赖；利用条件随机场crf通过邻近实体标签的关系获得一个最优的预测序列，识别桥梁管养领域实体；s3、建立桥梁管养领域关系自动识别模型：建立桥梁领域实体关系目录，抽取步骤s2得到的桥梁管养领域实体的实体对，利用两阶段关系识别算法识别该实体对中实体之间的匹配关系；s4、根据步骤s3获得的实体对中实体之间的匹配关系建立实体-关系-实体三元组，然后对全部的实体-关系-实体三元组中的多个实体进行对齐消融，得到桥梁管养知识图谱。2.根据权利要求1所述的基于深度学习的桥梁管养知识图谱自动构建方法，其特征在于，步骤s1包括以下子步骤：s101、对桥梁管养领域文本进行清洗和规范化处理；s102、根据桥梁管养领域实体目录，按照三位序列标注法，对桥梁管养领域文本中的实体开始部分，中间部分和非实体部分进行标注。3.根据权利要求2所述的基于深度学习的桥梁管养知识图谱自动构建方法，其特征在于，步骤s101包括以下子步骤：s101-1、采用jieba工具库和自定义字典对桥梁管养领域文本进行分词；s101-2、对文本信息中的英文表述转化为中文表述，同时清除标点符号。4.根据权利要求2所述的基于深度学习的桥梁管养知识图谱自动构建方法，其特征在于，步骤s102包括以下子步骤：s102-1、建立桥梁管养领域实体目录：定义桥梁管养领域知识图谱实体，依据定义的实体，对文本信息中的实体进行提取，创建桥梁管养领域实体目录e：其中，e
i
为定义实体，i＝{1,2,
…
,n}，n为实体个数；s102-2、根据桥梁管养领域实体目录e，采用相同字段自动标注和专家校正相结合的实体标注方法，对桥梁管养相关文本实体开始、结尾和非实体部分进行标注，获得桥梁管养领域标注数据库。5.根据权利要求1所述的基于深度学习的桥梁管养知识图谱自动构建方法，其特征在于，步骤s2包括以下子步骤：s201、利用中文迁移学习预训练模型bert，对经过s101-1分词和s101-2清洗的文本序列的部分词进行mask，再为序列的开头添加一个特殊标记[cls]，句子间用标记[sep]分隔；将序列向量输入到双向transformer编码器进行特征提取；得到含有语义特征的序列向量，所述transformer编码器结构，如下式：
其中，q,k,v是字向量矩阵，d
k
是嵌入维度；s202、利用多头注意力机制，通过多个不同的线性变换对q,k,v进行投影，最后将不同的attention结果拼接起来，如下公式(3)、(4)：multihead(q,k,v)＝concat(head1,,head
n
)w
o
ꢀꢀꢀꢀꢀꢀꢀꢀ
(3)head
i
＝attention(qw
iq
,kw
ik
,vw
iv
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(4)其中，w是权重矩阵，模型可以得到不同空间下的位置信息；s203、transformer编码器在数据预处理前加入位置编码，并与输入向量数据进行求和，得到句子中每个字的相对位置，transformer编码器的全链接前馈网络包括两层全连接网络：第一层的激活函数是relu，第二层是一个线性激活函数；全连接前馈网络ffn表示为下式：ffn(z)＝max(0,zw1+b1)w2+b2ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(5)其中，多头注意力机制的输出z，w1和b1分别是第一层全连接网络的权重和偏置向量，w2和b2分别是第二层全连接网络的权重和偏置向量；s204、bilstm用于捕捉对桥梁管养领域文本上下文信息的双向语义依赖；lstm包含遗忘门、输入门、输出门以及记忆cell结构；输入门与遗忘门两者对于实体识别的无用信息进行筛除,将有用信息传入到下一时刻；整个结构的输出，由记忆cell的输出和输出门的输出相乘得到的；序列输入lstm模型，输出为：其中，σ是激活函数，w是权重矩阵，b是偏置向量，z
t
是待增加的内容，c
t
是t时刻的更新状态，i
t
,f
t
,o
t
分别是输入门、遗忘门及输出门的输出结果，h
t
是整个lstm单元t时刻的输出；bilstm对每个词序列分别采取前向和后向lstm，然后将同一个时刻的输出进行合并；对于每一个时刻,对应着前向与后向的信息，实际输出如下式：其中，为lstm前向输出，为lstm反向输出；s205、按如下公式计算bilstm的输出得分：p＝∑p
t
其中，p是bilstm的输出得分矩阵，p的大小为n
×
k，其中k为词的个数，n为实体个数，p
ij
表示第i个词的第j个实体的分数；s206、条件随机场crf通过邻近实体标签的关系获得一个最优的预测序列，用于弥补bilstm仅善于处理长距离的文本信息，但无法处理相邻实体标签之间的依赖关系的缺点；对于桥梁管养文本x＝(x1,x2,
…
,x
n
)和预测的桥梁管养文本y＝(y1,y2,
…
,y
n
)而言，其得分
数函数如下式：其中，a表示转移分数矩阵，a
ij
代表实体i转移为实体j的分数；按如下公式获得预测桥梁管养文本y产生的概率：对公式取对数得到预测文本序列的似然函数：式中,y表示预测的标注文本序列，yx表示所有可能的标注文本序列；解码后得到最大分数的输出序列：其中，y*是经过模型识别后桥梁管养领域实体。6.根据权利要求5所述的基于深度学习的桥梁管养知识图谱自动构建方法，其特征在于，步骤s3包括如下子步骤：s301、根据桥梁管养领域实体关系，建立桥梁管养领域实体关系目录r：其中，r
i
为管养领域实体关系，i＝{1,2,
…
,m}，管养领域实体关系r
i
作为定义关系组，集成于知识图谱自动构建模型中。s302、利用两阶段关系识别算法，从步骤s2得到的桥梁管养领域实体中抽取实体对(e
i
，e
j
)，并识别实体e
i
和e
j
间的关系。7.根据权利要求6所述的基于深度学习的桥梁管养知识图谱自动构建方法，其特征在于，步骤s302包括以下子步骤：s302-1、第一阶段：针对中间不存在文本信息的桥梁管养领域实体e
i
和e
j
间的关系进行识别，依据已提取实体和预设关系目录r，将全部的定义实体e和预设关系r进行匹配，建立实体-关系-实体元组t：t
i
＝(e
i
→
r
i
→
e
i+1
)
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(13)其中，t
i
为e
i-r
i-e
i+1
元组，e
i
为第i个实体，r
i
为第i个关系，e
i+1
为第i+1个实体；将经过s2步骤后的实体集合中的实体e
i
和e
j
与全部元组t进行匹配，元组内的实体间为有向关系，采用双向匹配算法获得实体间关系r
i
，如下式：r
i
＝match[t
i
,(e
i
,e
j
)]
ꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀꢀ
(14)s302-2、第二阶段：针对一组相邻且中间存在文本信息的桥梁管养领域实体和间的关系进行识别，首先对实体和间的非实体文本进行最大池化操作，获得文本特征向量如果两个识别的实体间不存在文本，将设置为0，获得关系的向量表示，每一个实体对得到两个关系表示，如下式：
其中，和为已识别的实体特征向量；将和这两个关系输入进一个全连接网络，再使用sigmoid函数进行激活，该过程表示如下式：其中，对应桥梁管养领域关系目录r中不同关系的概率，概率值最大的位置代表的实体关系即为该组实体匹配的关系r
i
。8.根据权利要求7所述的基于深度学习的桥梁管养知识图谱自动构建方法，其特征在于，步骤s4包括以下子步骤：s401、建立实体-关系-实体三元组：将自动识别的实体(e
i
,e
j
)与自动匹配的关系r
i
建立有向关系，形成桥梁管养知识图谱的基础单元——实体-关系-实体三元组(e
i
,r
i
,e
j
)；s402、补全桥梁管养知识图谱：采用余弦相似度，将全部的实体进行对齐消融，如下式：其中，e
i
和e
k
分别是(e
i
,r
i
,e
i+1
)和(e
k
,r
k
,e
k+1
)的两个不同三元组中的实体；s403、根据实体e
i
和e
k
间的余弦值cos(θ)，并结合预设值，对e
i
,e
k
实体进行消融对齐成为一个实体e
i
，使两个三元组(e
i
,r
i
,e
i+1
)和(e
k
,r
k
,e
k+1
)融合形成新的图谱结构(e
i+1
,r
i
,e
i
,r
k
,e
k+1
)，进行迭代循环，将全部三元组进行对齐融合，构建统一完整的桥梁管养图谱；s404、桥梁管养知识图谱可视化：使用全部实体-关系-实体三元组，利用neo4j图数据库进行桥梁管养知识图谱可视化。9.根据权利要求6所述的基于深度学习的桥梁管养知识图谱自动构建方法，其特征在于，步骤s301中，所述r
i
为管养领域实体关系，i＝{1,2,
…
,m}，m＝6；具体实体关系定义为：r
1-构件所在位置、r
2-构件产生的病害、r
3-病害所在位置、r
4-病害性状类别、r
5-病害性状数值、r
6-病害建议措施。10.根据权利要求4所述的基于深度学习的桥梁管养知识图谱自动构建方法，其特征在于，步骤s102中：所述e
i
为定义实体，i＝{1,2,
…
,n}，n＝8，具体实体目录定义为：e
1-桥梁构件、e
2-桥梁构件部位、e
3-病害类别、e
4-病害位置、e
5-病害数量、e
6-病害性状类别、e
7-病害性状数值、e
8-维护措施。

技术总结
本发明公开了基于深度学习的桥梁管养知识图谱自动构建方法，包括：S1、对桥梁管养领域文本进行预处理，并建立桥梁管养领域文本标注数据库；S2、采用BERT+BiLSTM+CRF模型构建桥梁领域实体自动提取模型；S3、建立桥梁管养领域关系自动识别模型：建立桥梁领域实体关系目录，利用两阶段关系识别算法对步骤S2得到的桥梁管养领域实体中抽取实体对，并识别该实体对中实体之间的匹配关系；S4、桥梁管养知识图谱构建和可视化。本发明实现了桥梁管养知识图谱的自动构建，解决了传统桥梁领域知识图谱构建方法组织难度大、构建成本高、自动化程度低的问题，提高了桥梁检测信息的利用效率，为桥梁智能管养提供了技术支撑。智能管养提供了技术支撑。智能管养提供了技术支撑。


技术研发人员：朱彦洁 王瑜晨 熊文 蔡春声
受保护的技术使用者：东南大学
技术研发日：2023.04.26
技术公布日：2023/7/21