一种基于Transformer结构自监督的地震相预测方法

一种基于transformer结构自监督的地震相预测方法
技术领域
1.本发明涉及地震相智能分析领域，特别地涉及一种基于transformer结构自监督的地震相预测方法。


背景技术：

2.地震相是沉积相在地震剖面上表现的总和，指一定空间内分布的地震反射单元，在不同空间范围内的分布代表着不同的地震属性。在储层预测中，地震相识别起着非常重要的作用，是分析地质条件，预测油气藏的主要手段，也是成功开发油气聚集区域的关键因素。
3.早期，地震相预测通常以人工方式进行，凭借地震学家的专业知识和综合分析能力来对地震剖面和地震切片进行分析和解释。但这种方式存在一些问题。一是效率低下。地震解释人员的数量与大量的地震数据体之间存在严重比例不平衡的问题，解释人员需要耗费大量时间来对区域内的地震数据进行分析，而培养一个经验丰富的解释人员需要花费大量资源。二是主观性强，不同解释人员的知识理论与实践水平有所差异，对同一个探测数据进行解释的流程中会产生不同的观点。
4.在实际的地震相识别项目中，往往具有大量的无标签数据，然而这些数据往往没有得到充分应用。随着人工智能和计算机应用技术的不断发展，如何融合有监督和无监督方法的优势，结合自监督的思想充分利用这些无标签数据，通过设计辅助任务来挖掘数据自身的表征特征作为监督信号，从而提升模型的特征提取能力，还有待进一步探索。


技术实现要素：

5.针对上述现有技术中的问题，本技术提出了一种基于transformer结构自监督的地震相预测方法，包括以下步骤：
6.s1、根据测井信息和聚类算法对地震体数据进行初步识别，选取连井剖面作为无标签数据，进行掩码处理，得到掩码无标签数据；
7.s2、用辅助网络来重构大量掩码无标签数据，训练辅助网络参数，得到预训练权重；
8.s3、将辅助网络的预训练权重迁移至下游网络；
9.s4、利用标签数据对下游网络进行进一步训练，为下游网络载入步骤s2得到的辅助网络权重，并在此基础上通过半监督方式继续训练下游网络，以实现地震相预测，得到预测剖面；
10.s5、对预测剖面进行拼接，得到地震剖面。
11.优选地，用辅助网络来重构大量掩码无标签数据的过程，通过基于上下文生成的方式，为辅助网络输入无标签样本并进行掩码重构，使得网络模型获得数据集的初始分布特征。
12.优选地，步骤s2具体包括：
13.s21、获取无标签样本：沿地震体数据的inline和crossline方向获取地震剖面；然后采用归一化方法将地震剖面数据缩放到预定区间，将地震剖面数据处理成单通道的灰度图像形式；
14.s22、获取训练数据：将地震剖面的一部分进行随机遮掩，遮掩后的图像作为网络输入，原始地震剖面灰度图像则作为真实结果。具体操作为：在大尺寸的地震灰度图像中随机取得预定大小的子图像，该子图像块即为标签；然后对该子图像进行随机遮掩操作，使得子图像缺失一部分信息，遮掩后的子图像块即为辅助网络的输入；
15.s23、训练网络的图像重建能力：利用步骤22得到的图像训练辅助网络重建地震剖面缺失的那部分，最终得到该辅助网络的权重参数文件。
16.优选地，步骤s4具体包括：
17.s41、获取数据标签：在平面上对多口井进行连线，随后根据连线位置垂直向下获取每口井的地震剖面数据；然后采用归一化方法将地震剖面数据缩放到预定区间，将地震剖面数据处理成单通道的灰度图像形式；然后根据测井上的分界线，定义数据标签；
18.s42、获取训练数据：使用滑动窗口对灰度图像进行图像裁剪，得到一系列具有标签信息的子图像，子图像的标签与其所在原始灰度图像的标签相同；
19.s43、训练下游任务的地震相网络识别模型：地震相识别模型先加载辅助任务获取的训练权重参数，再利用步骤2得到的子图像训练地震相网络识别模型；
20.s44、地震相预测：利用训练完成的下游网络识别地震相数据。
21.优选地，辅助网络是一个非对称的网络，包括编码部分和解码部分，编码部分和解码部分都是多个transformer层的堆叠，编码部分由多个transformer层组成，负责未遮掩图像部分，该部分是下游任务中需要用到的，解码部分由多个transformer层组成，负责遮掩部分图像的恢复；编码部分的输入是未被遮掩的图像子块，该部分的输出需要和未遮掩的图像部分进行unshuffle操作，复原完整的图像子块序列，最终输入到解码部分。
22.优选地，在编码部分前面，还具有预处理模块，在预处理模块中，图像首先需要切分为多个不重叠小块，设定图像的输入尺寸，经过分块变换后，经过线性映射头输入，通过与图像的位置嵌入相加得到编码部分的输入。
23.优选地，下游网络的编码部分与辅助网络的编码部分一致，编码的输入是图像的全部子块，输出则是transformer中的第4、6、8、12层的输出。
24.优选地，下游网络的解码部分总共有3步流程；第一步：编码部分的4个输出首先通过线性变换将图像尺寸变为高16
×
宽16
×
通道数的大小，然后通过3
×
3卷积降低一半通道；第二步：第一步的4个输出自上而下与下一层进行拼接，拼接后通过两次3
×
3卷积降低一半通道数，最后上采样4倍输出尺寸变为高4
×
宽4
×
通道数4；第三步：将第二步的4个输出拼接后上采样4倍恢复到原始输入尺寸。
25.优选地，用辅助网络来重构大量掩码无标签数据的步骤包括：根据机器学习聚类和专家经验，求取地震剖面上不同地震相的整体分布，再结合测井数据的准确标签，选取质构造相同或类似的构造连井剖面并沿此方向切分得到地震剖面数据。
26.优选地，归一化方法包括：将得到的地震剖面数据缩放到0-255区间，将地震剖面数据处理成单通道的灰度图像形式；归一化的计算如式：
[0027][0028]
式中x代表地震剖面中某一点的具体数值，x
max
代表地震剖面中的最大值，x
min
代表地震剖面中的最小值，x
*
代表归一化后对应灰度图像中某一点的像素值。
[0029]
上述技术特征可以各种适合的方式组合或由等效的技术特征来替代，只要能够达到本发明的目的。
[0030]
本发明提供的一种基于transformer结构自监督的地震相预测方法，与现有技术相比，至少具备有以下有益效果：
[0031]
本发明通过专家经验和聚类算法对地震数据进行初步分析，并结合测井标签获取连井地震剖面作为无标签输入。随后，基于自监督学习的思想，通过基于上下文生成的自监督学习方式使辅助网络具有重建缺失地震图像的能力，再通过迁移辅助网络的训练权重参数来使得下游地震相识别网络拥有一个较好的初始解，进而实现了基于自监督思想的小样本地震相智能化预测。实验表明：
[0032]
(1)在拥有较好初始解的前提条件下，下游网络可以凭借有限的数据标签来识别出研究工区的地震相分布位置。
[0033]
(2)相较在imagenet等常规数据集上得到的初始权重，根据地震剖面重构得到的自监督权重预测效果更佳。
附图说明
[0034]
在下文中将基于实施例并参考附图来对本发明进行更详细的描述。其中：
[0035]
图1显示了本发明基于自监督思想的地震相识别框架图；
[0036]
图2显示了本发明的transformer内部结构图；
[0037]
图3显示了本发明的缩放点积注意力机制内部结构图；
[0038]
图4显示了本发明的q、k、v矩阵计算过程图；
[0039]
图5显示了本发明的图像处理方式示意图；
[0040]
图6显示了本发明的多头注意力结构图；
[0041]
图7显示了本发明的辅助网络结构图；
[0042]
图8显示了本发明的下游网络结构图；
[0043]
图9显示了本发明的地震连井剖面选取示意图；
[0044]
图10显示了本发明的归一化后的地震剖面灰度图；
[0045]
图11显示了本发明的地震图像中子图像的随机获取方式示意图；
[0046]
图12显示了本发明的地震图像随机遮掩方式示意图，左边为随机取得的图像块，右边为遮掩后的灰度图像；
[0047]
图13显示了本发明不同遮掩比例下的遮掩部分重建示意图；
[0048]
图14显示了本发明的损失变化图；
[0049]
图15(a)显示了本发明inline为3338的剖面重建示意图；
[0050]
图15(b)显示了本发明inline为3565的剖面重建示意图；
[0051]
图15(c)显示了本发明inline为3706的剖面重建示意图；
[0052]
图16(a)显示了imagenet预训练权重得到的inline为4100的预测结果；
[0053]
图16(b)显示了本发明自监督训练权重得到的inline为4100的预测结果；
[0054]
图16(c)显示了本发明imagenet预训练权重得到的inline为4200的预测结果；
[0055]
图16(d)显示了本发明自监督训练权重得到的inline为4200的预测结果。
具体实施方式
[0056]
下面将结合附图对本发明作进一步说明。
[0057]
针对以上模型的缺陷，本发明提出了一种基于自监督思想的地震相识别方法。在模型上，本发明采用transformer架构，并加以改进设计形成辅助网络和下游网络。辅助网络利用大量的无标签地震数据进行恢复图像缺失部分的自监督学习，然后将训练好的网络模型编码部分参数权重迁移到下游的地震相识别任务。在数据处理上，对于无标签数据，结合专家经验和机器学习聚类对地震数据体进行初步判别，并根据现有测井选取连井剖面作为无标签输入，并进行遮掩操作用于辅助网络训练重构；对于标签数据，则通过滑动窗口切分得到子图像训练样本。
[0058]
如图1所示，本发明提供了一种基于transformer结构自监督的地震相预测方法，包括以下步骤：
[0059]
s1、根据测井信息和聚类算法对地震体数据进行初步识别，选取连井剖面作为无标签数据，进行掩码处理，得到掩码无标签数据；
[0060]
s2、用辅助网络来重构大量掩码无标签数据，训练辅助网络参数，得到预训练权重；
[0061]
s3、将辅助网络的预训练权重迁移至下游网络；
[0062]
s4、利用标签数据对下游网络进行进一步训练，为下游网络载入步骤s2得到的辅助网络权重，并在此基础上通过半监督方式继续训练下游网络，以实现地震相预测，得到预测剖面；
[0063]
s5、对预测剖面进行拼接，得到地震剖面。
[0064]
在一个实施例中，如图2所示，本发明采用的transformer结构主要由两个部分组成，从下到上第一个部分是多头注意力机制，由多个缩放点积注意力机制组成，第二个全连接前馈神经网络。每个部分前面都经历了归一化操作，并且外侧采用了类似resnet的残差连接。下面将对涉及到的结构做一个详细介绍：
[0065]
缩放点积注意力机制是transformer的核心部分。如图3所示，self-attention需要计算q、k、v三个矩阵。这几个矩阵都是通过输入矩阵x与线性变阵矩阵wq、wk、wv计算所得，计算方式见图4。在自然语言领域中，x的每一行代表一个单词的向量，而在计算机视觉中，将图像划分为多个16
×
16的小块(图5)，一个小块就等价于一个单词，也就是x中的一行。
[0066]
在得到q、k、v三个矩阵后，最终输出z的计算见式(1)：
[0067][0068]
上面公式中为了防止qk
t
的计算值过大，因此除以的计算值过大，因此除以得到的矩阵是一个n
×
n的方阵，n为图像小块的数量，代表图像中每个小块之间的attention。然后再利用
softmax计算每个小块和其他小块的attention系数，将方阵的每一行和都变为1，最后与v相乘得到输出z。
[0069]
多头注意力由多个上段中的注意力组合而成，见图6。多头注意力会将多个输出z拼接在一起，然后通过线性层线性变化得到最终输出z
*
，z
*
和输入x的维度一致。
[0070]
本发明的全连接前馈神经网络由两个全连接神经网络组成，第一个尾部是relu激活函数，第二个后面没有激活函数，计算见式(2)：
[0071]
ffn(x)＝max(0,xw1+b1)w2+b2(2)
[0072]
在一个实施例中，辅助网络是辅助任务中使用的网络模型，它的目的是对无标签地震数据进行基于上下文生成的自监督训练。本发明使用的辅助网络是一个非对称的网络，如图7所示，编码和解码部分都是多个transformer层的堆叠，编码部分由12个transformer层组成，负责未遮掩图像部分，该部分是下游任务中需要用到的，解码部分由4个transformer层组成，负责遮掩部分图像的恢复，下游任务并不需要这部分。另外，在编码部分前面，还需要经过预处理模块。各部分的具体操作如下所示：
[0073]
1、预处理模块：在预处理模块中，图像首先需要切分为多个16
×
16的不重叠小块。在本发明中，设定的图像输入尺寸为192
×
192
×
3，因此经过分块变换后192
×
192
×
3的图像将变为12
×
12
×
16
×
16
×
3大小，16
×
16
×
3的子块等价于自然语言领域中的一个单词。然后经过线性映射头输入将变成12
×
12
×
768大小。最后通过与图像的位置嵌入相加得到编码部分的输入。因为transformer层需要利用全局信息，使用需要位置嵌入来获取各个图像子块的相对位置关系。位置嵌入的计算见式(3)和式(4)：
[0074][0075][0076]
式中，pos表示图像子块的位置，i表示维度，任意的pe
(pos+k)
都可以由pe
pos
表示。
[0077]
2、编码部分：编码部分的输入是未被遮掩的图像子块，该部分的输出需要和为遮掩的图像部分进行unshuffle操作，复原完整的图像子块序列，最终输入到解码部分。
[0078]
3、解码部分：该部分只计算遮掩图像部分的损失来恢复原始图像。
[0079]
在一个实施例中，下游网络是下游地震相识别任务中使用的网络模型。如图8所示，下游网络的编码部分与辅助网络的编码部分一致，在解码部分，为了与上一章节网络进行对比，该部分是一个类似金字塔的上采样模块，具体介绍如下所示：
[0080]
1、编码部分：在下游网络中，地震图像不再需要进行遮掩操作，因此该编码的输入是图像的全部子块，输出则是transformer中的第4、6、8、12层的输出。此外，在下游网络训练开始之前，编码部分需要加载辅助网络中训练好的权重参数。
[0081]
2、解码部分：解码部分是一个类似金字塔的结构。如图8中右半部分所示，解码部分总共有3步流程。第一步：编码部分的4个输出首先通过线性变换将图像尺寸变为h/16
×
w/16
×
c大小(h、w为原始输入图像的高宽，c为通道数)，然后通过3
×
3卷积降低一半通道。第二步：第一步的4个输出自上而下与下一层进行拼接，拼接后通过两次3
×
3卷积降低一半通道数，最后上采样4倍输出尺寸变为h/4
×
w/4
×
c/4。第三步：将第二步的4个输出拼接后上采样4倍恢复到原始输入尺寸。
[0082]
在一个实施例中，本发明的数据处理主要包括无标签数据和标签数据这两部分，下面将详细讲解这两部分数据的处理。
[0083]
1、无标签数据处理：该部分主要关于是辅助任务的数据处理，在辅助任务中，本发明不需要包含地震相标签信息的数据，只需要地震剖面信息数据。在地球物理勘探领域，无标签数据是非常丰富的。其中，为了更合理的利用现有无标签数据，引入先验知识的约束，本发明根据机器学习聚类和专家经验，求取地震剖面上不同地震相的整体分布，再结合测井数据的准确标签，选取质构造相同或类似的构造连井剖面并沿此方向切分得到地震剖面数据。如图9所示，对于经过专家初步判断分布在相同岩性之中的测井，便可在二者之间构造连井剖面。岩性相同的测井间相似性更强，如此得到的地震剖面也具有更规律的展布和空间连续性，更有利于网络模型的训练。
[0084]
接下来，采用归一化方法将得到的地震剖面数据缩放到0-255区间，将地震剖面数据处理成单通道的灰度图像形式。归一化的计算如式(5)所示，获取的灰度图像如图10所示。
[0085][0086]
式中x代表地震剖面中某一点的具体数值，x
max
代表地震剖面中的最大值，x
min
代表地震剖面中的最小值，x
*
代表归一化后对应灰度图像中某一点的像素值。
[0087]
接下来，还需要得到输入图像和标签才能够完成训练。在本实验中，辅助任务的标签就是上述的灰度图像自身，输入则是遮掩后的地震灰度图像，其中具体操作如下：如图11所示，首先在大尺寸的地震灰度图像中随机取得192
×
192大小的子图像(矩形区域)，该子图像块即为标签；然后对该子图像进行随机遮掩操作，使得子图像缺失一部分信息，遮掩后的子图像块即为辅助网络的输入(图12)。
[0088]
2、标签数据处理：该部分主要是关于下游地震相识别任务的数据处理，主要包括标签制作、滑动窗口切分和重叠窗口预测这几部分。标签制作是指根据测井获取包含地震相信息的剖面图像；滑动窗口是指对原始的标签数据进行重叠的滑动窗口切分，以获取训练样本；重叠窗口预测是指在预测剖面时，采用子图像块取核心进行重叠拼接。
[0089]
为了验证本发明方法的有效性，将在高石梯工区进行实验验证。该工区地处四川中部，其灯影组沉积属于德阳-安岳裂陷形成期，裂陷大概在灯影组晚期形成，其两侧台地边缘发育了优质储层。本次实验的主要目的便是识别灯影组地层的优质储层。在实验中，地震体数据的inline范围为3700-4900，crossline范围为2300-2800，时间深度为2100-2500ms，采样间隔为2ms。
[0090]
为了证明辅助网络的有效性，本发明将在实际工区进行实验验证。本次实验的网络模型为基于transformer的非对称网络模型。实验参数为：输入尺寸为192
×
192，遮掩方式为随机遮掩，遮掩图像子块大小为16
×
16，损失函数为mse，batch大小为256，优化器为adamw，实验的epoch设置为1600。模型初始学习率为3e-4，学习策略为warmup(暖上升)和cosine decay(余弦退火)，warmup的epooch为80，总epoch为1600。本次实验代码采用的框架为tensorflow和keras，训练显卡为tesla p100。
[0091]
为了测试辅助网络的重建能力，本发明采用了50％、75％和90％的遮掩比例来进
行实验。另外本发明还采用了mse定量评价指标来衡量辅助网络在不同遮掩比例下的重建能力。如图13和表1所示，当遮掩比例越小时，辅助网络的重建能力就越强，但是训练时间也将随之剧增。
[0092]
表1不同遮掩比例下的平均mse和训练时间对比表
[0093][0094]
在选择75％遮掩比例的前提下，本发明还分析了辅助网络的损失的收敛性。如图14所示，当epoch在1200左右时，辅助网络的损失就达到了收敛的程度。因此根据上述实验，本发明将选择遮掩比例为75％，训练epoch次数为1200。
[0095]
在上述设置参数的前提下，本发明将选择几个剖面来观察辅助网络的重建能力。如图15(a)-图15(c)所示，本发明可以观察到辅助网络能够对缺失的地震图像做出很好的恢复，仅有小部分细节没有复原地很好。这证明辅助网络对这个数据集具备了初步的推断能力。本发明将迁移辅助网络中的参数到下游网络中，以验证本发明提出方法的有效性。
[0096]
在一个实施例中，本发明在下游网络中分别加载imagenet数据集预训练权重和本数据集的自监督预训练权重并对预测结果进行对比，以验证本发明的自监督学习方式提供的初始权重的优越性。原始标签地震剖面数量为30，按照9:1的比例划分训练集和测试集。数据增强方式为第三章的滑动窗口切分方法，滑动窗口大小为192
×
192，横向和纵向步长为20像素。训练集按照上述数据增强方式共取得1020个样本，后面所有实验的训练和验证集比例都设置为9:1。两种权重的预测结果对比如表2所示，可以看出，本发明使用的自监督训练权重的预测精度要明显好于imagenet预训练权重。
[0097]
表2两种权重的预测精度和训练时间对比
[0098][0099]
接下来，将采用两个剖面预测结果来定性分析自监督训练权重作为初始权重的优势。在该工区的预测结果中，类别0代表背景，类别1代表礁斜坡，类别2代表礁滩体，类别3代表台内礁后砂相和礁坪，预测结果如图16所示。可以看出，当使用imagenet预训练权重作为初始权重时，如图16a的红色实线所示，台内礁后砂相和礁坪与其它类别明显分开，如图16a的红色虚线所示，礁斜坡分布在了台内礁后砂相和礁坪上方；如图16c所示，预测结果中出现了明显的错位现象，这是不符合高石梯工区地质分布情况的，而使用自监督训练权重作
为初始权重时，这些现象明显减少(图16b，图16d)。因此，从上述分析可知，本发明的自监督学习方式提供的初始权重具备更大的优势。
[0100]
本发明基于专家经验和聚类算法对无标签数据进行处理，选取地震剖面，并通过自监督的方式构建辅助网络和下游网络，实现基于自监督思想的地震相识别方法。
[0101]
虽然在本文中参照了特定的实施方式来描述本发明，但是应该理解的是，这些实施例仅仅是本发明的原理和应用的示例。因此应该理解的是，可以对示例性的实施例进行许多修改，并且可以设计出其他的布置，只要不偏离所附权利要求所限定的本发明的精神和范围。应该理解的是，可以通过不同于原始权利要求所描述的方式来结合不同的从属权利要求和本文中所述的特征。还可以理解的是，结合单独实施例所描述的特征可以使用在其他所述实施例中。

技术特征：
1.一种基于transformer结构自监督的地震相预测方法，其特征在于，包括以下步骤：s1、根据测井信息和聚类算法对地震体数据进行初步识别，选取连井剖面作为无标签数据，进行掩码处理，得到掩码无标签数据；s2、用辅助网络来重构大量掩码无标签数据，训练辅助网络参数，得到预训练权重；s3、将辅助网络的预训练权重迁移至下游网络；s4、利用标签数据对下游网络进行进一步训练，为下游网络载入步骤s2得到的辅助网络权重，并在此基础上通过半监督方式继续训练下游网络，以实现地震相预测，得到预测剖面；s5、对预测剖面进行拼接，得到地震剖面。2.根据权利要求1所述的基于transformer结构自监督的地震相预测方法，其特征在于，用辅助网络来重构大量掩码无标签数据的过程，通过基于上下文生成的方式，为辅助网络输入无标签样本并进行掩码重构，使得网络模型获得数据集的初始分布特征。3.根据权利要求1所述的基于transformer结构自监督的地震相预测方法，其特征在于，步骤s2具体包括：s21、获取无标签样本：沿地震体数据的inline和crossline方向获取地震剖面；然后采用归一化方法将地震剖面数据缩放到预定区间，将地震剖面数据处理成单通道的灰度图像形式；s22、获取训练数据：将地震剖面的一部分进行随机遮掩，遮掩后的图像作为网络输入，原始地震剖面灰度图像则作为真实结果。具体操作为：在大尺寸的地震灰度图像中随机取得预定大小的子图像，该子图像块即为标签；然后对该子图像进行随机遮掩操作，使得子图像缺失一部分信息，遮掩后的子图像块即为辅助网络的输入；s23、训练网络的图像重建能力：利用步骤22得到的图像训练辅助网络重建地震剖面缺失的那部分，最终得到该辅助网络的权重参数文件。4.根据权利要求1所述的基于transformer结构自监督的地震相预测方法，其特征在于，步骤s4具体包括：s41、获取数据标签：在平面上对多口井进行连线，随后根据连线位置垂直向下获取每口井的地震剖面数据；然后采用归一化方法将地震剖面数据缩放到预定区间，将地震剖面数据处理成单通道的灰度图像形式；然后根据测井上的分界线，定义数据标签；s42、获取训练数据：使用滑动窗口对灰度图像进行图像裁剪，得到一系列具有标签信息的子图像，子图像的标签与其所在原始灰度图像的标签相同；s43、训练下游任务的地震相网络识别模型：地震相识别模型先加载辅助任务获取的训练权重参数，再利用步骤2得到的子图像训练地震相网络识别模型；s44、地震相预测：利用训练完成的下游网络识别地震相数据。5.根据权利要求1所述的基于transformer结构自监督的地震相预测方法，其特征在于，辅助网络是一个非对称的网络，包括编码部分和解码部分，编码部分和解码部分都是多个transformer层的堆叠，编码部分由多个transformer层组成，负责未遮掩图像部分，该部分是下游任务中需要用到的，解码部分由多个transformer层组成，负责遮掩部分图像的恢复；编码部分的输入是未被遮掩的图像子块，该部分的输出需要和未遮掩的图像部分进行unshuffle操作，复原完整的图像子块序列，最终输入到解码部分。
6.根据权利要求5所述的基于transformer结构自监督的地震相预测方法，其特征在于，在编码部分前面，还具有预处理模块，在预处理模块中，图像首先需要切分为多个不重叠小块，设定图像的输入尺寸，经过分块变换后，经过线性映射头输入，通过与图像的位置嵌入相加得到编码部分的输入。7.根据权利要求1所述的基于transformer结构自监督的地震相预测方法，其特征在于，下游网络的编码部分与辅助网络的编码部分一致，编码的输入是图像的全部子块，输出则是transformer中的第4、6、8、12层的输出。8.根据权利要求1所述的基于transformer结构自监督的地震相预测方法，其特征在于，下游网络的解码部分总共有3步流程；第一步：编码部分的4个输出首先通过线性变换将图像尺寸变为高16
×
宽16
×
通道数的大小，然后通过3
×
3卷积降低一半通道；第二步：第一步的4个输出自上而下与下一层进行拼接，拼接后通过两次3
×
3卷积降低一半通道数，最后上采样4倍输出尺寸变为高4
×
宽4
×
通道数4；第三步：将第二步的4个输出拼接后上采样4倍恢复到原始输入尺寸。9.根据权利要求1所述的基于transformer结构自监督的地震相预测方法，其特征在于，用辅助网络来重构大量掩码无标签数据的步骤包括：根据机器学习聚类和专家经验，求取地震剖面上不同地震相的整体分布，再结合测井数据的准确标签，选取质构造相同或类似的构造连井剖面并沿此方向切分得到地震剖面数据。10.根据权利要求2所述的基于transformer结构自监督的地震相预测方法，其特征在于，归一化方法包括：将得到的地震剖面数据缩放到0-255区间，将地震剖面数据处理成单通道的灰度图像形式；归一化的计算如式：式中x代表地震剖面中某一点的具体数值，x
max
代表地震剖面中的最大值，x
min
代表地震剖面中的最小值，x
*
代表归一化后对应灰度图像中某一点的像素值。

技术总结
本发明提供了一种基于Transformer结构自监督的地震相预测方法，根据测井信息和聚类算法对地震体数据进行初步识别，选取连井剖面作为无标签数据，进行掩码处理，得到掩码无标签数据；用辅助网络来重构大量掩码无标签数据，训练辅助网络参数，得到预训练权重；将辅助网络的预训练权重迁移至下游网络；利用标签数据对下游网络进行进一步训练，为下游网络载入辅助网络权重，并在此基础上通过半监督方式继续训练下游网络，以实现地震相预测，得到预测剖面；对预测剖面进行拼接，得到地震剖面。本发明通过迁移辅助网络的训练权重参数来使得下游地震相识别网络拥有一个较好的初始解，进而实现了基于自监督思想的小样本地震相智能化预测。测。测。


技术研发人员：陈启炀 井霈 沈冰鑫 罗杨 王峣钧
受保护的技术使用者：电子科技大学
技术研发日：2023.06.07
技术公布日：2023/8/9