一种光伏面板缺陷检测模型确定和光伏面板缺陷检测方法与流程

1.本发明涉及深度学习技术领域，具体涉及一种光伏面板缺陷检测模型确定和光伏面板缺陷检测方法。


背景技术：

2.传统的光伏面板缺陷检测方法主要是采用人工筛查的方法，不仅排查速度慢且效率非常低，另一种方式是采用红外热成像仪等检测设备获取相关光伏面板图片，再采用人工筛查和识别的方式判断出缺陷位置，其缺陷的判断和定位仍离不开人的主观参与，应用局限性非常大。近些年深度学习技术发展迅速，以深度神经网络为基础的图像处理算法被赋予了强大的图像特征提取能力，这也被运用于光伏面板的缺陷检测。
3.但是现有基于深度神经网络学习的光伏面板缺陷检测模型存在模型参数量巨大，检测过程复杂，对硬件要求高，检测速度慢等缺点。


技术实现要素：

4.有鉴于此，本发明实施例提供了涉及一种光伏面板缺陷检测模型确定和光伏面板缺陷检测方法，以解决现有技术中光伏面板缺陷检测模型存在模型参数量巨大，检测过程复杂，对硬件要求高，检测速度慢等缺点的技术问题。
5.本发明提出的技术方案如下：
6.第一方面，本发明实施例提供一种光伏面板缺陷检测模型确定方法，该光伏面板缺陷检测模型确定方法包括：获取光伏面板图像数据集和初始卷积神经网络，所述初始卷积神经网络包括图像特征提取网络和全卷积检测网络；利用全卷积结构对所述全卷积检测网络进行修改，得到单阶段卷积检测网络；基于所述图像特征提取网络，增加特征融合增强网络，所述特征融合增强网络分别与所述图像特征提取网络和所述单阶段卷积检测网络连接；基于所述图像特征提取网络、所述特征融合增强网络和所述单阶段卷积检测网络确定目标卷积神经网络；将所述光伏面板图像数据集输入所述目标卷积神经网络进行训练，直至得到满足条件的光伏面板缺陷检测模型。
7.结合第一方面，在第一方面的一种可能的实现方式中，将所述光伏面板图像数据集输入所述目标卷积神经网络进行训练，直至得到满足条件的光伏面板缺陷检测模型，包括：基于所述光伏面板图像数据集，经过所述目标卷积神经网络中所述图像特征提取网络和所述特征融合增强网络处理，得到目标图像特征数据集；基于所述目标图像特征数据集，经过预设设定规则，得到至少一个先验检测框；基于所述目标图像特征数据集，利用所述目标卷积神经网络中所述单阶段卷积检测网络对每个所述先验检测框进行类别预测和位置更新，直至得到目标检测框时停止预测和更新，并建立所述光伏面板缺陷检测模型。
8.结合第一方面，在第一方面的另一种可能的实现方式中，所述单阶段卷积检测网络包括第一卷积层和第二卷积层；基于所述目标图像特征数据集，利用所述单阶段卷积检测网络对每个所述先验检测框进行类别预测和位置更新，得到目标检测框，包括：基于所述
目标图像特征数据集和每个所述先验检测框，经过所述单阶段卷积检测网络中所述第一卷积层预测，得到每个所述先验检测框的分类结果和分类置信度值；基于所述目标图像特征数据集、每个所述先验检测框的所述分类结果和所述分类置信度值，经过所述单阶段卷积检测网络中所述第二卷积层预测，得到每个所述先验检测框的坐标回归值；基于每个所述先验检测框的所述分类置信度值和所述坐标回归值，经过预设过滤方法和非极大抑制算法处理，得到所述目标检测框。
9.结合第一方面，在第一方面的又一种可能的实现方式中，基于所述目标图像特征数据集、每个所述先验检测框的所述分类结果和所述分类置信度值，经过所述单阶段卷积检测网络中所述第二卷积层预测，得到每个所述先验检测框的坐标回归值，包括：获取每个所述先验检测框的坐标位置、第一坐标位置偏移量和预设标记真值；基于所述坐标位置和所述预设标记真值确定第二坐标位置偏移量；基于每个所述先验检测框的所述分类结果和所述分类置信度值建立分类损失函数；基于所述第一坐标位置偏移量和所述第二坐标位置偏移量建立回归损失函数；基于所述分类损失函数和所述回归损失函数，确定目标损失函数；基于所述第一坐标位置偏移量和所述坐标位置，经过所述目标损失函数，得到每个所述先验检测框的坐标回归值。
10.结合第一方面，在第一方面的又一种可能的实现方式中，基于每个所述先验检测框的所述分类置信度值和所述坐标回归值，经过预设过滤方法和非极大抑制算法处理，得到所述目标检测框，包括：获取预设分类置信度值阈值；基于每个所述先验检测框的所述分类置信度值和所述坐标回归值，生成至少一个第一检测框；将每个所述第一检测框的所述分类置信度值分别与所述预设分类置信度值阈值进行比对；当所述分类置信度值大于所述预设分类置信度值阈值，过滤所述第一检测框，并得到至少一个第二检测框；基于每个所述第二检测框，经过所述非极大抑制算法处理，得到所述目标检测框。
11.第二方面，本发明实施例提供一种光伏面板缺陷检测方法，该光伏面板缺陷检测方法包括：获取待检测光伏面板的图像数据集；将所述图像数据集输入光伏面板缺陷检测模型，得到目标检测框的坐标回归值，所述光伏面板缺陷检测模型为根据如本发明实施例第一方面及第一方面任一项所述的光伏面板缺陷检测模型确定方法得到，所述目标检测框为所述待检测光伏面板的缺陷图像对应的框图；基于所述坐标回归值，在所述图像数据集中确定所述待检测光伏面板的缺陷位置。
12.第三方面，本发明实施例提供一种光伏面板缺陷检测模型的确定装置，该光伏面板缺陷检测模型的确定装置包括：第一获取模块，用于获取光伏面板图像数据集和初始卷积神经网络，所述初始卷积神经网络包括图像特征提取网络和全卷积检测网络；修改模块，用于利用全卷积结构对所述全卷积检测网络进行修改，得到单阶段卷积检测网络；增加模块，用于基于所述图像特征提取网络，增加特征融合增强网络，所述特征融合增强网络分别与所述图像特征提取网络和所述单阶段卷积检测网络连接；第一确定模块，用于基于所述图像特征提取网络、所述特征融合增强网络和所述单阶段卷积检测网络确定目标卷积神经网络；训练模块，用于将所述光伏面板图像数据集输入所述目标卷积神经网络进行训练，直至得到满足条件的光伏面板缺陷检测模型。
13.第四方面，本发明实施例提供一种光伏面板缺陷检测装置，该光伏面板缺陷检测装置包括：第二获取模块，用于获取待检测光伏面板的图像数据集；输入模块，用于将所述
图像数据集输入光伏面板缺陷检测模型，得到目标检测框的坐标回归值，所述光伏面板缺陷检测模型为根据如本发明实施例第一方面及第一方面任一项所述的光伏面板缺陷检测模型确定方法得到，所述目标检测框为所述待检测光伏面板的缺陷图像对应的框图；第二确定模块，用于基于所述坐标回归值，在所述图像数据集中确定所述待检测光伏面板的缺陷位置。
14.第五方面，本发明实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使所述计算机执行如本发明实施例第一方面及第一方面任一项所述的光伏面板缺陷检测模型确定方法，或如本发明实施例第二方面所述的光伏面板缺陷检测方法。
15.第六方面，本发明实施例提供一种电子设备，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机程序，所述处理器通过执行所述计算机程序，从而执行如本发明实施例第一方面及第一方面任一项所述的光伏面板缺陷检测模型确定方法，或如本发明实施例第二方面所述的光伏面板缺陷检测方法。
16.本发明提供的技术方案，具有如下效果：
17.本发明实施例提供的光伏面板缺陷检测模型确定方法，采用全卷积结构将现有的全卷积检测网络改进为单阶段卷积检测网络，使得卷积神经网络中可以不用通过建立区域生成网络来生成大量感兴趣区域并对这些区域进行单独处理，大大降低了计算资源的消耗，简化了检测处理步骤，提升了检测速度；进一步，通过增加特征融合增强网络提高了特征的利用率以及光伏面板中小目标缺陷的检测能力。因此，通过实施本发明，减少了模型参数量，简化了检测处理步骤，提升了检测速度和检测能力。
18.本发明实施例提供的光伏面板缺陷检测方法，利用本发明实施例所述的光伏面板缺陷检测模型确定方法得到的光伏面板缺陷检测模型可以直接得到待检测光伏面板的缺陷图像对应的框图的坐标回归值，进一步确定待检测光伏面板的缺陷位置，提高了缺陷检测速度。
附图说明
19.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案，下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
20.图1是根据本发明实施例提供的一种光伏面板缺陷检测模型确定方法的流程图；
21.图2是根据本发明实施例提供的目标卷积神经网络示意图；
22.图3是根据本发明实施例提供的特征融合增强网络示意图；
23.图4是根据本发明实施例提供的单阶段卷积检测网络示意图；
24.图5是根据本发明实施例提供的一种光伏面板缺陷检测方法的流程图；
25.图6是根据本发明实施例提供的一种光伏面板缺陷检测模型确定装置的结构框图；
26.图7是根据本发明实施例提供的一种光伏面板缺陷检测装置的结构框图；
27.图8是根据本发明实施例提供的计算机可读存储介质的结构示意图；
28.图9是根据本发明实施例提供的一种电子设备的结构示意图。
具体实施方式
29.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
30.需要说明的是，本发明的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、系统、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
31.本发明实施例提供一种光伏面板缺陷检测模型确定方法，如图1所示，该方法包括如下步骤：
32.步骤101：获取光伏面板图像数据集和初始卷积神经网络。
33.其中，初始卷积神经网络包括图像特征提取网络和全卷积检测网络。
34.进一步，全卷积检测网络表示基于区域提取的卷积神经网络。
35.具体地，本发明实施例中，借鉴densenet(密集卷积网络)结构中的denseblock(整个密集卷积网络中密集连接的基础单元)模块思想，在图像特征提取阶段采用4个级联的denseblock模块作为图像特征提取网络来提取图像特征，且模块之间连接池化层(pooling)进行下采样，如图2所示。
36.进一步，获取光伏面板图像数据集：
37.首先，制作经过标记的样本数据集，包括：
38.(1)采集搭载了红外光谱相机的无人机实地拍摄的太阳能光伏板视频，获取原始太阳能电池板红外图像；
39.(2)对原始视频进行关键帧提取，得到包含正常光伏面板的图像和包含明显缺陷的图像；
40.(3)对关键帧进行人工筛选及数据清洗，剔除无效图片，得到正常图像和包含缺陷的图像；
41.(4)采用via软件对缺陷样本进行人工标注，采用json格式存储标记的样本类别及位置信息。
42.其次，采用随机剪裁、翻转、尺度变换、水平/垂直镜像的方式提高训练数据的规模，降低训练过程中过拟合的风险。
43.最后，基于增强的数据构建图像数据集，可以包括训练集、验证集以及测试集的数据集，数据比例设置为8:1:1。
44.步骤102：利用全卷积结构对所述全卷积检测网络进行修改，得到单阶段卷积检测网络。
45.具体地，利用全卷积结构将现有的全卷积检测网络修改为单阶段的卷积检测网络，使得网络结构中可以不用建立区域生成网络生成大量感兴趣区域并对这些区域进行单独处理，大大降低了计算资源的消耗，简化了处理步骤，提升了检测速度。
46.步骤103：基于所述图像特征提取网络，增加特征融合增强网络。
47.其中，特征融合增强网络分别与图像特征提取网络和单阶段卷积检测网络连接。
48.具体地，如图2所示，在基础的图像特征提取网络之外建立一个独立的特征融合增强网络，可以提高特征的利用率。
49.步骤104：基于所述图像特征提取网络、所述特征融合增强网络和所述单阶段卷积检测网络确定目标卷积神经网络。
50.具体地，如图2所示，改进后的初始卷积神经网络，即目标卷积神经网络包括图像特征提取网络、特征融合增强网络和单阶段卷积检测网络。
51.步骤105：将所述光伏面板图像数据集输入所述目标卷积神经网络进行训练，直至得到满足条件的光伏面板缺陷检测模型。
52.具体地，目标卷积神经网络中经过图像特征提取网络和特征融合增强网络后，单阶段卷积检测网络进一步采用全卷积结构将前两步得到的融合特征进行检测处理。
53.进一步，由于构建的数据集样本量相对较小，故采用预训练的方式初始化网络参数，具体为采用其他开源数据集对网络进行训练并保留训练参数，之后采用建立的光伏面板图像数据集训练网络，并采用较小的学习率不断调优光伏面板缺陷检测模型，直至得到满足条件的光伏面板缺陷检测模型。
54.本发明实施例提供的光伏面板缺陷检测模型确定方法，采用全卷积结构将现有的全卷积检测网络改进为单阶段卷积检测网络，使得卷积神经网络中可以不用通过建立区域生成网络来生成大量感兴趣区域并对这些区域进行单独处理，大大降低了计算资源的消耗，简化了检测处理步骤，提升了检测速度；进一步，通过增加特征融合增强网络提高了特征的利用率以及光伏面板中小目标缺陷的检测能力。因此，通过实施本发明，减少了模型参数量，简化了检测处理步骤，提升了检测速度和检测能力。
55.作为本发明实施例一种可选的实施方式，步骤105，包括：基于所述光伏面板图像数据集，经过所述目标卷积神经网络中所述图像特征提取网络和所述特征融合增强网络处理，得到目标图像特征数据集；基于所述目标图像特征数据集，经过预设设定规则，得到至少一个先验检测框；基于所述目标图像特征数据集，利用所述目标卷积神经网络中所述单阶段卷积检测网络对每个所述先验检测框进行类别预测和位置更新，直至得到目标检测框时停止预测和更新，并建立所述光伏面板缺陷检测模型。
56.具体地，首先利用图像特征提取网络对光伏面板图像数据集进行特征提取，进一步，利用特征融合增强网络进行特征融合得到目标图像特征数据集。
57.其中，特征融合增强网络如图3所示，目的是将高层低分辨率特征与低层特征进行融合从而将抽象特征融入到低层高分辨率特征中，同时保留原始低分辨率特征图的语义判别能力，提升小目标的检测能力。其中，高或低分辨率是相对的，一般来说深度神经网络由多个网络层构成，最接近输入端的为低层，越往后层次越高。层与层之前可能会连接池化层来降低特征的分辨率，因此越往后所经历的池化层(pooling)越多，特征的分辨率也越小，也就是特征越抽象。其中，图3中卷积检测器即为本发明实施例中单阶段卷积检测网络。
58.进一步，由于每个denseblock中最后一层特征输出维度不同，因此为了便于融合采用1x1卷积核将特征维度转换为统一维度，得到四种尺度的特征集合{d1,d2,d3,d4}，之后对高层的特征依次分别采用步长为2的反卷积进行上采样并与前一层级特征相融合，得到融合增强后的特征集合{f1,f2,f3}。在进行检测时保留最高层特征d4，针对特征集合{f1,f2,f3,d4}设定先验检测框，然后，后端的单阶段卷积检测网络只需要针对这些先验检测框进行类别预测和位置更新即可得到目标检测框，进一步，当得到目标检测框后，停止训练并得到对应的光伏面板缺陷检测模型。
59.其中，预设设定规则为对特征集合中不同尺度的特征设定不同数量的锚定点(如n*n)，每个锚定点预测m个检测框，这样得到n*n*m个先验检测框。
60.本发明实施例中通过在被检测特征图中设置先验检测框的方式取代两阶段目标检测模型中所要建立的区域生成网络，节省了网络的计算开销。
61.作为本发明实施例一种可选的实施方式，基于所述目标图像特征数据集，利用所述单阶段卷积检测网络对每个所述先验检测框进行类别预测和位置更新，得到目标检测框，包括：基于所述目标图像特征数据集和每个所述先验检测框，经过所述单阶段卷积检测网络中所述第一卷积层预测，得到每个所述先验检测框的分类结果和分类置信度值；基于所述目标图像特征数据集、每个所述先验检测框的所述分类结果和所述分类置信度值，经过所述单阶段卷积检测网络中所述第二卷积层预测，得到每个所述先验检测框的坐标回归值；基于每个所述先验检测框的所述分类置信度值和所述坐标回归值，经过预设过滤方法和非极大抑制算法处理，得到所述目标检测框。
62.具体地，单阶段卷积检测网络通过全卷积运算将特征图处理为概率值以及坐标回归值，由两个卷积层组成，包括第一卷积层和第二卷积层。
63.其中，第一卷积层用于预测特征中每个锚定框的类别及置信度值；第二卷积层用于预测锚定框的坐标回归值负责对检测框位置进行修正。
64.具体地，如图4所示，在特征图后端连接两个并行的卷积层分别预测类别置信度以及坐标位置回归值，对于这两个并行的预测系统，其输出由相对应的卷积层决定，以类别置信度为例：对于特征图，其每个特征点有m个锚定框，假设需要预测n个类别，那么对于该特征点预测输出m*n个数，将这些数处理为m列n行的矩阵，即每一列均是相应锚定框的类别概率值(预测结果为n行中值最大的那个概率值所对应的类别)，置信度值为相应的概率值。
65.同样的，每个特征点处的位置回归需要预测m*4个数，因为每个锚定框需要预测出4个值来更新其位置。
66.通过上述两个卷积层操作，可以生成打大量的检测框，其中有很大一部分为无效框以及冗余的检测框，进一步，通过预设过滤方法和非极大抑制算法进行处理，可以得到对应的目标检测框。
67.作为本发明实施例一种可选的实施方式，基于所述目标图像特征数据集、每个所述先验检测框的所述分类结果和所述分类置信度值，经过所述单阶段卷积检测网络中所述第二卷积层预测，得到每个所述先验检测框的坐标回归值，包括：获取每个所述先验检测框的坐标位置、第一坐标位置偏移量和预设标记真值；基于所述坐标位置和所述预设标记真值确定第二坐标位置偏移量；基于每个所述先验检测框的所述分类结果和所述分类置信度值建立分类损失函数；基于所述第一坐标位置偏移量和所述第二坐标位置偏移量建立回归
损失函数；基于所述分类损失函数和所述回归损失函数，确定目标损失函数；基于所述第一坐标位置偏移量和所述坐标位置，经过所述目标损失函数，得到每个所述先验检测框的坐标回归值。
68.其中，先验框是以特征图中每个特征点的中心(也就是“锚点”)作为参考点进行设定的，为了便于算法实现，计算时以中心点坐标和高宽值确定先验检测框位置，即坐标位置可定义为，其中前两位为中心点横纵坐标，后两位为先验检测框的宽度和高度，预测输出的位置坐标回归值可定义为，其数学实质是先验框坐标的偏移量，即第一坐标位置偏移量，通过此偏移量可建立先验框与预测框之间的数学关系。
69.具体地，坐标位置回归的计算可分为两个不同的阶段，分别是训练阶段和测试阶段。网络在训练时需要借助经过标记的行人样本指导参数更新，这个阶段先验检测框坐标以及预设标记真值(ground truth，gt)是已知量，因此需要优化的是坐标位置偏移量，即第二坐标位置偏移量为定值，设gt位置为，可定义位置偏移量算法如下关系式(1)，即基于坐标位置和预设标记真值确定第二坐标位置偏移量：
70.(1)
71.上述关系式(1)可以看作是对坐标偏移量的编码过程，可通过计算得出的第二坐标位置偏移量与网络坐标回归预测输出值，即第一坐标位置偏移量之间差异计算损失值。
72.其中，基于数据驱动的神经网络在训练阶段一般为监督式的，也就是需要对数据样本进行标记用于监督网络的训练调整参数值，这个标记值就是标记真值，比如在进行缺陷检测时，需要训练网络模型，那么训练时需要用到训练样本，这个训练样本是经过人工标记的，也就是采用人工的方式对样本中的缺陷精确位置和类别进行标记，并将标记存储在相应的文件中，这个人工标记的部分就是标记真值。
73.在测试阶段，网络对经过标记的图片进行预测时，参数发生了变化，不再有gt值，取而代之的是网络输出的偏移量值，即第一坐标位置偏移量和需要经过坐标回归计算才能得到预测框位置，即先验检测框的坐标回归值。假设坐标回归值为，此时需要对偏移量算法进行解码，计算如下关系式(2)所示，即基于第一坐标位置偏移量和坐标位置确定坐标回归值：
74.(2)
75.进一步，在上述确定坐标回归值的过程中，涉及两个方面的损失，分别是分类损失和位置回归损失，由于训练中存在正负样本比例失衡的问题，因此对常用的标准交叉熵损失函数进行改造得到分类损失函数，如下关系式(3)所示：
76.(3)
77.式中：表示先验检测框的编号，即分类结果；表示网络输出的先验检测框的分类置信度值；表示调节正负损失比例的平衡因子；表示交叉熵损失函数调节因子。
78.回归损失函数采用smooth l1 loss函数，如下关系式(4)所示：
79.(4)
80.其中：
81.(5)
82.式中：表示回归目标；表示预测输出；表示需要回归的位置偏移量，即第二坐标位置偏移量；表示网络预测输出位置偏移量，即第一坐标位置偏移量；表示匹配到标记样本框
的先验框数量。
83.进一步，网络的总损失中包含了置信度损失及回归损失两个损失分量，因此，基于分类损失函数和回归损失函数，确定目标损失函数，如下关系式(6)所示：
84.(6)
85.式中：和表示损失权重，用于平衡损失分量。
86.本发明实施例通过上述损失策略使训练，可以更加关注困难样本的分类，提高模型训练的效果。
87.作为本发明实施例一种可选的实施方式，基于每个所述先验检测框的所述分类置信度值和所述坐标回归值，经过预设过滤方法和非极大抑制算法处理，得到所述目标检测框，包括：获取预设分类置信度值阈值；基于每个所述先验检测框的所述分类置信度值和所述坐标回归值，生成至少一个第一检测框；将每个所述第一检测框的所述分类置信度值分别与所述预设分类置信度值阈值进行比对；当所述分类置信度值大于所述预设分类置信度值阈值，过滤所述第一检测框，并得到至少一个第二检测框；基于每个所述第二检测框，经过所述非极大抑制算法处理，得到所述目标检测框。
88.其中，非极大抑制算法表示抑制不是一种极大值的元素，搜索局部的极大值的算法。
89.具体地，通过上述步骤，在预测阶段可以生成大量检测框，即基于每个先验检测框的分类置信度值和坐标回归值，生成至少一个第一检测框。其中，生成的大量检测框有很大一部分为无效框以及冗余的检测框，需要对其进一步处理，首先，采用设定阈值的方式过滤掉大多数置信度较低的检测框。
90.具体地，将每个第一检测框的分类置信度值分别与预设分类置信度值阈值进行比对，将分类置信度值大于预设分类置信度值阈值的第一检测框过滤掉，得到剩余检测框，即至少一个第二检测框。
91.进一步，从原理上来说会针对同一个被检测目标产生多个有效检测框，因此需要用到目标检测领域常用到的非极大抑制算法保留最优结果。
92.具体地，利用非极大抑制算法对剩余的第二检测框进行处理，并保留最优结果，即得到目标检测框。
93.本发明实施例还提供一种光伏面板缺陷检测方法，如图5所示，该方法包括如下步骤：
94.步骤201：获取待检测光伏面板的图像数据集。
95.具体的获取方法参考上述光伏面板缺陷检测模型确定方法中步骤101中的图像数据集获取方法，此处不再赘述。
96.步骤202：将所述图像数据集输入光伏面板缺陷检测模型，得到目标检测框的坐标回归值。
97.其中，光伏面板缺陷检测模型为根据本发明实施例所述的光伏面板缺陷检测模型确定方法得到，目标检测框为待检测光伏面板的缺陷图像对应的框图。
98.具体地，对图像数据集进行帧提取与图片预处理后，输入光伏面板缺陷检测模型，进一步，模型输出目标检测框位置坐标。
99.步骤203：基于所述坐标回归值，在所述图像数据集中确定所述待检测光伏面板的
缺陷位置。
100.具体地，将坐标回归值投影到图像数据集中可以得到对应的缺陷检测结果，即待检测光伏面板的缺陷位置。
101.本发明实施例提供的光伏面板缺陷检测方法，利用本发明实施例所述的光伏面板缺陷检测模型确定方法得到的光伏面板缺陷检测模型可以直接得到待检测光伏面板的缺陷图像对应的框图的坐标回归值，进一步确定待检测光伏面板的缺陷位置，提高了缺陷检测速度。
102.本发明实施例还提供一种光伏面板缺陷检测模型确定装置，如图6所示，该装置包括：
103.第一获取模块301，用于获取光伏面板图像数据集和初始卷积神经网络，所述初始卷积神经网络包括图像特征提取网络和全卷积检测网络；详细内容参见上述方法实施例中步骤101的相关描述。
104.修改模块302，用于利用全卷积结构对所述全卷积检测网络进行修改，得到单阶段卷积检测网络；详细内容参见上述方法实施例中步骤102的相关描述。
105.增加模块303，用于基于所述图像特征提取网络，增加特征融合增强网络，所述特征融合增强网络分别与所述图像特征提取网络和所述单阶段卷积检测网络连接；详细内容参见上述方法实施例中步骤103的相关描述。
106.第一确定模块304，用于基于所述图像特征提取网络、所述特征融合增强网络和所述单阶段卷积检测网络确定目标卷积神经网络；详细内容参见上述方法实施例中步骤104的相关描述。
107.训练模块305，用于将所述光伏面板图像数据集输入所述目标卷积神经网络进行训练，直至得到满足条件的光伏面板缺陷检测模型；详细内容参见上述方法实施例中步骤105的相关描述。
108.本发明实施例提供的光伏面板缺陷检测模型确定装置，采用全卷积结构将现有的全卷积检测网络改进为单阶段卷积检测网络，使得卷积神经网络中可以不用通过建立区域生成网络来生成大量感兴趣区域并对这些区域进行单独处理，大大降低了计算资源的消耗，简化了检测处理步骤，提升了检测速度；进一步，通过增加特征融合增强网络提高了特征的利用率以及光伏面板中小目标缺陷的检测能力。因此，通过实施本发明，减少了模型参数量，简化了检测处理步骤，提升了检测速度和检测能力。
109.作为本发明实施例一种可选的实施方式，所述训练模块，包括：第一处理子模块，用于基于所述光伏面板图像数据集，经过所述目标卷积神经网络中所述图像特征提取网络和所述特征融合增强网络处理，得到目标图像特征数据集；设置子模块，用于基于所述目标图像特征数据集，经过预设设定规则，得到至少一个先验检测框；预测更新子模块，用于基于所述目标图像特征数据集，利用所述目标卷积神经网络中所述单阶段卷积检测网络对每个所述先验检测框进行类别预测和位置更新，直至得到目标检测框时停止预测和更新，并建立所述光伏面板缺陷检测模型。
110.作为本发明实施例一种可选的实施方式，所述单阶段卷积检测网络包括第一卷积层和第二卷积层；所述预测更新子模块，包括：第一预测子模块，用于基于所述目标图像特征数据集和每个所述先验检测框，经过所述单阶段卷积检测网络中所述第一卷积层预测，
得到每个所述先验检测框的分类结果和分类置信度值；第二预测子模块，用于基于所述目标图像特征数据集、每个所述先验检测框的所述分类结果和所述分类置信度值，经过所述单阶段卷积检测网络中所述第二卷积层预测，得到每个所述先验检测框的坐标回归值；第二处理子模块，用于基于每个所述先验检测框的所述分类置信度值和所述坐标回归值，经过预设过滤方法和非极大抑制算法处理，得到所述目标检测框。
111.作为本发明实施例一种可选的实施方式，所述第二预测子模块，包括：第一获取子模块，用于获取每个所述先验检测框的坐标位置、第一坐标位置偏移量和预设标记真值；第一确定子模块，用于基于所述坐标位置和所述预设标记真值确定第二坐标位置偏移量；第一建立子模块，用于基于每个所述先验检测框的所述分类结果和所述分类置信度值建立分类损失函数；第二建立子模块，用于基于所述第一坐标位置偏移量和所述第二坐标位置偏移量建立回归损失函数；第二确定子模块，用于基于所述分类损失函数和所述回归损失函数，确定目标损失函数；训练子模块，用于基于所述第一坐标位置偏移量和所述坐标位置，经过所述目标损失函数，得到每个所述先验检测框的坐标回归值。
112.作为本发明实施例一种可选的实施方式，所述第二处理子模块，包括：第二获取子模块，用于获取预设分类置信度值阈值；生成子模块，用于基于每个所述先验检测框的所述分类置信度值和所述坐标回归值，生成至少一个第一检测框；比对子模块，用于将每个所述第一检测框的所述分类置信度值分别与所述预设分类置信度值阈值进行比对；过滤子模块，用于当所述分类置信度值大于所述预设分类置信度值阈值，过滤所述第一检测框，并得到至少一个第二检测框；第三处理子模块，用于基于每个所述第二检测框，经过所述非极大抑制算法处理，得到所述目标检测框。
113.本发明实施例提供的光伏面板缺陷检测模型确定装置的功能描述详细参见上述实施例中光伏面板缺陷检测模型确定方法描述。
114.本发明实施例还提供一种光伏面板缺陷检测装置，如图7所示，该装置包括：
115.第二获取模块401，用于获取待检测光伏面板的图像数据集；详细内容参见上述方法实施例中步骤201的相关描述。
116.输入模块402，用于将所述图像数据集输入光伏面板缺陷检测模型，得到目标检测框的坐标回归值，所述光伏面板缺陷检测模型为根据如本发明实施例所述的光伏面板缺陷检测模型确定方法得到，所述目标检测框为所述待检测光伏面板的缺陷图像对应的框图；详细内容参见上述方法实施例中步骤202的相关描述。
117.第二确定模块403，用于基于所述坐标回归值，在所述图像数据集中确定所述待检测光伏面板的缺陷位置；详细内容参见上述方法实施例中步骤203的相关描述。
118.本发明实施例提供的光伏面板缺陷检测装置，利用本发明实施例所述的光伏面板缺陷检测模型确定方法得到的光伏面板缺陷检测模型可以直接得到待检测光伏面板的缺陷图像对应的框图的坐标回归值，进一步确定待检测光伏面板的缺陷位置，提高了缺陷检测速度。
119.本发明实施例提供的光伏面板缺陷检测装置的功能描述详细参见上述实施例中光伏面板缺陷检测方法描述。
120.本发明实施例还提供一种存储介质，如图8所示，其上存储有计算机程序501，该指令被处理器执行时实现上述实施例中光伏面板缺陷检测模型确定方法或光伏面板缺陷检
测方法的步骤。其中，存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)、随机存储记忆体(random access memory，ram)、快闪存储器(flash memory)、硬盘(hard disk drive，hdd)或固态硬盘(solid-state drive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。
121.本领域技术人员可以理解，实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的程序可存储于一计算机可读取存储介质中，该程序在执行时，可包括如上述各方法的实施例的流程。其中，所述存储介质可为磁碟、光盘、只读存储记忆体(read-only memory，rom)、随机存储记忆体(random access memory，ram)、快闪存储器(flash memory)、硬盘(hard disk drive，hdd)或固态硬盘(solid-state drive，ssd)等；所述存储介质还可以包括上述种类的存储器的组合。
122.本发明实施例还提供了一种电子设备，如图9所示，该电子设备可以包括处理器61和存储器62，其中处理器61和存储器62可以通过总线或者其他方式连接，图9中以通过总线连接为例。
123.处理器61可以为中央处理器(central processing unit，cpu)。处理器61还可以为其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等芯片，或者上述各类芯片的组合。
124.存储器62作为一种非暂态计算机可读存储介质，可用于存储非暂态软件程序、非暂态计算机可执行程序以及模块，如本发明实施例中的对应的程序指令/模块。处理器61通过运行存储在存储器62中的非暂态软件程序、指令以及模块，从而执行处理器的各种功能应用以及数据处理，即实现上述方法实施例中的光伏面板缺陷检测模型确定方法或光伏面板缺陷检测方法。
125.存储器62可以包括存储程序区和存储数据区，其中，存储程序区可存储操作装置、至少一个功能所需要的应用程序；存储数据区可存储处理器61所创建的数据等。此外，存储器62可以包括高速随机存取存储器，还可以包括非暂态存储器，例如至少一个磁盘存储器件、闪存器件、或其他非暂态固态存储器件。在一些实施例中，存储器62可选包括相对于处理器61远程设置的存储器，这些远程存储器可以通过网络连接至处理器61。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
126.所述一个或者多个模块存储在所述存储器62中，当被所述处理器61执行时，执行如图1-5所示实施例中的光伏面板缺陷检测模型确定方法或光伏面板缺陷检测方法。
127.上述电子设备具体细节可以对应参阅图1至图5所示的实施例中对应的相关描述和效果进行理解，此处不再赘述。
128.虽然结合附图描述了本发明的实施例，但是本领域技术人员可以在不脱离本发明的精神和范围的情况下做出各种修改和变型，这样的修改和变型均落入由所附权利要求所限定的范围之内。

技术特征：
1.一种光伏面板缺陷检测模型确定方法，其特征在于，所述方法包括：获取光伏面板图像数据集和初始卷积神经网络，所述初始卷积神经网络包括图像特征提取网络和全卷积检测网络；利用全卷积结构对所述全卷积检测网络进行修改，得到单阶段卷积检测网络；基于所述图像特征提取网络，增加特征融合增强网络，所述特征融合增强网络分别与所述图像特征提取网络和所述单阶段卷积检测网络连接；基于所述图像特征提取网络、所述特征融合增强网络和所述单阶段卷积检测网络确定目标卷积神经网络；将所述光伏面板图像数据集输入所述目标卷积神经网络进行训练，直至得到满足条件的光伏面板缺陷检测模型。2.根据权利要求1所述的方法，其特征在于，将所述光伏面板图像数据集输入所述目标卷积神经网络进行训练，直至得到满足条件的光伏面板缺陷检测模型，包括：基于所述光伏面板图像数据集，经过所述目标卷积神经网络中所述图像特征提取网络和所述特征融合增强网络处理，得到目标图像特征数据集；基于所述目标图像特征数据集，经过预设设定规则，得到至少一个先验检测框；基于所述目标图像特征数据集，利用所述目标卷积神经网络中所述单阶段卷积检测网络对每个所述先验检测框进行类别预测和位置更新，直至得到目标检测框时停止预测和更新，并建立所述光伏面板缺陷检测模型。3.根据权利要求2所述的方法，其特征在于，所述单阶段卷积检测网络包括第一卷积层和第二卷积层；基于所述目标图像特征数据集，利用所述单阶段卷积检测网络对每个所述先验检测框进行类别预测和位置更新，得到目标检测框，包括：基于所述目标图像特征数据集和每个所述先验检测框，经过所述单阶段卷积检测网络中所述第一卷积层预测，得到每个所述先验检测框的分类结果和分类置信度值；基于所述目标图像特征数据集、每个所述先验检测框的所述分类结果和所述分类置信度值，经过所述单阶段卷积检测网络中所述第二卷积层预测，得到每个所述先验检测框的坐标回归值；基于每个所述先验检测框的所述分类置信度值和所述坐标回归值，经过预设过滤方法和非极大抑制算法处理，得到所述目标检测框。4.根据权利要求3所述的方法，其特征在于，基于所述目标图像特征数据集、每个所述先验检测框的所述分类结果和所述分类置信度值，经过所述单阶段卷积检测网络中所述第二卷积层预测，得到每个所述先验检测框的坐标回归值，包括：获取每个所述先验检测框的坐标位置、第一坐标位置偏移量和预设标记真值；基于所述坐标位置和所述预设标记真值确定第二坐标位置偏移量；基于每个所述先验检测框的所述分类结果和所述分类置信度值建立分类损失函数；基于所述第一坐标位置偏移量和所述第二坐标位置偏移量建立回归损失函数；基于所述分类损失函数和所述回归损失函数，确定目标损失函数；基于所述第一坐标位置偏移量和所述坐标位置，经过所述目标损失函数，得到每个所述先验检测框的坐标回归值。5.根据权利要求4所述的方法，其特征在于，基于每个所述先验检测框的所述分类置信
度值和所述坐标回归值，经过预设过滤方法和非极大抑制算法处理，得到所述目标检测框，包括：获取预设分类置信度值阈值；基于每个所述先验检测框的所述分类置信度值和所述坐标回归值，生成至少一个第一检测框；将每个所述第一检测框的所述分类置信度值分别与所述预设分类置信度值阈值进行比对；当所述分类置信度值大于所述预设分类置信度值阈值，过滤所述第一检测框，并得到至少一个第二检测框；基于每个所述第二检测框，经过所述非极大抑制算法处理，得到所述目标检测框。6.一种光伏面板缺陷检测方法，其特征在于，所述方法包括：获取待检测光伏面板的图像数据集；将所述图像数据集输入光伏面板缺陷检测模型，得到目标检测框的坐标回归值，所述光伏面板缺陷检测模型为根据如权利要求1-5任一项所述的光伏面板缺陷检测模型确定方法得到，所述目标检测框为所述待检测光伏面板的缺陷图像对应的框图；基于所述坐标回归值，在所述图像数据集中确定所述待检测光伏面板的缺陷位置。7.一种光伏面板缺陷检测模型的确定装置，其特征在于，所述装置包括：第一获取模块，用于获取光伏面板图像数据集和初始卷积神经网络，所述初始卷积神经网络包括图像特征提取网络和全卷积检测网络；修改模块，用于利用全卷积结构对所述全卷积检测网络进行修改，得到单阶段卷积检测网络；增加模块，用于基于所述图像特征提取网络，增加特征融合增强网络，所述特征融合增强网络分别与所述图像特征提取网络和所述单阶段卷积检测网络连接；第一确定模块，用于基于所述图像特征提取网络、所述特征融合增强网络和所述单阶段卷积检测网络确定目标卷积神经网络；训练模块，用于将所述光伏面板图像数据集输入所述目标卷积神经网络进行训练，直至得到满足条件的光伏面板缺陷检测模型。8.一种光伏面板缺陷检测装置，其特征在于，所述装置包括：第二获取模块，用于获取待检测光伏面板的图像数据集；输入模块，用于将所述图像数据集输入光伏面板缺陷检测模型，得到目标检测框的坐标回归值，所述光伏面板缺陷检测模型为根据如权利要求1-5任一项所述的光伏面板缺陷检测模型确定方法得到，所述目标检测框为所述待检测光伏面板的缺陷图像对应的框图；第二确定模块，用于基于所述坐标回归值，在所述图像数据集中确定所述待检测光伏面板的缺陷位置。9.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序用于使所述计算机执行如权利要求1至5任一项所述的光伏面板缺陷检测模型确定方法，或如权利要求6所述的光伏面板缺陷检测方法。10.一种电子设备，其特征在于，包括：存储器和处理器，所述存储器和所述处理器之间互相通信连接，所述存储器存储有计算机程序，所述处理器通过执行所述计算机程序，从而
执行如权利要求1至5任一项所述的光伏面板缺陷检测模型确定方法，或如权利要求6所述的光伏面板缺陷检测方法。

技术总结
本发明公开了一种光伏面板缺陷检测模型确定和光伏面板缺陷检测方法，所述光伏面板缺陷检测模型确定方法包括：获取光伏面板图像数据集、图像特征提取网络和全卷积检测网络；利用全卷积结构对全卷积检测网络进行修改，得到单阶段卷积检测网络；基于图像特征提取网络，增加特征融合增强网络，进一步确定目标卷积神经网络，并将光伏面板图像数据集输入目标卷积神经网络进行训练，直至得到满足条件的光伏面板缺陷检测模型。本发明采用全卷积结构将现有的全卷积检测网络改进为单阶段卷积检测网络，大大降低了计算资源的消耗，简化了检测处理步骤，提升了检测速度；通过增加特征融合增强网络提高了特征的利用率。络提高了特征的利用率。络提高了特征的利用率。


技术研发人员：王银 孙勇 刘瑞阔 谷昱君 李伟 胡德鹏 姚维为
受保护的技术使用者：中国长江三峡集团有限公司
技术研发日：2023.04.11
技术公布日：2023/7/21