塑封薄膜缺陷检测方法、装置、电子设备和存储介质与流程

1.本发明涉及目标检测技术领域，具体涉及一种塑封薄膜缺陷检测方法、装置、电子设备和存储介质。


背景技术：

2.小型断路器在生产组装完成后，一般采用透明的塑料薄膜对其进行包装，塑料薄膜具有一定的防潮、防水的作用，具有良好的耐磨损性和抗撕裂性，能够有效的保护产品不受外界损伤；同时可视性好，透过薄膜能够使消费者清晰的看到产品。但是在小型断路器自动化包装的过程中，由于热塑机没有封好，或者温度过高导致局部薄膜烧穿，同时产品在流水线上流转的过程中因相互撞到等原因造成封装好的薄膜破损。因此产品在装箱之前需要将包装破损的产品剔除，以提高产品包装外观质量。因此在小型断路器包装后，需要对小型断路器包装进行破损检测。
3.现有的小型断路器包装破损检测方法主要是通过轮廓检测和特征判断等进行破损位置定位，但是由于包装材质塑料薄膜透明，白色区域或者紧密贴合处具有高透性，破损位置不明显，热熔胶缝合处状态复杂，小面积破损不明显，划痕、褶皱和隆起干扰性强，这就使得现有的小型断路器包装破损检测方法难以适配所有的破损特征和环境，从而使得检测结果存在误判。


技术实现要素：

4.本技术实施例提供一种塑封薄膜缺陷检测方法、装置、电子设备和存储介质，以改善现有小型断路器包装破损检测方法误判概率高的问题。
5.一方面，本技术实施例提供一种塑封薄膜缺陷检测方法，所述方法包括：
6.对待检测的塑封薄膜图像进行目标检测，确定所述塑封薄膜图像中破损区域的检测框以及所述破损区域的破损类型；
7.基于所述检测框的尺寸信息、所述破损类型以及所述塑封薄膜图像进行轮廓检测，确定所述塑封薄膜图像中破损轮廓面积；
8.基于所述破损轮廓面积确定所述塑封薄膜图像的缺陷检测结果。
9.另一方面，本技术实施例提供一种塑封薄膜缺陷检测装置，所述装置包括：
10.破损检测模块，用于对待检测的塑封薄膜图像进行目标检测，确定所述塑封薄膜图像中破损区域的检测框以及所述破损区域的破损类型；
11.轮廓检测模块，用于基于所述检测框的尺寸信息、所述破损类型以及所述塑封薄膜图像进行轮廓检测，确定所述塑封薄膜图像中破损轮廓面积；
12.缺陷检测模块，用于基于所述破损轮廓面积确定所述塑封薄膜图像的缺陷检测结果。
13.另一方面，本技术实施例提供一种电子设备，包括存储器和处理器；所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行上述塑封薄膜缺陷
检测方法中的操作。
14.另一方面，本技术实施例提供一种存储介质，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行上述塑封薄膜缺陷检测方法中的步骤。
15.本技术实施例提供一种塑封薄膜缺陷检测方法、装置、电子设备和存储介质，涉及目标检测技术领域，通过对待检测的塑封薄膜图像进行目标检测，确定塑封薄膜图像中破损区域的检测框以及破损区域的破损类型；基于检测框的尺寸信息、破损类型以及塑封薄膜图像进行轮廓检测，确定塑封薄膜图像中破损轮廓面积；基于破损轮廓面积确定塑封薄膜图像的缺陷检测结果；本技术实施例通过定位塑封薄膜图像中破损区域的位置、破损类型，并基于破损轮廓面积确定塑封薄膜图像的缺陷检测结果，能够降低小面积破损、划痕、褶皱和隆起的干扰，提高缺陷检测结果的准确度，从而降低缺陷检测结果的误判率。
附图说明
16.为了更清楚地说明本发明实施例中的技术方案，下面将对实施例描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
17.图1是本技术实施例提供的塑封薄膜缺陷检测方法的应用场景示意图；
18.图2是本技术实施例提供的塑封薄膜缺陷检测方法的流程示意图；
19.图3是本技术实施例提供的不同破损类型的待检测的塑封薄膜图像的示意；
20.图4是本技术实施例提供的目标检测方法的流程示意图；
21.图5是本技术实施例提供的特征提取器的结构示意图；
22.图6是本技术实施例提供的3*3的倒置线性瓶颈网络的结构示意图；
23.图7是本技术实施例提供的特征提取层的结构示意图；
24.图8是本技术实施例提供的不同尺度的图像特征融合的示意图；
25.图9是本技术实施例提供的另一种不同尺度的图像特征融合的示意图；
26.图10是本技术实施例提供的检测模型的结构示意图；
27.图11是本技术实施例提供的另一种检测模型的结构示意图；
28.图12是本技术实施例提供的破损轮廓面积计算的流程示意图；
29.图13是本技术实施例提供的轮廓检测方法的流程示意图；
30.图14是本技术实施例提供的另一种封薄膜缺陷检测方法的流程示意图；
31.图15是本技术实施例提供的塑封薄膜缺陷检测装置的结构示意图；
32.图16是本技术实施例提供的电子设备的结构示意图。
具体实施方式
33.现在将参考附图更全面地描述示例实施方式。然而，示例实施方式能够以多种形式实施，且不应被理解为限于在此阐述的范例；相反，提供这些实施方式使得本发明将更加全面和完整，并将示例实施方式的构思全面地传达给本领域的技术人员。
34.此外，所描述的特征、结构或特性可以以任何合适的方式结合在一个或更多实施例中。在下面的描述中，提供许多具体细节从而给出对本发明的实施例的充分理解。然而，
本领域技术人员将意识到，可以实践本发明的技术方案而没有特定细节中的一个或更多，或者可以采用其它的方法、组元、装置、步骤等。在其它情况下，不详细示出或描述公知方法、装置、实现或者操作以避免模糊本发明的各方面。
35.附图中所示的方框图仅仅是功能实体，不一定必须与物理上独立的实体相对应。即，可以采用软件形式来实现这些功能实体，或在一个或多个硬件模块或集成电路中实现这些功能实体，或在不同网络和/或处理器装置和/或微控制器装置中实现这些功能实体。
36.附图中所示的流程图仅是示例性说明，不是必须包括所有的内容和操作/步骤，也不是必须按所描述的顺序执行。例如，有的操作/步骤还可以分解，而有的操作/步骤可以合并或部分合并，因此实际执行的顺序有可能根据实际情况改变。
37.需要说明的是：在本文中提及的“多个”是指两个或两个以上。“和/或”描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。字符“/”一般表示前后关联对象是一种“或”的关系。
38.如背景技术所述，在小型断路器自动化包装的过程中，由于热塑机没有封好，或者温度过高导致局部薄膜烧穿，同时产品在流水线上流转的过程中因相互撞到等原因造成封装好的薄膜破损，并且由于包装材质塑料薄膜透明，白色区域或者紧密贴合处具有高透性，破损位置不明显，热熔胶缝合处状态复杂，小面积破损不明显，划痕、褶皱和隆起干扰性强，现有的检测方法能够识别到大面积破损，而对于小面积破损和热熔胶缝合破损，存在误检和漏检，使得检测结果存在误判。
39.基于此，为改善现有小型断路器包装破损检测方法误判概率高的问题，同时提升缺陷检测方法的适用性，本技术实施例提供一种塑封薄膜缺陷检测方法、装置、电子设备和存储介质，通过定位塑封薄膜图像中破损区域的位置、破损类型，并基于破损轮廓面积确定塑封薄膜图像的缺陷检测结果，能够降低小面积破损、划痕、褶皱和隆起的干扰，提高缺陷检测结果的准确度，从而降低缺陷检测结果的误判率。
40.为了便于理解本技术的技术方案，下面将结合实际应用场景对本技术实施例提供的塑封薄膜缺陷检测方法进行介绍。
41.示例性的，以塑封薄膜为小型断路器的塑封薄膜为例，提供塑封薄膜缺陷检测方法的应用场景，请参阅图1，图1是本技术实施例提供的塑封薄膜缺陷检测方法的应用场景示意图，所示的应用场景包括传输带、分拣装置、已塑封的断路器和塑封薄膜缺陷检测系统。
42.其中，传输带用于传输已塑封的断路器；塑封薄膜缺陷检测系统中部署有本技术实施例提供的塑封薄膜缺陷检测方法，用于对传输带上的已塑封的断路器的塑封薄膜进行缺陷检测，得到缺陷检测结果；分拣装置用于已塑封的断路器的分拣，例如将缺陷检测结果表征存在缺陷的已塑封的断路器分拣到不良品传输带，以对存在缺陷的已塑封的断路器进行重新塑封，将缺陷检测结果表征不存在缺陷的已塑封的断路器分拣到良品传输带。其中，存在缺陷的已塑封的断路器可以是塑封薄膜上存在小面积破损、大面积破损、热熔胶缝合破损、细长破损中的至少一种。
43.示例性的，如图1所示，塑封薄膜缺陷检测系统设置在传输带上，对传输带上的已塑封的断路器的塑封薄膜进行塑封薄膜缺陷检测，如图1所示，塑封薄膜缺陷检测系统包括图像传感器、检测单元和通信单元。其中，图像传感器用于采集传输带上已塑封的断路器的
塑封薄膜图像，得到待检测的塑封薄膜图像，检测单元上部署有本技术实施例提供的塑封薄膜缺陷检测方法，用于对待检测的塑封薄膜图像执行本技术实施例提供的塑封薄膜缺陷检测方法，得到塑封薄膜图像的缺陷检测结果；通信单元用于将塑封薄膜图像的缺陷检测结果传输至分拣装置。
44.在一些实施方式中，如图1所示，检测单元包括目标检测子单元、轮廓检测子单元和结果输出子单元。其中，目标检测子单元，用于对待检测的塑封薄膜图像进行目标检测，确定塑封薄膜图像中破损区域的检测框以及破损区域的破损类型；轮廓检测子单元，用于基于检测框的尺寸信息、破损类型以及塑封薄膜图像进行轮廓检测，确定塑封薄膜图像中破损轮廓面积；结果输出子单元，用于基于破损轮廓面积确定塑封薄膜图像的缺陷检测结果。
45.具体地，在该应用场景中，塑封薄膜缺陷检测步骤包括：
46.(1)已塑封的断路器通过传输带传输到塑封薄膜缺陷检测系统，当塑封薄膜缺陷检测系统检测到断路器到位后，通过调用塑封薄膜缺陷检测系统中的图像传感器采集已塑封的断路器图像，得到待检测的塑封薄膜图像，将待检测的塑封薄膜图像传输至检测单元。
47.(2)检测单元中的目标检测子单元对待检测的塑封薄膜图像进行目标检测，确定塑封薄膜图像中破损区域的检测框以及破损区域的破损类型，将塑封薄膜图像中破损区域的检测框以及破损区域的破损类型传输至轮廓检测子单元；轮廓检测子单元基于检测框的尺寸信息、破损类型以及塑封薄膜图像进行轮廓检测，确定塑封薄膜图像中破损轮廓面积，并将破损轮廓面积传输至结果输出子单元；结果输出子单元基于破损轮廓面积确定塑封薄膜图像的缺陷检测结果，将塑封薄膜图像的缺陷检测结果传输至通信单元。
48.(3)通信单元将缺陷检测结果发送至分拣装置。
49.(4)分拣装置基于缺陷检测结果，将塑封薄膜存在缺陷的断路器分拣到不良品传输带，将塑封薄膜不存在缺陷的断路器分拣到良品传输带。
50.可选的，图像传感器可以是ccd传感器，也可以是工业相机。
51.本技术实施例提供的应用场景，通过定位塑封薄膜图像中破损区域的位置、破损类型，并基于破损轮廓面积确定塑封薄膜图像的缺陷检测结果，能够降低小面积破损、划痕、褶皱和隆起的干扰，提高缺陷检测结果的准确度，从而降低缺陷检测结果的误判率。
52.基于图1所示的应用场景，本技术实施例提供一种塑封薄膜缺陷检测方法，如图2所示，图2是本技术实施例提供的塑封薄膜缺陷检测方法的流程示意图，所示的塑封薄膜缺陷检测方法可以由图1所示的塑封薄膜缺陷检测系统执行，也可以是由具有数据处理能力的电子设备执行，例如服务器、服务器集群、云服务器等，本技术实施例对此不进行具体限定。具体地，图2所示的塑封薄膜缺陷检测方法至少包括步骤210至步骤230，详细介绍如下：
53.步骤210，对待检测的塑封薄膜图像进行目标检测，确定塑封薄膜图像中破损区域的检测框以及破损区域的破损类型。
54.待检测的塑封薄膜图像可以是已塑封的产品的塑封薄膜图像，其中，产品包括但不限于电子产品、食品、物流产品等。其中电子产品包括但不限于断路器、电表、移动终端、传感器、穿戴设备等。
55.在一些实施方式中，已塑封的产品的塑封薄膜出现破损包括大面积破损、小面积破损、热熔胶缝合处裂口、细长破损，则破损类型包括但不限于大面积破损、小面积破损、热
熔胶缝合处裂口和细长破损等，示例性的，以产品为断路器为例，如图3所示，图3是本技术实施例提供的不同破损类型的待检测的塑封薄膜图像的示意，其中，图3中的(a)图为大面积破损，图3中的(b)图为小面积破损，图3中的(c)图为热熔胶缝合处裂口，图3中的(d)图为细长破损。考虑到细长破损包括大面积的细长破损和小面积的细长破损，为提高塑封薄膜缺陷检测方法的检测效率，破损类型可以包括大面积破损、小面积破损、热熔胶缝合处裂口。
56.在一些实施方式中，待检测的塑封薄膜图像可以是实时采集到的已塑封的产品的塑封薄膜图像，也可以是其他设备发送的已塑封的产品的塑封薄膜图像。
57.在一些实施方式中，可以通过对待检测的塑封薄膜图像进行轮廓检测，确定待检测的塑封薄膜图像中的破损区域，基于破损区域在待检测的塑封薄膜图像中的位置信息，得到破损区域所对应的图像区域，对该图像区域进行识别，得到破损区域的破损类型。
58.可选的，可以通过边缘检测算子对待检测的塑封薄膜图像进行轮廓检测，确定待检测的塑封薄膜图像中的破损区域，以破损区域的中心点为中心绘制包含该破损区域的最小检测框，得到破损区域的检测框。其中，中心点可以是破损区域的几何中心，也可以是破损区域的中心。边缘检测算子包括但不限于是sobel算子、isotropic sobel算子、roberts算子、prewitt算子、laplacian算子、canny算子等。
59.可选的，可以对该图像区域进行图像特征提取，得到该图像区域的图像特征，基于该图像区域的图像特征查询预设的特征库，得到破损区域的破损类型。其中，预设的特征库中包括多种破损类型以及每种破损类型所对应的图像特征簇，其中图像特征簇中包括至少一个图像特征。其中，图像特征包括但不限于边缘特征、灰度特征、对比度特征、纹理特征等。
60.示例性的，可以将该图像区域的图像特征与预设的特征库中图像特征簇进行比对，确定与该图像区域的图像特征之间的相似度最高的目标图像特征簇，将该目标图像特征簇所对应的破损类型确定为破损区域的破损类型。
61.在一些实施方式中，可以将待检测的塑封薄膜图像输入至预设的检测模型进行目标检测，确定塑封薄膜图像中破损区域的检测框以及破损区域的破损类型。其中，检测模型可以是基于神经网络的检测模型，也可以是基于机器学习的检测模型。
62.步骤220，基于检测框的尺寸信息、破损类型以及塑封薄膜图像进行轮廓检测，确定塑封薄膜图像中破损轮廓面积。
63.考虑到小面积破损区域、褶皱等类似破损的区域、曝光比较弱的区域，现有的破损检测方法的识别结果准确率不高，误检或者漏检概率高，从而降低了缺陷检测结果的准确度，基于此，为提高缺陷检测结果的准确度，在一些实施方式中，可以根据破损类型确定破损区域是否满足预设的轮廓面积计算条件，当破损区域满足预设的轮廓面积计算条件时，根据检测框的尺寸信息对塑封薄膜图像进行图像裁剪，得到裁剪后的图像，对裁剪后的图像进行轮廓识别，得到破损轮廓以及破损轮廓面积，通过预设的轮廓面积计算条件对目标检测的检测结果进行筛选，对筛选后的破损区域进行轮廓计算，得到破损轮廓面积，基于破损轮廓面积确定缺陷检测结果，如此，通过轮廓面积计算条件和破损轮廓面积两次识别，降低误检和漏检的概率。
64.可选的，轮廓面积计算条件可以是破损类型为小面积破损和热熔胶缝合处裂口。
可理解的，当破损区域的破损类型为小面积破损或者热熔胶缝合处裂口时，根据检测框的尺寸信息对塑封薄膜图像进行图像裁剪，得到裁剪后的图像，对裁剪后的图像进行轮廓识别，得到破损轮廓以及破损轮廓面积；当破损区域的破损类型为大面积破损时，将塑封薄膜图像的缺陷检测结果确定为存在缺陷。
65.可选的，可以通过边缘检测算子对裁剪后的图像进行轮廓识别，得到破损轮廓。
66.可选的，考虑到破损轮廓可能是不规则的形状，轮廓面积计算难度大，为便于轮廓面积计算，在得到破损轮廓后，可以对破损轮廓进行拟合，得到拟合后破损轮廓进行面积计算，得到塑封薄膜图像中破损轮廓面积。例如，对破损轮廓进行椭圆拟合、圆形拟合、矩形拟合等，本技术实施例对此不进行具体限定。
67.步骤230，基于破损轮廓面积确定塑封薄膜图像的缺陷检测结果。
68.在一些实施方式中，可以将破损轮廓面积与预设的面积阈值进行比较；若破损轮廓面积大于或等于预设的面积阈值，则确定塑封薄膜图像的缺陷检测结果为塑封薄膜图像中存在缺陷；若破损轮廓面积小于预设的面积阈值，则确定塑封薄膜图像的缺陷检测结果为塑封薄膜图像中不存在缺陷。
69.本技术实施例提供的塑封薄膜缺陷检测方法，通过定位塑封薄膜图像中破损区域的位置、破损类型，并基于破损轮廓面积确定塑封薄膜图像的缺陷检测结果，能够降低小面积破损、划痕、褶皱和隆起的干扰，提高缺陷检测结果的准确度，从而降低缺陷检测结果的误判率。
70.在一些实施方式中，考虑到现有的缺陷检测方法对于小面积破损和热熔胶缝合处裂口的漏检和误检的概率较高，因此为提高缺陷检测结果的准确度，对待检测的塑封薄膜图像进行多尺度特征得到不同感受野的图像特征，并对不同感受野图像特征进行融合处理后进行特征计算，确定塑封薄膜图像中破损区域的检测框以及破损区域的破损类型，如此，通过提高特征的丰富程度，确保最终的识别结果的准确度，进而降低小面积破损和热熔胶缝合处裂口的漏检和误检的概率。其中，尺度指的是塑封薄膜图像的分辨率。
71.具体地，如图4所示，图4是本技术实施例提供的目标检测方法的流程示意图，所示的目标检测方法包括步骤211～213：
72.步骤211，对待检测的塑封薄膜图像进行多尺度特征提取，得到不同尺度的图像特征。
73.在一些实施方式中，可以对待检测的塑封薄膜图像进行分辨率调整，得到不同分辨率下的待检测的塑封薄膜图像，对不同分辨率下的待检测的塑封薄膜图像进行特征提取，得到不同尺度的图像特征。例如通过边缘检测算子对不同分辨率下的待检测的塑封薄膜图像进行轮廓特征提取，得到不同尺度的轮廓特征。
74.在一些实施方式中，为尽可能多的提取出待检测的塑封薄膜图像中的图像特征，可以通过预设的特征提取器对待检测的塑封薄膜图像进行多尺度特征提取，得到不同尺度的图像特征。其中，特征提取器可以是基于神经网络的特征提取器，例如基于卷积网络的特征提取器、基于yolo的特征提取器、基于深度可分离卷积的特征提取器等。
75.可选的，特征提取器中可以设置不同尺寸的特征提取层，通过不同尺寸的特征提取层对待检测的塑封薄膜图像进行多尺度特征提取，得到不同尺度的图像特征。示例性的，以特征提取器包括7个不同尺寸的特征提取层，如图5所示，图5是本技术实施例提供的特征
提取器的结构示意图，所示的特征提取器包括串联的输入层、第一下采样层、第二下采样层、第三特征提取层、第四特征提取层、第五特征提取层、第六特征提取层和第七特征提取层。
76.其中，第一下采样层、第二下采样层、第三特征提取层、第四特征提取层、第五特征提取层、第六特征提取层和第七特征提取层各自对应的分辨率分别为1/2、1/4、1/8、1/16、1/32、1/64、1/128。其中，第一下采样层、第二下采样层用于对待检测的塑封薄膜图像进行下采样，第三特征提取层、第四特征提取层、第五特征提取层、第六特征提取层和第七特征提取层分别用于特征提取。
77.在一些实施方式中，第三特征提取层、第四特征提取层、第五特征提取层、第六特征提取层和第七特征提取层结构相似，都包括卷积网络、倒置线性瓶颈网络，示例性的以卷积核为3*3的倒置线性瓶颈网络为例，如图6所示，图6是本技术实施例提供的3*3的倒置线性瓶颈网络的结构示意图，所示的倒置线性瓶颈网络包括第一卷积单元601、深度可分离卷积单元602和第二卷积单元603，其中，第一卷积单元601包括串联的1*1的卷积网络、归一化模块和激活函数，深度可分离卷积单元602包括串联的3*3的深度可分离卷积网络、归一化模块和激活函数，第二卷积单元603包括串联的1*1的卷积网络和归一化模块。倒置线性瓶颈网络在进行特征提取时，输入的图像特征输入第一卷积单元601进行卷积计算后输入深度可分离卷积单元602，深度可分离卷积单元602对输入的特征进行计算后输入第二卷积单元603，第二卷积单元603对深度可分离卷积单元602输出的特征进行卷积计算，得到输出特征，倒置线性瓶颈网络将第二卷积单元603的输出特征与第一卷积单元601的输入特征叠加后作为倒置线性瓶颈网络的输出。
78.如图7所示，图7是本技术实施例提供的特征提取层的结构示意图，所示的特征提取层包括串联的第一卷积网络、第一倒置线性瓶颈网络、第二倒置线性瓶颈网络、第三倒置线性瓶颈网络、第四倒置线性瓶颈网络、第五倒置线性瓶颈网络、第六倒置线性瓶颈网络、第七倒置线性瓶颈网络，第二卷积网络、池化网络和全连接网络。
79.步骤212，对不同尺度的图像特征进行特征融合，得到融合图像特征。
80.在一些实施方式中，可以将不同尺度的图像特征逐层进行特征融合，得到每个尺度对应的融合图像特征。
81.可选的，可以将最高尺度的图像特征作为最高尺度的第一融合图像特征，从次高尺度开始，将各尺度的图像特征和与该尺度相邻的上一尺度的第一融合图像特征进行逐层融合，得到各尺度的第一融合图像特征，将最高尺度的第一融合图像特征作为最高尺度的第二融合图像特征，从次高尺度开始，将各尺度的第一融合图像特征和与该尺度相邻的上一尺度的第二融合图像特征进行逐层融合，得到各尺度的第二融合图像特征，将各尺度的第二融合图像特征确定为融合图像特征。
82.示例性的，以5个尺度的图像特征为例进行说明，如图8所示，图8是本技术实施例提供的不同尺度的图像特征融合的示意图，如图8中的(a)图所示，将p7尺度的图像特征作为p7尺度的第一融合特征，将p7尺度的第一融合图像特征与p6尺度的图像特征融合得到p6尺度的第一融合图像特征，将p6尺度的第一融合图像特征与p5尺度的图像特征融合，得到p5尺度的第一融合图像特征，将p5尺度的第一融合图像特征与p4尺度的图像特征融合，得到p4尺度的第一融合图像特征，将p4尺度的第一融合图像特征与p3尺度的图像特征融合，
得到p3尺度的第一融合图像特征。
83.可选的，可以将各尺度的图像特征与剩余各尺度的图像特征进行融合，得到各尺度的第一融合图像特征，将各尺度的第一融合图像特征与剩余各尺度的第一融合图像特征进行融合，得到各尺度的第二融合图像特征，将各尺度的第二融合图像特征确定为融合图像特征。
84.示例性的，以5个尺度的图像特征为例进行说明，如图8中的(b)图所示，将p7尺度的图像特征与p6尺度、p5尺度、p4尺度、p3尺度各自对应的图像特征融合，得到p7尺度的第一融合图像特征；将p6尺度的图像特征与p7尺度、p5尺度、p4尺度、p3尺度各自对应的图像特征融合，得到p6尺度的第一融合图像特征；将p5尺度的图像特征与p7尺度、p6尺度、p4尺度、p3尺度各自对应的图像特征融合，得到p5尺度的第一融合图像特征；将p4尺度的图像特征与p7尺度、p6尺度、p5尺度、p3尺度各自对应的图像特征融合，得到p4尺度的第一融合图像特征；将p3尺度的图像特征与p7尺度、p6尺度、p5尺度、p4尺度各自对应的图像特征融合，得到p3尺度的第一融合图像特征。
85.可选的，可以从最高尺度开始，将各尺度的图像特征和与各尺度相邻的上一尺度的图像特征进行逐层融合，得到各尺度的第一融合图像特征，从最低尺度开始，将各尺度的第二融合图像特征进行逐层融合，得到各尺度的新的图像特征。
86.示例性的，以5个尺度的图像特征为例进行说明，如图8中的(c)图所示，将p6尺度的图像特征与p7尺度的图像特征融合，得到p6尺度的第一融合图像特征，将p6尺度的第一融合图像特征与p5尺度的图像特征进行融合，得到p5尺度的第一融合图像特征，将p4尺度的第一融合图像特征与p3尺度的图像特征融合，得到p3尺度的第一融合图像特征；将p3尺度的第一融合图像特征作为p3尺度的第二融合图像特征；将p3尺度的第一融合图像特征与p4尺度的第一融合图像特征融合，得到p4尺度的第二融合图像特征；将p4尺度的第二融合图像特征与p5尺度的第一融合图像特征融合，得到p5尺度的第二融合图像特征，将p5尺度的第二融合图像特征与p6尺度的第一融合图像特征融合，得到p6尺度的第二融合图像特征，将p6尺度的第二融合图像特征与p7尺度的图像特征融合，得到p7尺度的第二融合图像特征。
87.在一些实施方式中，为进一步提升融合图像特征中特征丰富程度，可以在特征融合中引入残差思想，在每个尺度的特征融合中，从次高尺度开始，将各尺度的图像特征和与该尺度相邻的上一尺度的第一融合图像特征进行逐层融合，得到各尺度的第一融合图像特征；将各中间尺度的图像特征与该尺度的第一融合图像特征进行融合，得到各中间尺度的第二融合图像特征；中间尺度是除最高尺度和最低尺度外的剩余尺度；将最高尺度的图像特征确定为最高尺度的第二融合图像特征，将最低尺度的第一融合图像特征确定为最低尺度的第二融合图像特征，从最低尺度开始，将最低尺度的第二融合图像特征、各中间尺度的第二融合图像特征和最高尺度的第二融合图像特征进行逐层融合，得到各尺度的新的图像特征；从次高尺度开始，将各尺度的新的图像特征和与该尺度相邻的上一尺度的新的第一融合图像特征进行逐层融合，得到各尺度的新的第一融合图像特征，以此重复，直至图像特征的更新次数大于或等于预设次数阈值时，将各尺度的新的图像特征确定为融合图像特征。
88.示例性的，以预设次数阈值为1、以5个尺度的图像特征为例进行说明，如图9所示，
图9是本技术实施例提供的另一种不同尺度的图像特征融合的示意图，将p7尺度的图像特征作为p7尺度的第一融合图像特征，p7尺度的图像特征与p6尺度的图像特征融合，得到p6尺度的第一融合图像特征；将p6尺度的第一融合特征与p5尺度的图像特征融合，得到p5尺度的第一融合图像特征；将p5尺度的第一融合图像特征与p4尺度的图像特征融合的，得到p4尺度的第一融合图像特征，将p4尺度的第一融合图像特征与p3尺度的图像特征融合，得到p3尺度的第一融合图像特征；将p6尺度的图像特征与p6尺度的第一融合图像特征融合，得到p6尺度的第二融合图像特征，将p5尺度的图像特征与p5尺度的第一融合图像特征融合，得到p5尺度的第二融合图像特征，将p4尺度的图像特征与p4尺度的第一融合图像特征融合，得到p4尺度的第二融合图像特征；将p3尺度的第一融合图像特征作为p3尺度的第二融合图像特征，将p7尺度的图像特征确定为p7尺度的第二融合图像特征；从p3尺度开始，将p3、p4、p5、p6、p7各尺度的第二融合图像特征融合进行逐层融合，得到p3、p4、p5、p6、p7各尺度的新的图像特征。
89.在一些实施方式中，可以将不同尺度的图像特征输入至预设的特征融合器进行特征融合，得到融合图像特征。其中，特征融合器可以是全连接网络。
90.步骤213，基于融合图像特征进行特征计算，确定塑封薄膜图像中破损区域的检测框以及破损区域的破损类型。
91.在一些实施方式中，可以将融合图像特征分别输入至预设的定位器和分类器中进行特征计算，确定塑封薄膜图像中破损区域的检测框以及破损区域的破损类型。
92.其中，预设的定位器可以是回归网络，分类器可以是分类网络。
93.在一些实施方式中，为便于目标检测，可以将待检测的塑封薄膜图像输入至预设的检测模型中进行目标检测，得到塑封薄膜图像中破损区域的检测框以及破损区域的破损类型。
94.其中，预设的检测模型是基于样本图像对efficientdet网络训练得到的。
95.示例性的，如图10所示，图10是本技术实施例提供的检测模型的结构示意图，所示的检测模型包括输入层、特征提取器、特征融合器、定位器、分类器和输出层。
96.其中，待检测的塑封薄膜图像输入至输入层，输入层的输出输入至特征提取器，特征提取器的输出输入至特征融合器，特征融合器的输出分别输入定位器、分类器，定位器、分类器各自的输出分别输入输出层。
97.在一些实施方式中，特征融合器中包括多个特征融合单元，每个特征融合单元对各尺度的图像特征进行自上而下的特征融合，得到各尺度的第一融合图像特征，并对各尺度的第一融合图像特征进行自下而上的特征融合，得到各尺度的新的图像特征，如图9所示。
98.在一些实施方式中，为降低网络复杂度，同时提高目标检测结果的准确度，特征提取器中的特征提取层将提取出的图像特征分别输入至下一个特征提取层和特征融合器，可理解的，最高尺度的特征提取层将提取出的图像特征输入至特征融合器。示例性的，以特征融合器包括三个特征融合单元为例，如图11所示，图11是本技术实施例提供的检测模型的另一种结构示意图，第三特征提取层、第四特征提取层、第五特征提取层、第六特征提取层各自对应的输出分别输入第一特征融合单元和下一特征提取层，第七特征提取层的输出输入至第一特征融合单元；第一特征融合单元进行特征融合，得到各尺度的新的图像特征；将
各尺度的新的图像特征输入至第二特征融合单元进行融合处理后，第二特征融合单元的输出输入至第三特征融合单元；第三特征融合单元的输出分别输入至分类器和定位器。
99.在一些实施方式中，为提升预设的检测模型的检测效果，确保塑封薄膜图像中破损区域的检测框以及破损区域的破损类型的准确度，需要基于样本图像对efficientdet网络进行训练，得到检测模型。其中，efficientdet网络与图10所示的检测模型、或者图11所示的检测模型具有相似的结构。
100.可选的，可以采集存在破损的样本图像以及不存在破损的样本图像，对存在破损图像的样本图像进行真实破损区域标注和真实破损类型标注，将不存在破损的样本图像以及标注后的存在破损图像的样本图像作为样本数据集，通过样本数据集对efficientdet网络进行训练，得到检测模型。
101.考虑到塑封薄膜的破损程度差异较大，检测框的长宽比例差异大，为了更加精确的检测到破损区域，在一些实施方式中，可以在检测模型的特征提取器中设置不同的尺寸的先验框，在目标检测中，确定每个先验框的交并比，将具有最高交并比的先验框作为塑封薄膜图像中破损区域的检测框。
102.可选的，如图11所示，特征提取器中包括不同尺度的网络层，从p1到p7随着感受野逐渐增大，相应的特征提取器对大面积的破损越来越敏感，对于小面积破损则越来越不敏感，因此为了进一步提升检测模型的检测结果的准确度，对于不同尺度的网络层设置不同尺寸的先验框。
103.示例性的，可以将第一下采样层和第二下采样层先验框的长宽比都为1：1和2：1，第三特征提取层、第四特征提取层和第五特征提取层先验框的长宽比都为1:1,1:2,2:1,3:1,1:3；第六特征提取层和第七特征提取层先验框的长宽比都为1:1,3:1,1:3,4:1,5:1。需要说明的是，上述网络层中先验框的长宽比仅为示例性说明，不构成对本技术实施例提供的塑封薄膜缺陷检测方法，本技术实施例可以基于实际应用场景设置每个网络层中先验框的长宽比。
104.在一些实施方式中，在确定塑封薄膜图像中破损区域的检测框以及破损区域的破损类型之后，可以根据检测框的尺寸信息、破损类型，确定破损区域是否满足预设的轮廓面积计算条件，在破损区域满足预设的轮廓面积计算条件时，塑封薄膜图像进行轮廓检测，确定塑封薄膜图像中破损轮廓面积。
105.具体地，如图12所示，图12是本技术实施例提供的破损轮廓面积计算的流程示意图，所示的破损轮廓面积计算方法包括步骤221～225：
106.步骤221，基于检测框的尺寸信息、破损类型，确定破损区域是否满足预设的轮廓面积计算条件。
107.在一些实施方式中，考虑到对于大面积破损的破损区域，本身破损面积已经非常大，不需要进行面积筛选，而对于检测的小面积破损的破损区域较实际区域大(检测框未能完全贴合破损区域，而是向外扩充了3-5个像素点，特别是倾斜45
°
角的细长破损区域，外接矩形较实际破损区域很大)，若以此区域作为破损面积进行筛选，会有造成很多的误捡，因此为了提高缺陷检测结果的准确度，降低漏检和误检的概率，可以将检测框的尺寸信息与预设的尺寸阈值进行比较，在检测框的尺寸信息小于或等于预设的尺寸阈值时，且破损类型为预设的目标类型时，说明破损区域可能是小面积破损或者热熔胶缝合处裂口，需要通
过破损轮廓面积进行进一步的筛选，从而提高缺陷检测结果的准确度，降低漏检和误检的概率。其中，预设的目标类型包括小面积破损和热熔胶缝合处裂口。
108.具体地，步骤221包括步骤a1～a3：
109.步骤a1，将检测框的尺寸信息与预设的尺寸阈值进行比较。
110.步骤a2，若检测框的尺寸信息小于或等于预设的尺寸阈值，且破损类型为预设的目标类型，则确定破损区域满足预设的轮廓面积计算条件。
111.步骤a3，若检测框的尺寸信息大于预设的尺寸阈值，或者破损类型不是预设的目标类型，则确定破损区域不满足预设的轮廓面积计算条件。
112.步骤222，当破损区域满足预设的轮廓面积计算条件时，根据检测框的尺寸信息对塑封薄膜图像进行图像处理，得到处理后的图像。
113.在一些实施方式中，图像处理可以是图像裁剪。
114.可选的，可以根据检测框的尺寸信息对塑封薄膜图像进行图像裁剪，得到处理后的图像。
115.可选的，可以根据检测框的尺寸信息，对检测框进行放大处理，得到放大后的检测框，基于放大后的检测框对塑封薄膜图像进行图像裁剪，得到处理后的图像。
116.示例性的，可以基于检测框的尺寸信息以及预设的放大比例，对检测框进行放大处理，得到放大后的检测框。
117.步骤223，对处理后的图像进行轮廓检测，得到处理后的图像中的候选破损轮廓。
118.在一些实施方式中，可以根据边缘检测算子对处理后的图像进行轮廓检测，得到候选破损轮廓。
119.在一些实施方式中，为提高破损轮廓面积计算结果的准确度，可以对处理后的图像进行图像预处理，得到预处理后的图像，对预处理后的图像进行轮廓检测，得到处理后的图像中的候选破损轮廓。
120.其中，图像预处理包括但不限于图像增强、灰度变换等，其中，图像增强包括灰度增强、对比度增强、伽马增强等。
121.考虑到小面积破损区域、褶皱等类似破损的区域、曝光比较弱的区域，极易造成漏检或者误捡，基于此，为提升缺陷检测结果的准确度，在轮廓检测中，可以对处理后的图像进行伽马变换，通过提高处理后的图像的曝光值，提高处理后的图像的图像质量，进而提升轮廓检测的准确度，从而提升缺陷检测结果的准确度。
122.具体地，如图13所示，图13是本技术实施例提供的轮廓检测方法的流程示意图，所示的轮廓检测方法包括步骤2231～2234：
123.步骤2231，对处理后的图像进行伽马变换，得到变换处理后的图像。
124.步骤2232，对变换处理后的图像进行边缘检测，得到变换处理后的图像的边缘轮廓图像。
125.在一些实施方式中，可以通过边缘检测算子对变换处理后的图像进行边缘检测，得到变换处理后的图像的边缘轮廓图像。
126.步骤2233，对边缘轮廓图像进行膨胀腐蚀处理，得到二值图。
127.在一些实施方式中，可以对边缘轮廓图像进行膨胀处理，填充边缘轮廓图像的孔洞，得到膨胀处理后的图像，对膨胀处理后的图像进行腐蚀处理，对破损区域进行复原，得
到二值图。
128.步骤2234，基于二值图行椭圆拟合，得到处理后的图像中的候选破损轮廓。
129.在一些实施方式中，可以根据二值图中像素值为预设像素值的像素点进行椭圆拟合，得到处理后的图像中的候选破损轮廓。
130.步骤224，基于处理后的图像中的候选破损轮廓的面积以及圆心从处理后的图像中的候选破损轮廓中确定破损轮廓，将破损轮廓的面积确定为塑封薄膜图像中破损轮廓面积。
131.在一些实施方式中，由于候选破损轮廓中存在噪点轮廓，即存在至少一个候选破损轮廓，因此为确保破损轮廓面积的准确度，需要根据各候选破损轮廓的面积以及圆心对候选破损轮廓进行筛选，得到破损轮廓，将破损轮廓的面积确定为塑封薄膜图像中破损轮廓面积。
132.可选的，可以计算处理后的图像的中心与候选破损轮廓的圆心之间的距离，以及各候选破损轮廓的面积，将具有最小距离、其面积最大的候选破损轮廓确定为破损轮廓。
133.步骤225，步骤221之后，当破损区域不满足预设的轮廓面积计算条件时，确定塑封薄膜图像的缺陷检测结果为塑封薄膜图像中存在缺陷。
134.在一些实施方式中，当破损区域不满足预设的轮廓面积计算条件时，说明破损区域为大面积破损，或者是具有较大破损面积的热熔胶缝合处裂口，因此确定塑封薄膜图像的缺陷检测结果为塑封薄膜图像中存在缺陷。
135.本技术实施例通过破损类型、检测框的尺寸对破损区域进行筛选，筛选除小面积破损区域、褶皱等类似破损的区域、曝光比较弱的区域，并根据破损轮廓面积进行再次检测，通过降低小面积破损和热熔胶缝合处裂口的漏检和误检概率，提高缺陷检测结果的准确度。
136.考虑到当破损区域的检测框较小时，说明塑封薄膜图像中可能不存在破损，或者破损区域的面积较小，或者破损为划痕，并不会影响产品的后续运输和使用，如果对这一类的破损区域都执行上述步骤220和230确定缺陷检测结果，将增加塑封薄膜缺陷检测方法的数据处理量，进而影响塑封薄膜缺陷检测方法的实时性，基于此，基于图2提供的塑封薄膜缺陷检测方法，为提高塑封薄膜缺陷检测方法的实时性，可以在确定塑封薄膜图像中破损区域的检测框以及破损区域的破损类型之后，基于检测框的尺寸信息对破损区域进行筛选，剔除不需要轮廓检测的破损区域，并对于需要轮廓区域的破损区域，执行上述步骤220和230确定塑封薄膜图像的缺陷检测结果，如此，通过两轮筛选，降低数据量，提高塑封薄膜缺陷检测方法的实时性。具体地，如图14所示，图14是本技术实施例提供的另一种塑封薄膜缺陷检测方法的流程示意图，所示的塑封薄膜缺陷检测方法包括步骤1410～1460：
137.步骤1410，对待检测的塑封薄膜图像进行目标检测，确定塑封薄膜图像中破损区域的检测框以及破损区域的破损类型。
138.在一些实施方式中，可以根据上述步骤210对待检测的塑封薄膜图像进行目标检测，确定塑封薄膜图像中破损区域的检测框以及破损区域的破损类型，本技术实施例在此不进行赘述。
139.在一些实施方式中，可以参考图4提供的目标检测方法，对待检测的塑封薄膜图像进行目标检测，确定塑封薄膜图像中破损区域的检测框以及破损区域的破损类型，本技术
实施例在此不进行赘述。
140.在一些实施方式中，可以基于图10或图11提供的检测模型对待检测的塑封薄膜图像进行目标检测，确定塑封薄膜图像中破损区域的检测框以及破损区域的破损类型，本技术实施例在此不进行赘述。
141.步骤1420，确定破损区域的置信度。
142.在一些实施方式中，可以基于目标检测结果中检测框的置信度，得到破损区域的置信度。
143.在一些实施方式中，可以通过预设的预测模型对破损区域进行概率预测，得到破损区域中存在破损的概率，将破损区域中存在破损的概率确定为破损区域的置信度。其中，预测模型可以是基于机器学习的预测模型，也可以是基于神经网络的预测模型。
144.步骤1430，将破损区域的尺寸信息与预设的最小尺寸阈值进行比较。
145.步骤1440，当破损区域的尺寸信息大于或等于预设的最小尺寸阈值，且置信度大于或等于预设置信度阈值时，基于破损区域的尺寸信息、破损类型以及塑封薄膜图像进行轮廓检测，确定塑封薄膜图像中破损轮廓面积。
146.在一些实施方式中，可以根据上述步骤220基于检测框的尺寸信息、破损类型以及塑封薄膜图像进行轮廓检测，确定塑封薄膜图像中破损轮廓面积，本技术实施例在此不进行赘述。
147.在一些实施方式中，可以参考图12提供的破损轮廓面积计算方法确定塑封薄膜图像中破损轮廓面积，本技术实施例在此不进行赘述。
148.步骤1450，基于破损轮廓面积确定塑封薄膜图像的缺陷检测结果。
149.在一些实施方式中，可以按照上述步骤230确定塑封薄膜图像的缺陷检测结果，本技术实施例在此不进行赘述。
150.步骤1460，当破损区域的尺寸信息小于预设的最小尺寸阈值，和/或置信度小于预设置信度阈值时，确定塑封薄膜图像的缺陷检测结果为塑封薄膜图像中不存在缺陷。
151.本技术实施例在确定塑封薄膜图像中破损区域的检测框以及破损区域的破损类型之后，基于检测框的尺寸信息对破损区域进行筛选，剔除不需要轮廓检测的破损区域，并对于需要轮廓区域的破损区域，通过破损区域的破损轮廓面积确定塑封薄膜图像的缺陷检测结果，如此，通过两轮筛选，降低数据量，提高塑封薄膜缺陷检测方法的实时性。
152.本技术实施例提供的塑封薄膜缺陷检测方法，通过定位塑封薄膜图像中破损区域的位置、破损类型，并基于破损轮廓面积确定塑封薄膜图像的缺陷检测结果，能够降低小面积破损、划痕、褶皱和隆起的干扰，提高缺陷检测结果的准确度，从而降低缺陷检测结果的误判率。
153.为了更好实施本技术实施例提供的塑封薄膜缺陷检测方法，在塑封薄膜缺陷检测方法实施例基础上，本技术实施例提供一种塑封薄膜缺陷检测装置，具体地，如图15所示，图15是本技术实施例提供的塑封薄膜缺陷检测装置的结构示意图，所示的塑封薄膜缺陷检测装置包括：
154.破损检测模块，用于对待检测的塑封薄膜图像进行目标检测，确定塑封薄膜图像中破损区域的检测框以及破损区域的破损类型；
155.轮廓检测模块，用于基于检测框的尺寸信息、破损类型以及塑封薄膜图像进行轮
廓检测，确定塑封薄膜图像中破损轮廓面积；
156.缺陷检测模块，用于基于破损轮廓面积确定塑封薄膜图像的缺陷检测结果。
157.在一些实施方式中，轮廓检测模块，用于：
158.基于检测框的尺寸信息、破损类型，确定破损区域是否满足预设的轮廓面积计算条件；
159.当破损区域满足预设的轮廓面积计算条件时，根据检测框的尺寸信息对塑封薄膜图像进行图像处理，得到处理后的图像；
160.对处理后的图像进行轮廓检测，得到处理后的图像中的候选破损轮廓；
161.基于处理后的图像中的候选破损轮廓的面积以及圆心从处理后的图像中的候选破损轮廓中确定破损轮廓，将破损轮廓的面积确定为塑封薄膜图像中破损轮廓面积。
162.在一些实施方式中，轮廓检测模块，用于：
163.对处理后的图像进行伽马变换，得到变换处理后的图像；
164.对变换处理后的图像进行边缘检测，得到变换处理后的图像的边缘轮廓图像；
165.对边缘轮廓图像进行膨胀腐蚀处理，得到二值图；
166.基于二值图进行椭圆拟合，得到处理后的图像中的候选破损轮廓。
167.在一些实施方式中，轮廓检测模块，用于：
168.将检测框的尺寸信息与预设的尺寸阈值进行比较；
169.若检测框的尺寸信息小于或等于预设的尺寸阈值，且破损类型为预设的目标类型，则确定破损区域满足预设的轮廓面积计算条件；
170.若检测框的尺寸信息大于预设的尺寸阈值，或者破损类型不是预设的目标类型，则确定破损区域不满足预设的轮廓面积计算条件。
171.在一些实施方式中，缺陷检测模块，用于：
172.当破损区域不满足预设的轮廓面积计算条件时，确定塑封薄膜图像的缺陷检测结果为塑封薄膜图像中存在缺陷。
173.在一些实施方式中，塑封薄膜缺陷检测装置还包括：
174.筛选模块，用于确定破损区域的置信度；将破损区域的尺寸信息与预设的最小尺寸阈值进行比较；当破损区域的尺寸信息大于或等于预设的最小尺寸阈值，且置信度大于或等于预设置信度阈值时，执行基于破损区域的尺寸信息、破损类型以及塑封薄膜图像进行轮廓检测，确定塑封薄膜图像中破损轮廓面积步骤；当破损区域的尺寸信息小于预设的最小尺寸阈值，和/或置信度小于预设置信度阈值时，确定塑封薄膜图像的缺陷检测结果为塑封薄膜图像中不存在缺陷。
175.在一些实施方式中，破损检测模块，用于：
176.对待检测的塑封薄膜图像进行多尺度特征提取，得到不同尺度的图像特征；
177.对不同尺度的图像特征进行特征融合，得到融合图像特征；
178.基于融合图像特征进行特征计算，确定塑封薄膜图像中破损区域的检测框以及破损区域的破损类型。
179.在一些实施方式中，破损检测模块，用于：
180.从次高尺度开始，将各尺度的图像特征和与该尺度相邻的上一尺度的第一融合图像特征进行逐层融合，得到各尺度的第一融合图像特征；
181.将各中间尺度的图像特征与该尺度的第一融合图像特征进行融合，得到各中间尺度的第二融合图像特征；中间尺度是除最高尺度和最低尺度外的剩余尺度；
182.将最高尺度的图像特征确定为最高尺度的第二融合图像特征，将最低尺度的第一融合图像特征确定为最低尺度的第二融合图像特征，从最低尺度开始，将最低尺度的第二融合图像特征、各中间尺度的第二融合图像特征和最高尺度的第二融合图像特征进行逐层融合，得到各尺度的新的图像特征；
183.从次高尺度开始，将各尺度的新的图像特征和与该尺度相邻的上一尺度的新的第一融合图像特征进行逐层融合，得到各尺度的新的第一融合图像特征，以此重复，直至图像特征的更新次数大于或等于预设次数阈值时，将各尺度的新的图像特征确定为融合图像特征。
184.在一些实施方式中，缺陷检测模块，用于：
185.将破损轮廓面积与预设的面积阈值进行比较；
186.若破损轮廓面积大于或等于预设的面积阈值，则确定塑封薄膜图像的缺陷检测结果为塑封薄膜图像中存在缺陷；
187.若破损轮廓面积小于预设的面积阈值，则确定塑封薄膜图像的缺陷检测结果为塑封薄膜图像中不存在缺陷。
188.在一些实施方式中，破损检测模块，用于：
189.将待检测的塑封薄膜图像输入至预设的检测模型中进行目标检测，得到塑封薄膜图像中破损区域的检测框以及破损区域的破损类型；预设的检测模型是基于样本图像对efficientdet网络训练得到的。
190.本技术实施例提供的塑封薄膜缺陷检测装置，通过定位塑封薄膜图像中破损区域的位置、破损类型，并基于破损轮廓面积确定塑封薄膜图像的缺陷检测结果，能够降低小面积破损、划痕、褶皱和隆起的干扰，提高缺陷检测结果的准确度，从而降低缺陷检测结果的误判率。
191.本发明实施例还提供一种电子设备，如图16所示，其示出了本发明实施例所涉及的电子设备的结构示意图，具体来讲：
192.该电子设备可以包括一个或者一个以上处理核心的处理器1601、一个或一个以上计算机可读存储介质的存储器1602、电源1603和输入单元1604等部件。本领域技术人员可以理解，图16中示出的电子设备结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。其中：
193.处理器1601是该电子设备的控制中心，利用各种接口和线路连接整个电子设备的各个部分，通过运行或执行存储在存储器1602内的软件程序和/或模块，以及调用存储在存储器1602内的数据，执行电子设备的各种功能和处理数据，从而对电子设备进行整体监控。可选的，处理器1601可包括一个或多个处理核心；优选的，处理器1601可集成应用处理器和调制解调处理器，其中，应用处理器主要处理操作系统、用户界面和应用程序等，调制解调处理器主要处理无线通信。可以理解的是，上述调制解调处理器也可以不集成到处理器1601中。
194.存储器1602可用于存储软件程序以及模块，处理器1601通过运行存储在存储器1602的软件程序以及模块，从而执行各种功能应用以及数据处理。存储器1602可主要包括
存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需的应用程序(比如声音播放功能、图像播放功能等)等；存储数据区可存储根据电子设备的使用所创建的数据等。此外，存储器1602可以包括高速随机存取存储器，还可以包括非易失性存储器，例如至少一个磁盘存储器件、闪存器件、或其他易失性固态存储器件。相应地，存储器1602还可以包括存储器控制器，以提供处理器1601对存储器1602的访问。
195.电子设备还包括给各个部件供电的电源1603，优选的，电源1603可以通过电源管理系统与处理器1601逻辑相连，从而通过电源管理系统实现管理充电、放电、以及功耗管理等功能。电源1603还可以包括一个或一个以上的直流或交流电源、再充电系统、电源故障检测电路、电源转换器或者逆变器、电源状态指示器等任意组件。
196.该电子设备还可包括输入单元1604，该输入单元1604可用于接收输入的数字或字符信息，以及产生与用户设置以及功能控制有关的键盘、鼠标、操作杆、光学或者轨迹球信号输入。
197.尽管未示出，电子设备还可以包括显示单元等，在此不再赘述。具体在本实施例中，电子设备中的处理器1601会按照如下的指令，将一个或一个以上的应用程序的进程对应的可执行文件加载到存储器1602中，并由处理器1601来运行存储在存储器1602中的应用程序，从而实现各种功能，如下：
198.对待检测的塑封薄膜图像进行目标检测，确定塑封薄膜图像中破损区域的检测框以及破损区域的破损类型；
199.基于检测框的尺寸信息、破损类型以及塑封薄膜图像进行轮廓检测，确定塑封薄膜图像中破损轮廓面积；
200.基于破损轮廓面积确定塑封薄膜图像的缺陷检测结果。
201.本领域普通技术人员可以理解，上述实施例的各种方法中的全部或部分步骤可以通过指令来完成，或通过指令控制相关的硬件来完成，该指令可以存储于一计算机可读存储介质中，并由处理器进行加载和执行。
202.为此，本发明实施例提供一种存储介质，其中存储有多条指令，该指令能够被处理器进行加载，以执行本发明实施例所提供的任一种塑封薄膜缺陷检测方法中的步骤。例如，该指令可以执行如下步骤：
203.对待检测的塑封薄膜图像进行目标检测，确定塑封薄膜图像中破损区域的检测框以及破损区域的破损类型；
204.基于检测框的尺寸信息、破损类型以及塑封薄膜图像进行轮廓检测，确定塑封薄膜图像中破损轮廓面积；
205.基于破损轮廓面积确定塑封薄膜图像的缺陷检测结果。
206.以上各个操作的具体实施可参见前面的实施例，在此不再赘述。
207.其中，该存储介质可以包括：只读存储器(rom，read only memory)、随机存取记忆体(ram，random access memory)、磁盘或光盘等。
208.由于该存储介质中所存储的指令，可以执行本发明实施例所提供的任一种塑封薄膜缺陷检测方法中的步骤，因此，可以实现本发明实施例所提供的任一种塑封薄膜缺陷检测方法所能实现的有益效果，详见前面的实施例，在此不再赘述。
209.以上对本发明实施例所提供的一种塑封薄膜缺陷检测方法、装置、电子设备和存
储介质进行了详细介绍，本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种塑封薄膜缺陷检测方法，其特征在于，所述方法包括：对待检测的塑封薄膜图像进行目标检测，确定所述塑封薄膜图像中破损区域的检测框以及所述破损区域的破损类型；基于所述检测框的尺寸信息、所述破损类型以及所述塑封薄膜图像进行轮廓检测，确定所述塑封薄膜图像中破损轮廓面积；基于所述破损轮廓面积确定所述塑封薄膜图像的缺陷检测结果。2.根据权利要求1所述的方法，其特征在于，所述基于所述检测框的尺寸信息、所述破损类型以及所述塑封薄膜图像进行轮廓检测，确定所述塑封薄膜图像中破损轮廓面积，包括：基于所述检测框的尺寸信息、所述破损类型，确定所述破损区域是否满足预设的轮廓面积计算条件；当所述破损区域满足预设的轮廓面积计算条件时，根据所述检测框的尺寸信息对所述塑封薄膜图像进行图像处理，得到处理后的图像；对所述处理后的图像进行轮廓检测，得到所述处理后的图像中的候选破损轮廓；基于所述处理后的图像中的候选破损轮廓的面积以及圆心，从所述处理后的图像中的候选破损轮廓中确定破损轮廓，将所述破损轮廓的面积确定为所述塑封薄膜图像中破损轮廓面积。3.根据权利要求2所述的方法，其特征在于，所述对所述处理后的图像进行轮廓检测，得到所述处理后的图像中的候选破损轮廓，包括：对所述处理后的图像进行伽马变换，得到变换处理后的图像；对所述变换处理后的图像进行边缘检测，得到所述变换处理后的图像的边缘轮廓图像；对所述边缘轮廓图像进行膨胀腐蚀处理，得到二值图；基于所述二值图进行椭圆拟合，得到所述处理后的图像中的候选破损轮廓。4.根据权利要求2所述的方法，其特征在于，所述基于所述检测框的尺寸信息、所述破损类型，确定所述破损区域是否满足预设的轮廓面积计算条件，包括：将所述检测框的尺寸信息与预设的尺寸阈值进行比较；若所述检测框的尺寸信息小于或等于所述预设的尺寸阈值，且所述破损类型为预设的目标类型，则确定所述破损区域满足预设的轮廓面积计算条件；若所述检测框的尺寸信息大于所述预设的尺寸阈值，或者所述破损类型不是预设的目标类型，则确定所述破损区域不满足预设的轮廓面积计算条件。5.根据权利要求2所述的方法，其特征在于，所述基于所述检测框的尺寸信息、所述破损类型，确定所述破损区域是否满足预设的轮廓面积计算条件之后，所述方法还包括：当所述破损区域不满足预设的轮廓面积计算条件时，确定所述塑封薄膜图像的缺陷检测结果为所述塑封薄膜图像中存在缺陷。6.根据权利要求1所述的方法，其特征在于，所述对待检测的塑封薄膜图像进行目标检测，确定所述塑封薄膜图像中破损区域的检测框以及所述破损区域的破损类型之后，所述方法还包括：确定所述破损区域的置信度；
将所述破损区域的尺寸信息与预设的最小尺寸阈值进行比较；当所述破损区域的尺寸信息大于或等于所述预设的最小尺寸阈值，且所述置信度大于或等于预设置信度阈值时，执行所述基于所述破损区域的尺寸信息、所述破损类型以及所述塑封薄膜图像进行轮廓检测，确定所述塑封薄膜图像中破损轮廓面积步骤；当所述破损区域的尺寸信息小于所述预设的最小尺寸阈值，和/或所述置信度小于预设置信度阈值时，确定所述塑封薄膜图像的缺陷检测结果为所述塑封薄膜图像中不存在缺陷。7.根据权利要求1所述的方法，其特征在于，所述对待检测的塑封薄膜图像进行目标检测，确定所述塑封薄膜图像中破损区域的检测框以及所述破损区域的破损类型，包括：对待检测的塑封薄膜图像进行多尺度特征提取，得到不同尺度的图像特征；对所述不同尺度的图像特征进行特征融合，得到融合图像特征；基于所述融合图像特征进行特征计算，确定所述塑封薄膜图像中破损区域的检测框以及所述破损区域的破损类型。8.根据权利要求7所述的方法，其特征在于，所述对所述不同尺度的图像特征进行特征融合，得到融合图像特征，包括：从次高尺度开始，将各尺度的图像特征和与该尺度相邻的上一尺度的第一融合图像特征进行逐层融合，得到各所述尺度的第一融合图像特征；将各中间尺度的图像特征与该尺度的第一融合图像特征进行融合，得到各所述中间尺度的第二融合图像特征；所述中间尺度是除最高尺度和最低尺度外的剩余尺度；将最高尺度的图像特征确定为所述最高尺度的第二融合图像特征，将所述最低尺度的第一融合图像特征确定为所述最低尺度的第二融合图像特征，从最低尺度开始，将所述最低尺度的第二融合图像特征、各所述中间尺度的第二融合图像特征和所述最高尺度的第二融合图像特征进行逐层融合，得到各所述尺度的新的图像特征；从次高尺度开始，将各所述尺度的新的图像特征和与该所述尺度相邻的上一尺度的新的第一融合图像特征进行逐层融合，得到各所述尺度的新的第一融合图像特征，以此重复，直至所述图像特征的更新次数大于或等于预设次数阈值时，将各所述尺度的新的图像特征确定为融合图像特征。9.根据权利要求1所述的方法，其特征在于，所述基于所述破损轮廓面积确定所述塑封薄膜图像的缺陷检测结果，包括：将所述破损轮廓面积与预设的面积阈值进行比较；若所述破损轮廓面积大于或等于所述预设的面积阈值，则确定所述塑封薄膜图像的缺陷检测结果为所述塑封薄膜图像中存在缺陷；若所述破损轮廓面积小于所述预设的面积阈值，则确定所述塑封薄膜图像的缺陷检测结果为所述塑封薄膜图像中不存在缺陷。10.根据权利要求1至9任一项所述的方法，其特征在于，所述对待检测的塑封薄膜图像进行目标检测，得到所述塑封薄膜图像中破损区域的检测框以及所述破损区域的破损类型，包括：将待检测的塑封薄膜图像输入至预设的检测模型中进行目标检测，得到所述塑封薄膜图像中破损区域的检测框以及所述破损区域的破损类型；所述预设的检测模型是基于样本
图像对efficientdet网络训练得到的。11.一种塑封薄膜缺陷检测装置，其特征在于，所述装置包括：破损检测模块，用于对待检测的塑封薄膜图像进行目标检测，确定所述塑封薄膜图像中破损区域的检测框以及所述破损区域的破损类型；轮廓检测模块，用于基于所述检测框的尺寸信息、所述破损类型以及所述塑封薄膜图像进行轮廓检测，确定所述塑封薄膜图像中破损轮廓面积；缺陷检测模块，用于基于所述破损轮廓面积确定所述塑封薄膜图像的缺陷检测结果。12.一种电子设备，其特征在于，包括存储器和处理器；所述存储器存储有应用程序，所述处理器用于运行所述存储器内的应用程序，以执行权利要求1至10任一项所述的塑封薄膜缺陷检测方法中的操作。13.一种存储介质，其特征在于，所述存储介质存储有多条指令，所述指令适于处理器进行加载，以执行权利要求1至10任一项所述的塑封薄膜缺陷检测方法中的步骤。

技术总结
本申请实施例提供一种塑封薄膜缺陷检测方法、装置、电子设备和存储介质，涉及目标检测技术领域，通过对待检测的塑封薄膜图像进行目标检测，确定塑封薄膜图像中破损区域的检测框以及破损区域的破损类型；基于检测框的尺寸信息、破损类型以及塑封薄膜图像进行轮廓检测，确定塑封薄膜图像中破损轮廓面积；基于破损轮廓面积确定塑封薄膜图像的缺陷检测结果；本申请实施例通过定位塑封薄膜图像中破损区域的位置、破损类型，并基于破损轮廓面积确定塑封薄膜图像的缺陷检测结果，能够降低小面积破损、划痕、褶皱和隆起的干扰，提高缺陷检测结果的准确度，从而降低缺陷检测结果的误判率。从而降低缺陷检测结果的误判率。从而降低缺陷检测结果的误判率。


技术研发人员：韩旭峰 聂宗军 程晓峰 洪乐
受保护的技术使用者：正泰集团研发中心（上海）有限公司
技术研发日：2023.07.07
技术公布日：2023/10/8