面板缺陷检测方法、装置、存储介质、设备及程序产品与流程

1.本技术涉及图像处理技术领域，具体涉及一种面板缺陷检测方法、装置、存储介质、设备及程序产品。


背景技术：

2.工业制造过程中，产品的缺陷检测准确率往往直接影响经济效益，现有智能技术通常是采用深度学习神经网络算法对产品缺陷进行判别，再通过人工对关键缺陷进行复判，以此减少人工成本。例如对于pcb面板的检测中，通过工业相机在其正上方拍摄图像，再将图像输入检测模型即可完成对缺陷的识别。
3.在pcb面板的生产制造中一般都是流水线式作业，pcb面板通过传送装置送到固定的拍摄区域，拍照完成后即送回传输装置进行下一步处理，而伴随着传输装置的运动、电机等驱动装置的工作，都会引起面板的振动，此外，即便是成品面板，也会进行振动测试，在振动的情况下不可避免地会造成拍摄的图像变模糊，以及图像尺寸相对标准无振动的图像产生变化，对其上缺陷的判别、定位造成了困难。


技术实现要素：

4.本技术的主要目的在于提供一种面板缺陷检测方法、装置、存储介质、设备及程序产品，旨在解决现有技术中对振动状态下的pcb面板上的缺陷检测较为困难的问题。
5.为实现上述目的，本技术的实施例采用的技术方案如下：第一方面，本技术实施例提供一种面板缺陷检测方法，包括以下步骤：根据拉伸参数拉伸待检测图像，获得拉伸图像；其中，待检测图像基于面板产品的正投影方向获得，拉伸参数基于面板产品的振动参数获得；对拉伸图像进行去模糊处理，获得目标图像；将目标图像输入缺陷检测模型，获得缺陷信息；其中，缺陷检测模型包括卷积层，卷积层的卷积核，基于若干并行的分支卷积层的卷积核融合获得。
6.通过将面板产品的振动参数引入对待检测图像的矫正过程，利用根据振动参数获得的拉伸参数先将待检测图像的尺寸进行矫正，然后再利用去模糊处理将图像变得清晰，以便于缺陷检测模型的识别，由于缺陷检测模型的卷积层的卷积核是通过若干并行的分支卷积层的卷积核融合获得，模型没有增加额外的计算量，还能增强特征提取的能力，从而提升模型的分割精度与泛化能力，由于前述步骤的拉伸消除了振动带来的尺寸偏差，因此检测图像获得的缺陷信息能够与实际面板上的缺陷信息高度匹配，实现了对于振动情况下面板上缺陷的准确提取。
7.在第一方面的一种可能实现方式中，根据拉伸参数拉伸待检测图像，获得拉伸图像之前，面板缺陷检测方法还包括：根据面板产品的振动方向信息及振动幅度信息，获得振动参数。
8.通过将振动参数引入并与拉伸参数相匹配，再根据拉伸参数去将待检测图像做还
原拉伸，实现对其尺寸的矫正，实际情况中，振动源不足以让面板产品振动并发生翻转，从空间坐标系角度来说，面板产品发生的振动，都可以分解到x轴、y轴方轴的转动，也即拍摄的待检测图像当时的状态，可以通过分别在x轴、y轴方向翻转得到。而其中的振动参数则可以通过检测样品的振动情况获得，包括了振动方向信息与振动幅度信息，对应产品拍摄时的状态可以理解为其翻转的方向与翻转的角度，振幅越大说明在该振动方向上面板产品具有更大角度的翻转。
9.在第一方面的一种可能实现方式中，根据拉伸参数拉伸待检测图像，获得拉伸图像之前，面板缺陷检测方法还包括：分别根据振动方向信息及振动幅度信息，获得拉伸方向信息及拉伸长度信息；根据拉伸方向信息及拉伸长度信息，获得拉伸参数度。
10.拉伸方向、拉伸长度分别与振动方向、振动幅度对应，以面板在水平面上发生向左的振动时拍摄了待检测图像，向左振动，也即面板的右侧抬升，以左侧为转动中心发生翻转，从拍摄的图像上看，图像相对无振动的情况向左压缩，而拉伸方向则是使其恢复，应当是向右拉伸，而振幅越大，翻转的角度越大，图像被压缩的程度就越大，由此就可以决定图像需要拉伸多少才能恢复，当其拉伸至与无振动时拍摄的图像大小一致时，即可认为完成拉伸，实现了尺寸的矫正。
11.在第一方面的一种可能实现方式中，根据拉伸参数拉伸待检测图像，获得拉伸图像，包括：根据拉伸方向信息，由边缘拉伸待检测图像，直至满足拉伸长度信息，获得拉伸图像。
12.实际情况中振动可能是多方向的，但是基于前面的论述可知，多方向的也可以是逐步分解为单一方向，因此拉伸可以基于图像的边缘进行，由边缘拉伸待检测图像直至边缘都拉伸至满足拉伸长度信息的位置后，说明图像的尺寸均被矫正。
13.在第一方面的一种可能实现方式中，根据拉伸方向信息，由边缘拉伸待检测图像，直至满足拉伸长度信息，获得拉伸图像之前，面板缺陷检测方法还包括：将待检测图像的任一边缘与标准图像的对应边缘重合；根据拉伸方向信息，由边缘拉伸待检测图像，直至满足拉伸长度信息，获得拉伸图像，包括：根据拉伸方向信息，先拉伸待检测图像未与标准图像重合的边缘，后拉伸待检测图像与标准图像重合的边缘，直至满足拉伸长度信息，获得拉伸图像。
14.由于振动是微小的，在需要提取缺陷信息的精度下，影响是较大的，但在肉眼观测中，振动带来的面板产品的偏移是微小且不易观测的，也就是说尺寸的偏移是微小的，因此在拉伸还原的过程中，可以直接将待检测图像的任一边缘与标准图像的对应边缘重合，减少拉伸调整的次数，标准图像也即在无振动情况下由同一位置拍摄获得的待检测图像。拉伸还原的过程中，先以重合的边缘为基础拉伸其余边缘，由于重合边缘自身是与标准图像边缘重合了，但是平行于重合边缘的方向也会有振动带来的翻转使其受到了压缩，因此后拉伸重合的边缘，使其长度满足拉伸长度信息后，与标准图像匹配，获得拉伸图像。
15.在第一方面的一种可能实现方式中，根据拉伸参数拉伸待检测图像，获得拉伸图像之前，面板缺陷检测方法还包括：
获取标准图像上的沿面板产品的振动方向分布的若干像素点；根据面板产品的振动幅度信息，分别获得若干像素点的水平偏移量信息；根据若干像素点在振动方向上的相对距离以及若干像素点的水平偏移量信息，构建像素点的水平偏移点图；对水平偏移点图上的点进行拟合，获得水平偏移曲线图；根据水平偏移曲线图，获得拉伸参数。
16.为了进一步提升拉伸矫正的精度，基于像素点来进行拉伸参数的获取。还是以前述情况为例，分析面板振动时向某一位置发生翻转时的情况可知，如果是面板以左侧为中心，右侧因振动发生翻转，那么相对于左侧来说，距离左侧越远的位置发生的水平偏移是更大的，也即图像不同位置被压缩的程度是不同的。虽然同比例的拉伸在振动幅度较小的情况下，矫正后的缺陷信息的精度可能是在允许范围内，但想要更准确地矫正待检测图像，就需要根据相对翻转中心的距离对不同位置进行不同的拉伸还原。
17.在第一方面的一种可能实现方式中，根据拉伸参数拉伸待检测图像，获得拉伸图像，包括：根据拉伸参数，基于像素点拉伸待检测图像，获得拉伸图像。
18.在第一方面的一种可能实现方式中，将目标图像输入缺陷检测模型，获得缺陷信息之前，面板缺陷检测方法还包括：获取三组并行的分支卷积层；其中，三组分支卷积层的卷积核尺寸分别为3*3、1*3以及3*1，卷积核尺寸为3*3的分支卷积层采用分布位移卷积，卷积核尺寸为1*3与3*1的分支卷积层采用分组卷积；将三组分支卷积层的卷积核融合为3*3尺寸的卷积核，以获得卷积层的卷积核。
19.以增强网络特征提取能力，使用非对称混洗卷积结构的三层并行分支共同提取图像特征，使用3*3、1*3以及3*1的卷积层代替原有的3*3卷积，其中，3*3的分支卷积层采用分布位移卷积，1*3与3*1的分支卷积层采用分组卷积，3*3的卷积层主要用于增大感受野以获取更丰富的特征信息，而分组卷积层主要用于提升模型对翻转或旋转的泛化能力，对空间信息的依赖性降低，可大幅度减小模型参数。
20.在第一方面的一种可能实现方式中，缺陷检测模型还包括通道混洗层，通道混洗层位于采用分组卷积的分支卷积层之后，通道混洗层用于：对分支卷积层提取的特征图进行分组，获得分组矩阵；转置分组矩阵，获得转置矩阵；将转置矩阵平坦化重分组，获得目标特征图。
21.分组卷积会阻碍通道间信息流动，因此设置通道混洗层，将其放在分组卷积层之后，能够有效提高分组卷积中不同通道间的关联性。
22.在第一方面的一种可能实现方式中，缺陷检测模型还包括中间层，中间层基于缺陷检测模型的特征金字塔网络的特征层获得。
23.由于特征金字塔中的映射在x轴、y轴方向上都被缩放，并且在相邻两层之间的尺度差距很大，导致两个大小相似的物体被预测并分到不同的层，因此通过在缺陷检测模型的特征金字塔网络的特征层中生成中间层来解决，使得不同尺寸特征图之间的过渡更为平滑，从而提升检测的效果。
24.在第一方面的一种可能实现方式中，将目标图像输入缺陷检测模型，获得缺陷信息之前，面板缺陷检测方法还包括：分别对缺陷检测模型的特征金字塔网络的特征层进行线性缩放，获得若干第一特征层；将第一特征层进行逐像素相加，获得第二特征层；对第二特征层进行卷积与融合，获得中间层。
25.将特征金字塔网络中每一层的相邻层按一定系数进行线性缩放，并将所得结果，即第一特征层进行逐像素相加得到第二特征层，第二特征层通过3*3卷积，从原始层中对特征进行融合，生成中间层，由此使得特征金字塔中相邻层之间都有一个中间层进行过渡，减少尺寸截断的影响，提高模型性能，进而提升缺陷提取的准确。
26.第二方面，本技术实施例提供一种面板缺陷检测装置，包括：拉伸模块，拉伸模块用于根据拉伸参数拉伸待检测图像，获得拉伸图像；其中，待检测图像基于面板产品的正投影方向获得，拉伸参数基于面板产品的振动参数获得；去模糊模块，去模糊模块用于对拉伸图像进行去模糊处理，获得目标图像；检测模块，检测模块用于将目标图像输入缺陷检测模型，获得缺陷信息；其中，缺陷检测模型包括卷积层，卷积层的卷积核，基于若干并行的分支卷积层的卷积核融合获得。
27.第三方面，本技术实施例提供一种计算机可读存储介质，储存有计算机程序，计算机程序被处理器加载执行时，实现如上述第一方面中任一项提供的面板缺陷检测方法。
28.第四方面，本技术实施例提供一种电子设备，包括处理器及存储器，其中，存储器用于存储计算机程序；处理器用于加载执行计算机程序，以使电子设备执行如上述第一方面中任一项提供的面板缺陷检测方法。
29.第五方面，本技术实施例提供一种计算机程序产品，包括计算机程序，当计算机程序被执行时，用于执行如上述第一方面中任一项提供的面板缺陷检测方法。
30.与现有技术相比，本技术的有益效果是：本技术实施例提出的一种面板缺陷检测方法、装置、存储介质、设备及程序产品，该方法包括：根据拉伸参数拉伸待检测图像，获得拉伸图像；其中，待检测图像基于面板产品的正投影方向获得，拉伸参数基于面板产品的振动参数获得；对拉伸图像进行去模糊处理，获得目标图像；将目标图像输入缺陷检测模型，获得缺陷信息；其中，缺陷检测模型包括卷积层，卷积层的卷积核，基于若干并行的分支卷积层的卷积核融合获得。本技术的方法通过将面板产品的振动参数引入对待检测图像的矫正过程，利用根据振动参数获得的拉伸参数先将待检测图像的尺寸进行矫正，然后再利用去模糊处理将图像变得清晰，以便于缺陷检测模型的识别，由于缺陷检测模型的卷积层的卷积核是通过若干并行的分支卷积层的卷积核融合获得，模型没有增加额外的计算量，还能增强特征提取的能力，从而提升模型的分割精度与泛化能力，由于前述步骤的拉伸消除了振动带来的尺寸偏差，因此检测图像获得的缺陷信息能够与实际面板上的缺陷信息高度匹配，实现了对于振动情况下面板上缺陷的准确提取。
附图说明
31.图1为本技术实施例涉及的硬件运行环境的电子设备结构示意图；图2为本技术实施例提供的面板缺陷检测方法的流程示意图；图3为本技术实施例提供的面板缺陷检测方法中在一种振动情况下面板产品的示意图；图4为本技术实施例提供的面板缺陷检测方法中单个位置点的水平偏移示意图；图5为本技术实施例提供的面板缺陷检测方法中的水平偏移的点图；图6为本技术实施例提供的面板缺陷检测方法中的水平偏移曲线图；图7为本技术实施例提供的面板缺陷检测装置的模块示意图；图中标记：101-处理器，102-通信总线，103-网络接口，104-用户接口，105-存储器。
具体实施方式
32.应当理解，此处所描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
33.本技术实施例的主要解决方案是：提出一种面板缺陷检测方法、装置、存储介质、设备及程序产品，该方法包括：根据拉伸参数拉伸待检测图像，获得拉伸图像；其中，待检测图像基于面板产品的正投影方向获得，拉伸参数基于面板产品的振动参数获得；对拉伸图像进行去模糊处理，获得目标图像；将目标图像输入缺陷检测模型，获得缺陷信息；其中，缺陷检测模型包括卷积层，卷积层的卷积核，基于若干并行的分支卷积层的卷积核融合获得。
34.工业制造过程中，产品的缺陷检测准确率往往直接影响经济效益，现有智能技术通常是采用深度学习神经网络算法对产品缺陷进行判别，再通过人工对关键缺陷进行复判，以此减少人工成本。例如对于pcb面板的检测中，通过工业相机在其正上方拍摄图像，再将图像输入检测模型即可完成对缺陷的识别。但是，由于实际生产环境中各种不确定的干扰因素较多，产品自身背景也较为复杂，因此深度学习算法对此类工业产品、密集多分类的小目标缺陷检查效果还有待提升。
35.在深度神经网络的使用中，将图像进行翻转或旋转后，k
×
k卷积层提取的图像特征会产生变化，模型对同一目标的识别结果可能会产生偏差，因此导致模型的旋转、翻转目标的泛化能力降低；特征金字塔中的特征图可以在不同尺度上捕捉物体的视觉特征，浅层保留了细节，如纹理边缘、角落等，深层覆盖了更抽象的语义信息，在真实生产环境中，不同尺寸的多个目标通常出现在一起，如何在一张图上对这些不同目标进行识别是一个关键问题，但是常规金字塔网络在x轴和y轴方向上的映射尺度在相邻层的差距较大，通常成倍缩小，因此尺度相似的目标可能被分类到不同预测层上，出现尺度截断问题，造成预测框定位不准和分类精度降低问题。
36.在pcb面板的生产制造中一般都是流水线式作业，pcb面板通过传送装置送到固定的拍摄区域，拍照完成后即送回传输装置进行下一步处理，而伴随着传输装置的运动、电机等驱动装置的工作，都会引起面板的振动，此外，即便是成品面板，也会进行振动测试，在振动的情况下不可避免地会造成拍摄的图像变模糊，以及图像尺寸相对标准无振动的图像产生变化，对其上缺陷的判别、定位造成了困难。
37.为此，本技术提供一种解决方案，通过将面板产品的振动参数引入对待检测图像
的矫正过程，利用根据振动参数获得的拉伸参数先将待检测图像的尺寸进行矫正，然后再利用去模糊处理将图像变得清晰，以便于缺陷检测模型的识别，由于缺陷检测模型的卷积层的卷积核是通过若干并行的分支卷积层的卷积核融合获得，模型没有增加额外的计算量，还能增强特征提取的能力，从而提升模型的分割精度与泛化能力，由于前述步骤的拉伸消除了振动带来的尺寸偏差，因此检测图像获得的缺陷信息能够与实际面板上的缺陷信息高度匹配，实现了对于振动情况下面板上缺陷的准确提取。
38.参照附图1，附图1为本技术实施例方案涉及的硬件运行环境的电子设备结构示意图，该电子设备可以包括：处理器101，例如中央处理器（central processing unit，cpu），通信总线102、用户接口104，网络接口103，存储器105。其中，通信总线102用于实现这些组件之间的连接通信。用户接口104可以包括显示屏（display）、输入单元比如键盘（keyboard），可选用户接口104还可以包括标准的有线接口、无线接口。网络接口103可选的可以包括标准的有线接口、无线接口（如无线保真（wireless-fidelity，wi-fi）接口）。存储器105可选的可以是独立于前述处理器101的存储装置，存储器105可能是高速的随机存取存储器（random access memory，ram）存储器，也可能是稳定的非易失性存储器（non-volatile memory，nvm），例如至少一个磁盘存储器；处理器101可以是通用处理器，包括中央处理器、网络处理器等，还可以是数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
39.本领域技术人员可以理解，附图1中示出的结构并不构成对电子设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
40.如附图1所示，作为一种存储介质的存储器105中可以包括操作系统、网络通信模块、用户接口模块以及面板缺陷检测装置。
41.在附图1所示的电子设备中，网络接口103主要用于与网络服务器进行数据通信；用户接口104主要用于与用户进行数据交互；本技术中的处理器101、存储器105可以设置在电子设备中，电子设备通过处理器101调用存储器105中存储的面板缺陷检测装置，并执行本技术实施例提供的面板缺陷检测方法。
42.参照附图2，基于前述实施例的硬件设备，本技术的实施例提供一种面板缺陷检测方法，包括以下步骤：s10：根据拉伸参数拉伸待检测图像，获得拉伸图像；其中，待检测图像基于面板产品的正投影方向获得，拉伸参数基于面板产品的振动参数获得。
43.在具体实施过程中，待检测图像为拍摄需要进行缺陷检测的面板产品获取的图像，比如将工业相机固定设置在某一工位，面板产品即通过传输装置输送到该工位下的正投影方向，获得正视方向的面板产品的图像，理论上来说，在不存在人为干扰、振动的情况，面板位置不会存在偏移，拍摄同种面板产品获取的待检测图像尺寸应当是一致的。但在振动的情况下，面板的各个方向均可存在相对水平的起伏，导致了从正投影方向拍摄获取的待检测图像尺寸发生变化。以一个方向的变化为例，如果面板产品做左右方向的振动，相当于在左右方向上对面板做翻转，而在一个方向的翻转下，待检测图像可以是被认为向这个方向进行了压缩，而其上的缺陷也随之变化，导致难以对缺陷实现准确的提取。
44.因此，通过将振动参数引入并与拉伸参数相匹配，再根据拉伸参数去将待检测图像做还原拉伸，实现对其尺寸的矫正，即：根据拉伸参数拉伸待检测图像，获得拉伸图像之
前，面板缺陷检测方法还包括：根据面板产品的振动方向信息及振动幅度信息，获得振动参数。
45.在具体实施过程中，实际情况中，振动源不足以让面板产品振动并发生翻转，从空间坐标系角度来说，面板产品发生的振动，都可以分解到x轴、y轴方向的转动，也即拍摄的待检测图像当时的状态，可以通过分别在x轴、y轴方向翻转得到。而其中的振动参数则可以通过检测样品的振动情况获得，包括了振动方向信息与振动幅度信息，对应产品拍摄时的状态可以理解为其翻转的方向与翻转的角度，振幅越大说明在该振动方向上面板产品具有更大角度的翻转。那么拉伸就可以根据振动来决定，即，根据拉伸参数拉伸待检测图像，获得拉伸图像之前，面板缺陷检测方法还包括：分别根据振动方向信息及振动幅度信息，获得拉伸方向信息及拉伸长度信息；根据拉伸方向信息及拉伸长度信息，获得拉伸参数度。
46.在具体实施过程中，拉伸方向、拉伸长度分别与振动方向、振动幅度对应，以面板在水平面上发生向左的振动时拍摄了待检测图像，向左振动，也即面板的右侧抬升，以左侧为转动中心发生翻转，从拍摄的图像上看，图像相对无振动的情况向左压缩，而拉伸方向则是使其恢复，应当是向右拉伸，而振幅越大，翻转的角度越大，图像被压缩的程度就越大，由此就可以决定图像需要拉伸多少才能恢复，当其拉伸至与无振动时拍摄的图像大小一致时，即可认为完成拉伸，实现了尺寸的矫正。即：根据拉伸参数拉伸待检测图像，获得拉伸图像，包括：根据拉伸方向信息，由边缘拉伸待检测图像，直至满足拉伸长度信息，获得拉伸图像。
47.在具体实施过程中，前述仅仅是以单一方向为例说明，实际情况中振动可能是多方向的，但是基于前面的论述可知，多方向的也可以是逐步分解为单一方向，因此拉伸可以基于图像的边缘进行，由边缘拉伸待检测图像直至边缘都拉伸至满足拉伸长度信息的位置后，说明图像的尺寸均被矫正。
48.在一种实施例中，根据拉伸方向信息，由边缘拉伸待检测图像，直至满足拉伸长度信息，获得拉伸图像之前，面板缺陷检测方法还包括：将待检测图像的任一边缘与标准图像的对应边缘重合；根据拉伸方向信息，由边缘拉伸待检测图像，直至满足拉伸长度信息，获得拉伸图像，包括：根据拉伸方向信息，先拉伸待检测图像未与标准图像重合的边缘，后拉伸待检测图像与标准图像重合的边缘，直至满足拉伸长度信息，获得拉伸图像。
49.在具体实施过程中，由于振动是微小的，在需要提取缺陷信息的精度下，影响是较大的，但在肉眼观测中，振动带来的面板产品的偏移是微小且不易观测的，也就是说尺寸的偏移是微小的，因此在拉伸还原的过程中，可以直接将待检测图像的任一边缘与标准图像的对应边缘重合，减少拉伸调整的次数，标准图像也即在无振动情况下由同一位置拍摄获得的待检测图像。拉伸还原的过程中，先以重合的边缘为基础拉伸其余边缘，由于重合边缘自身是与标准图像边缘重合了，但是平行于重合边缘的方向也会有振动带来的翻转使其受到了压缩，因此后拉伸重合的边缘，使其长度满足拉伸长度信息后，与标准图像匹配，获得拉伸图像。
50.在一种实施例中，根据拉伸参数拉伸待检测图像，获得拉伸图像之前，面板缺陷检测方法还包括：获取标准图像上的沿面板产品的振动方向分布的若干像素点；根据面板产品的振动幅度信息，分别获得若干像素点的水平偏移量信息；根据若干像素点在振动方向上的相对距离以及若干像素点的水平偏移量信息，构建像素点的水平偏移点图；对水平偏移点图上的点进行拟合，获得水平偏移曲线图；根据水平偏移曲线图，获得拉伸参数。
51.在具体实施过程中，为了进一步提升拉伸矫正的精度，基于像素点来进行拉伸参数的获取。还是以前述情况为例，分析面板振动时向某一位置发生翻转时的情况可知，如果是面板以左侧为中心，右侧因振动发生翻转，那么相对于左侧来说，距离左侧越远的位置发生的水平偏移是更大的，也图像即不同位置被压缩的程度是不同的，如附图3所示的为一种振动情况下面板产品的示意图，水平的实线框为面板产品，虚线框为其振动情况下的位置示意，在面板不同位置的点位，其振动前后的位置与振动后的正投影点位构成直角三角形，如附图4所示为单个位置点的水平偏移示意图，图中h表示振动前后的高度差，d表示振动前后的水平位移，l为振动前后位置点距离，h、d、l构成直角三角形，由于为同一面板，所以其上的点位振动幅度相同，也即面板振动的夹角一定，越靠近左侧则h越小，那么对应的d就越小。虽然同比例的拉伸在振动幅度较小的情况下，矫正后的缺陷信息的精度可能是在允许范围内，但想要更准确地矫正待检测图像，就需要根据相对翻转中心的距离对不同位置进行不同的拉伸还原。
52.因此，本实施例中同前述原理类似，将拉伸还原分解到各个振动方向，获取振动方向上分布的像素点，然后根据振动的幅度信息获得各个像素点的水平偏移量。然后以相对距离与水平偏移量作为横纵坐标构建水平偏移的点图，由于是基于像素进行的，所以横纵坐标均以像素为单位，如附图5所示，其中的相对距离表示的应当是像素点相对因振动发生翻转的翻转中心的距离，随后对点图上的点进行线性拟合，根据拟合得到的曲线图上的曲线，就能够将振动方向上的所有像素点以及其发生的水平位移进行一一的对应，获得的水平偏移曲线图如附图6所示，与相对距离越远，水平偏移量更大的情况对应，可以看出，曲线上相对距离越大的位置的斜率越大，表明越远的位置水平偏移量变化越快，根据该曲线图可以得到拉伸参数，也即水平偏移更大的位置需要更大程度的拉伸还原，如此就能够更贴合实际的待检测图像被压缩的情况，使得待检测图像的拉伸矫正还原更准确，有利于更准确的提取缺陷信息。
53.基于前述步骤的基于像素点获得的拉伸参数，根据拉伸参数拉伸待检测图像，获得拉伸图像，包括：根据拉伸参数，基于像素点拉伸待检测图像，获得拉伸图像。
54.s20：对拉伸图像进行去模糊处理，获得目标图像。
55.在具体实施过程中，去模糊处理，也即使用图像修复技术或者去模糊技术将图像变得清晰，来解决拍摄的振动状态下的待检测图像模糊的问题。从技术方面来讲，模糊图像处理方法主要分为三大类，分别是图像增强、图像复原和超分辨率重构。利用常用的办公软件如ps、wps上自带的图像修复功能进行去模糊，也可以使用常用的滤波处理或者卷积神经
网络进行，去模糊处理的原理可参考现有技术，此处不再赘述。
56.s30：将目标图像输入缺陷检测模型，获得缺陷信息；其中，缺陷检测模型包括卷积层，卷积层的卷积核，基于若干并行的分支卷积层的卷积核融合获得。
57.在具体实施过程中，缺陷检测模型也即利用卷积神经网络训练获得的模型，模型能够通过训练学习到缺陷信息，进而使其具有从输入图像上识别缺陷的能力。从特征表达角度切入，使用若干组并行的卷积层代替原有的卷积，具体为将分支卷积层通过卷积核的融合得到原有卷积层的卷积核，有效利用了非对称结构特征提取能力强和泛化能力强的优势，同时减少了网络参数量。
58.本技术实施例提供一种由三组分支卷积层替换原有3*3卷积层的实施方式，具体的，将目标图像输入缺陷检测模型，获得缺陷信息之前，面板缺陷检测方法还包括：获取三组并行的分支卷积层；其中，三组分支卷积层的卷积核尺寸分别为3*3、1*3以及3*1，卷积核尺寸为3*3的分支卷积层采用分布位移卷积，卷积核尺寸为1*3与3*1的分支卷积层采用分组卷积；将三组分支卷积层的卷积核融合为3*3尺寸的卷积核，以获得卷积层的卷积核。
59.在具体实施过程中，以增强网络特征提取能力，使用非对称混洗卷积结构的三层并行分支共同提取图像特征，使用3*3、1*3以及3*1的卷积层代替原有的3*3卷积，其中，3*3的分支卷积层采用分布位移卷积，1*3与3*1的分支卷积层采用分组卷积，3*3的卷积层主要用于增大感受野以获取更丰富的特征信息，而分组卷积层主要用于提升模型对翻转或旋转的泛化能力，对空间信息的依赖性降低，可大幅度减小模型参数。
60.本实施例中，通过将面板产品的振动参数引入对待检测图像的矫正过程，利用根据振动参数获得的拉伸参数先将待检测图像的尺寸进行矫正，然后再利用去模糊处理将图像变得清晰，以便于缺陷检测模型的识别，由于缺陷检测模型的卷积层的卷积核是通过若干并行的分支卷积层的卷积核融合获得，模型没有增加额外的计算量，还能增强特征提取的能力，从而提升模型的分割精度与泛化能力，由于前述步骤的拉伸消除了振动带来的尺寸偏差，因此检测图像获得的缺陷信息能够与实际面板上的缺陷信息高度匹配，实现了对于振动情况下面板上缺陷的准确提取。
61.在一种实施例中，缺陷检测模型还包括通道混洗层，通道混洗层位于采用分组卷积的分支卷积层之后，通道混洗层用于：对分支卷积层提取的特征图进行分组，获得分组矩阵；转置分组矩阵，获得转置矩阵；将转置矩阵平坦化重分组，获得目标特征图。
62.在具体实施过程中，分组卷积会阻碍通道间信息流动，因此设置通道混洗层，将其放在分组卷积层之后，能够有效提高分组卷积中不同通道间的关联性。通道混洗的具体过程为，将输入的特征图分组，分为m组，n为每组的通道数量，输入特征矩阵向量变换为（m，n）；进行转置操作变换为（n，m）的转置矩阵；再将得到的结果平摊扁平化处理，最后结果重新分组，分为n组凭借形成新的特征图作为输出，即目标特征图。
63.在一种实施例中，缺陷检测模型还包括中间层，中间层基于缺陷检测模型的特征金字塔网络的特征层获得。
64.在具体实施过程中，由于特征金字塔中的映射在x轴、y轴方向上都被缩放，并且在
相邻两层之间的尺度差距很大，导致两个大小相似的物体被预测并分到不同的层，因此通过在缺陷检测模型的特征金字塔网络的特征层中生成中间层来解决，使得不同尺寸特征图之间的过渡更为平滑，从而提升检测的效果。具体的，提供一种中间层的获取方式，即，将目标图像输入缺陷检测模型，获得缺陷信息之前，面板缺陷检测方法还包括：分别对缺陷检测模型的特征金字塔网络的特征层进行线性缩放，获得若干第一特征层；将第一特征层进行逐像素相加，获得第二特征层；对第二特征层进行卷积与融合，获得中间层。
65.在具体实施过程中，将特征金字塔网络中每一层的相邻层按一定系数进行线性缩放，并将所得结果，即第一特征层进行逐像素相加得到第二特征层，第二特征层通过3*3卷积，从原始层中对特征进行融合，生成中间层，由此使得特征金字塔中相邻层之间都有一个中间层进行过渡，减少尺寸截断的影响，提高模型性能，进而提升缺陷提取的准确。
66.参照附图7，基于与前述实施例中同样的发明构思，本技术实施例还提供一种面板缺陷检测装置，该装置包括：拉伸模块，拉伸模块用于根据拉伸参数拉伸待检测图像，获得拉伸图像；其中，待检测图像基于面板产品的正投影方向获得，拉伸参数基于面板产品的振动参数获得；去模糊模块，去模糊模块用于对拉伸图像进行去模糊处理，获得目标图像；检测模块，检测模块用于将目标图像输入缺陷检测模型，获得缺陷信息；其中，缺陷检测模型包括卷积层，卷积层的卷积核，基于若干并行的分支卷积层的卷积核融合获得。
67.本领域技术人员应当理解，实施例中的各个模块的划分仅仅是一种逻辑功能的划分，实际应用时可以全部或部分集成到一个或多个实际载体上，且这些模块可以全部以软件通过处理单元调用的形式实现，也可以全部以硬件的形式实现，或是以软件、硬件结合的形式实现，需要说明的是，本实施例中面板缺陷检测装置中各模块是与前述实施例中的面板缺陷检测方法中的各步骤一一对应，因此，本实施例的具体实施方式可参照前述面板缺陷检测方法的实施方式，这里不再赘述。
68.基于与前述实施例中同样的发明构思，本技术的实施例还提供一种计算机可读存储介质，储存有计算机程序，计算机程序被处理器加载执行时，实现如本技术实施例提供的面板缺陷检测方法。
69.基于与前述实施例中同样的发明构思，本技术的实施例还提供一种电子设备，包括处理器及存储器，其中，存储器用于存储计算机程序；处理器用于加载执行计算机程序，以使电子设备执行如本技术实施例提供的面板缺陷检测方法。
70.此外，基于与前述实施例中同样的发明构思，本技术的实施例还提供一种计算机程序产品，包括计算机程序，当计算机程序被执行时，用于执行如本技术实施例提供的面板缺陷检测方法。
71.在一些实施例中，计算机可读存储介质可以是fram、rom、prom、eprom、eeprom、闪存、磁表面存储器、光盘、或cd-rom等存储器；也可以是包括上述存储器之一或任意组合的各种设备。计算机可以是包括智能终端和服务器在内的各种计算设备。
72.在一些实施例中，可执行指令可以采用程序、软件、软件模块、脚本或代码的形式，按任意形式的编程语言（包括编译或解释语言，或者声明性或过程性语言）来编写，并且其可按任意形式部署，包括被部署为独立的程序或者被部署为模块、组件、子例程或者适合在计算环境中使用的其它单元。
73.作为示例，可执行指令可以但不一定对应于文件系统中的文件，可以可被存储在保存其它程序或数据的文件的一部分，例如，存储在超文本标记语言（html，hyper text markup language）文档中的一个或多个脚本中，存储在专用于所讨论的程序的单个文件中，或者，存储在多个协同文件（例如，存储一个或多个模块、子程序或代码部分的文件）中。
74.作为示例，可执行指令可被部署为在一个计算设备上执行，或者在位于一个地点的多个计算设备上执行，又或者，在分布在多个地点且通过通信网络互连的多个计算设备上执行。
75.需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者系统不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者系统所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者系统中还存在另外的相同要素。
76.上述本技术实施例序号仅仅为了描述，不代表实施例的优劣。
77.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述 实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通 过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本技术的 技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体 现出来，该计算机软件产品存储在一个存储介质（如只读存储器/随机存取存储器、磁碟、光 盘）中，包括若干指令用以使得一台多媒体终端设备(可以是手机，计算机，电视接收机，或者网络设备等)执行本技术各个实施例所述的方法。
78.综上，本技术提供的一种面板缺陷检测方法、装置、存储介质、设备及程序产品，包括：根据拉伸参数拉伸待检测图像，获得拉伸图像；其中，待检测图像基于面板产品的正投影方向获得，拉伸参数基于面板产品的振动参数获得；对拉伸图像进行去模糊处理，获得目标图像；将目标图像输入缺陷检测模型，获得缺陷信息；其中，缺陷检测模型包括卷积层，卷积层的卷积核，基于若干并行的分支卷积层的卷积核融合获得。本技术的方法通过将面板产品的振动参数引入对待检测图像的矫正过程，利用根据振动参数获得的拉伸参数先将待检测图像的尺寸进行矫正，然后再利用去模糊处理将图像变得清晰，以便于缺陷检测模型的识别，由于缺陷检测模型的卷积层的卷积核是通过若干并行的分支卷积层的卷积核融合获得，模型没有增加额外的计算量，还能增强特征提取的能力，从而提升模型的分割精度与泛化能力，由于前述步骤的拉伸消除了振动带来的尺寸偏差，因此检测图像获得的缺陷信息能够与实际面板上的缺陷信息高度匹配，实现了对于振动情况下面板上缺陷的准确提取。
79.以上所述仅为本技术的较佳实施例，并不用以限制本技术，凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。

技术特征：
1.一种面板缺陷检测方法，其特征在于，包括以下步骤：根据拉伸参数拉伸待检测图像，获得拉伸图像；其中，所述待检测图像基于面板产品的正投影方向获得，所述拉伸参数基于所述面板产品的振动参数获得；对所述拉伸图像进行去模糊处理，获得目标图像；将所述目标图像输入缺陷检测模型，获得缺陷信息；其中，所述缺陷检测模型包括卷积层，所述卷积层的卷积核，基于若干并行的分支卷积层的卷积核融合获得。2.根据权利要求1所述的面板缺陷检测方法，其特征在于，所述根据拉伸参数拉伸待检测图像，获得拉伸图像之前，所述面板缺陷检测方法还包括：根据所述面板产品的振动方向信息及振动幅度信息，获得所述振动参数。3.根据权利要求2所述的面板缺陷检测方法，其特征在于，所述根据拉伸参数拉伸待检测图像，获得拉伸图像之前，所述面板缺陷检测方法还包括：分别根据所述振动方向信息及所述振动幅度信息，获得拉伸方向信息及拉伸长度信息；根据所述拉伸方向信息及拉伸长度信息，获得所述拉伸参数度。4.根据权利要求3所述的面板缺陷检测方法，其特征在于，所述根据拉伸参数拉伸待检测图像，获得拉伸图像，包括：根据所述拉伸方向信息，由边缘拉伸待检测图像，直至满足所述拉伸长度信息，获得拉伸图像。5.根据权利要求4所述的面板缺陷检测方法，其特征在于，所述根据所述拉伸方向信息，由边缘拉伸待检测图像，直至满足所述拉伸长度信息，获得拉伸图像之前，所述面板缺陷检测方法还包括：将所述待检测图像的任一边缘与标准图像的对应边缘重合；所述根据所述拉伸方向信息，由边缘拉伸待检测图像，直至满足所述拉伸长度信息，获得拉伸图像，包括：根据所述拉伸方向信息，先拉伸待检测图像未与所述标准图像重合的边缘，后拉伸所述待检测图像与所述标准图像重合的边缘，直至满足所述拉伸长度信息，获得拉伸图像。6.根据权利要求2所述的面板缺陷检测方法，其特征在于，所述根据拉伸参数拉伸待检测图像，获得拉伸图像之前，所述面板缺陷检测方法还包括：获取标准图像上的沿所述面板产品的振动方向分布的若干像素点；根据所述面板产品的振动幅度信息，分别获得若干所述像素点的水平偏移量信息；根据若干所述像素点在振动方向上的相对距离以及若干所述像素点的水平偏移量信息，构建所述像素点的水平偏移点图；对所述水平偏移点图上的点进行拟合，获得水平偏移曲线图；根据所述水平偏移曲线图，获得所述拉伸参数。7.根据权利要求6所述的面板缺陷检测方法，其特征在于，所述根据拉伸参数拉伸待检测图像，获得拉伸图像，包括：根据所述拉伸参数，基于像素点拉伸待检测图像，获得拉伸图像。8.根据权利要求1所述的面板缺陷检测方法，其特征在于，所述将所述目标图像输入缺陷检测模型，获得缺陷信息之前，所述面板缺陷检测方法还包括：
获取三组并行的所述分支卷积层；其中，三组所述分支卷积层的卷积核尺寸分别为3*3、1*3以及3*1，卷积核尺寸为3*3的所述分支卷积层采用分布位移卷积，卷积核尺寸为1*3与3*1的所述分支卷积层采用分组卷积；将三组所述分支卷积层的卷积核融合为3*3尺寸的卷积核，以获得所述卷积层的卷积核。9.根据权利要求8所述的面板缺陷检测方法，其特征在于，所述缺陷检测模型还包括通道混洗层，所述通道混洗层位于所述采用分组卷积的所述分支卷积层之后，所述通道混洗层用于：对所述分支卷积层提取的特征图进行分组，获得分组矩阵；转置所述分组矩阵，获得转置矩阵；将所述转置矩阵平坦化重分组，获得目标特征图。10.根据权利要求1所述的面板缺陷检测方法，其特征在于，所述缺陷检测模型还包括中间层，所述中间层基于所述缺陷检测模型的特征金字塔网络的特征层获得。11.根据权利要求10所述的面板缺陷检测方法，其特征在于，所述将所述目标图像输入缺陷检测模型，获得缺陷信息之前，所述面板缺陷检测方法还包括：分别对所述缺陷检测模型的特征金字塔网络的特征层进行线性缩放，获得若干第一特征层；将所述第一特征层进行逐像素相加，获得第二特征层；对所述第二特征层进行卷积与融合，获得所述中间层。12.一种面板缺陷检测装置，其特征在于，包括：拉伸模块，所述拉伸模块用于根据拉伸参数拉伸待检测图像，获得拉伸图像；其中，所述待检测图像基于面板产品的正投影方向获得，所述拉伸参数基于所述面板产品的振动参数获得；去模糊模块，所述去模糊模块用于对所述拉伸图像进行去模糊处理，获得目标图像；检测模块，所述检测模块用于将所述目标图像输入缺陷检测模型，获得缺陷信息；其中，所述缺陷检测模型包括卷积层，所述卷积层的卷积核，基于若干并行的分支卷积层的卷积核融合获得。13.一种计算机可读存储介质，储存有计算机程序，其特征在于，所述计算机程序被处理器加载执行时，实现如权利要求1-11中任一项所述的面板缺陷检测方法。14.一种电子设备，其特征在于，包括处理器及存储器，其中，所述存储器用于存储计算机程序；所述处理器用于加载执行所述计算机程序，以使所述电子设备执行如权利要求1-11中任一项所述的面板缺陷检测方法。15.一种计算机程序产品，其特征在于，包括计算机程序，当所述计算机程序被执行时，用于执行如权利要求1-11中任一项所述的面板缺陷检测方法。

技术总结
本申请的实施例公开了一种面板缺陷检测方法、装置、存储介质、设备及程序产品，涉及图像处理技术领域，包括：根据拉伸参数拉伸待检测图像，获得拉伸图像；对拉伸图像进行去模糊处理，获得目标图像；将目标图像输入缺陷检测模型，获得缺陷信息；缺陷检测模型包括卷积层，卷积层的卷积核，基于若干并行的分支卷积层的卷积核融合获得。本申请利用振动参数获得的拉伸参数将待检测图像的尺寸进行矫正，然后去模糊处理将图像变得清晰，以便于缺陷检测模型的识别，由于卷积层通过若干并行的分支卷积层融合获得，能增强特征提取的能力，从而提升模型的分割精度与泛化能力，实现了对于振动情况下面板上缺陷的准确提取。面板上缺陷的准确提取。面板上缺陷的准确提取。


技术研发人员：请求不公布姓名
受保护的技术使用者：成都数之联科技股份有限公司
技术研发日：2023.06.13
技术公布日：2023/7/18