基于多个AI模型混合的跨尺度缺陷的高速检测算法的制作方法

基于多个ai模型混合的跨尺度缺陷的高速检测算法
技术领域
1.本发明涉及目标检测领域，尤其涉及基于多个ai模型混合的跨尺度缺陷的高速检测算法。


背景技术：

2.传统视觉算法中，特征提取是很重要的一步，在特征提取过程中，会涉及到比如：边缘检测、角点检测、对象检测等，这些算法都属于传统的计算机视觉算法。传统的难点在于，每张图像的特征不尽相同，不同类别的对象最好要用不同种类的特征来描述。随着所要区分的类别数目逐渐增多，这一类分类和识别问题会变得非常麻烦，甚至难以实现；因此，发明出基于多个ai模型混合的跨尺度缺陷的高速检测算法变得尤为重要。
3.现有的跨尺度缺陷的高速检测算法需工作人员手动调整参数，参数精度低，且处理图片效率低下，使用难度较高；此外，现有的跨尺度缺陷的高速检测算法容易因因不同光照环境出现漏检情况，目标检测的准确性低，模型误检率较高；为此，我们提出基于多个ai模型混合的跨尺度缺陷的高速检测算法。


技术实现要素：

4.本发明的目的是为了解决现有技术中存在的缺陷，而提出的基于多个ai模型混合的跨尺度缺陷的高速检测算法。
5.为了实现上述目的，本发明采用了如下技术方案：
6.基于多个ai模型混合的跨尺度缺陷的高速检测算法，该检测方法具体步骤如下：
7.(1)对采集到的各组影像数据进行处理调整；
8.(2)提取各影像数据特征信息并进行标注；
9.(3)构建检测神经模型并更新该模型参数；
10.(4)检测神经模型接收特征数据进行缺陷检测；
11.(5)反馈识别结果并进行区块化存储；
12.(6)采集模型检测日志以进行风险检测同时反馈检测结果。
13.作为本发明的进一步方案，步骤(1)中所述影像数据处理调整具体步骤如下：
14.步骤一：将采集到的影像数据进行逐帧提取以获取多组图片数据，之后依据各组图片数据的显示比例对相应图片进行分块处理，再对分块后的图像数据通过傅里叶变换提取其中的高频成分；
15.步骤二：设定高斯平滑滤波器参数，再通过每个加权的各组异性滤波器对图片数据做平滑处理，将处理后的图像进行非线性变换，同时对非线性变换得到的结果之和进行加权处理以获取最终图片数据；
16.步骤三：选取满足条件的窗口在各组图片数据中移动，每移动一次计算此时窗口下的灰度共生矩阵，并从灰度共生矩阵中计算相关图像数据中的纹理特征。
17.作为本发明的进一步方案，步骤三中所述纹理特征具体纹理特征具体计算公式如
下：
[0018][0019][0020][0021][0022][0023]
式中，p(i,j)代表图像像素点的值；l代表灰度级的数目。
[0024]
作为本发明的进一步方案，步骤(2)中所述特征信息具体提取步骤如下：
[0025]
步骤
①
：通过图像金字塔对各组图像数据进行尺度归一化处理，并提取各组图像信息的特征，之后通过双向特征金字塔进行特征融合以获取目标检测框；
[0026]
步骤
②
：依据目标检测框对各图像数据进行扩大化剪裁以获取目标图像，之后获取个像素相对应的纹理特征，并将得到的各组特征值按数组的形式储存到目标图像相应的像素位置；
[0027]
步骤
③
：若纹理特征满足预设条件，则判断当前像素区域为目标区域，否则当前像素区域则为背景区域，依据判断结果将目标与背景区域进行分离以获取目标图像，再通过伽马校正将目标图像将的亮度调整到预先定义好的图像亮度以获取目标图像特征信息。
[0028]
作为本发明的进一步方案，步骤
③
中所述伽马校正具体计算公式如下：
[0029][0030]
式中，a代表输入图像的像素值；b代表经过伽马校正后图像对应的像素值；a
max
代表输入图像像素灰度值的最大值；γ代表自定义的参数。
[0031]
作为本发明的进一步方案，步骤(3)中所述检测神经模型构建具体步骤如下：
[0032]
步骤ⅰ：从数据库中提取多组样本数据，并通过min-max标准化方法对各组样本数据进行归一化预处理，将各组图像转换成带有标签值的图像，并将带有标签的图像进行随机翻转的数据增强操作；
[0033]
步骤ⅱ：将样本数据整合成一组样本数据集，再通过该样本数据集的标准偏差对样本数据集中的异常数据进行剔除，预设一组卷积神经网络，并将训练样本输入至卷积神经网络中先进行一次卷积操作以将输入数据转换为符合要求的特征图；
[0034]
步骤ⅲ：重复采用两组卷积层和一组最大池化层的结构，再在扩展通道中先进行了一次反卷积操作使特征图的维数减半，拼接对应压缩通道的特征图，重新组成一组2倍维
数的特征图，再重复采用两组卷积层，然后在最后的输出层将上一层获取的特征图映射成6维输出特征图，同时收集经过前向传播得到的输出特征图；
[0035]
步骤ⅳ：通过softmax函数将其中所有目标的线性预测值转换为概率值，使用损失函数计算真实数据与检测概率之间的损失值，当损失值达到一定阈值后停止训练，同时将该参数作为最优参数并输出检测神经模型。
[0036]
作为本发明的进一步方案，步骤(3)中所述检测神经模型参数更新具体步骤如下：
[0037]
第一步：在检测神经模型的规定区间内初始化网络连接权值，之后从训练时的输入以及输出对的集合中提交训练样本，并计算检测神经模型的输出，再比较期望的网络输出与实际的网络输出，同时计算所有神经元的局部误差；
[0038]
第二步：当局部误差超出预设阈值后，依据学习规则方程对检测神经模型的权值进行训练以及更新，并依据预设的学习率以及步长列出所有可能的数据结果，对于每一组数据，选取任意一个子集作为测试集，其余子集作为训练集，训练模型后对测试集进行检测，并统计检测结果的损失值；
[0039]
第三步：将测试集更换为另一子集，再取剩余子集作为训练集，再次计算损失值，直至对所有数据都进行一次预测，通过选取损失值最小时对应的组合参数作为数据区间内最优的参数并替换检测神经模型原有参数。
[0040]
作为本发明的进一步方案，步骤(5)中所述风险检测具体步骤如下：
[0041]
第ⅰ步：在不同的系统的设备上部署相关的日志采集插件或者通过syslog服务器获取管理平台中所记录的操作日志，并筛选出满足预设条件的操作日志；
[0042]
第ⅱ步：将筛选出的操作日志处理为统一格式的日志数据，再将处理后的操作日志中记录的操作行为与异常行为特征进行匹配，并依据匹配结果生成相对应的告警信息；
[0043]
第ⅲ步：对各告警信息的风险分数进行计算并将计算结果反馈给维护人员，同时将该告警信息反馈给相关维护人员，并中断相关操作进程。
[0044]
相比于现有技术，本发明的有益效果在于：
[0045]
1、该基于多个ai模型混合的跨尺度缺陷的高速检测算法通过从数据库中提取多组样本数据并对其进行预处理后整合成一组样本数据集，再剔除样本数据集中的异常数据，之后通过卷积神经网络进行卷积、池化、反卷积操作后使用损失函数计算真实数据与检测概率之间的损失值，通过交叉验证法逐层更新参数，当获取最优参数后输出检测神经模型，检测神经模型接收各组特征数据，并计算对应目标图像的多方向梯度图像，之后获取存在部分重叠区域的图像块，然后舍弃边缘不准确的结果并依次拼接，之后通过全连接将图像中所有的像素两两连接，用像素间的颜色和实际相对距离来衡量像素间的差距，同时获取全连接的能量函数，并采用平均场近似的方法进行迭代以最小化能量函数，然后根据各像素能量函数值来判断缺陷信息，能够提高训练样本的随机性，同时无需工作人员手动调整参数，实现自动化操作，且有效提高参数精度，减少工作人员工作量，使模型处理图片的效率大幅提高，并且降低使用难度。
[0046]
2、该基于多个ai模型混合的跨尺度缺陷的高速检测算法依据各组图片数据的显示比例对相应图片进行分块处理，再提取其中的高频成分,并通过高斯平滑滤波器对图片数据做平滑处理，将处理后的图像进行非线性变换，并处理变换后的图片数据后以获取最终图片数据,选取满足条件的窗口在各组图片数据中移动，并计算相关图像数据中的纹理
特征，对各组图像数据进行尺度归一化处理，并提取各组图像信息的特征，之后通过双向特征金字塔进行特征融合以获取目标检测框，依据目标检测框对各图像数据进行扩大化剪裁以获取目标图像，之后获取个像素相对应的纹理特征，并将得到的各组特征值按数组的形式储存到目标图像相应的像素位置，依据纹理特征将目标与背景区域进行分离以获取目标图像，再通过伽马校正将目标图像将的亮度调整到预先定义好的图像亮度以获取目标图像特征信息，能够避免因不同光照环境导致出现漏检的情况，通过能够提高目标检测的准确性，降低模型误检率。
附图说明
[0047]
附图用来提供对本发明的进一步理解，并且构成说明书的一部分，与本发明的实施例一起用于解释本发明，并不构成对本发明的限制。
[0048]
图1为本发明提出的基于多个ai模型混合的跨尺度缺陷的高速检测算法的流程框图。
具体实施方式
[0049]
实施例1
[0050]
参照图1，基于多个ai模型混合的跨尺度缺陷的高速检测算法，该检测方法具体步骤如下：
[0051]
对采集到的各组影像数据进行处理调整。
[0052]
具体的，将采集到的影像数据进行逐帧提取以获取多组图片数据，之后依据各组图片数据的显示比例对相应图片进行分块处理，再对分块后的图像数据通过傅里叶变换提取其中的高频成分,设定高斯平滑滤波器参数，再通过每个加权的各组异性滤波器对图片数据做平滑处理，将处理后的图像进行非线性变换，同时对非线性变换得到的结果之和进行加权处理以获取最终图片数据,选取满足条件的窗口在各组图片数据中移动，每移动一次计算此时窗口下的灰度共生矩阵，并从灰度共生矩阵中计算相关图像数据中的纹理特征。
[0053]
本实施例中，纹理特征具体纹理特征具体计算公式如下：
[0054][0055][0056]
[0057][0058]
式中，p(i,j)代表图像像素点的值；l代表灰度级的数目。
[0059]
提取各影像数据特征信息并进行标注。
[0060]
具体的，通过图像金字塔对各组图像数据进行尺度归一化处理，并提取各组图像信息的特征，之后通过双向特征金字塔进行特征融合以获取目标检测框，依据目标检测框对各图像数据进行扩大化剪裁以获取目标图像，之后获取个像素相对应的纹理特征，并将得到的各组特征值按数组的形式储存到目标图像相应的像素位置，若纹理特征满足预设条件，则判断当前像素区域为目标区域，否则当前像素区域则为背景区域，依据判断结果将目标与背景区域进行分离以获取目标图像，再通过伽马校正将目标图像将的亮度调整到预先定义好的图像亮度以获取目标图像特征信息。
[0061]
需要进一步说明的是，伽马校正具体计算公式如下：
[0062][0063]
式中，a代表输入图像的像素值；b代表经过伽马校正后图像对应的像素值；a
max
代表输入图像像素灰度值的最大值；γ代表自定义的参数。
[0064]
构建检测神经模型并更新该模型参数。
[0065]
具体的，从数据库中提取多组样本数据，并通过min-max标准化方法对各组样本数据进行归一化预处理，将各组图像转换成带有标签值的图像，并将带有标签的图像进行随机翻转的数据增强操作，将样本数据整合成一组样本数据集，再通过该样本数据集的标准偏差对样本数据集中的异常数据进行剔除，预设一组卷积神经网络，并将训练样本输入至卷积神经网络中先进行一次卷积操作以将输入数据转换为符合要求的特征图，重复采用两组卷积层和一组最大池化层的结构，再在扩展通道中先进行了一次反卷积操作使特征图的维数减半，拼接对应压缩通道的特征图，重新组成一组2倍维数的特征图，再重复采用两组卷积层，然后在最后的输出层将上一层获取的特征图映射成6维输出特征图，同时收集经过前向传播得到的输出特征图，通过softmax函数将其中所有目标的线性预测值转换为概率值，使用损失函数计算真实数据与检测概率之间的损失值，当损失值达到一定阈值后停止训练，同时将该参数作为最优参数并输出检测神经模型。
[0066]
具体的，在检测神经模型的规定区间内初始化网络连接权值，之后从训练时的输入以及输出对的集合中提交训练样本，并计算检测神经模型的输出，再比较期望的网络输出与实际的网络输出，同时计算所有神经元的局部误差，当局部误差超出预设阈值后，依据学习规则方程对检测神经模型的权值进行训练以及更新，并依据预设的学习率以及步长列出所有可能的数据结果，对于每一组数据，选取任意一个子集作为测试集，其余子集作为训练集，训练模型后对测试集进行检测，并统计检测结果的损失值，将测试集更换为另一子集，再取剩余子集作为训练集，再次计算损失值，直至对所有数据都进行一次预测，通过选取损失值最小时对应的组合参数作为数据区间内最优的参数并替换检测神经模型原有参数。
[0067]
实施例2
[0068]
参照图1，基于多个ai模型混合的跨尺度缺陷的高速检测算法，该检测方法具体步骤如下：
[0069]
检测神经模型接收特征数据进行缺陷检测。
[0070]
本实施例中，检测神经模型接收各组特征数据，并依据获取的特征数据计算对应目标图像的多方向梯度图像，之后采用滑动窗口的方式获取存在部分重叠区域的图像块，然后对每一张预测的图像块保留中间某一区域的分类结果，舍弃边缘不准确的结果，再依次拼接，之后通过全连接将图像中所有的像素两两连接，用像素间的颜色和实际相对距离来衡量像素间的差距，同时获取全连接的能量函数，并采用平均场近似的方法进行迭代以最小化能量函数，然后根据各像素能量函数值来判断缺陷信息。
[0071]
反馈识别结果并进行区块化存储。
[0072]
采集模型检测日志以进行风险检测同时反馈检测结果。
[0073]
具体的，在不同的系统的设备上部署相关的日志采集插件或者通过syslog服务器获取管理平台中所记录的操作日志，并筛选出满足预设条件的操作日志，将筛选出的操作日志处理为统一格式的日志数据，再将处理后的操作日志中记录的操作行为与异常行为特征进行匹配，并依据匹配结果生成相对应的告警信息，对各告警信息的风险分数进行计算并将计算结果反馈给维护人员，同时将该告警信息反馈给相关维护人员，并中断相关操作进程。

技术特征：
1.基于多个ai模型混合的跨尺度缺陷的高速检测算法，其特征在于，该检测方法具体步骤如下：(1)对采集到的各组影像数据进行处理调整；(2)提取各影像数据特征信息并进行标注；(3)构建检测神经模型并更新该模型参数；(4)检测神经模型接收特征数据进行缺陷检测；(5)反馈识别结果并进行区块化存储；(6)采集模型检测日志以进行风险检测同时反馈检测结果。2.根据权利要求1所述的基于多个ai模型混合的跨尺度缺陷的高速检测算法，其特征在于，步骤(1)中所述影像数据处理调整具体步骤如下：步骤一：将采集到的影像数据进行逐帧提取以获取多组图片数据，之后依据各组图片数据的显示比例对相应图片进行分块处理，再对分块后的图像数据通过傅里叶变换提取其中的高频成分；步骤二：设定高斯平滑滤波器参数，再通过每个加权的各组异性滤波器对图片数据做平滑处理，将处理后的图像进行非线性变换，同时对非线性变换得到的结果之和进行加权处理以获取最终图片数据；步骤三：选取满足条件的窗口在各组图片数据中移动，每移动一次计算此时窗口下的灰度共生矩阵，并从灰度共生矩阵中计算相关图像数据中的纹理特征。3.根据权利要求2所述的基于多个ai模型混合的跨尺度缺陷的高速检测算法，其特征在于，步骤三中所述纹理特征具体纹理特征具体计算公式如下：步骤三中所述纹理特征具体纹理特征具体计算公式如下：步骤三中所述纹理特征具体纹理特征具体计算公式如下：步骤三中所述纹理特征具体纹理特征具体计算公式如下：式中，p(i,j)代表图像像素点的值；l代表灰度级的数目。4.根据权利要求2所述的基于多个ai模型混合的跨尺度缺陷的高速检测算法，其特征在于，步骤(2)中所述特征信息具体提取步骤如下：步骤
①
：通过图像金字塔对各组图像数据进行尺度归一化处理，并提取各组图像信息的特征，之后通过双向特征金字塔进行特征融合以获取目标检测框；步骤
②
：依据目标检测框对各图像数据进行扩大化剪裁以获取目标图像，之后获取个
像素相对应的纹理特征，并将得到的各组特征值按数组的形式储存到目标图像相应的像素位置；步骤
③
：若纹理特征满足预设条件，则判断当前像素区域为目标区域，否则当前像素区域则为背景区域，依据判断结果将目标与背景区域进行分离以获取目标图像，再通过伽马校正将目标图像将的亮度调整到预先定义好的图像亮度以获取目标图像特征信息。5.根据权利要求4所述的基于多个ai模型混合的跨尺度缺陷的高速检测算法，其特征在于，步骤
③
中所述伽马校正具体计算公式如下：式中，a代表输入图像的像素值；b代表经过伽马校正后图像对应的像素值；a
max
代表输入图像像素灰度值的最大值；γ代表自定义的参数。6.根据权利要求1所述的基于多个ai模型混合的跨尺度缺陷的高速检测算法，其特征在于，步骤(3)中所述检测神经模型构建具体步骤如下：步骤ⅰ：从数据库中提取多组样本数据，并通过min-max标准化方法对各组样本数据进行归一化预处理，将各组图像转换成带有标签值的图像，并将带有标签的图像进行随机翻转的数据增强操作；步骤ⅱ：将样本数据整合成一组样本数据集，再通过该样本数据集的标准偏差对样本数据集中的异常数据进行剔除，预设一组卷积神经网络，并将训练样本输入至卷积神经网络中先进行一次卷积操作以将输入数据转换为符合要求的特征图；步骤ⅲ：重复采用两组卷积层和一组最大池化层的结构，再在扩展通道中先进行了一次反卷积操作使特征图的维数减半，拼接对应压缩通道的特征图，重新组成一组2倍维数的特征图，再重复采用两组卷积层，然后在最后的输出层将上一层获取的特征图映射成6维输出特征图，同时收集经过前向传播得到的输出特征图；步骤ⅳ：通过softmax函数将其中所有目标的线性预测值转换为概率值，使用损失函数计算真实数据与检测概率之间的损失值，当损失值达到一定阈值后停止训练，同时将该参数作为最优参数并输出检测神经模型。7.根据权利要求6所述的基于多个ai模型混合的跨尺度缺陷的高速检测算法，其特征在于，步骤(3)中所述检测神经模型参数更新具体步骤如下：第一步：在检测神经模型的规定区间内初始化网络连接权值，之后从训练时的输入以及输出对的集合中提交训练样本，并计算检测神经模型的输出，再比较期望的网络输出与实际的网络输出，同时计算所有神经元的局部误差；第二步：当局部误差超出预设阈值后，依据学习规则方程对检测神经模型的权值进行训练以及更新，并依据预设的学习率以及步长列出所有可能的数据结果，对于每一组数据，选取任意一个子集作为测试集，其余子集作为训练集，训练模型后对测试集进行检测，并统计检测结果的损失值；第三步：将测试集更换为另一子集，再取剩余子集作为训练集，再次计算损失值，直至对所有数据都进行一次预测，通过选取损失值最小时对应的组合参数作为数据区间内最优的参数并替换检测神经模型原有参数。
8.根据权利要求1所述的基于多个ai模型混合的跨尺度缺陷的高速检测算法，其特征在于，步骤(5)中所述风险检测具体步骤如下：第ⅰ步：在不同的系统的设备上部署相关的日志采集插件或者通过syslog服务器获取管理平台中所记录的操作日志，并筛选出满足预设条件的操作日志；第ⅱ步：将筛选出的操作日志处理为统一格式的日志数据，再将处理后的操作日志中记录的操作行为与异常行为特征进行匹配，并依据匹配结果生成相对应的告警信息；第ⅲ步：对各告警信息的风险分数进行计算并将计算结果反馈给维护人员，同时将该告警信息反馈给相关维护人员，并中断相关操作进程。

技术总结
本发明公开了基于多个AI模型混合的跨尺度缺陷的高速检测算法，属于目标检测领域，该检测方法具体步骤如下：(1)对采集到的各组影像数据进行处理调整；(2)提取各影像数据特征信息并进行标注；(3)构建检测神经模型并更新该模型参数；(4)检测神经模型接收特征数据进行缺陷检测；(5)反馈识别结果并进行区块化存储；本发明能够提高训练样本的随机性，同时无需工作人员手动调整参数，实现自动化操作，且有效提高参数精度，减少工作人员工作量，使模型处理图片的效率大幅提高，并且降低使用难度，能够避免因不同光照环境导致出现漏检的情况，通过能够提高目标检测的准确性，降低模型误检率。误检率。误检率。


技术研发人员：陆启英 钟球盛 李文俊 陈锦鹏 柯开特 杨锴锋 黄瑞洁 詹瑾凝 苏建博 温海东 李琼菲 方梓璇 金连明
受保护的技术使用者：东莞英诺威智能技术有限公司
技术研发日：2023.07.04
技术公布日：2023/10/11