图像匹配的定位核区域自动提取方法、装置、设备和介质与流程

1.本技术涉及机器视觉技术领域，特别是涉及一种图像匹配的定位核区域自动提取方法、装置、设备和介质。


背景技术：

2.图像匹配是机器视觉技术中一种自动寻找图像中某个指定图案或物品中某个指定部位的算法，其首先在一张参考图像中标记、框选出定位核区域制作模型，然后在目标图像中查找定位出模型的位置和角度。图像匹配一般分为“灰度匹配”和“特征匹配”。目前，灰度匹配方法主流的是correlation-based(基于相关性)灰度值匹配，该方法使用归一化互相关函数值来评价模板图像(定位核区域内的图像)与目标图像的相似性，是一种简单有效的匹配算法，但不适合存在旋转情况的匹配。特征匹配方法是分别提取模板图像和目标图像中的特征(点、线等特征)并对特征进行参数描述，然后运用所描述的参数进行匹配，其中点特征(边缘点、角点、兴趣点等)的匹配使用广泛，特征点模型通常具备尺度和旋转不变性，可以适用存在放缩和旋转情况的匹配。这两种匹配方法的使用步骤上都统一为：选择参考图像、参考图像上提取定位核区域、创建定位核、在目标图像上查找模板和使用查找结果数据。
3.目前，关于参考图像上定位核区域的提取步骤需要操作人员根据图像上的特征结合自己的经验选择合适区域，不能满足图像匹配全自动的应用场景，而且定位核区域的好坏取决于操作人员的经验，具有很强的主观性，对于经验较少的操作人员可能会提取出较坏的定位核区域、提取效果差，从而无法准确定位导致图像匹配准确性低的问题。


技术实现要素：

4.基于此，有必要针对上述图像匹配准确性低的技术问题，提供一种能够自动提取定位核区域、提取效果好的图像匹配的定位核区域自动提取方法、装置、设备和介质。
5.一种图像匹配的定位核区域自动提取方法，包括：
6.获取设置的参考图像和图像匹配数据；
7.根据所述图像匹配数据确定所述参考图像的备选区域；
8.在所述备选区域中提取定位核区域，包括：
9.对所述备选区域进行特征提取，生成特征点的集合；
10.根据所述特征点的集合确定多个最小外接正矩形，得到多个矩形区域；对所述矩形区域进行唯一性检测，选取通过唯一性检测的矩形区域；
11.对通过唯一性检测的矩形区域进行定位精度检测，选取通过定位精度检测的矩形区域作为从所述备选区域提取的定位核区域。
12.在其中一个实施例中，所述图像匹配数据包括定位核区域数量，所述根据所述图像匹配数据确定所述参考图像的备选区域，包括：
13.对所述参考图像进行网格化，得到若干个网格；
14.从所有网格中选取所述定位核区域数量的网格组成一个网格组合，将若干个所述网格组合存入组合集；
15.遍历所述组合集，将当前网格组合中的各网格所在区域分别作为备选区域，并执行所述在所述备选区域中提取定位核区域的步骤；
16.所述在所述备选区域中提取定位核区域的步骤之后，还包括：
17.若当前网格组合中的所有备选区域均提取到定位核区域，则退出遍历、输出提取到的定位核区域。
18.在其中一个实施例中，所述对所述参考图像进行网格化，得到若干个网格，包括：
19.根据所述定位核区域数量，将所述参考图像网格化为行数和列数相等的多个网格；其中，行数或列数满足：
[0020][0021]
式中，n为行数或列数，num为所述定位核区域数量。
[0022]
在其中一个实施例中，所述从所有网格中选取所述定位核区域数量的网格组成一个网格组合，将若干个所述网格组合存入组合集，包括：
[0023]
对所述网格进行编号；
[0024]
选取所述定位核区域数量个编号进行组合，得到多个网格组合；
[0025]
分别计算各网格组合中编号对应的网格之间的距离之和，筛选距离之和最大的网格组合存入组合集。
[0026]
在其中一个实施例中，所述图像匹配数据包括图像匹配方法；所述对所述备选区域进行特征提取，生成特征点的集合，包括：
[0027]
若所述图像匹配方法为特征点匹配，则调用已存的特征点提取器接口对所述备选区域进行特征提取，将提取的特征点存入特征点的集合；
[0028]
若所述图像匹配方法为灰度匹配，则使用预设尺寸的窗口按照预设步幅滑动所述备选区域，并计算每步窗口内图像的熵值，以及记录每步窗口的中心点坐标；
[0029]
确定最大熵值，筛选大于最大熵值预设倍数的熵值；
[0030]
将筛选的熵值所对应窗口的中心点坐标作为特征点存入特征点的集合。
[0031]
在其中一个实施例中，所述根据所述特征点的集合确定多个最小外接正矩形，得到多个矩形区域，包括：
[0032]
采用基于密度的聚类算法对所述特征点的集合进行聚类，得到多个蔟；
[0033]
分别生成各蔟的最小外接正矩形，得到多个矩形区域。
[0034]
在其中一个实施例中，所述图像匹配数据包括匹配方法对应参数；所述对所述矩形区域进行唯一性检测，选取通过唯一性检测的矩形区域，包括：
[0035]
使用所述参考图像和当前的矩形区域创建定位核；
[0036]
以所述参考图像为目标，使用所述匹配方法对应参数和创建的定位核查找所述目标中匹配的定位核；
[0037]
若匹配的定位核的数量为1，则当前的矩形区域通过唯一性检测，将当前的矩形区
域存入唯一性区域集，将当前的矩形区域对应创建的定位核存入定位核集；
[0038]
将下一个矩形区域作为当前的矩形区域，并返回所述使用所述参考图像和当前的矩形区域创建定位核的步骤。
[0039]
在其中一个实施例中，所述对通过唯一性检测的矩形区域进行定位精度检测，选取通过定位精度检测的矩形区域作为从所述备选区域提取的定位核区域，包括：
[0040]
获取对所述参考图像进行多个幅度的几何变换之后分别生成的检测图像；
[0041]
遍历所述定位核集，使用当前的定位核和所述匹配方法对应参数分别查找各检测图像中匹配的定位核，将匹配的定位核的区域中心点坐标作为对应检测图像的定位坐标；
[0042]
计算当前的定位核的区域中心点坐标分别经过各检测图像所经过的几何变换后的坐标，得到对应检测图像的变换坐标；
[0043]
计算同一个检测图像所对应的定位坐标和变换坐标之间的偏移量；
[0044]
若所有检测图像对应的偏移量均小于或等于预设误差阈值，则在所述唯一性区域集中选取对应当前的定位核的矩形区域，作为从所述备选区域提取的定位核区域，退出对所述定位核集的遍历。
[0045]
在其中一个实施例中，所述获取对所述参考图像进行多个幅度的几何变换之后分别生成的检测图像，包括：
[0046]
对所述参考图添加高斯噪声，得到高斯噪声图像；
[0047]
将预设的多个平移量和预设的多个旋转量组合，得到多个包含平移量和旋转量的刚体变换幅度；
[0048]
根据各刚体变换幅度分别对所述高斯噪声图像执行刚体变换，得到多个检测图像。
[0049]
一种图像匹配的定位核区域自动提取装置，包括：
[0050]
数据获取模块，用于获取设置的参考图像和图像匹配数据；
[0051]
区域确定模块，用于根据所述图像匹配数据确定所述参考图像的备选区域；
[0052]
定位核提取模块，用于在所述备选区域中提取定位核区域；所述定位核提取模块包括：
[0053]
特征提取单元，用于对所述备选区域进行特征提取，生成特征点的集合；
[0054]
矩形生成单元，用于根据所述特征点的集合确定多个最小外接正矩形，得到多个矩形区域；
[0055]
唯一性检测单元，用于对所述矩形区域进行唯一性检测，选取通过唯一性检测的矩形区域；
[0056]
精度检测单元，用于对通过唯一性检测的矩形区域进行定位精度检测，选取通过定位精度检测的矩形区域作为从所述备选区域提取的定位核区域。
[0057]
一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现以下步骤：
[0058]
获取设置的参考图像和图像匹配数据；
[0059]
根据所述图像匹配数据确定所述参考图像的备选区域；
[0060]
在所述备选区域中提取定位核区域，包括：
[0061]
对所述备选区域进行特征提取，生成特征点的集合；
[0062]
根据所述特征点的集合确定多个最小外接正矩形，得到多个矩形区域；对所述矩形区域进行唯一性检测，选取通过唯一性检测的矩形区域；
[0063]
对通过唯一性检测的矩形区域进行定位精度检测，选取通过定位精度检测的矩形区域作为从所述备选区域提取的定位核区域。
[0064]
一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现以下步骤：
[0065]
获取设置的参考图像和图像匹配数据；
[0066]
根据所述图像匹配数据确定所述参考图像的备选区域；
[0067]
在所述备选区域中提取定位核区域，包括：
[0068]
对所述备选区域进行特征提取，生成特征点的集合；
[0069]
根据所述特征点的集合确定多个最小外接正矩形，得到多个矩形区域；对所述矩形区域进行唯一性检测，选取通过唯一性检测的矩形区域；
[0070]
对通过唯一性检测的矩形区域进行定位精度检测，选取通过定位精度检测的矩形区域作为从所述备选区域提取的定位核区域。
[0071]
上述图像匹配的定位核区域自动提取方法、装置、计算机设备和计算机可读存储介质，在确定参考图像的备选区域后，通过对备选区域进行特征提取、生成矩形区域、对矩形区域进行唯一性检测和定位精度检测，从而选取通过唯一性检测和定位精度检测的矩形区域作为定位核区域，实现了对参考图像自动提取定位核区域，可以适用于图像匹配全自动的应用场景；而且提取的定位核区域满足唯一性和定位精度，相比于现有的人工绘制定位核区域，可以避免提取到不满足唯一性以及定位核定位精度的定位核区域，定位核区域的提取效果好，从而有效提高图像匹配的唯一性和定位精度，从而提高图像匹配准确性。
附图说明
[0072]
为了更清楚地说明本技术实施例或传统技术中的技术方案，下面将对实施例或传统技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
[0073]
图1为一个实施例中图像匹配的定位核区域自动提取方法的流程示意图；
[0074]
图2为一个实施例中在备选区域中提取定位核区域的流程示意图；
[0075]
图3为一个实施例中根据图像匹配数据确定参考图像的备选区域的流程示意图；
[0076]
图4为一个实施例中的网格划分示意图；
[0077]
图5为一个实施例中选取的网格编号的示意图；
[0078]
图6为另一个实施例中图像匹配的定位核区域自动提取方法的流程图；
[0079]
图7为另一个实施例中在备选区域中提取定位核区域的流程示意图；
[0080]
图8为一个实施例中图像匹配的定位核区域自动提取装置的结构示意图；
[0081]
图9为一个实施例中定位核提取模块的结构示意图。
具体实施方式
[0082]
为了便于理解本技术，下面将参照相关附图对本技术进行更全面的描述。附图中
给出了本技术的实施例。但是，本技术可以以许多不同的形式来实现，并不限于本文所描述的实施例。相反地，提供这些实施例的目的是使本技术的公开内容更加透彻全面。
[0083]
除非另有定义，本文所使用的所有的技术和科学术语与属于本技术的技术领域的技术人员通常理解的含义相同。本文中在本技术的说明书中所使用的术语只是为了描述具体的实施例的目的，不是旨在于限制本技术。
[0084]
在此使用时，单数形式的“一”、“一个”和“所述/该”也可以包括复数形式，除非上下文清楚指出另外的方式。还应当理解的是，术语“包括/包含”或“具有”等指定所陈述的特征、整体、步骤、操作、组件、部分或它们的组合的存在，但是不排除存在或添加一个或更多个其他特征、整体、步骤、操作、组件、部分或它们的组合的可能性。
[0085]
正如背景技术所述，现有技术中对参考图像提取定位核区域的操作需要操作人员人工基于经验选择合适区域，不能满足图像匹配全自动的应用场景，而且对于经验较少的操作人员可能会提取出较坏的定位核区域，提取效果差，比如：1、绘制特征信息不丰富(绘制了纯色区域)、特征不稳定的定位核区域(绘制了受光照影响较大的特征区域)、有一定畸变图像中绘制图像的边缘区域，这会造成创建模型失败、匹配模型的鲁棒性低、定位精度差等问题。2、绘制的特征区域对于整幅图像不是唯一的特征区域，比如存在相同特征的多个特征区域，这会使得程序无法确定匹配的确切位置。基于此，本技术提供了一种能够应用于图像匹配的自动提取定位核区域、提取效果好的方案。
[0086]
在一个实施例中，如图1所示，提供了一种图像匹配的定位核区域自动提取方法，该方法包括：
[0087]
s110：获取设置的参考图像和图像匹配数据。
[0088]
参考图像是图像匹配中提取定位核所需要的参考图像；图像匹配数据是图像匹配的工作参数，比如，可以包括定位核区域数量、匹配方法、匹配方法对应参数中的至少一种；其中，匹配方法是用于说明图像匹配所用方法的数据，定位核区域数量是指需要提取的定位核区域的数量，匹配方法对应参数包括匹配查找分数、查找范围等。具体地，参考图像和图像匹配数据可以是由用户配置得到。
[0089]
s130：根据图像匹配数据确定参考图像的备选区域。
[0090]
备选区域是在参考图像中选定的部分区域。备选区域的数量可以是一个，也可以是多个。
[0091]
s150：在备选区域中提取定位核区域。
[0092]
参考图2，步骤s150包括步骤s151至步骤s157。对于有多个备选区域的情况，对于每一个备选区域，均执行步骤s151至步骤s157。
[0093]
s151：对备选区域进行特征提取，生成特征点的集合。
[0094]
对一个备选区域进行特征提取可以得到若干个特征点，所有特征点组成特征点的集合。
[0095]
s153：根据特征点的集合确定多个最小外接正矩形，得到多个矩形区域。
[0096]
由多个特征点可以确定一个最小外接正矩形，基于特征点的集合中所有特征点可以确定多个最小外接正矩形。其中，最小外接正矩形是平行于坐标轴的最小外接矩形，可以根据已知的最小外接正矩形生成方法进行确定，比如，以多个特征点所对应各顶点中的最大横坐标、最小横坐标、最大纵坐标、最小纵坐标确定矩形边界。最小外接正矩形对应的区
域即为矩形区域。
[0097]
s155：对矩形区域进行唯一性检测，选取通过唯一性检测的矩形区域。
[0098]
唯一性检测，是检测矩形区域是否为参考图像中的唯一特征区域。比如，可以通过检测基于矩形区域创建的定位核是否能在目标图像中匹配到唯一的区域，从而检测矩形区域的唯一性。
[0099]
s157：对通过唯一性检测的矩形区域进行定位精度检测，选取通过定位精度检测的矩形区域作为从备选区域提取的定位核区域。
[0100]
定位精度检测，是检测矩形区域提取的定位核的定位精度。比如，可以通过检测矩形区域与基于矩形区域创建的定位核在目标图像中匹配到的区域之间的偏差，判断偏差大小是否满足设定要求从而检测是否满足定位精度。
[0101]
具体地，对于有多个通过唯一性检测的矩形区域，依次对各通过唯一性检测的矩形区域进行定位精度检测，在当前检测的矩形区域满足通过定位精度检测时，将该矩形区域作为定位核区域并停止定位精度检测，确保一个备选区域提取一个定位核区域。
[0102]
上述图像匹配的定位核区域自动提取方法，在确定参考图像的备选区域后，通过对备选区域进行特征提取、生成矩形区域、对矩形区域进行唯一性检测和定位精度检测，从而选取通过唯一性检测和定位精度检测的矩形区域作为定位核区域，实现了对参考图像自动提取定位核区域，可以适用于图像匹配全自动的应用场景；而且提取的定位核区域满足唯一性和定位精度，相比于现有的人工绘制定位核区域，可以避免提取到不满足唯一性以及定位核定位精度的定位核区域，定位核区域的提取效果好，从而有效提高图像匹配的唯一性和定位精度，从而提高图像匹配准确性。
[0103]
在其中一个实施例中，图像匹配数据包括定位核区域数量。具体地，定位核区域数量为至少两个。参考图3，步骤s130包括步骤s131至步骤s135。
[0104]
s131：对参考图像进行网格化，得到若干个网格。
[0105]
比如，可以根据定位核区域数量，确定网格的数量，从而对参考图像进行网格化得到网格。其中，每一个网格对应的区域作为定位核区域的提取单元。
[0106]
s133：从所有网格中选取定位核区域数量的网格组成一个网格组合，将若干个网格组合存入组合集。
[0107]
以定位核区域数量为num为例，从所有网格中选择num个网格进行组合，方式有多种，从而可以形成多个网格组合。
[0108]
s135：遍历组合集，将当前网格组合中的各网格所在区域分别作为备选区域。
[0109]
然后，执行步骤s150。即，对于当前遍历的网格组合中各网格所在区域，分别进行定位核区域的提取。对应地，步骤s150之后，还包括步骤s160。
[0110]
s160：判断当前网格组合中的所有备选区域是否均提取到定位核区域。
[0111]
若否，则执行步骤s171：将下一个网格组合中的各网格所在区域分别作为备选区域，并执行步骤s150。
[0112]
若是，则执行步骤s173：退出遍历、输出提取到的定位核区域。
[0113]
比如，提取到的定位核区域可以是输出至显示器进行显示。通过遍历组合集，对于当前网格组合，遍历其内的各网格、在网格所在区域中执行自动提取定位核区域，直到遍历出一个网格组合中所有网格所在区域都能提取到定位核区域，此时退出遍历、将这个网格
组合中各网格区域中提取到的定位核区域作为提取结果。
[0114]
在图像匹配中，定位核区域的数量有需要提取多个的场景。比如，为了减小大分辨率图像定位误差、提高匹配精度，需要提取多个定位核区域；比如，correlation灰度相关性匹配方法中，对于旋转角度，需要使用至少两个定位核区域创建模板并查找、使用至少两个查找到的矩形框中心连线的线段以计算旋转角度，因此，在使用correlation灰度相关性匹配方法且需要输出旋转角度时，需要提取至少两个定位核区域。现有技术中，在需要多个定位核区域的场景时，由操作人员手动绘制，要求操作人员理解对应场景的绘制规则，增加了绘制难度和操作复杂度。本实施例中，提供了至少两个定位核区域数量的自动提取方案，可以适用于需要提取多个定位核区域的场景，不需要人工绘制，解决了多定位核区域需求下高难度和复杂度的操作等问题。
[0115]
在其中一个实施例中，步骤s131包括：根据定位核区域数量，将参考图像网格化为行数和列数相等的多个网格；其中，行数或列数满足如下公式1：
[0116][0117]
式中，n为行数或列数，num为定位核区域数量；sqrt表示开平方运算；ceil表示向上取整运算。本实施例中，根据定位核区域数量确定网格化的行数和列数，采用n行n列的方式对整幅参考图像网格化，得到的网格大小合适，划分效果好。
[0118]
在其中一个实施例中，步骤s133包括步骤(a1)至步骤(a3)。
[0119]
步骤(a1)：对网格进行编号。
[0120]
网格编号的方式可以是从0开始依次按照左到右、从上到下z字型依次累加的方式进行编号。比如，对于3*3的网格编号如图4所示。可以理解，在其他实施例中，还可以采用其他编号方式，比如，对每一列的网格从上到下1字型编号、按照网格各列从左到右的顺序依次编号。
[0121]
步骤(a2)：选取定位核区域数量个编号进行组合，得到多个网格组合。
[0122]
按照定位核区域数量选取编号进行c-combination组合。比如，定位核区域数量为3时，根据公式1，得到3*3的网格个数为9，即从9个网格的编号中选择3个进行组合。
[0123]
步骤(a3)：分别计算各网格组合中编号对应的网格之间的距离之和，筛选距离之和最大的网格组合存入组合集。
[0124]
其中，距离是指编号对应网格的中心点坐标之间的距离。在所有网格组合中筛选网格之间距离之和最大的网格组合，比如，以图4所示网格为例，距离之和最大的网格组合有{(0,2,6),(0,2,8),(2,6,8),(0,6,8)}，如图5(a)至图5(d)所示。
[0125]
对于大视野图像的匹配定位，提取多个定位核区域进行定位，其目的主要是可以有效减少单个定位核的定位误差对整幅图像定位结果的影响，从而提高定位精度。经研究发现，定位核区域之间的距离越大，则减少定位误差的效果越明显。比如，假设使用图4中的网格0和网格8提取的定位核区域进行定位，若网格8的定位核定位误差比较大、定位到网格7上，那么：定位坐标是网格0和网格7的连线中心点坐标，定位角度是连线的角度。如果把网格8定位核换成网格4定位核，网格4的定位核产生定位误差、定位到网格3上，那么：定位坐
标是网格0和网格3的连线中心点坐标，定位角度是连线的角度。对比可知，0-3与真实的0-4之间的偏差会比0-7与真实的0-8之间的偏差大很多，网格之间的距离越大，定位的偏差越小。本实施例中，通过筛选距离之和最大的网格组合存入组合集，后续基于组合集进行定位核提取，可以减小多个定位核的定位偏差，提高定位核的定位精度。
[0126]
如图6所示，在一个详细实施例中，获取用户配置的参考图像和图像匹配数据，其中图像匹配数据包括定位核区域数量；接着，参考图像网格化、定义网格编号、生成网格组合的组合集。然后，依次遍历组合集中各网格组合，对于每一个网格组合，再依次遍历各网格、将每一个网格作为备选区域执行步骤s150，从而执行自动提取定位核区域，对于提取到定位核区域的网格区域，存放到结果区域集，否则清空结果区域集；判断当前遍历的网格组合中是否所有网格区域均提取到定位核区域，若否，清空结果区域集，对下一个网格组合进行遍历、对下一个网格组合内每一个网格执行自动提取定位核区域，如此循环，直到找到一个网格组合中所有的网格均提取到定位核区域，则将结果区域集中存储的、这个网格组合中各网格区域对应提取的定位核区域作为最终提取的定位核区域，并退出遍历，完成多个定位核区域的自动提取。
[0127]
在其中一个实施例中，图像匹配数据包括图像匹配方法。图像匹配方法可以包括特征点匹配和灰度匹配。例如，对于视觉检测设备，用户可以选择correlation灰度相关性匹配或feature point特征点匹配。具体地，步骤s151包括步骤(b1)，或步骤(b2)至步骤(b4)。
[0128]
步骤(b1)：若图像匹配方法为特征点匹配，则调用已存的特征点提取器接口对备选区域进行特征提取，将提取的特征点存入特征点的集合。
[0129]
其中，已存的特征点提取器可以是当前的特征点匹配方法提供的特征点提取器。在其他实施例中，也可以是使用当前的特征点匹配方法同等原理的提取方法进行特征提取。
[0130]
以视觉检测设备的feature point特征点匹配为例，feature point是open evision视觉库提供的基于特征点的匹配，可以使用由open evision视觉库提供的特征点提取器对备选区域进行特征提取。
[0131]
步骤(b2)：若图像匹配方法为灰度匹配，则使用预设尺寸的窗口按照预设步幅滑动备选区域，并计算每步窗口内图像的熵值，以及记录每步窗口的中心点坐标。
[0132]
步骤(b3)：确定最大熵值，筛选大于最大熵值预设倍数的熵值。
[0133]
预设倍数可以根据实际需要进行设置；具体地，预设倍数为小于1的数值，比如预设倍数可以为0.9。图像的熵值能反映图像的信息量；从所有的熵值中，筛选大于最大熵值预设倍数的熵值，从而可以尽量选出能反映更多信息量的窗口图像。
[0134]
步骤(b4)：将筛选的熵值所对应窗口的中心点坐标作为特征点存入特征点的集合。
[0135]
以视觉检测设备的correlation灰度相关性匹配为例，使用预设尺寸的窗口步进滑动备选区域，并计算每步窗口内图像的熵值(图像熵)，将各步窗口的熵值存放至熵值集中，对应将当前窗口的中心点坐标存放到窗口点集中。滑动完成后统计熵值大于最大熵值0.9倍(根据实际情况自定义预设倍数)的窗口所对应的中心点坐标，该中心点坐标所在窗口具有较高的熵值可以作为correlation的特征点，最终将特征点存放到特征点的集合。
[0136]
本实施例中，对于不同的图像匹配方法，分别使用不同的特征提取方法，可以自动提取到对应有效的特征。
[0137]
在其中一个实施例中，步骤s153包括：采用基于密度的聚类算法对特征点的集合进行聚类，得到多个蔟；分别生成各蔟的最小外接正矩形，得到多个矩形区域。
[0138]
其中，基于密度的聚类算法可以包括kann-dbscan聚类方法。kann-dbscan聚类方法是指基于k-平均最近邻算法(kann，k-average nearest neighbor)及数学期望自适应生成密度阈值列表的密度的聚类(dbscan，density-based spatial clustering of application with noise)的方法。可以理解，在其他实施例中，还可以根据特征点的集合聚类的目标选择其他合适的聚类方法，比如基于形状的聚类、基于尺寸的聚类等。
[0139]
本实施例中，使用基于密度聚类的思想对特征点的集合划分成不同特征点子集得到蔟，并生成蔟对应的最小外接正矩形的矩形区域，从而将特征点密集的部分提取出来并生成区域，作为定位核区域的候选，使得可以提取特征丰富的定位核区域。
[0140]
在其中一个实施例中，图像匹配数据包括匹配方法对应参数。步骤s155包括步骤(c1)至步骤(c4)。
[0141]
步骤(c1)：使用参考图像和当前的矩形区域创建定位核。
[0142]
具体地，以当前的矩形区域为定位核区域，基于参考图像采用公知的定位核创建方法创建定位核。
[0143]
步骤(c2)：以参考图像为目标，使用匹配方法对应参数和创建的定位核查找目标中匹配的定位核。
[0144]
以参考图像为目标图像，使用匹配方法对应参数和创建的定位核在目标图像中查找匹配的定位核，即图像匹配的查找模板操作。
[0145]
步骤(c3)：若匹配的定位核的数量为1，则当前的矩形区域通过唯一性检测，将当前的矩形区域存入唯一性区域集，将当前的矩形区域对应创建的定位核存入定位核集。
[0146]
匹配的定位核的数量为1，表示创建的定位核能在目标图像中匹配到唯一的区域，则对应的矩形区域满足唯一性，通过唯一性检测。
[0147]
步骤(c4)：将下一个矩形区域作为当前的矩形区域。
[0148]
然后，返回步骤(c1)，如此遍历各矩形区域，直到完成所有的矩形区域的唯一性检测。
[0149]
在其中一个实施例中，步骤s157包括步骤(d1)至步骤(d5)。
[0150]
步骤(d1)：获取对参考图像进行多个幅度的几何变换之后分别生成的检测图像。
[0151]
参考图像经过一个幅度的几何变换之后，生成一张检测图像；参考图像分别经过多个幅度的几何变换，得到多张检测图像。其中，几何变换可以是刚体变换，或者仿射变换、旋转变换等。
[0152]
步骤(d2)：遍历定位核集，使用当前的定位核和匹配方法对应参数分别查找各检测图像中匹配的定位核，将匹配的定位核的区域中心点坐标作为对应检测图像的定位坐标。
[0153]
步骤(d3)：计算当前的定位核的区域中心点坐标分别经过各检测图像所经过的几何变换后的坐标，得到对应检测图像的变换坐标。
[0154]
比如，设当前的定位核的区域中心点坐标为a，参考图像经过幅度为b的几何变换
得到第一个检测图像，即第一个检测图像所经过的几何变换的幅度为b，则：a经过幅度为b的几何变换后得到坐标c，坐标c即为对应第一个检测图像的变换坐标。
[0155]
步骤(d4)：计算同一个检测图像所对应的定位坐标和变换坐标之间的偏移量。
[0156]
经过步骤(d2)和步骤(d3)后，基于当前的定位核，每一个检测图像均对应一个定位坐标和变换坐标，计算同一个检测图像的定位坐标和变换坐标之间的偏移量。例如，可以是计算定位坐标和变换坐标发生的在x和y方向发生的偏移量，此偏移量即代表着当前的定位核定位产生的误差。
[0157]
步骤(d5)：若所有检测图像对应的偏移量均小于或等于预设误差阈值，则在唯一性区域集中选取对应当前的定位核的矩形区域，作为从备选区域提取的定位核区域，退出对定位核集的遍历。
[0158]
预设误差阈值可以根据实际需要进行设置。若步骤(d4)计算的所有检测图像对应的偏移量均小于或等于预设误差阈值，则表示当前的定位核的定位误差在允许范围内，符合定位精度要求，即当前的定位核对应的矩形区域通过定位精度检测；此时，将当前的定位核对应的矩形区域作为从备选区域提取的定位核区域，退出对定位核集的遍历即不再对下一个定位核进行定位精度检测，确保一个备选区域提取一个定位核区域。具体地，若步骤(d4)计算的所有检测图像对应的偏移量中、存在偏移量大于预设误差阈值，则将定位核集中的下一个定位核作为新的当前的定位核，并返回步骤(d2)。
[0159]
本实施例中，在唯一性检测之后，以检测图像为目标图像，通过检测矩形区域创建的定位核与创建的定位核在目标图像中匹配到的定位核之间的偏差，来检测是否满足定位精度要求，提供了一种自动检测定位精度方法，使得自动提取的定位核区域具有“高鲁棒性、高定位精度、满足唯一性”的指标。
[0160]
在其中一个实施例中，步骤(d1)包括：对参考图添加高斯噪声，得到高斯噪声图像；将预设的多个平移量和预设的多个旋转量组合，得到多个包含平移量和旋转量的刚体变换幅度；根据各刚体变换幅度分别对高斯噪声图像执行刚体变换，得到多个检测图像。
[0161]
其中，对参考图添加高斯噪声，可以是生成参考图像符合高斯分布的灰度图像，然后将灰度图像与参考图像相加得到高斯噪声图像。例如，利用intel ipp库中的randgauss函数生成符合高斯分布的随机灰度图像，将随机灰度图像与原参考图像相加得到高斯噪声图像。
[0162]
以3个平移量和3个旋转量为例，平移量列表为[2，5，8]，旋转量列表为[2.0，-3.5，5.0]，其中平移量和旋转量的值可根据实际情况自定义，平移量为x和y方向共同的平移量。在平移量列表中选择1个值并在旋转量列表中选择一个值进行组合，得到刚体变换幅度集{[2，2.0]，[2，-3.5]，[2，5.0]，[5，2.0]，[5，-3.5]，[5，5.0]，[8，2.0]，[8，-3.5]，[8，5.0]}。遍历刚体变换幅度集，根据旋转量和平移量计算当前幅度的刚体变化矩阵，之后对高斯噪声图像执行刚体变换得到检测图像。
[0163]
本实施例中，通过先将参考图像添加高斯噪声，然后进行不同幅度的刚体变换，从而由一个参考图像得到多个检测图像用于定位精度检测，使得在仅有一张参考图像的条件下实现定位精度检测。
[0164]
例如，图7所示，在一个详细实施例中，先判断图像匹配方法类型，若为feature point特征点匹配的方法，则选择当前方法提供的特征点提取器或采用同等原理的特征点
提取方法，提取当前网格内的特征点得到特征点的集合；若为correlation灰度匹配的方法，则定义滑动窗口的尺寸和步进滑动的步幅，在网格内步进滑动窗口，计算各窗口内图像的熵值、统计最大熵值、计算熵阈值(熵值的预设倍数)，以及统计熵值大于熵阈值的窗口的中心点坐标作为特征点得到特征点的集合。然后，特征点的集合聚类出蔟，生成各蔟对应的最小外接正矩形存放到聚类区域集；遍历聚类区域集，对各最小外界正矩形进行唯一性判定之后，再获取定位精度检测的检测图像，基于检测图像进行定位精度检测。
[0165]
应该理解的是，虽然图1-图3的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，图1-图3中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0166]
在一个实施例中，如图8所示，提供了一种图像匹配的定位核区域自动提取装置，包括数据获取模块810、区域确定模块830和定位核提取模块850。其中：
[0167]
数据获取模块810用于获取设置的参考图像和图像匹配数据；区域确定模块830用于根据图像匹配数据确定参考图像的备选区域；定位核提取模块850用于在备选区域中提取定位核区域。
[0168]
其中，参考图9，定位核提取模块850包括特征提取单元851、矩形生成单元853、唯一性检测单元855和精度检测单元857。特征提取单元851用于对备选区域进行特征提取，生成特征点的集合；矩形生成单元853用于根据特征点的集合确定多个最小外接正矩形，得到多个矩形区域；唯一性检测单元855用于对矩形区域进行唯一性检测，选取通过唯一性检测的矩形区域；精度检测单元857用于对通过唯一性检测的矩形区域进行定位精度检测，选取通过定位精度检测的矩形区域作为从备选区域提取的定位核区域。
[0169]
上述图像匹配的定位核区域自动提取装置，在确定参考图像的备选区域后，通过对备选区域进行特征提取、生成矩形区域、对矩形区域进行唯一性检测和定位精度检测，从而选取通过唯一性检测和定位精度检测的矩形区域作为定位核区域，实现了对参考图像自动提取定位核区域，可以适用于图像匹配全自动的应用场景；而且提取的定位核区域满足唯一性和定位精度，相比于现有的人工绘制定位核区域，可以避免提取到不满足唯一性以及定位核定位精度的定位核区域，定位核区域的提取效果好，从而有效提高图像匹配的唯一性和定位精度，从而提高图像匹配准确性。
[0170]
关于图像匹配的定位核区域自动提取装置的具体限定可以参见上文中对于图像匹配的定位核区域自动提取方法的限定，在此不再赘述。上述图像匹配的定位核区域自动提取装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于计算机设备中的处理器中，也可以以软件形式存储于计算机设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。需要说明的是，本技术实施例中对模块的划分是示意性的，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式。
[0171]
在一个实施例中，提供了一种计算机设备，包括存储器和处理器，存储器中存储有
计算机程序，该处理器执行计算机程序时实现上述各方法实施例中的步骤。
[0172]
上述计算机设备，由于包括的存储器中存储的计算机程序可以实现上述各方法实施例中的步骤，同理，可以实现自动提取定位核区域，可以适用于图像匹配全自动的应用场景；而且提取的定位核区域满足唯一性和定位精度，定位核区域的提取效果好，从而有效提高图像匹配的唯一性和定位精度，从而提高图像匹配准确性。
[0173]
在一个实施例中，提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述各方法实施例中的步骤。
[0174]
上述计算机可读存储介质，由于存储的计算机程序可以实现上述各方法实施例中的步骤，同理，可以实现自动提取定位核区域，可以适用于图像匹配全自动的应用场景；而且提取的定位核区域满足唯一性和定位精度，定位核区域的提取效果好，从而有效提高图像匹配的唯一性和定位精度，从而提高图像匹配准确性。
[0175]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，所述的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、存储、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器(read-only memory，rom)、磁带、软盘、闪存或光存储器等。易失性存储器可包括随机存取存储器(random access memory，ram)或外部高速缓冲存储器。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器(static random access memory，sram)或动态随机存取存储器(dynamic random access memory，dram)等。
[0176]
在本说明书的描述中，参考术语“有些实施例”、“其他实施例”、“理想实施例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特征包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性描述不一定指的是相同的实施例或示例。
[0177]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0178]
以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。

技术特征：
1.一种图像匹配的定位核区域自动提取方法，其特征在于，包括：获取设置的参考图像和图像匹配数据；根据所述图像匹配数据确定所述参考图像的备选区域；在所述备选区域中提取定位核区域，包括：对所述备选区域进行特征提取，生成特征点的集合；根据所述特征点的集合确定多个最小外接正矩形，得到多个矩形区域；对所述矩形区域进行唯一性检测，选取通过唯一性检测的矩形区域；对通过唯一性检测的矩形区域进行定位精度检测，选取通过定位精度检测的矩形区域作为从所述备选区域提取的定位核区域。2.根据权利要求1所述的方法，其特征在于，所述图像匹配数据包括定位核区域数量，所述根据所述图像匹配数据确定所述参考图像的备选区域，包括：对所述参考图像进行网格化，得到若干个网格；从所有网格中选取所述定位核区域数量的网格组成一个网格组合，将若干个所述网格组合存入组合集；遍历所述组合集，将当前网格组合中的各网格所在区域分别作为备选区域，并执行所述在所述备选区域中提取定位核区域的步骤；所述在所述备选区域中提取定位核区域的步骤之后，还包括：若当前网格组合中的所有备选区域均提取到定位核区域，则退出遍历、输出提取到的定位核区域。3.根据权利要求2所述的方法，其特征在于，所述对所述参考图像进行网格化，得到若干个网格，包括：根据所述定位核区域数量，将所述参考图像网格化为行数和列数相等的多个网格；其中，行数或列数满足：式中，n为行数或列数，num为所述定位核区域数量。4.根据权利要求2所述的方法，其特征在于，所述从所有网格中选取所述定位核区域数量的网格组成一个网格组合，将若干个所述网格组合存入组合集，包括：对所述网格进行编号；选取所述定位核区域数量个编号进行组合，得到多个网格组合；分别计算各网格组合中编号对应的网格之间的距离之和，筛选距离之和最大的网格组合存入组合集。5.根据权利要求1所述的方法，其特征在于，所述图像匹配数据包括图像匹配方法；所述对所述备选区域进行特征提取，生成特征点的集合，包括：若所述图像匹配方法为特征点匹配，则调用已存的特征点提取器接口对所述备选区域进行特征提取，将提取的特征点存入特征点的集合；若所述图像匹配方法为灰度匹配，则使用预设尺寸的窗口按照预设步幅滑动所述备选
区域，并计算每步窗口内图像的熵值，以及记录每步窗口的中心点坐标；确定最大熵值，筛选大于最大熵值预设倍数的熵值；将筛选的熵值所对应窗口的中心点坐标作为特征点存入特征点的集合。6.根据权利要求1所述的方法，其特征在于，所述根据所述特征点的集合确定多个最小外接正矩形，得到多个矩形区域，包括：采用基于密度的聚类算法对所述特征点的集合进行聚类，得到多个蔟；分别生成各蔟的最小外接正矩形，得到多个矩形区域。7.根据权利要求1所述的方法，其特征在于，所述图像匹配数据包括匹配方法对应参数；所述对所述矩形区域进行唯一性检测，选取通过唯一性检测的矩形区域，包括：使用所述参考图像和当前的矩形区域创建定位核；以所述参考图像为目标，使用所述匹配方法对应参数和创建的定位核查找所述目标中匹配的定位核；若匹配的定位核的数量为1，则当前的矩形区域通过唯一性检测，将当前的矩形区域存入唯一性区域集，将当前的矩形区域对应创建的定位核存入定位核集；将下一个矩形区域作为当前的矩形区域，并返回所述使用所述参考图像和当前的矩形区域创建定位核的步骤。8.根据权利要求7所述的方法，其特征在于，所述对通过唯一性检测的矩形区域进行定位精度检测，选取通过定位精度检测的矩形区域作为从所述备选区域提取的定位核区域，包括：获取对所述参考图像进行多个幅度的几何变换之后分别生成的检测图像；遍历所述定位核集，使用当前的定位核和所述匹配方法对应参数分别查找各检测图像中匹配的定位核，将匹配的定位核的区域中心点坐标作为对应检测图像的定位坐标；计算当前的定位核的区域中心点坐标分别经过各检测图像所经过的几何变换后的坐标，得到对应检测图像的变换坐标；计算同一个检测图像所对应的定位坐标和变换坐标之间的偏移量；若所有检测图像对应的偏移量均小于或等于预设误差阈值，则在所述唯一性区域集中选取对应当前的定位核的矩形区域，作为从所述备选区域提取的定位核区域，退出对所述定位核集的遍历。9.根据权利要求8所述的方法，其特征在于，所述获取对所述参考图像进行多个幅度的几何变换之后分别生成的检测图像，包括：对所述参考图添加高斯噪声，得到高斯噪声图像；将预设的多个平移量和预设的多个旋转量组合，得到多个包含平移量和旋转量的刚体变换幅度；根据各刚体变换幅度分别对所述高斯噪声图像执行刚体变换，得到多个检测图像。10.一种图像匹配的定位核区域自动提取装置，其特征在于，包括：数据获取模块，用于获取设置的参考图像和图像匹配数据；区域确定模块，用于根据所述图像匹配数据确定所述参考图像的备选区域；定位核提取模块，用于在所述备选区域中提取定位核区域；所述定位核提取模块包括：特征提取单元，用于对所述备选区域进行特征提取，生成特征点的集合；
矩形生成单元，用于根据所述特征点的集合确定多个最小外接正矩形，得到多个矩形区域；唯一性检测单元，用于对所述矩形区域进行唯一性检测，选取通过唯一性检测的矩形区域；精度检测单元，用于对通过唯一性检测的矩形区域进行定位精度检测，选取通过定位精度检测的矩形区域作为从所述备选区域提取的定位核区域。11.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至9中任一项所述的方法的步骤。12.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至9中任一项所述的方法的步骤。

技术总结
本申请涉及一种图像匹配的定位核区域自动提取方法、装置、设备和介质。该方法包括：获取设置的参考图像和图像匹配数据；根据图像匹配数据确定参考图像的备选区域；在备选区域中提取定位核区域，包括：对备选区域进行特征提取，生成特征点的集合；根据特征点的集合确定多个最小外接正矩形，得到多个矩形区域；对矩形区域进行唯一性检测，选取通过唯一性检测的矩形区域；对通过唯一性检测的矩形区域进行定位精度检测，选取通过定位精度检测的矩形区域作为从备选区域提取的定位核区域。采用本申请，可以对参考图像自动提取定位核区域，定位核区域的提取效果好。核区域的提取效果好。核区域的提取效果好。


技术研发人员：王承峰 戴昌志 钱勇
受保护的技术使用者：长川科技（苏州）有限公司
技术研发日：2023.05.19
技术公布日：2023/8/6