图像匹配方法、装置及设备与流程

1.本发明涉及图像数据处理技术领域，尤其涉及一种图像匹配方法、装置及设备。


背景技术：

2.在安检领域，电子设备可以安检机采集的射线图像和摄像机采集的可见光图像进行匹配，以确定射线图像属于同一包裹的可见光图像，由此可以实现信息快速高效检索追踪。
3.相关技术中，利用包裹射线图像的完全成像时间，计算出包裹在传送带上的起始运动点和包裹进入安检机的具体时间段，并将具体时间段中缓存队列的包裹图像数据与包裹射线图像进行模糊匹配，得到匹配出的包裹图像数据。
4.但是，该种匹配方式的效率和可靠性较低。


技术实现要素：

5.本发明旨在至少在一定程度上解决相关技术中的技术问题之一。为此，本发明的第一个目的在于提出一种图像匹配方法，能够提高射线与可见光包裹双模态重识别任务的效率和可靠性，满足了应用场景的需求，解决了安检信息追溯的难题。
6.本发明的第二个目的在于提出一种图像匹配装置。
7.本发明的第三个目的在于提出一种图像匹配设备。
8.为达到上述目的，本发明第一方面实施例提出了一种图像匹配方法，所述方法包括：获取多对图像，每对所述图像包括可见光图像和射线图像，且不同对图像中的射线图像相同；采用模态数据提取模型对每对所述图像进行处理，得到所述模态数据提取模型输出的第一共享模态数据；基于多个所述第一共享模态数据确定与所述射线图像属于同一包裹的目标可见光图像。
9.根据本发明实施例的图像匹配方法，能够提高射线与可见光包裹双模态重识别任务的效率和可靠性，满足了应用场景的需求，解决了安检信息追溯的难题。
10.为达到上述目的，本发明第二方面实施例提出了一种图像匹配装置，所述装置包括：获取模块，用于获取多对图像，每对所述图像包括可见光图像和射线图像，且不同对图像中的射线图像相同；匹配模块，用于采用模态数据提取模型对每对所述图像进行处理，得到所述模态数据提取模型输出的第一共享模态数据；基于多个所述第一共享模态数据确定与所述射线图像属于同一包裹的目标可见光图像。
11.根据本发明实施例的图像匹配装置，能够提高射线与可见光包裹双模态重识别任务的效率和可靠性，满足了应用场景的需求，解决了安检信息追溯的难题。
12.为达到上述目的，本发明第三方面实施例提出了一种图像匹配设备，包括存储器、处理器以及存储在存储器上并可在处理器上运行的图像匹配的运行程序，所述处理器执行所述图像匹配的运行程序时，实现所述的图像匹配方法。
13.根据本发明实施例的图像匹配设备，在其存储器上存储的图像匹配的运行程序被
处理器执行时，能够提高射线与可见光包裹双模态重识别任务的效率和可靠性，满足了应用场景的需求，解决了安检信息追溯的难题。
14.本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。
附图说明
15.图1是本发明一个实施例的图像匹配方法的流程示意图；图2是本发明一个实施例的可见光图像和射线图像的示意图；图3是本发明第一个实施例的模态数据提取模型的结构示意图；图4是本发明第二个实施例的模态数据提取模型的结构示意图；图5是本发明一个实施例的第二特定模态提取模块的结构示意图；图6是本发明第三个实施例的模态数据提取模型的结构示意图；图7是本发明一个实施例的图像匹配装置的结构示意图；图8是本发明一个实施例的图像匹配设备的结构示意图。
具体实施方式
16.下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。
17.下面参考附图1-8描述本发明实施例的图像匹配方法、装置及设备。
18.图1是本发明一个实施例的图像匹配方法的流程示意图。如图1所示，图像匹配方法包括以下步骤：s101、获取多对图像，每对图像包括可见光图像和射线图像，且不同对图像中的射线图像相同。
19.具体地，可通过安检机中x光机器获取射线图像，通过可见光摄像头获取可见光图像。多帧可见光图像可以为同一场景下连续采集的图像。其中，在安检场景中，可见光图像可以为包裹进入安检机之前可见光摄像头采集的图像。另外，参见图2，射线图像特点是通过双能x-ray射线穿过物质后的衰减属性，计算得出等效原子序数和密度，通过等效原子序数信息赋值于不同的颜色，例如等效原子序数小于10的物质，图像赋予橙色，等效原子序数大于10小于20的物质，图像赋予绿色，等效原子序数大于20的物质，图像赋予蓝色；通过密度信息赋于图像不同的灰度大小。因此，x-ray包裹的颜色信息比较少，且特征信息包含包裹内部物品的成像特征，基本无背景干扰。而参见图2，可见光包裹颜色信息比较丰富，且特征信息不包含包裹内部物品的成像特征，只对包裹表面属性敏感，且包含了丰富的背景信息。
20.s102、采用模态数据提取模型对每对图像进行处理，得到模态数据提取模型输出的第一共享模态数据。
21.作为一个示例，参见图3，模态数据提取模型100可包括：第一特定模态提取模块10、共享模态提取模块20。步骤s102可包括：对于每对图像的每帧图像，采用第一特定模态提取模块10对图像进行处理，得到图像的第一特定模态数据；采用共享模态提取模块20对
可见光图像的第一特定模态数据和射线图像的第一特定模态数据进行处理，得到第一共享模态数据。
22.具体地，由于图像的空间尺寸较大，主要在空间上进行压缩，因此对于可见光图像和射线图像中的每帧图像，采用第一特定模态提取模块10对图像进行处理，得到可见光图像的第一特定模态数据和射线图像的第一特定模态数据。需要说明的是，第一特定模态提取模块10对图像进行处理时，不同时处理可见光图像和射线图像。另外，参见图5，第一特定模态提取模块10的数量可为两个，一个第一特定模态提取模块10对可见光图像进行处理，得到可见光图像的第一特定模态数据；另一个第一特定模态提取模块10对射线图像进行处理，得到射线图像的第一特定模态数据。
23.由于图像的通道长度较大，主要对通道进行压缩，因此采用共享模态提取模块20对可见光图像的第一特定模态数据和射线图像的第一特定模态数据进行处理，得到第一共享模态数据。其中，第一特定模态提取模块10的空间压缩比大于共享模态提取模块20的空间压缩比，且第一特定模态提取模块10的通道压缩比小于共享模态提取模块20的通道压缩比。例如：第一特定模态提取模块10的空间压缩比为2、通道压缩比为2，共享模态提取模块20的空间压缩比为1、通道压缩比为4。由此，通过对图像空间和通道的压缩，降低了第一特定模态提取模块和共享模态提取模块的复杂度。
24.参见图4，模态数据提取模型100还可包括：第二特定模态提取模块30，在采用第一特定模态提取模块10对图像进行处理，得到图像的第一特定模态数据之前，图像匹配方法还可包括：采用第二特定模态提取模块30对图像进行处理，得到图像的第二特定模态数据；采用第一特定模态提取模块10对图像进行处理，得到图像的第一特定模态数据，可包括：采用第一特定模态提取模块10对图像的第二特定模态数据进行处理，得到图像的第一特定模态数据。
25.具体地，采用第二特定模态提取模块30对可见光图像和射线图像中的每帧图像进行处理，得到图像的第二特定模态数据。需要说明的是，参见图5，第二特定模态提取模块30的数量可为两个，一个第二特定模态提取模块30对可见光图像的每帧图像进行处理，得到可见光图像的第二特定模态数据；另一个第二特定模态提取模块30对射线图像进行处理，得到射线图像的第二特定模态数据。
26.再采用第一特定模态提取模块10对可见光图像的第二特定模态数据和射线图像的第二特定模态数据进行处理，得到可见光图像的第一特定模态数据和射线图像的第一特定模态数据。其中，第二特定模态提取模块30的空间压缩比大于第一特定模态提取模块10的空间压缩比，且第二特定模态提取模块30的通道压缩比等于第一特定模态提取模块10的通道压缩比。例如：第一特定模态提取模块10的空间压缩比为2、通道压缩比为2，第二特定模态提取模块30的空间压缩比为4、通道压缩比为2。由此，通过对图像空间和通道的压缩，降低了第一特定模态提取模块和第二特定模态提取模块的复杂度。
27.参见图5，模态数据提取模型100还包括：第一卷积层40；在采用第二特定模态提取模块30对图像进行处理之前，图像匹配方法还可包括：采用第一卷积层对图像进行卷积处理，得到图像的第一卷积特征。
28.具体地，第一卷积层40可为预训练的单流网络resnet（residual network，残差网络）-50，采用resnet50对图像进行卷积处理，得到可见光图像和射线图像的第一卷积特征。
29.作为一个示例，参见图6，第二特定模态提取模块30可包括：第一归一化层31、第一激活函数32和第二归一化层33；采用第二特定模态提取模块30对图像进行处理，得到图像的第二特定模态数据，可包括：采用第一归一化层31对第一卷积特征进行归一化处理；采用第一激活函数32对归一化后的特征和权重特征的乘积进行处理，得到第一特征；采用第二归一化层33对第一特征进行归一化处理，得到第二特定模态数据。
30.具体地，采用第一归一化层31对第一卷积特征f1（即多维向量，其中，h为高度，w为宽度，c为通道个数）进行归一化处理，即进行si（sample interaction，样本交互）：对训练批次内的所有样本求均值和方差，使用该均值和方差对样本进行归一化，也就是说，将输入特征减去该训练批次内所有样本的均值μ，再除以该训练批次内所有样本标准方差σ，以实现训练批次内所有样本的交互。需要说明的是，在推理时，使用滑动平均的均值μ和标准方差σ来标准化。由此，使用bn（batch normalization，批量归一化）的方法来进行样本交互。
31.进一步地，参见图6，采用第一激活函数32对归一化后的特征和权重特征的乘积进行处理，得到第一特征。
32.具体地，将归一化后的特征和权重特征m2进行逐元素相乘得到乘积，采用第一激活函数32对乘积进行处理，得到第一特征。其中，第一激活函数32可以是relu（rectified linear unit，修正线性单元）函数。
33.进一步地，参见图6，采用第二归一化层33对第一特征进行归一化处理，得到第二特定模态数据。
34.具体地，采用第二归一化层33对第一特征进行归一化处理，即进行si（sample interaction，样本交互），得到第二特定模态数据：对训练批次内的所有样本求均值和方差，使用该均值和方差对样本进行归一化，也就是说，将输入特征减去该训练批次内所有样本的均值μ，再除以该训练批次内所有样本标准方差σ，以实现训练批次内所有样本的交互。需要说明的是，在推理时，使用滑动平均的均值μ和标准方差σ来标准化。由此，使用bn（batch normalization，批量归一化）的方法来进行样本交互。
35.由此，第二特定模态提取模块通过批量归一化进行样本交互，通过采用第一激活函数对归一化后的特征和权重特征的乘积进行处理，能够很好地区分射线图像与可见光图像包裹之间的模态差异。
36.需要说明的是，上述第一特定模态提取模块10、下述第一共享模态提取子模块21和第二共享模态提取子模块22均与第二特定模态提取模块30的结构相同，在此不再赘述。
37.参见图5，模态数据提取模型100还可包括：第二卷积层50；在采用第一特定模态提取模块10对图像的第二特定模态数据进行处理之前，图像匹配方法还可包括：采用第二卷积层50对图像的第二特定模态数据进行卷积处理。
38.具体地，第二卷积层50可为预训练的单流网络resnet-50，采用resnet-50对图像进行卷积处理，得到图像的第二卷积特征。
39.参见图5，在采用第一特定模态提取模块10对图像的第二特定模态数据进行处理
后，共享模态提取模块20可包括：第一共享模态提取子模块21和第二共享模态提取子模块22；采用共享模态提取模块20对可见光图像的第一特定模态数据和射线图像的第一特定模态数据进行处理，得到第一共享模态数据，可包括：采用第一共享模态提取子模块21对可见光图像的第一特定模态数据和射线图像的第一特定模态数据进行处理，得到第二共享模态数据；采用第二共享模态提取子模块22对可见光图像和射线图像的第二共享模态数据进行处理，得到第一共享模态数据p4；其中，第一共享模态提取子模块21的空间压缩比等于第二共享模态提取子模块22的空间压缩比，且第一共享模态提取子模块21的通道压缩比等于第二共享模态提取子模块22的通道压缩比。例如：第一共享模态提取子模块21的空间压缩比为1、通道压缩比为4，第二共享模态提取子模块22的空间压缩比为1、通道压缩比为4。
40.参见图5，模态数据提取模型100还可包括：第三卷积层60和第四卷积层70；在采用第一共享模态提取子模块21对可见光图像的第一特定模态数据和射线图像的第一特定模态数据进行处理之前，图像匹配方法还可包括：采用第三卷积层60对可见光图像的第一特定模态数据和射线图像的第一特定模态数据进行卷积处理；在采用第二共享模态提取子模块22对可见光图像和射线图像的第二共享模态数据进行处理之前，图像匹配方法还可包括：采用第四卷积层70对可见光图像和射线图像的第二共享模态数据进行处理进行卷积处理。
41.具体地，第三卷积层60和第四卷积层70可为预训练的单流网络resnet-50，采用第三卷积层60进行卷积处理，得到图像的第三卷积特征，采用第四卷积层70进行卷积处理，得到图像的第四卷积特征。需要说明的是，第一卷积层40和第二卷积层50、第三卷积层60和第四卷积层70均为骨干网络。第一卷积层40和第二卷积层50、第三卷积层60和第四卷积层70中任一卷积层包括多个卷积核，每个卷积核可以相同也可以不同，后一个卷积层的卷积核数量可以大于前一个卷积层的卷积核数量，卷积核数量可呈一定倍数增加，以提取更多、更细化的图像特征。
42.s103、基于多个第一共享模态数据确定与射线图像属于同一包裹的目标可见光图像。
43.作为一个示例，步骤s103可包括：基于每个第一共享模态数据确定对应的一对图像中每帧图像的第二特征，第二特征包括全局特征和多个局部特征；确定每帧可见光图像的第二特征和射线图像的第二特征的相似度；若相似度大于相似度阈值，则确定可见光图像与射线图像属于同一包裹。
44.具体地，参见图5，在物理上直接提取可见光图像和射线图像中每帧图像的第一共享模态数据p4的第二特征，即全局特征和多个局部特征（到），其中，多个局部特征（到）是将第一共享模态数据在垂直区域进行分割成n个部分得到的，n≥1。确定每帧可见光图像的第二特征和射线图像的第二特征的相似度（如余弦相似度），可得到多个相似度。如果多个相似度中的一个相似度大于相似度阈值，则确定和该相似度对应的可见光图像（即目标可见光图像）与射线图像属于同一包裹。需要说明的是，不同第一共
享模态数据确定的射线图像的第二特征是相同的。由此，通过第一共享模态数据确定与射线图像属于同一包裹的目标可见光图像。
45.作为一个示例，在采用模态数据提取模型对可见光图像和射线图像进行处理之前，方法还包括：获取多个第一样本数据，将多个第一样本数据训练得到模态数据提取模型。
46.其中，每个第一样本数据包括样本图像和样本图像的属性信息，样本图像包括一对样本可见光图像和样本射线图像，样本可见光图像和样本射线图像均是针对同一个对象拍摄的。属性信息用于标识样本可见光图像和样本射线图像的样本共享模态数据。多个样本图像可以包括至少一个第一样本图像和至少一个第二样本图像，第一样本图像和第二样本图像所针对的对象不同。
47.在本技术实施例中，可以将第一共享模态数据输入特征提取模型中，得到特征提取模型输出的第二特征。其中，该特征提取模型是采用多个第二样本数据训练得到的，每个第二样本特征可以包括样本共享模态数据和样本共享模态数据的属性信息，该属性信息用于指示该样本共享模态数据的样本第二特征，该样本第二特征包括样本全局特征和多个样本局部特征。
48.具体地，模态数据提取模型100包括：第一特定模态提取模块10、共享模态提取模块20。步骤s102可包括：对于样本可见光图像和样本射线图像中的每帧样本图像，采用第一特定模态提取模块10对样本图像进行处理，得到样本图像的第一样本特定模态数据；采用共享模态提取模块20对样本可见光图像的第一样本特定模态数据和射线图像的第一样本特定模态数据进行处理，得到第一样本共享模态数据。其中，第一样本特定模态提取模块10的空间压缩比大于共享模态提取模块20的空间压缩比，且第一特定模态提取模块10的通道压缩比小于共享模态提取模块20的通道压缩比。例如：第一特定模态提取模块10的空间压缩比为2、通道压缩比为2，共享模态提取模块20的空间压缩比为1、通道压缩比为4。由此，通过对图像空间和通道的压缩，降低了第一特定模态提取模块和共享模态提取模块的复杂度。
49.参见图4，模态数据提取模型100还可包括：第二特定模态提取模块30，在采用第一特定模态提取模块10对样本图像进行处理，得到样本图像的第一样本特定模态数据之前，图像匹配方法还可包括：采用第二特定模态提取模块30对样本图像进行处理，得到样本图像的第二样本特定模态数据；采用第一特定模态提取模块10对样本图像进行处理，得到样本图像的第一样本特定模态数据，可包括：采用第一特定模态提取模块10对样本图像的第二样本特定模态数据进行处理，得到样本图像的第一样本特定模态数据。其中，第二特定模态提取模块30的空间压缩比大于第一特定模态提取模块10的空间压缩比，且第二特定模态提取模块30的通道压缩比等于第一特定模态提取模块10的通道压缩比。例如：第一特定模态提取模块10的空间压缩比为2、通道压缩比为2，第二特定模态提取模块30的空间压缩比为4、通道压缩比为2。
50.参见图5，模态数据提取模型100还包括：第一卷积层40；在采用第二特定模态提取模块30对样本图像进行处理之前，图像匹配方法还可包括：采用第一卷积层对样本图像进
行卷积处理，得到样本图像的第一样本卷积特征。
51.参见图6，第二特定模态提取模块30包括：第一归一化层31、第一激活函数32和第二归一化层33；采用第二特定模态提取模块30对样本图像进行处理，得到样本图像的第二样本特定模态数据，可包括：采用第一归一化层31对第一样本卷积特征进行归一化处理；采用第一激活函数32对归一化后的样本特征和权重特征的乘积进行处理，得到第一样本特征；采用第二归一化层33对第一样本特征进行归一化处理，得到第二样本特定模态数据。
52.其中，可通过步骤s201-s203得到权重特征：s201、采用压缩层对第一归一化层处理得到的样本特征进行空间压缩和通道压缩，并采用维度变换层对压缩后的样本特征进行处理，得到第一样本特征，第一样本特征的维度小于压缩后的样本特征的维度。
53.具体地，参见图6，将第一样本卷积特征输入第一归一化层31，得到归一化后的样本特征。采用压缩层341对归一化后的样本特征进行空间压缩和通道压缩，其中，压缩层341通过conv（convolution，卷积）实现空间压缩和通道压缩。采用维度变换层342将压缩后的样本特征f2在空间维度上展平，得到第一样本特征z1，其中，维度变换层342可通过reshape函数实现在空间维度上展平，第一样本特征z1的维度小于压缩后的样本特征f2的维度。
54.s202、采用多头自注意力机制对第一样本特征进行空间注意力和通道注意力的特征提取，得到样本注意力特征，并采用全连接层对样本注意力特征进行处理，得到第二样本特征，第二样本特征的通道个数大于样本注意力特征的通道个数。
55.具体地，采用多头自注意力机制（，multi-head self-attention，多头自注意力）343对第一样本特征z1进行空间注意力和通道注意力（spatial channel attention，空间通道注意力）的特征提取，得到样本注意力特征z2。采用全连接层344对样本注意力特征z2进行处理，恢复原有的通道，进行通道的交互，得到第二样本特征，第二样本特征的通道个数大于样本注意力特征z2的通道个数。
56.s203、采用第二激活函数和尺寸变换层对第二样本特征进行处理，得到权重特征，权重特征的空间尺寸与第一归一化层处理得到的样本特征的空间尺寸相同，且权重特征的通道个数与第一归一化层处理得到的样本特征的通道个数相同。
57.具体地，采用第二激活函数345对第二样本特征进行处理，形成在空间和通道上的参考权重特征m1，其中，第二激活函数345可以是函数。采用尺寸变换层346对参考权重特征m1进行处理得到权重特征m2，其中，尺寸变换层346可先使用reshape函数将参考权重特征m1变形成，再使用上采样恢复原有的空间尺寸，得到权重特征m2，其中，权重特征m2的空间尺寸大于参考权重特征m1的空间尺寸，权重特征m2的空间尺寸与第一归一化层处理得到的样本特征的空间尺寸相同，且权重特征m2的通道个数与第一归一化层处理得到的样本特征的通道个数相同。
58.参见图5，模态数据提取模型100还可包括：第二卷积层50；在采用第一特定模态提取模块10对样本图像的第二样本特定模态数据进行处理之前，图像匹配方法还可包括：采
用第二卷积层50对样本图像的第二样本特定模态数据进行卷积处理。
59.参见图5，在采用第一特定模态提取模块10对样本图像的第二样本特定模态数据进行处理后，共享模态提取模块20包括：第一共享模态提取子模块21和第二共享模态提取子模块22；采用共享模态提取模块20对样本可见光图像的第一样本特定模态数据和样本射线图像的第一样本特定模态数据进行处理，得到第一样本共享模态数据，可包括：采用第一共享模态提取子模块21对样本可见光图像的第一样本特定模态数据和样本射线图像的第一样本特定模态数据进行处理，得到第二样本共享模态数据；采用第二共享模态提取子模块22对样本可见光图像和样本射线图像的第二样本共享模态数据进行处理，得到第一样本共享模态数据p4；其中，第一共享模态提取子模块21的空间压缩比等于第二共享模态提取子模块22的空间压缩比，且第一共享模态提取子模块21的通道压缩比等于第二共享模态提取子模块22的通道压缩比。例如：第一共享模态提取子模块21的空间压缩比为1、通道压缩比为4，第二共享模态提取子模块22的空间压缩比为1、通道压缩比为4。
60.进一步地，基于每个第一样本共享模态数据确定对应的一对样本图像中样本可见光图像和样本射线图像的第二样本特征，第二样本特征包括样本全局特征和多个样本局部特征。
61.进一步地，还可采用所述损失函数80对涵盖不同包裹数据样本的数据集（即第一样本数据）进行训练，其中数据集中单一样本包括样本可见光图像和同包裹下样本射线图像，经过多轮迭代学习，得到最优的模态数据提取模型100。
62.具体地，损失函数80包括：三元损失函数和交叉熵损失函数。利用三元损失函数对同一包裹的每帧样本可见光图像和同包裹下样本射线图像的样本全局特征进行损失计算，得到每帧样本可见光图像和样本射线图像的三元损失函数值；利用交叉熵损失函数对每帧样本可见光图像和样本射线图像的多个样本局部特征进行分类损失计算，得到每帧样本可见光图像和样本射线图像的多个交叉熵损失函数值；根据每帧样本图像的三元损失函数值和多个交叉熵损失函数值，得到每帧样本图像的损失函数值；根据每帧样本图像的损失函数值，得到平均损失函数值，计算平均损失函数值的反向传播梯度，利用梯度进行参数更新（即对权重特征m2进行更新），依次迭代进行网络训练，保存每一次迭代的模态数据提取模型100，直到所有迭代结束得到最优的模态数据提取模型100。
63.其中，通过下式计算同一个包裹下，每帧样本图像的三元损失函数值：，其中，e为期望，为同一个包裹的样本射线图像与样本可见光图像样本全局特征的最大欧式距离，为样本射线图像与其他包裹的样本可见光图像样本全局特征的最小欧式距离，为控制参数，函数[]
+
中，若大于0，[]
+
输出，若小于或等于0，[]
+
输出为0。
[0064]
通过下式计算同一个包裹下，每帧样本图像的交叉熵损失函数值：，其中，为样本图
像的样本全局特征，为的损失概率，为样本图像的第i个样本局部特征，即样本图像中的样本可见光图像的第i个样本局部特征和样本射线图像的第i个样本局部特征，为的损失概率，i≥1，e为期望。
[0065]
将多帧样本图像的三元损失函数值，与多帧样本图像的交叉熵损失函数值求和并取均值得到平均损失值。
[0066]
综上所述，该图像匹配方法，通过对样本、空间、通道之间的多维度交互机制，实现强有力的特征提取，通过特定模态提取模块、共享模态提取模块分别置于模态数据提取模型的浅层和深层，能够有效提取模态间的特定特征和共享特征，提高射线与可见光包裹双模态重识别任务的效率和可靠性，满足了应用场景的需求，解决了安检信息追溯的难题。
[0067]
图7是本发明一个实施例的图像匹配装置的结构示意图。如图7所示，图像匹配装置200包括获取模块210和匹配模块220。其中，获取模块210，用于获取多对图像，每对图像包括可见光图像和射线图像，且不同对图像中的射线图像相同；匹配模块220，用于采用模态数据提取模型100对每对图像进行处理，得到模态数据提取模型100输出的第一共享模态数据；基于多个第一共享模态数据确定与射线图像属于同一包裹的目标可见光图像。
[0068]
需要说明的是，本发明实施例的图像匹配装置200的其他具体实施方式可参见本发明上述实施例的图像匹配方法的具体实施方式。
[0069]
由此，该图像匹配装置，通过对样本、空间、通道之间的多维度交互机制，实现强有力的特征提取，通过特定模态提取模块、共享模态提取模块分别置于模态数据提取模型的浅层和深层，能够有效提取模态间的特定特征和共享特征，提高射线与可见光包裹双模态重识别任务的效率和可靠性，满足了应用场景的需求，解决了安检信息追溯的难题。
[0070]
图8是本发明一个实施例的图像匹配设备的结构示意图。如图8所示，图像匹配设备300，包括存储器310、处理器320以及存储在存储器310上并可在处理器320上运行的图像匹配的运行程序330，处理器320执行图像匹配的运行程序330时，实现上述的图像匹配方法。
[0071]
根据本发明实施例的图像匹配设备，在其存储器上存储的图像匹配的运行程序被处理器执行时，能够提高射线与可见光包裹双模态重识别任务的效率和可靠性，满足了应用场景的需求，解决了安检信息追溯的难题。
[0072]
需要说明的是，在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备（如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统）使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，“计算机可读介质”可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例（非穷尽性列表）包括以下：具有一个或多个布线的电连接部（电子装置），便携式计算机盘盒（磁装置），随机存取存储器（ram），只读存储器（rom），可擦除可编辑只读存储器（eprom或闪速存储器），光纤装置，以及便携式光盘只读存储器（cdrom）。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必
要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
[0073]
应当理解，本发明的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。例如，如果用硬件来实现，和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列（pga），现场可编程门阵列（fpga）等。
[0074]
在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。
[0075]
在本发明的描述中，需要理解的是，术语“中心”、“纵向”、“横向”、“长度”、“宽度”、“厚度”、“上”、“下”、“前”、“后”、“左”、“右”、“竖直”、“水平”、“顶”、“底”“内”、“外”、“顺时针”、“逆时针”、“轴向”、“径向”、“周向”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。
[0076]
此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
[0077]
在本发明中，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”、“固定”等术语应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或成一体；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通或两个元件的相互作用关系，除非另有明确的限定。对于本领域的普通技术人员而言，可以根据具体情况理解上述术语在本发明中的具体含义。
[0078]
在本发明中，除非另有明确的规定和限定，第一特征在第二特征“上”或“下”可以是第一和第二特征直接接触，或第一和第二特征通过中间媒介间接接触。而且，第一特征在第二特征“之上”、“上方”和“上面”可是第一特征在第二特征正上方或斜上方，或仅仅表示第一特征水平高度高于第二特征。第一特征在第二特征“之下”、“下方”和“下面”可以是第一特征在第二特征正下方或斜下方，或仅仅表示第一特征水平高度小于第二特征。
[0079]
尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。

技术特征：
1.一种图像匹配方法，其特征在于，所述方法包括：获取多对图像，每对所述图像包括可见光图像和射线图像，且不同对图像中的射线图像相同；采用模态数据提取模型对每对所述图像进行处理，得到所述模态数据提取模型输出的第一共享模态数据；基于多个所述第一共享模态数据确定与所述射线图像属于同一包裹的目标可见光图像。2.根据权利要求1所述的图像匹配方法，其特征在于，所述模态数据提取模型包括：第一特定模态提取模块和共享模态提取模块；所述采用模态数据提取模型对每对所述图像进行处理，得到所述模态数据提取模型输出的第一共享模态数据，包括：对于每对所述图像的每帧图像，采用所述第一特定模态提取模块对所述图像进行处理，得到所述图像的第一特定模态数据；采用所述共享模态提取模块对所述可见光图像的第一特定模态数据和所述射线图像的第一特定模态数据进行处理，得到第一共享模态数据；其中，所述第一特定模态提取模块的空间压缩比大于所述共享模态提取模块的空间压缩比，且所述第一特定模态提取模块的通道压缩比小于所述共享模态提取模块的通道压缩比。3.根据权利要求2所述的图像匹配方法，其特征在于，所述模态数据提取模型还包括：第二特定模态提取模块，在所述采用所述第一特定模态提取模块对所述图像进行处理，得到所述图像的第一特定模态数据之前，所述方法还包括：采用所述第二特定模态提取模块对所述图像进行处理，得到所述图像的第二特定模态数据；所述采用所述第一特定模态提取模块对所述图像进行处理，得到所述图像的第一特定模态数据，包括：采用所述第一特定模态提取模块对所述图像的第二特定模态数据进行处理，得到所述图像的第一特定模态数据；其中，所述第二特定模态提取模块的空间压缩比大于所述第一特定模态提取模块的空间压缩比，且所述第二特定模态提取模块的通道压缩比等于所述第一特定模态提取模块的通道压缩比。4.根据权利要求3所述的图像匹配方法，其特征在于，所述模态数据提取模型还包括：第一卷积层；在所述采用所述第二特定模态提取模块对所述图像进行处理之前，所述方法还包括：采用所述第一卷积层对所述图像进行卷积处理，得到所述图像的第一卷积特征。5.根据权利要求4所述的图像匹配方法，其特征在于，所述第二特定模态提取模块包括：第一归一化层、第一激活函数和第二归一化层；所述采用所述第二特定模态提取模块对所述图像进行处理，得到所述图像的第二特定模态数据，包括：采用所述第一归一化层对所述第一卷积特征进行归一化处理；采用所述第一激活函数对所述归一化后的特征和权重特征的乘积进行处理，得到第一特征；
采用所述第二归一化层对所述第一特征进行归一化处理，得到所述第二特定模态数据。6.根据权利要求5所述的图像匹配方法，其特征在于，所述方法还包括：采用压缩层对所述第一归一化层处理得到的样本特征进行空间压缩和通道压缩，并采用维度变换层对压缩后的样本特征进行处理，得到第一样本特征，所述第一样本特征的维度小于所述压缩后的样本特征的维度；采用多头自注意力机制对所述第一样本特征进行空间注意力和通道注意力的特征提取，得到样本注意力特征，并采用全连接层对所述样本注意力特征进行处理，得到第二样本特征，所述第二样本特征的通道个数大于所述样本注意力特征的通道个数；采用第二激活函数和尺寸变换层对所述第二样本特征进行处理，得到所述权重特征，所述权重特征的空间尺寸与所述第一归一化层处理得到的样本特征的空间尺寸相同，且所述权重特征的通道个数与所述第一归一化层处理得到的样本特征的通道个数相同。7.根据权利要求2所述的图像匹配方法，其特征在于，所述共享模态提取模块包括：第一共享模态提取子模块和第二共享模态提取子模块；所述采用所述共享模态提取模块对所述可见光图像的第一特定模态数据和所述射线图像的第一特定模态数据进行处理，得到第一共享模态数据，包括：采用所述第一共享模态提取子模块对所述可见光图像的第一特定模态数据和所述射线图像的第一特定模态数据进行处理，得到第二共享模态数据；采用所述第二共享模态提取子模块对所述可见光图像的第二共享模态数据和所述射线图像的第二共享模态数据进行处理，得到所述第一共享模态数据；其中，所述第一共享模态提取子模块的空间压缩比等于所述第二共享模态提取子模块的空间压缩比，且所述第一共享模态提取子模块的通道压缩比等于第二共享模态提取子模块的通道压缩比。8.根据权利要求1至7任一所述的图像匹配方法，其特征在于，所述基于多个所述第一共享模态数据确定与所述射线图像属于同一包裹的目标可见光图像，包括：基于每个所述第一共享模态数据确定对应的一对图像中每帧图像的第二特征，所述第二特征包括全局特征和多个局部特征；确定每帧所述可见光图像的第二特征和所述射线图像的第二特征的相似度；若所述相似度大于相似度阈值，则确定所述可见光图像与所述射线图像属于同一包裹。9.一种图像匹配装置，其特征在于，所述装置包括：获取模块，用于获取多对图像，每对所述图像包括可见光图像和射线图像，且不同对图像中的射线图像相同；匹配模块，用于采用模态数据提取模型对每对所述图像进行处理，得到所述模态数据提取模型输出的第一共享模态数据；基于多个所述第一共享模态数据确定与所述射线图像属于同一包裹的目标可见光图像。10.一种图像匹配设备，其特征在于，包括存储器、处理器以及存储在存储器上并可在处理器上运行的图像匹配的运行程序，所述处理器执行所述图像匹配的运行程序时，实现根据权利要求1至8任一所述的图像匹配方法。

技术总结
本发明公开了一种图像匹配方法、装置及设备，所述方法包括：获取多对图像，每对图像包括可见光图像和射线图像，且不同对图像中的射线图像相同；采用模态数据提取模型对每对图像进行处理，得到模态数据提取模型输出的第一共享模态数据；基于多个第一共享模态数据确定与射线图像属于同一包裹的目标可见光图像。由此，该方法，能够提高射线与可见光包裹双模态重识别任务的效率和可靠性，满足了应用场景的需求，解决了安检信息追溯的难题。解决了安检信息追溯的难题。解决了安检信息追溯的难题。


技术研发人员：吴勇敢 王红强 孟令超
受保护的技术使用者：安徽启新明智科技有限公司
技术研发日：2023.07.10
技术公布日：2023/8/9