基于DR图像与投影图融合的目标检测识别方法及系统与流程

基于dr图像与投影图融合的目标检测识别方法及系统
技术领域
1.本发明属于ct安检技术领域，尤其涉及一种基于dr图像与投影图融合的目标检测识别方法及系统。


背景技术：

2.在人工智能相关技术广泛应用的背景下，危险品智能识别技术已逐渐应用到传统安检行业中，在降低人工成本、提高安检效率、降低漏检率等方面具有重要意义，目标识别可有效解决安检机人工判图的“痛点”，在降低人工成本的同时，能够提高检出率，降低漏检率。不需要大规模的更换安检设备，也不改变现有的安检模式，仅采用软件或硬件升级的方式，便可实现安检机的智能化升级。
3.传统的ct安检设备中搭载的智能识别算法一般是采用多个角度的投影图作为唯一输入源，然后再进行二维图像的目标检测，最后再将二维框融合成三维框作为ct三维违禁品的识别结果，但由于投影图的图像纹理细节较为粗糙，从而影响目标检测算法对违禁品目标检测的准确率，特别是一些物体纹理较弱，或者小目标物体等，与此同时对于ct设备还存在另一种形式的图像，称之为dr图像，对于同一个包裹数据dr图其图像质量相比于投影图细节纹理更好，图像质量也更优，且对于同一个包裹数据使用相同的目标检测算法dr图像目标检测的准确率会明显好于投影图，但对于同一个包裹数据投影图和dr图像属于不同源、不同域下的图像，所以它们不仅存在图像纹理细节的差异而且图像尺寸也不同，因此dr图像不能直接等效于投影图像进行二维目标的检测。


技术实现要素：

4.本发明提供一种基于dr图像与投影图融合的目标检测识别方法及系统，用于解决dr图像不能直接等效于投影图像进行二维目标检测的技术问题。
5.第一方面，本发明提供一种基于dr图像与投影图融合的目标检测识别方法，包括：获取某一dr图像以及与所述某一dr图像相关联的不同角度的投影图，其中，所述投影图的方向与所述某一dr图像的方向一致；分别提取某一角度的投影图中的第一关键点和所述某一dr图像中的第二关键点，并将所述第一关键点和所述第二关键点进行匹配；根据匹配结果计算第一映射矩阵，并基于所述第一映射矩阵得到匹配后的dr图像；判断匹配后的dr图像是否为有效匹配；若匹配后的dr图像为有效匹配，则分别对所述某一dr图像和某一的投影图进行二维的目标检测，并基于预设的融合策略将所述某一dr图像的第一检测结果与某一角度的投影图的第二检测结果进行融合，得到最终的融合结果。
6.第二方面，本发明提供一种基于dr图像与投影图融合的目标检测识别系统，包括：获取模块，配置为获取某一dr图像以及与所述某一dr图像相关联的不同角度的投影图，其中，所述投影图的方向与所述某一dr图像的方向一致；匹配模块，配置为分别提取某一角度的投影图中的第一关键点和所述某一dr图像中的第二关键点，并将所述第一关键点和所述第二关键点进行匹配；计算模块，配置为根据匹配结果计算第一映射矩阵，并基于所述第一
映射矩阵得到匹配后的dr图像；判断模块，配置为判断匹配后的dr图像是否为有效匹配；融合模块，配置为若匹配后的dr图像为有效匹配，则分别对所述某一dr图像和某一角度的投影图进行二维的目标检测，并基于预设的融合策略将所述某一dr图像的第一检测结果与某一角度的投影图的第二检测结果进行融合，得到最终的融合结果。
7.第三方面，提供一种电子设备，其包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本发明任一实施例的基于dr图像与投影图融合的目标检测识别方法的步骤。
8.第四方面，本发明还提供一种计算机可读存储介质，其上存储有计算机程序，所述程序指令被处理器执行时，使所述处理器执行本发明任一实施例的基于dr图像与投影图融合的目标检测识别方法的步骤。
9.本技术的基于dr图像与投影图融合的目标检测识别方法及系统，首先选取m张与dr图像最为相似的投影图，m张投影图的角度分别为，然后与dr图像分别逐一进行关键点提取和匹配，待关键点特征点匹配完成之后计算dr图像与投影图匹配后的图像，并根据匹配后的图像进行是否匹配成功的判别，如果匹配成功则此时匹配后的dr图像可以近似等效于对应角度下的投影图，则可以直接与对应角度的投影图一起进行二维目标框的检测，从而实现对dr图像信息的利用，如果未匹配成功则继续增加其他角度的投影图进行匹配操作直至匹配成功，匹配成功后再将dr图像和二维的投影图图像二维目标检测的检测结果进行融合，得到最终融合的结果，实现了dr图像与投影图在不同图像域下的目标信息融合，并且由于dr图像的图像质量更优，其目标检测的信息质量更高，因此投影图融合dr图像的目标检测信息时，可以有效提高系统对目标检测识别的准确率和稳定性。
附图说明
10.为了更清楚地说明本发明实施例的技术方案，下面将对实施例描述中所需要使用的附图作一简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
11.图1为本发明一实施例提供的一种基于dr图像与投影图融合的目标检测识别方法的流程图；图2为本发明一实施例提供的在z轴3
°
，6
°
，9
°
时的投影图；图3为本发明一实施例提供的与投影图对应的行李包裹的dr原始图；图4为本发明一实施例提供的在z轴3
°
，6
°
，9
°
时经过yolo算法目标检测的投影图；图5为本发明一实施例提供的与投影图匹配后的dr图像经过yolo算法目标检测的结果图；图6为本发明一实施例提供的投影图融合dr图像信息之后的结果图；图7为本发明一实施例提供的一种基于dr图像与投影图融合的目标检测识别系统的结构框图；图8是本发明一实施例提供的电子设备的结构示意图。
具体实施方式
12.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
13.请参阅图1，其示出了本技术的一种基于dr图像与投影图融合的目标检测识别方法的流程图。
14.如图1所示，基于dr图像与投影图融合的目标检测识别方法具体包括以下步骤：步骤s101，获取某一dr图像以及与所述某一dr图像相关联的不同角度的投影图，其中，所述投影图的方向与所述某一dr图像的方向一致。
15.在本步骤中，获取某一dr图像，并且获取与所述某一dr图像的相似度达到相似度阈值的不同角度的投影图，其中，计算某一dr图像与投影图之间的相似度的表达式为：，式中，为dr图像与投影图之间的相似度大小，为dr图像512维向量中的第维的值，为投影图图像512维向量中的第维的值。
16.步骤s102，分别提取某一角度的投影图中的第一关键点和所述某一dr图像中的第二关键点，并将所述第一关键点和所述第二关键点进行匹配。
17.步骤s103，根据匹配结果计算第一映射矩阵，并基于所述第一映射矩阵得到匹配后的dr图像。
18.步骤s104，判断匹配后的dr图像是否为有效匹配。
19.在本步骤中，假设匹配后的dr图像为，为dr图像在坐标处的像素值；对dr图像进行自适应阈值二值化得到的图像为，再对图像进行处理，其中对图像进行处理的表达式为： ，式中，为图像在坐标处的像素值，、为选取的需要处理的图像区域范围；假设对图像处理后的图像为图像，统计图像的非零值像素点的个数,假设非零值的个数为，如果个数小于个数阈值，则对图像进行轮廓提取并计算轮廓距离图像中心点的距离，首先计算轮廓中心点坐标，对图像计算轮廓中心点坐标的计算公式如下：
，，式中，和等于0或者1，和为图像坐标下的坐标值，为轮廓中心点坐标，为中心点的横坐标，为中心点的纵坐标，若=0，=1，则表示在y轴方向，所有像素点的坐标y与其对应的像素值的乘和，若=1，=0，则表示在x轴方向，所有像素点的坐标x与其对应的像素值的乘和，若=0，则表示x = 1，若=1，则表示图像x轴的坐标值，为在x轴方向，所有像素点的坐标x与其对应的像素值的乘和，为在y轴方向，所有像素点的坐标y与其对应的像素值的乘和，为图像所有像素值的和；根据轮廓中心点坐标计算轮廓中心点距离图像中心点的欧式距离,假设图像尺寸的高为，宽为，则轮廓中心点距离图像中心点的欧式距离计算公式为：，假设距离阈值设为，则根据个数阈值和距离阈值综合判断匹配后的dr图像是否为有效匹配，综合判断准则为：，式中，等于1则表示属于有效匹配，等于0表示非有效匹配。
20.需要说明的是，若匹配后的dr图像不为有效匹配，则分别提取另一角度的投影图中的第一关键点和所述某一dr图像中的第二关键点，并将所述第一关键点和所述第二关键键点进行匹配，直至匹配后的dr图像为有效匹配。
21.步骤s105，若匹配后的dr图像为有效匹配，则分别对所述某一dr图像和某一角度的投影图进行二维的目标检测，并基于预设的融合策略将所述某一dr图像的第一检测结果与某一角度的投影图的第二检测结果进行融合，得到最终的融合结果。
22.在本步骤中，假设投影图检测出的结果框为，dr图像检测出的结果框为，则以为基准，对中的每一个结果框与中的所有结果框进行iou匹配，其中，进行iou匹配的表达式为：，，式中，为投影图中第个目标框，为dr图像中第个目标框，为投
影图中第个目标框与dr图像中第个目标框匹配的最大的交并比的值，为投影图检测出的所有框的个数，为与进行匹配计算的交并比的值；当投影图中第个目标框的所对应的dr图像中第个目标框即为与投影图中第个目标框匹配的dr图像的目标框；判断投影图中第个目标框与dr图像中第个目标框的匹配是否有效，其中，判别规则为：；式中，等于1则说明目标框成功匹配，否则则说明匹配失败，为匹配阈值参数，为投影图中第个目标框与dr图像中第个目标框匹配的最大的交并比的值；若投影图中第个目标框与dr图像中第个目标框的匹配有效，则判断dr图像中的目标框是否多于投影图的目标框；若dr图像中的目标框不多于投影图的目标框，则将dr图像中的目标框所对应的类别信息与投影图设置为一致，使融合dr图像与投影图之间的类别信息，即得到最终的融合结果；若dr图像中的目标框多于投影图的目标框，则提取匹配后的dr图像中的第三关键点，并将所述第三关键点和所述第一关键点进行匹配；根据匹配结果计算第二映射矩阵，并基于所述第二映射矩阵得到二次匹配后的dr图像；判断二次匹配后的dr图像是否为有效匹配；若二次匹配后的dr图像为有效匹配，则对二次匹配后的dr图像进行二维的目标检测，得到二次匹配后的dr图像的目标检测结果；将所述目标检测结果直接等效于投影图的目标检测结果，并将二次匹配后的dr图像中的目标框所对应的类别信息与投影图设置为一致，使融合二次匹配后的dr图像与投影图之间的类别信息，即得到最终的融合结果。
23.综上，本技术的方法，首先选取m张与dr图像最为相似的投影图，m张投影图的角度分别为，然后与dr图像分别逐一进行关键点提取和匹配，待关键点特征点匹配完成之后计算dr图像与投影图匹配后的图像，并根据匹配后的图像进行是否匹配成功的判别，如果匹配成功则此时匹配后的dr图像可以近似等效于对应角度下的投影图，则可以直接与对应角度的投影图一起进行二维目标框的检测，从而实现对dr图像信息的利用，如果未匹配成功则继续增加其他角度的投影图进行匹配操作直至匹配成功，匹配成功后再将dr图像和二维的投影图图像二维目标检测的检测结果进行融合，得到最终融合的结果，实现了dr图像与投影图在不同图像域下的目标信息融合，并且由于dr图像的图像质量更优，
其目标检测的信息质量更高，因此投影图融合dr图像的目标检测信息时，可以有效提高系统对目标检测识别的准确率和稳定性。
24.在一个具体实施例中，一种基于dr图像与投影图融合的三维目标检测识别方法，包括以下步骤：步骤1：选取m张与dr图像最相似的投影图图像，判断dr图像与投影图方向是否一致，如果不一致则将它们的方向翻转为一致；步骤2：对dr图像与投影图逐一进行关键特征点提取与匹配，关键点提取采用传统已有的sift算法进行提取，对提取的关键点进行匹配，匹配算法采用暴力匹配的方式；步骤3：根据提取的关键点和匹配的结果计算得到映射矩阵，然后再根据获得的映射矩阵得到匹配后的dr图像；步骤4：根据匹配后的dr图像判别是否是有效匹配；步骤5：如果判断匹配有效后，分别对投影图与dr图进行二维的目标检测，二维的目标检测采用深度学习算法中常见的yolo算法进行检测；步骤6：对检测结果进行融合；步骤7：由于dr图图像质量优于投影图，因此dr图像的目标检测结果也优于投影图目标检测结果，所以当投影图与dr图像的目标框匹配成功时，此时就可以融合目标框的类别信息，只需将dr图像目标框所对应的类别信息与投影图设置为一致即可融合这两种图像之间的类别信息；步骤8：当存在dr图像检测的目标框多于投影图的目标框时，此时则不仅需要融合dr图像的类别信息还需融合dr图像的目标框信息。
25.下面结合附图对本发明具体实施例做进一步详细描述。
26.首先选取m个不同角度且跟dr图像相似的投影图，如图2所示为在z轴为3
°
，6
°
，9
°
时的投影图，从图中可以看出，投影图在角度差异十分小时，其图像的相似程度较大，差异性较小，图3为与投影图对应的行李包裹的dr原始图，从图2和图3可以看出，z轴为3
°
，6
°
，9
°
时的投影图与dr原始图的在物体轮廓上十分相似，但是在图像尺寸与图像质量上确差异巨大，首先投影图的尺寸宽高分别为800，800，而dr图的图像尺寸宽高则为1216，896，其次投影图中物体的纹理细节模糊且存在毛刺，但是对于dr图其中物体的纹理细节则十分清晰，且这种差异的形成主要跟ct设备的硬件设计直接相关，因此由于投影图和dr图在这种不同域下的差异性，导致其不能直接将图像质量更好的dr图直接等效于投影图，而是需要通过算法建模的方式寻找它们之间的映射关系以实现近似等效。为了寻找dr图与投影图之间的映射关系，首先我们选取m个不同角度下与dr图最接近的投影图，然后分别使用m个投影图与dr图进行关键特征点的检测与匹配，这里关键点的检测算法采用shif算法，当分别对投影图与dr图关键点进行检测后，剔除不相似的关键点，最后对图像进行特征点匹配，待特征点匹配完成后计算投影图与dr图之间的映射矩阵，通过映射矩阵即可求得与投影图近似等效的dr图，再得到近似等效的dr图之前还需设计算法进行判别是否是有效匹配，判别方法为在得到匹配后的dr图后，首先对匹配后的dr图进行二值化阈值分割，然后对二值化的dr图像进行轮廓提取并计算轮廓在图像中的质心坐标，最后在通过计算轮廓的质心坐标与图像中心点的坐标来判别是否属于有效匹配，当判别为有效匹配时则可以进行投影图与dr图的信息融合。待匹配成功后，此时需要判断是否是融合dr图的类别信息还是融合dr图像的
目标框信息，如果只融合类别信息，则只需要计算对应框的iou进行框匹配，然后融合类别信息，如果不仅需要融合类别信息还需要融合目标框信息，则需要对匹配后的dr图像进行二次匹配并判别以校正其目标框与真实框的误差，然后再进行目标框的匹配与融合。如图4所示为投影图在z轴3
°
，6
°
，9
°
时经过yolo算法目标检测的结果图，图5为与投影图匹配后的dr图像经过yolo算法目标检测的结果图。图6为投影图融合了dr图信息的结果图，从图4、图5以及图6中可以看出，其中，图4、图5以及图6中的数字均为相应目标框的所属类别，在图2投影图的检测结果中可以明显看出“斧子”由于成像纹理较弱并没有检测出目标框，但是在图5中匹配后的dr图像由于图像质量较好，可以成功检测出剪刀的目标框信息，因此通过上述算法将剪刀的目标框信息融合至投影图中可以看到图6中的结果图效果，因此采用dr图像与投影图融合的目标检测识别算法可以有效的通过dr图像弥补投影图在小目标物体以及弱纹理物体成像较差的缺陷，进而可以有效提高系统对目标检测识别的准确率和稳定性。
27.请参阅图7，其示出了本技术的一种基于dr图像与投影图融合的目标检测识别系统的结构框图。
28.如图7所示，目标检测识别系统200，包括获取模块210、匹配模块220、计算模块230、判断模块240以及融合模块250。
29.其中，获取模块210，配置为获取某一dr图像以及与所述某一dr图像相关联的不同角度的投影图，其中，所述投影图的方向与所述某一dr图像的方向一致；匹配模块220，配置为分别提取某一角度的投影图中的第一关键点和所述某一dr图像中的第二关键点，并将所述第一关键点和所述第二关键点进行匹配；计算模块230，配置为根据匹配结果计算映射矩阵，并基于所述映射矩阵得到匹配后的dr图像；判断模块240，配置为判断匹配后的dr图像是否为有效匹配；融合模块250，配置为若匹配后的dr图像为有效匹配，则分别对所述某一dr图像和某一角度的投影图进行二维的目标检测，并基于预设的融合策略将所述某一dr图像的第一检测结果与某一角度的投影图的第二检测结果进行融合，得到最终的融合结果。
30.应当理解，图7中记载的诸模块与参考图1中描述的方法中的各个步骤相对应。由此，上文针对方法描述的操作和特征以及相应的技术效果同样适用于图7中的诸模块，在此不再赘述。
31.在另一些实施例中，本发明实施例还提供了一种计算机可读存储介质，其上存储有计算机程序，所述程序指令被处理器执行时，使所述处理器执行上述任意方法实施例中的基于dr图像与投影图融合的目标检测识别方法；作为一种实施方式，本发明的计算机可读存储介质存储有计算机可执行指令，计算机可执行指令设置为：获取某一dr图像以及与所述某一dr图像相关联的不同角度的投影图，其中，所述投影图的方向与所述某一dr图像的方向一致；分别提取某一角度的投影图中的第一关键点和所述某一dr图像中的第二关键点，并将所述第一关键点和所述第二关键点进行匹配；根据匹配结果计算第一映射矩阵，并基于所述第一映射矩阵得到匹配后的dr图像；判断匹配后的dr图像是否为有效匹配；
若匹配后的dr图像为有效匹配，则分别对所述某一dr图像和某一角度的投影图进行二维的目标检测，并基于预设的融合策略将所述某一dr图像的第一检测结果与某一角度的投影图的第二检测结果进行融合，得到最终的融合结果。
32.计算机可读存储介质可以包括存储程序区和存储数据区，其中，存储程序区可存储操作系统、至少一个功能所需要的应用程序；存储数据区可存储根据基于dr图像与投影图融合的目标检测识别系统的使用所创建的数据等。此外，计算机可读存储介质可以包括高速随机存取存储器，还可以包括存储器，例如至少一个磁盘存储器件、闪存器件、或其他非易失性固态存储器件。在一些实施例中，计算机可读存储介质可选包括相对于处理器远程设置的存储器，这些远程存储器可以通过网络连接至基于dr图像与投影图融合的目标检测识别系统。上述网络的实例包括但不限于互联网、企业内部网、局域网、移动通信网及其组合。
33.图8是本发明实施例提供的电子设备的结构示意图，如图8所示，该设备包括：一个处理器310以及存储器320。电子设备还可以包括：输入装置330和输出装置340。处理器310、存储器320、输入装置330和输出装置340可以通过总线或者其他方式连接，图8中以通过总线连接为例。存储器320为上述的计算机可读存储介质。处理器310通过运行存储在存储器320中的非易失性软件程序、指令以及模块，从而执行服务器的各种功能应用以及数据处理，即实现上述方法实施例基于dr图像与投影图融合的目标检测识别方法。输入装置330可接收输入的数字或字符信息，以及产生与基于dr图像与投影图融合的目标检测识别系统的用户设置以及功能控制有关的键信号输入。输出装置340可包括显示屏等显示设备。
34.上述电子设备可执行本发明实施例所提供的方法，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
35.作为一种实施方式，上述电子设备应用于基于dr图像与投影图融合的目标检测识别系统中，用于客户端，包括：至少一个处理器；以及，与至少一个处理器通信连接的存储器；其中，存储器存储有可被至少一个处理器执行的指令，指令被至少一个处理器执行，以使至少一个处理器能够：获取某一dr图像以及与所述某一dr图像相关联的不同角度的投影图，其中，所述投影图的方向与所述某一dr图像的方向一致；分别提取某一角度的投影图中的第一关键点和所述某一dr图像中的第二关键点，并将所述第一关键点和所述第二关键点进行匹配；根据匹配结果计算第一映射矩阵，并基于所述第一映射矩阵得到匹配后的dr图像；判断匹配后的dr图像是否为有效匹配；若匹配后的dr图像为有效匹配，则分别对所述某一dr图像和某一角度的投影图进行二维的目标检测，并基于预设的融合策略将所述某一dr图像的第一检测结果与某一角度的投影图的第二检测结果进行融合，得到最终的融合结果。
36.通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到各实施方式可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件。基于这样的理解，上述技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品可以存储在计算机可读存储介质中，如rom/ram、磁碟、光盘等，包括若干指
令用以使得一台计算机设备（可以是个人计算机，服务器，或者网络设备等）执行各个实施例或者实施例的某些部分的方法。
37.最后应说明的是：以上实施例仅用以说明本发明的技术方案，而非对其限制；尽管参照前述实施例对本发明进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本发明各实施例技术方案的精神和范围。

技术特征：
1.一种基于dr图像与投影图融合的目标检测识别方法，其特征在于，包括：获取某一dr图像以及与所述某一dr图像相关联的不同角度的投影图，其中，所述投影图的方向与所述某一dr图像的方向一致；分别提取某一角度的投影图中的第一关键点和所述某一dr图像中的第二关键点，并将所述第一关键点和所述第二关键点进行匹配；根据匹配结果计算第一映射矩阵，并基于所述第一映射矩阵得到匹配后的dr图像；判断匹配后的dr图像是否为有效匹配；若匹配后的dr图像为有效匹配，则分别对所述某一dr图像和某一角度的投影图进行二维的目标检测，并基于预设的融合策略将所述某一dr图像的第一检测结果与某一角度的投影图的第二检测结果进行融合，得到最终的融合结果。2.根据权利要求1所述的一种基于dr图像与投影图融合的目标检测识别方法，其特征在于，所述获取某一dr图像以及与所述某一dr图像相关联的不同角度的投影图包括：获取某一dr图像；获取与所述某一dr图像的相似度达到相似度阈值的不同角度的投影图，其中，计算某一dr图像与投影图之间的相似度的表达式为：，式中，为dr图像与投影图之间的相似度大小，为dr图像512维向量中的第维的值，为投影图图像512维向量中的第维的值。3.根据权利要求1所述的一种基于dr图像与投影图融合的目标检测识别方法，其特征在于，所述分别对所述某一dr图像和某一角度的投影图进行二维的目标检测包括：基于yolo目标检测算法分别对所述某一dr图像和所述投影图进行二维的目标检测。4.根据权利要求1所述的一种基于dr图像与投影图融合的目标检测识别方法，其特征在于，所述判断匹配后的dr图像是否为有效匹配包括：假设匹配后的dr图像为，为dr图像在坐标处的像素值；对dr图像进行自适应阈值二值化算法处理得到的图像为，再对图像进行处理，其中对图像进行处理的表达式为： ，式中，为图像在坐标处的像素值，、为选取的需要处理的图像区域范围；假设对图像处理后的图像为图像，统计图像的非零值像素点的个数,假设非零值的个数为，如果个数小于个数阈值，则对图像进行轮廓提取并计算轮廓距离图像中心点的距离，首先计算轮廓中心点坐标，对图像计算轮廓中心点坐标的计算公式如下：
，，式中，和等于0或者1，和为图像坐标下的坐标值，为轮廓中心点坐标，为中心点的横坐标，为中心点的纵坐标，若=0，=1，则表示在y轴方向，所有像素点的坐标y与其对应的像素值的乘和，若=1，=0，则表示在x轴方向，所有像素点的坐标x与其对应的像素值的乘和，若=0，则表示x = 1，若=1，则表示图像x轴的坐标值，为在x轴方向，所有像素点的坐标x与其对应的像素值的乘和，为在y轴方向，所有像素点的坐标y与其对应的像素值的乘和，为图像所有像素值的和；根据轮廓中心点坐标计算轮廓中心点距离图像中心点的欧式距离,假设图像尺寸的高为，宽为，则轮廓中心点距离图像中心点的欧式距离计算公式为：，假设距离阈值设为，则根据个数阈值和距离阈值综合判断匹配后的dr图像是否为有效匹配，综合判断准则为：，式中，等于1则表示属于有效匹配，等于0表示非有效匹配。5.根据权利要求1所述的一种基于dr图像与投影图融合的目标检测识别方法，其特征在于，在判断匹配后的dr图像是否为有效匹配之后，所述方法还包括：若匹配后的dr图像不为有效匹配，则分别提取另一角度的投影图中的第一关键点和所述某一dr图像中的第二关键点，并将所述第一关键点和所述第二关键键点进行匹配，直至匹配后的dr图像为有效匹配。6.根据权利要求1所述的一种基于dr图像与投影图融合的目标检测识别方法，其特征在于，所述并基于预设的融合策略将所述某一dr图像的第一检测结果与某一角度的投影图的第二检测结果进行融合，得到最终的融合结果包括：假设投影图检测出的结果框为，dr图像检测出的结果框为，则以为基准，对中的每一个结果框与中的所有结果框进行iou匹配，其中，进行iou匹配的表达式为：，
，式中，为投影图中第个目标框，为dr图像中第个目标框，为投影图中第个目标框与dr图像中第个目标框匹配的最大的交并比的值，为投影图检测出的所有框的个数，为与进行匹配计算的交并比的值；当投影图中第个目标框的所对应的dr图像中第个目标框即为与投影图中第个目标框匹配的dr图像的目标框；判断投影图中第个目标框与dr图像中第个目标框的匹配是否有效，其中，判别规则为：；式中，等于1则说明目标框成功匹配，否则则说明匹配失败，为匹配阈值参数，为投影图中第个目标框与dr图像中第个目标框匹配的最大的交并比的值；若投影图中第个目标框与dr图像中第个目标框的匹配有效，则判断dr图像中的目标框是否多于投影图的目标框；若dr图像中的目标框不多于投影图的目标框，则将dr图像中的目标框所对应的类别信息与投影图设置为一致，使融合dr图像与投影图之间的类别信息，即得到最终的融合结果。7.根据权利要求6所述的一种基于dr图像与投影图融合的目标检测识别方法，其特征在于，在判断dr图像中的目标框是否多于投影图的目标框之后，所述方法还包括：若dr图像中的目标框多于投影图的目标框，则提取匹配后的dr图像中的第三关键点，并将所述第三关键点和所述第一关键点进行匹配；根据匹配结果计算第二映射矩阵，并基于所述第二映射矩阵得到二次匹配后的dr图像；判断二次匹配后的dr图像是否为有效匹配；若二次匹配后的dr图像为有效匹配，则对二次匹配后的dr图像进行二维的目标检测，得到二次匹配后的dr图像的目标检测结果；将所述目标检测结果直接等效于投影图的目标检测结果，并将二次匹配后的dr图像中的目标框所对应的类别信息与投影图设置为一致，使融合二次匹配后的dr图像与投影图之间的类别信息，即得到最终的融合结果。8.一种基于dr图像与投影图融合的目标检测识别系统，其特征在于，包括：获取模块，配置为获取某一dr图像以及与所述某一dr图像相关联的不同角度的投影图，其中，所述投影图的方向与所述某一dr图像的方向一致；
匹配模块，配置为分别提取某一角度的投影图中的第一关键点和所述某一dr图像中的第二关键点，并将所述第一关键点和所述第二关键点进行匹配；计算模块，配置为根据匹配结果计算第一映射矩阵，并基于所述第一映射矩阵得到匹配后的dr图像；判断模块，配置为判断匹配后的dr图像是否为有效匹配；融合模块，配置为若匹配后的dr图像为有效匹配，则分别对所述某一dr图像和某一角度的投影图进行二维的目标检测，并基于预设的融合策略将所述某一dr图像的第一检测结果与某一角度的投影图的第二检测结果进行融合，得到最终的融合结果。9.一种电子设备，其特征在于，包括：至少一个处理器，以及与所述至少一个处理器通信连接的存储器，其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1至7任一项所述的方法。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述程序被处理器执行时实现权利要求1至7任一项所述的方法。

技术总结
本发明公开一种基于DR图像与投影图融合的目标检测识别方法及系统，方法包括：获取某一DR图像以及与某一DR图像相关联的不同角度的投影图；分别提取某一角度的投影图中的第一关键点和某一DR图像中的第二关键点，并将第一关键点和第二关键点进行匹配；根据匹配结果计算第一映射矩阵，并基于第一映射矩阵得到匹配后的DR图像；判断匹配后的DR图像是否为有效匹配；若匹配后的DR图像为有效匹配，则分别对某一DR图像和某一角度的投影图进行二维的目标检测，并基于预设的融合策略将某一DR图像的第一检测结果与某一角度的投影图的第二检测结果进行融合，得到最终的融合结果。实现了DR图像与投影图在不同图像域下的目标信息融合。像与投影图在不同图像域下的目标信息融合。像与投影图在不同图像域下的目标信息融合。


技术研发人员：蔡莹杰 张海平 邹祥祥 罗亮 李超 莫奎 史坚文
受保护的技术使用者：中广核贝谷科技有限公司
技术研发日：2023.06.12
技术公布日：2023/7/20