一种物体检测方法及相关设备与流程

1.本发明涉及图像检测技术领域，尤其涉及一种物体检测方法及相关设备。


背景技术：

2.随着人工智能和计算机视觉技术的发展，目标检测、目标追踪等技术被广泛应用于工业检测、运维场景中，通过对采集的图像进行分析处理，自动定位出图像中的目标对象，对简化人力检测工作、降低人力成本和提高运维效率方面有着重大意义。目前，基于深度神经网络的方法是主流的目标检测方法，其操作可概括为：将采集的且经过预处理的图像输入训练好的深度神经网络模型，通过深度神经网络模型的推理得到输出结果，对输出结果进行后处理，得到图像中目标对象的类别和位置。
3.基于深度神经网络的目标检测技术需要相对清晰、完整的物体图像作为输入，以获得足够的特征图对物体进行分类和定位，但是在实际业务场景中，通常会出现物体或物体上的目标部件被完全遮挡、分辨率过小的情况，这就会导致检测的有效性和准确性的降低。


技术实现要素：

4.本技术实施例提供了一种物体检测方法及相关设备，有利于提升物体检测的有效性和准确性。
5.第一方面，本技术实施例提供一种物体检测方法，该方法包括：
6.获取待检测物体的预先配置信息和获取待检测物体的图像的检测结果，预先配置信息包括待检测物体中的p个配置关键点的位置信息，检测结果包括图像中的q个检测关键点的位置信息，p和q均大于或等于预设数量阈值；
7.基于p个配置关键点的位置信息和q个检测关键点的位置信息，得到m个关键点对，m个关键点对中的各个关键点对包括p个配置关键点中的一配置关键点和q个检测关键点中与该配置关键点相匹配的检测关键点，m大于或等于预设数量阈值；
8.基于预先配置信息确定各个关键点对的匹配得分；
9.基于各个关键点对的匹配得分，从m个关键点对中确定出n个关键点对，n个关键点对中任一关键点对的匹配得分大于或等于预设得分阈值，n大于或等于预设数量阈值；
10.基于n个关键点对的位置信息，得到待检测物体中的目标对象的位置信息。
11.本技术实施例中，预先配置信息可以是待检测物体中一些对象的布局(layout)信息，具体可以是这些对象的位置信息，比如电信设备中，面板四个角的位置信息，单螺钉、双螺钉中心点的位置信息，线缆插口中心点的位置信息，再比如车辆中，车牌四个角的位置信息，车牌中心点的位置信息，等等。其中，配置关键点是指预先配置的待检测物体中用于定位映射目标对象(比如：电信设备中的线缆插口)的关键位置，比如p个对象(例如：电信设备中的单螺钉和双螺钉)的中心点，检测关键点是指待检测物体的图像中检测出的q个对象(例如：电信设备的图像中检测出的单螺钉和双螺钉)的中心点，该p个对象和该q个对象的
类别通常是对应的。基于p个配置关键点的位置信息和q个检测关键点的位置信息，对q个检测关键点与p个配置关键点进行匹配，能够得到与配置关键点匹配度最高的检测关键点，由此得到的m个关键点对均是准确且稳定的关键点对，对于准确且稳定的m个关键点对，基于预先配置信息再计算各个关键点对的最终匹配得分，从中选出匹配得分大于或等于预设阈值的关键点对，这样就会得到匹配最优、最有利于进行定位映射的n个关键点对，基于匹配最优、最有利于进行定位映射的n个关键点对将待检测物体中的目标对象映射到对应的图像中，有利于准确且有效地检测出目标对象在图像中的位置，且适用于存在遮挡、分辨率较小的目标对象，从而有利于提升物体检测的有效性和准确性。
12.在一种可能的实现方式中，检测结果还包括q个检测关键点中每个检测关键点的检测得分，基于p个配置关键点的位置信息和q个检测关键点的位置信息，得到m个关键点对，包括：
13.基于p个配置关键点的位置信息和q个检测关键点的位置信息，得到每个检测关键点与p个配置关键点中的每个配置关键点之间的定位距离；
14.基于每个检测关键点与每个配置关键点之间的定位距离、每个检测关键点的检测得分，得到m个关键点对。
15.本技术实施例中，定位距离是指配置关键点相对于预设配置信息中的参考点的相对坐标与检测关键点相对于图像中的参考点的相对坐标之间的距离，对于检测出的每个检测关键点和预先配置的每个配置关键点，基于其位置信息，得到每个检测关键点与每个配置关键点之间的定位距离，同时结合检测关键点的检测得分，将每个检测关键点与每个配置关键点进行匹配，能够解决仅依赖于定位距离进行匹配所带来的误匹配问题，从而有利于匹配出准确且稳定的m个关键点对。
16.在一种可能的实现方式中，预先配置信息还包括待检测物体中的配置参考点的位置信息，检测结果还包括图像中的检测参考点的位置信息，当配置参考点和检测参考点对应于待检测物体中的同一位置时，基于p个配置关键点的位置信息和q个检测关键点的位置信息，得到每个检测关键点与p个配置关键点中的每个配置关键点之间的定位距离，包括：
17.基于配置参考点的位置信息和p个配置关键点的位置信息，获取p个配置关键点分别相对于配置参考点的p个第一相对坐标；
18.基于检测参考点的位置信息和q个检测关键点的位置信息，获取q个检测关键点分别相对于检测参考点的q个第二相对坐标；
19.计算p个第一相对坐标中每个第一相对坐标和q个第二相对坐标中每个第二相对坐标之间的欧氏距离，将欧氏距离确定为每个检测关键点与每个配置关键点之间的定位距离。
20.本技术实施例中，配置参考点是指预设配置信息中的参考点，比如可以是电信设备中面板的四个角中的任意一个，检测参考点是指待检测物体的图像中检测出的参考点，比如可以是电信设备的图像中面板的检测框四个角中的任意一个。由于第一相对坐标表示出了配置关键点相对于配置参考点的位置关系(或布局关系)，且第二相对坐标表示出了检测关键点相对于检测参考点的位置关系(或布局关系)，因此，当配置参考点和检测参考点对应于待检测物体中的同一位置时，比如都对应电信设备的面板的左下角，则计算第一相对坐标与第二相对坐标之间的欧氏距离，能够表示出配置关键点和检测关键点在布局位置
上的相似性，也就是说检测关键点与配置关键点之间的定位距离包含了检测关键点和配置关键点在布局位置上的相似性，将每个检测关键点与每个配置关键点之间的定位距离作为关键点对匹配的参考指标，有利于匹配出在布局位置上更相似的关键点对，一定程度上有利于提升匹配出的m个关键点对的准确性和稳定性。
21.在一种可能的实现方式中，预先配置信息还包括待检测物体中的配置参考点的位置信息，检测结果还包括图像中的检测参考点的位置信息，当配置参考点和检测参考点对应于待检测物体中的不同位置时，基于p个配置关键点的位置信息和q个检测关键点的位置信息，得到每个检测关键点与p个配置关键点中的每个配置关键点之间的定位距离，包括：
22.基于配置参考点的位置信息和检测参考点的位置信息，获取检测参考点相对于配置参考点的相对坐标；
23.基于配置参考点的位置信息和p个配置关键点的位置信息，获取p个配置关键点分别相对于配置参考点的p个第一相对坐标；
24.基于q个检测关键点的位置信息、检测参考点的位置信息和检测参考点相对于配置参考点的相对坐标，获取q个检测关键点分别相对于配置参考点的q个第三相对坐标；
25.计算p个第一相对坐标中每个第一相对坐标和q个第三相对坐标中每个第三相对坐标之间的欧氏距离，将欧氏距离确定为每个检测关键点与每个配置关键点之间的定位距离。
26.本技术实施例中，当配置参考点和检测参考点对应于待检测物体中的不同位置时，比如配置参考点对应电信设备的面板的左下角，检测参考点对应电信设备的面板检测框的右上角，则需要获取检测参考点相对于配置参考点的相对坐标(或者配置参考点相对于检测参考点的相对坐标)，基于检测关键点的位置信息、检测参考点的位置信息和检测参考点相对于配置参考点的相对坐标，计算得到q个检测关键点中每个检测关键点相对于配置参考点的第三相对坐标，然后再计算第一相对坐标和第三相对坐标之间的欧氏距离，以在获取每个检测关键点与每个配置关键点之间的定位距离时，将相对坐标的计算转换到相对于待检测设备中的同一位置的参考点上，这样统一相对坐标的计算标准，有利于避免将定位距离实际较近的检测关键点和配置关键点错判定为定位距离较远，而将定位距离实际较远的检测关键点和配置关键点错判定为定位距离较近，从而能够降低检测关键点和配置关键点之间的误匹配率。
27.在一种可能的实现方式中，基于每个检测关键点与每个配置关键点之间的定位距离、每个检测关键点的检测得分，得到m个关键点对，包括：
28.从所述每个配置关键点对应的q个定位距离中确定出最大定位距离a；
29.采用每个检测关键点的检测得分、每个检测关键点与每个配置关键点之间的定位距离和最大定位距离a，计算每个检测关键点与每个配置关键点之间的匹配度；
30.对于每个配置关键点，从q个检测关键点中确定出与该配置关键点匹配度最高的检测关键点，将该配置关键点与该配置关键点匹配度最高的检测关键点确定为关键点对，以得到m个关键点对。
31.本技术实施例中，在将检测关键点与配置关键点进行匹配时，不仅会考虑检测关键点与配置关键点之间的定位距离，还会纳入检测关键点的检测得分，采用该检测得分、定位距离和每个配置关键点对应的q个定位距离中的最大定位距离(即最大定位距离a)，计算
每个检测关键点与每个配置关键点之间的匹配度，将匹配度最高的检测关键点与该配置关键点作为关键点对，由于在匹配时考虑了检测关键点的检测得分，有利于减少误匹配的情况，从而有利于得到准确度高且稳定的m个关键点对。
32.在一种可能的实现方式中，预先配置信息还包括p个配置关键点中每个配置关键点的类别信息，检测结果还包括q个检测关键点中每个检测关键点的检测得分和每个检测关键点的类别信息，基于p个配置关键点的位置信息和q个检测关键点的位置信息，得到m个关键点对，包括：
33.基于每个配置关键点的类别信息和每个检测关键点的类别信息，将p个配置关键点和q个检测关键点中类别相同的配置关键点和检测关键点确定为关键点集，以得到至少一个同类关键点集；
34.对于至少一个同类关键点集中的任意一个同类关键点集h，基于任意一个同类关键点集h中的r个配置关键点的位置信息和s个检测关键点的位置信息，得到s个检测关键点中每个检测关键点a与r个配置关键点中每个配置关键点b之间的定位距离；r大于或等于1，且小于p；s大于或等于1，且小于q；
35.基于每个检测关键点a与每个配置关键点b之间的定位距离、每个检测关键点a的检测得分，得到k个关键点对，m个关键点对包括k个关键点对，k大于或等于0，且小于或等于r。
36.本技术实施例中，在对q个检测关键点与p个配置关键点进行匹配时，还可基于每个配置关键点和每个检测关键点的类别信息，对p个配置关键点和q个检测关键点进行类别划分，得到至少一个同类关键点集，比如电信设备的预先配置信息中的单螺钉和图像中的单螺钉对应的关键点属于同类关键点集，电信设备的预先配置信息中的双螺钉和图像中的双螺钉对应的关键点属于同类关键点集，等等。在得到至少一个同类关键点集的基础上，对于任意一个同类关键点集h，只需基于每个检测关键点a与每个配置关键点b之间的定位距离、每个检测关键点a的检测得分，对该任意一个同类关键点集h中的s个检测关键点与r个配置关键点进行匹配，得到k个关键点对，而不需要进行类别间的匹配，不仅能够解决仅依赖于定位距离进行匹配所带来的误匹配问题，匹配出准确且稳定的m个关键点对，还能相对减少计算量和匹配量。
37.在一种可能的实现方式中，预先配置信息还包括待检测物体中的配置参考点的位置信息，检测结果还包括图像中的检测参考点的位置信息，当配置参考点和检测参考点对应于待检测物体中的同一位置时，基于任意一个同类关键点集h中的r个配置关键点的位置信息和s个检测关键点的位置信息，得到s个检测关键点中每个检测关键点a与r个配置关键点中每个配置关键点b之间的定位距离，包括：
38.基于配置参考点的位置信息和r个配置关键点的位置信息，获取r个配置关键点分别相对于配置参考点的r个第四相对坐标；
39.基于检测参考点的位置信息和s个检测关键点的位置信息，获取s个检测关键点分别相对于检测参考点的s个第五相对坐标；
40.计算r个第四相对坐标中每个第四相对坐标和s个第五相对坐标中每个第五相对坐标之间的欧氏距离，将欧氏距离确定为每个检测关键点a与每个配置关键点b之间的定位距离。
41.本技术实施例中，应理解，对于任意一个同类关键点集h，由于只需进行类别内的匹配，那么当配置参考点和检测参考点对应于待检测物体中的同一位置时，比如均对应电信设备的面板的左下角，计算定位距离只需计算r个配置关键点分别相对于配置参考点的r个第四相对坐标，以及只需计算s个检测关键点分别相对于检测参考点的s个第五相对坐标，再计算每个第四相对坐标与每个第五相对坐标之间的欧氏距离，即得到每个检测关键点a与每个配置关键点b之间的定位距离，将每个检测关键点a与每个配置关键点b之间的定位距离作为类别内关键点对匹配的参考指标，有利于匹配出相同类别中在布局位置上更相似的关键点对，且只在类别内计算定位距离，大大减少了计算量。
42.在一种可能的实现方式中，预先配置信息还包括待检测物体中的配置参考点的位置信息，检测结果还包括图像中的检测参考点的位置信息，当配置参考点和检测参考点对应于待检测物体中的不同位置时，基于任意一个同类关键点集h中的r个配置关键点的位置信息和s个检测关键点的位置信息，得到s个检测关键点中每个检测关键点a与r个配置关键点中每个配置关键点b之间的定位距离，包括：
43.基于配置参考点的位置信息和检测参考点的位置信息，获取检测参考点相对于配置参考点的相对坐标；
44.基于配置参考点的位置信息和r个配置关键点的位置信息，获取r个配置关键点分别相对于配置参考点的r个第四相对坐标；
45.基于s个检测关键点的位置信息、检测参考点的位置信息和检测参考点相对于配置参考点的相对坐标，获取s个检测关键点分别相对于配置参考点的s个第六相对坐标；
46.计算r个第四相对坐标中每个第四相对坐标和s个第六相对坐标中每个第六相对坐标之间的欧氏距离，将欧氏距离确定为每个检测关键点a与每个配置关键点b之间的定位距离。
47.本技术实施例中，当配置参考点和检测参考点对应于待检测物体中的不同位置时，比如配置参考点对应电信设备的面板的左下角，检测参考点对应电信设备的面板检测框的右上角，对于任意一个同类关键点集h，在进行类内匹配时，需要获取检测参考点相对于配置参考点的相对坐标(或者配置参考点相对于检测参考点的相对坐标)，基于检测关键点的位置信息、检测参考点的位置信息和检测参考点相对于配置参考点的相对坐标，计算得到s个检测关键点中每个检测关键点相对于配置参考点的第六相对坐标，然后再计算第四相对坐标和第六坐标之间的欧氏距离，以在任意一个同类关键点集h内获取每个检测关键点与每个配置关键点之间的定位距离时，将相对坐标的计算转换到相对于待检测设备中的同一位置的参考点上，这样统一相对坐标的计算标准，有利于避免将定位距离实际较近的检测关键点和配置关键点错判定为定位距离较远，而将定位距离实际较远的检测关键点和配置关键点错判定为定位距离较近，从而能够降低检测关键点和配置关键点之间的误匹配率。
48.在一种可能的实现方式中，基于每个检测关键点a与每个配置关键点b之间的定位距离、每个检测关键点a的检测得分，得到k个关键点对，包括：
49.从每个配置关键点b对应的s个定位距离中确定出最大定位距离b；
50.采用每个检测关键点a的检测得分、每个检测关键点a与每个配置关键点b之间的定位距离和最大定位距离b，计算每个检测关键点a与每个配置关键点b之间的匹配度；
51.对于每个配置关键点b，从s个检测关键点中确定出与该配置关键点b匹配度最高的检测关键点a，将该配置关键点b与该配置关键点b匹配度最高的检测关键点a确定为关键点对，以得到k个关键点对。
52.本技术实施例中，在将检测关键点a与配置关键点b进行匹配时，不仅会考虑检测关键点a与配置关键点b之间的定位距离，还会纳入检测关键点a的检测得分，采用该检测得分、定位距离和每个配置关键点b对应的s个定位距离中的最大定位距离(即最大定位距离b)，计算每个检测关键点a与每个配置关键点b之间的匹配度，将匹配度最高的检测关键点a与该配置关键点b作为关键点对，由于在匹配时考虑了检测关键点a的检测得分，有利于减少相同类别内误匹配的情况，从而有利于得到准确度高且稳定的k个关键点对。
53.在一种可能的实现方式中，预先配置信息还包括目标对象在待检测物体中的目标点的位置信息，基于预先配置信息确定各个关键点对的匹配得分，包括：
54.基于目标点的位置信息和各个关键点对中的配置关键点的位置信息，分别计算各个关键点对中的配置关键点与目标点之间的目标距离，以得到m个目标距离；
55.从m个目标距离中确定出最大目标距离；
56.采用各个关键点对中的配置关键点与检测关键点之间的匹配度、各个关键点对中的配置关键点与目标点之间的目标距离和最大目标距离，计算各个关键点对的匹配得分。
57.本技术实施例中，目标点是指待检测物体中目标对象的中心点，对于匹配出的m个关键点对，分别计算每个关键点对中的配置关键点与目标点之间的目标距离，再采用每个关键点对中配置关键点与检测关键点之间的匹配度、配置关键点与目标点之间的目标距离和最大目标距离计算出每个关键点对的匹配得分，这样在计算每个关键点对的匹配得分时，在每个关键点对原有匹配度(考虑了检测得分和定位距离)的基础上，还考虑了能够表示出配置关键点与目标点在待检测物体中的位置关系(或布局关系)的目标距离，基于检测得分、定位距离和目标距离选出的n个关键点对是匹配最优的关键点对，采用匹配最优的n个关键点对对目标点进行映射，有利于降低目标点的映射偏差，从而使目标对象在图像中的位置信息更为准确。
58.在一种可能的实现方式中，预先配置信息还包括目标对象在待检测物体中的目标点的位置信息，基于n个关键点对的位置信息，得到待检测物体中的目标对象的位置信息，包括：
59.基于n个关键点对的位置信息，计算得到从n个关键点对中的n个配置关键点到n个关键点对中的n个检测关键点的映射矩阵；
60.通过映射矩阵将目标点映射到图像中，得到目标对象的位置信息。
61.本技术实施例中，应理解，由于该n个关键点对是匹配最优的关键点对，基于匹配最优的关键点对的位置信息，计算出的从n个关键点对中的n个配置关键点到n个关键点对中的n个检测关键点的映射矩阵，在稳定性和鲁棒性上表现更优，采用该映射矩阵将目标点映射到图像中，有利于提升物体检测时获取目标对象在图像中的位置的准确性，另外，对于存在遮挡、分辨率较小的目标对象，也能有效检测出其在图像中的位置。
62.第二方面，本技术实施例提供了一种物体检测装置，该装置包括获取单元和处理单元，其中：
63.获取单元，用于获取待检测物体的预先配置信息和获取待检测物体的图像的检测
结果，预先配置信息包括待检测物体中的p个配置关键点的位置信息，检测结果包括图像中的q个检测关键点的位置信息，p和q均大于或等于预设数量阈值；
64.处理单元，用于基于p个配置关键点的位置信息和q个检测关键点的位置信息，得到m个关键点对，m个关键点对中的各个关键点对包括p个配置关键点中的一配置关键点和q个检测关键点中与该配置关键点相匹配的检测关键点，m大于或等于预设数量阈值；
65.处理单元，还用于基于预先配置信息确定各个关键点对的匹配得分；
66.处理单元，还用于基于各个关键点对的匹配得分，从m个关键点对中确定出n个关键点对，n个关键点对中任一关键点对的匹配得分大于或等于预设得分阈值，n大于或等于预设数量阈值；
67.处理单元，还用于基于n个关键点对的位置信息，得到待检测物体中的目标对象的位置信息。
68.需要说明的是，第二方面是上述第一方面对应的装置，用于实现第一方面提供的各种方法步骤，具体的实现细节以及有益效果请参见上述第一方面。
69.第三方面，本技术实施例提供了一种电子设备，包括处理器、存储器，以及一个或多个程序，处理器与存储器相连，一个或多个程序被存储在存储器中，并且被配置为由处理器执行时实现上述第一方面中的方法。
70.第四方面，本技术实施例提供了一种计算机可读存储介质，计算机可读存储介质存储有用于设备执行的计算机程序，计算机程序被执行时实现上述第一方面中的方法。
71.第五方面，本技术实施例提供了一种计算机程序产品，当计算机程序产品被电子设备运行，使得电子设备执行上述第一方面中的方法。
附图说明
72.为了更清楚地说明本发明实施例或背景技术中的技术方案，下面将对本发明实施例或背景技术中所需要使用的附图进行说明。
73.图1为一种相关技术提出的基于深度神经网络的物体检测技术的核心模块示意图；
74.图2为本技术实施例提供的一种物体检测方法的应用场景示意图；
75.图3为本技术实施例提供的一种物体检测方法的流程示意图；
76.图4a为本技术实施例提供的一种电信设备中各对象的布局示意图；
77.图4b为本技术实施例提供的一种电信设备中各对象的预配置信息的示意图；
78.图4c为本技术实施例提供的一种电信设备中各对象的检测结果的示意图；
79.图5为本技术实施例提供的一种检测关键点与配置关键点的匹配示意图；
80.图6为本技术实施例提供的一种最优关键点对的示意图；
81.图7为本技术实施例提供的一种将目标点映射到待检测物体的图像中的示意图；
82.图8为本技术实施例提供的一种非正面拍摄待检测物体图像的示例；
83.图9为本技术实施例提供的另一种物体检测方法的流程示意图；
84.图10为本技术实施例提供的一种物体检测装置的结构示意图；
85.图11为本技术实施例提供的一种电子设备的结构示意图。
具体实施方式
86.本技术的说明书和权利要求书及所述附图中的术语“第一”、“第二”、“第三”和“第四”等是用于区别不同对象，而不是用于描述特定顺序。此外，术语“包括”和“具有”以及它们任何变形，意图在于覆盖不排他的包含。例如包含了一系列步骤或单元的过程、方法、系统、产品或设备没有限定于已列出的步骤或单元，而是可选地还包括没有列出的步骤或单元，或可选地还包括对于这些过程、方法、产品或设备固有的其它步骤或单元。
87.在本文中提及“实施例”意味着，结合实施例描述的特定特征、结构或特性可以包含在本技术的至少一个实施例中。在说明书中的各个位置出现该短语并不一定均是指相同的实施例，也不是与其它实施例互斥的独立的或备选的实施例。本领域技术人员显式地和隐式地理解的是，本文所描述的实施例可以与其它实施例相结合。
88.在本说明书中使用的术语“部件”、“模块”、“系统”等用于表示计算机相关的实体、硬件、固件、硬件和软件的组合、软件、或执行中的软件。例如，部件可以是但不限于，在处理器上运行的进程、处理器、对象、可执行文件、执行线程、程序和/或计算机。通过图示，在终端设备上运行的应用和终端设备都可以是部件。一个或多个部件可驻留在进程和/或执行线程中，部件可位于一个计算机上和/或分布在2个或更多个计算机之间。此外，这些部件可从在上面存储有各种数据结构的各种计算机可读介质执行。部件可例如根据具有一个或多个数据分组(例如来自与本地系统、分布式系统和/或网络间的另一部件交互的二个部件的数据，例如通过信号与其它系统交互的互联网)的信号通过本地和/或远程进程来通信。
89.首先，对本技术中的相关用语进行解释说明，以便于本领域技术人员理解。
90.(1)预先配置信息：待检测物体中一些对象的布局信息，具体可以是待检测物体中关键点、参考点、目标点的坐标信息，其中，关键点、参考点、目标点通常是指待检测物体中的对象的中心点。
91.(2)关键点(keypoints)：预先配置信息中和待检测物体的图像中用于定位映射目标对象的关键位置点。
92.(3)关键点对(key points pair)：预先配置信息中和待检测物体的图像中相匹配的一对关键点。
93.(4)参考点(reference points)：预先配置信息中和待检测物体的图像中用于计算相对坐标的参考位置点。
94.(5)目标点(target points)：预先配置信息中待定位追踪的点，通常是指待检测物体中的目标对象的中心点。
95.(6)定位距离(location distance)：预先配置信息中的关键点相对于参考点的相对坐标，与待检测物体的图像中的关键点相对于参考点的相对坐标之间的距离。
96.(7)检测得分(detection score)：待检测物体的图像中关键点检测结果的得分。
97.(8)目标距离(target distance)：预先配置信息中的关键点与目标点之间的距离，也可以是该关键点相对于参考点的相对坐标与目标点相对于参考点的相对坐标之间的距离。
98.为了便于理解本技术实施例，进一步分析并提出本技术所具体要解决的技术问题，下面对本技术的相关技术方案进行简要介绍。
99.请参见图1，图1为一种相关技术提出的基于深度神经网络的物体检测技术的核心
模块示意图，如图1所示，主要包括：待检测图像获取模块、物体检测结果获取模块、训练样本获取模块、模型训练模块、损失获取模块、目标物体检测模型获取模块。其中，待检测图像获取模块，用于获取待检测图像；物体检测结果获取模块，用于将待检测图像输入到目标物体检测模型中进行物体检测，得到待检测图像的物体检测结果，其中，目标物体检测模型采用训练样本获取模块、模型训练模块、损失获取模块和目标物体检测模型获取模块得到；训练样本获取模块，用于获取训练样本；模型训练模块，用于将训练样本输入到物体检测模型中进行模型训练。其中，物体检测模型包括检测模块、分类模块和判别模块；损失获取模块，用于在模型训练过程中得到由检测模块产生的检测损失、由分类模块产生的分类损失和由判别模块产生的判别损失；目标物体检测模型获取模块，用于根据检测损失、分类损失和判别损失更新物体检测模型，得到目标物体检测模型。
100.可以看出，图1所示的基于深度神经网络的物体检测方案中，物体检测结果获取模块需要清晰、完整且物体中的目标对象无遮挡的图像作为输入，以通过深度神经网络模型获取到目标对象足够的特征，再对目标对象进行分类和定位，但是在目标对象存在遮挡或分辨率过小的情况下，比如电信设备中的线缆插口通常会被线缆遮挡，在这种场景下，图1所示的基于深度神经网络的物体检测方案难以有效检测出物体中的目标对象的位置。
101.基于相关技术中的缺陷和不足，本技术实施例提出一种物体检测方法，该物体检测方法可基于图2所示的应用环境实施，如图2所示，管理员在管理系统中配置待检测物体中的多个对象的类别信息label和布局信息，该布局信息通常是指位置信息position，其中，该多个对象包括待检测物体中的关键点、参考点和目标点。
102.其中，关键点、参考点和目标点的位置信息以平面直角坐标系x0y表示，x为横坐标，y为纵坐标，原点0可以是待检测物体中的任意点，比如电信设备中的面板的左上角点。
103.其中，由于计算映射矩阵的要求，关键点至少需要配置4个，其选择标准应满足：在待检测物体中清晰、完整，不会被遮挡，且机器易于从图像中检测出，比如电信设备中的单螺钉和双螺钉的中心点，当然，针对不同的待检测物体，关键点的选择会有所不同。关键点在预先配置信息中可以采用以下形式表示：
104.关键点：
105.label1:[(x1,y1),
…
]，
[0106]
label2:[(x2,y2),
…
]，
[0107]
其中，label1和label2表示关键点的类别，(x1,y1)
…
表示类别1中的关键点在待检测物体中的位置信息，(x2,y2),
…
表示类别2中的关键点在待检测物体中的位置信息。
[0108]
其中，由于参考点只适用于计算相对坐标，因此参考点仅需1个即可，比如可以是电信设备的面板的四个角中的任意一点，其选择标准同样应满足：在待检测物体中清晰、完整，不会被遮挡，且机器易于从图像中检测出，参考点在预先配置信息中可以采用以下形式表示：
[0109]
参考点：
[0110]
label3:(x3,y3)，其中，label3表示参考点的类别，(x3,y3)表示参考点在待检测物体中的位置信息。
[0111]
其中，目标点在预先配置信息中可以采用以下形式表示：
[0112]
目标点：
[0113]
label4:[(x4,y4),
…
]，
[0114]
其中，label4表示目标点的类别，(x4,y4),
…
表示目标点在待检测物体中的位置信息，目标点的数量可以是一个或多个。
[0115]
另外，管理员还需在管理系统中配置物体检测模型所在的路径及其对待检测物体的图像进行推理时，需要检测出的对象的类别信息，比如该类别信息可以是电信设备的图像中的单螺钉、双螺钉等。如图2中所示的管理系统配置页面，管理员具体可以在该页面进行关键点、参考点和目标点的类别信息和位置信息，以及物体检测模型的路径和需检测的对象的类别信息的配置。管理员在配置完相关信息后，将物体检测模型推送至用户设备，并将物体检测模型部署在服务设备中，其中，该服务设备可以是任何服务器、分布式系统或云端。用户设备在接收到物体检测模型后，可基于用户的操作将其部署在本地或者对旧版本的检测模型进行更新，在应用场景中，用户可采集待检测物体的图片或视频，对于该图片或视频，如图2中所示的用户设备操作界面，在用户设备或用户设备上运行的检测系统中存储有待检测物体的预配置信息的情况下，用户可选择直接在用户设备上进行物体检测，即本地检测，当然，用户也可选择将待检测物体的图片或视频上传至服务端设备，由服务端设备进行物体检测，即上传检测。
[0116]
以下结合附图对本技术实施例提供的物体检测方法及相关设备进行详细描述。
[0117]
请参见图3，图3为本技术实施例提供的一种物体检测方法的流程示意图，该方法可应用于图2所示的场景中，具体可由电子设备执行，如图3所示，该方法可以包括步骤301-305：
[0118]
301：获取待检测物体的预先配置信息和获取待检测物体的图像的检测结果，预先配置信息包括待检测物体中的p个配置关键点的位置信息，检测结果包括图像中的q个检测关键点的位置信息，p和q均大于或等于预设数量阈值。
[0119]
本技术实施例中，预先配置信息可以是待检测物体中一些对象的布局(layout)信息，具体可以是这些对象的位置信息，比如图4a所示的电信设备中，面板四个角的位置信息，单螺钉、双螺钉中心点的位置信息，线缆插口中心点的位置信息。对应于图4a所示的电信设备，以单螺钉、双螺钉的中心点为关键点，以面板四个角中的任意一个为参考点，以线缆插口的中心点为目标点，分别预先配置好关键点的位置信息、参考点的位置信息、目标点的位置信息，得到预先配置信息，将预先配置信息中的关键点称为配置关键点，示例性的，配置关键点可以为p个，其数量因待检测物体的不同而不同，将预先配置信息中的参考点称为配置参考点，示例性的，配置参考点仅需一个即可，比如面板边框的左下角，目标点因待检测物体中目标对象的不同而不同，比如图4a中的30个线缆插口。对应于图4a所示的电信设备，其预先配置信息的分布可如图4b所示，图4b中实心方框中的任意一个可作为配置参考点，实心圆点表示配置关键点，空心方框表示目标对象。
[0120]
电子设备在接收到待检测物体的图像的情况下，获取并解析待检测物体的预先配置信息，并通过物体检测模型对待检测物体的图像进行检测，以得到检测结果，示例性的，由于预先配置了物体检测模型的检测类别，则检测结果可以包括图像中q个检测关键点的位置信息、每个检测关键点的检测得分和一个检测参考点的位置信息和该检测参考点的检测得分，对于电信设备而言，检测结果还可包括面板的位置信息和检测得分，其中，如图4c所示，q个检测关键点和面板的位置信息在图像中以检测框的形式呈现，每个检测框包括该
检测框的最小横坐标left、最大横坐标right、底部纵坐标bottom、顶部纵坐标top、检测框所包含的对象的类别信息和该对象的检测得分detection score，对于类别信息为关键点的检测框，通过最小横坐标left、最大横坐标right、底部纵坐标bottom和顶部纵坐标top，计算得到其中心点的坐标，从而得到检测关键点的位置信息。对于面板的检测框，将其四个角中任意一个角的坐标作为检测参考点的位置信息。
[0121]
示例性的，由于后续映射矩阵的计算需要用到至少4个配置关键点和至少4个检测关键点，则预设数量阈值可以为4，即p和q均需大于或等于4。
[0122]
302：基于p个配置关键点的位置信息和q个检测关键点的位置信息，得到m个关键点对，m个关键点对中的各个关键点对包括p个配置关键点中的一配置关键点和q个检测关键点中与该配置关键点相匹配的检测关键点，m大于或等于预设数量阈值。
[0123]
本技术实施例中，电子设备基于p个配置关键点的位置信息和q个检测关键点的位置信息，得到每个检测关键点与p个配置关键点中的每个配置关键点之间的定位距离，然后基于每个检测关键点与每个配置关键点之间的定位距离、每个检测关键点的检测得分，得到m个关键点对。该实施方式中，对于检测出的每个检测关键点和预先配置的每个配置关键点，基于其位置信息，得到每个检测关键点与每个配置关键点之间的定位距离，同时结合检测关键点的检测得分，将每个检测关键点与每个配置关键点进行匹配，能够解决仅依赖于定位距离进行匹配所带来的误匹配问题，从而有利于匹配出准确且稳定的m个关键点对。同理，基于计算映射矩阵的需要，m也需大于或等于4。
[0124]
示例性的，当配置参考点和检测参考点对应于待检测物体中的同一位置时，比如都对应电信设备的面板的左下角(检测参考点为面板的检测框的左下角)，基于p个配置关键点的位置信息和q个检测关键点的位置信息，得到每个检测关键点与p个配置关键点中的每个配置关键点之间的定位距离，包括：
[0125]
基于配置参考点的位置信息和p个配置关键点的位置信息，获取p个配置关键点分别相对于配置参考点的p个第一相对坐标；
[0126]
基于检测参考点的位置信息和q个检测关键点的位置信息，获取q个检测关键点分别相对于检测参考点的q个第二相对坐标；
[0127]
计算p个第一相对坐标中每个第一相对坐标和q个第二相对坐标中每个第二相对坐标之间的欧氏距离，将欧氏距离确定为每个检测关键点与每个配置关键点之间的定位距离。
[0128]
本技术实施例中，将每个配置关键点相对于配置参考点的相对坐标称为第一相对坐标，则p个配置关键点就会存在p个第一相对坐标，将每个检测关键点相对于检测参考点的相对坐标称为第二相对坐标，则q个检测关键点就会存在q个第二相对坐标。通过计算每个第一相对坐标与每个第二相对坐标之间的欧氏距离，即得到每个配置关键点与每个检测关键点之间的定位距离。比如配置关键点p相对于配置参考点的第一相对坐标为(xp，yp)，检测关键点q相对于检测参考点的第二相对坐标为(xq，yq)，则(xp，yp)与(xq，yq)之间的欧氏距离即表示配置关键点p与检测关键点q之间的定位距离。该实施方式中，由于第一相对坐标表示出了配置关键点相对于配置参考点的位置关系，且第二相对坐标表示出了检测关键点相对于检测参考点的位置关系，因此，当配置参考点和检测参考点对应于待检测物体中的同一位置时，则计算第一相对坐标与第二相对坐标之间的欧氏距离，能够表示出配置
关键点和检测关键点在布局位置上的相似性，也就是说检测关键点与配置关键点之间的定位距离包含了检测关键点和配置关键点在布局位置上的相似性，将每个检测关键点与每个配置关键点之间的定位距离作为关键点对匹配的参考指标，有利于匹配出在布局位置上更相似的关键点对，一定程度上有利于提升匹配出的m个关键点对的准确性和稳定性。
[0129]
示例性的，当配置参考点和检测参考点对应于待检测物体中的不同位置时，比如配置参考点对应电信设备的面板的左下角，检测参考点对应电信设备的面板检测框的右上角，基于p个配置关键点的位置信息和q个检测关键点的位置信息，得到每个检测关键点与p个配置关键点中的每个配置关键点之间的定位距离，包括：
[0130]
基于配置参考点的位置信息和检测参考点的位置信息，获取检测参考点相对于配置参考点的相对坐标；
[0131]
基于配置参考点的位置信息和p个配置关键点的位置信息，获取p个配置关键点分别相对于配置参考点的p个第一相对坐标；
[0132]
基于q个检测关键点的位置信息、检测参考点的位置信息和检测参考点相对于配置参考点的相对坐标，获取q个检测关键点分别相对于配置参考点的q个第三相对坐标；
[0133]
计算p个第一相对坐标中每个第一相对坐标和q个第三相对坐标中每个第三相对坐标之间的欧氏距离，将欧氏距离确定为每个检测关键点与每个配置关键点之间的定位距离。
[0134]
本技术实施例中，当配置参考点和检测参考点对应于待检测物体中的不同位置时，直接将第一相对坐标与第二相对坐标之间的欧氏距离作为检测关键点与配置关键点之间的定位距离，可能会导致定位距离实际较近的检测关键点和配置关键点被错判定为定位距离较远，而定位距离实际较远的检测关键点和配置关键点被错判定为定位距离较近，这样就会带来误匹配的问题。因此，需要获取检测参考点相对于配置参考点的相对坐标(或者配置参考点相对于检测参考点的相对坐标)，基于检测关键点的位置信息、检测参考点的位置信息和检测参考点相对于配置参考点的相对坐标，计算得到每个检测关键点相对于配置参考点的相对坐标，即第三相对坐标，然后再计算第一相对坐标和第三相对坐标之间的欧氏距离，得到每个检测关键点与每个配置关键点之间的定位距离。简而言之即是，在获取每个检测关键点与每个配置关键点之间的定位距离时，需要将相对坐标的计算转换到相对于待检测设备中的同一位置的参考点上，这样统一相对坐标的计算标准，有利于避免将定位距离实际较近的检测关键点和配置关键点错判定为定位距离较远，而将定位距离实际较远的检测关键点和配置关键点错判定为定位距离较近，从而能够降低检测关键点和配置关键点之间的误匹配率。
[0135]
示例性的，基于每个检测关键点与每个配置关键点之间的定位距离、每个检测关键点的检测得分，得到m个关键点对，包括：
[0136]
从所述每个配置关键点对应的q个定位距离中确定出最大定位距离a；
[0137]
采用每个检测关键点的检测得分、每个检测关键点与每个配置关键点之间的定位距离和最大定位距离a，计算每个检测关键点与每个配置关键点之间的匹配度；
[0138]
对于每个配置关键点，从q个检测关键点中确定出与该配置关键点匹配度最高的检测关键点，将该配置关键点与该配置关键点匹配度最高的检测关键点确定为关键点对，以得到m个关键点对。
[0139]
本技术实施例中，由于计算了每个配置关键点与每个检测关键点之间的定位距离，则每个配置关键点就会存在q个定位距离，现从q个定位距离中确定出最大定位距离a，以每个检测关键点的检测得分、每个检测关键点与每个配置关键点之间的定位距离和该最大定位距离a为参数，采用以下公式计算得到每个检测关键点与每个配置关键点之间的匹配度：
[0140][0141]
其中，detection_score表示每个检测关键点的检测得分，location_distance表示每个配置关键点与每个检测关键点之间的定位距离，max location_distance表示最大定位距离a，α表示检测得分的权重，β表示定位距离的权重。
[0142]
如图5所示，对于预配置信息中的每个配置关键点，从图像中的检测关键点中选取与之匹配度最高的检测关键点作为相匹配的关键点对，由此得到m个关键点对。该实施方式中，在将检测关键点与配置关键点进行匹配时，不仅会考虑检测关键点与配置关键点之间的定位距离，还会纳入检测关键点的检测得分，采用该检测得分、定位距离和每个配置关键点对应的q个定位距离中的最大定位距离，计算每个检测关键点与每个配置关键点之间的匹配度，将匹配度最高的检测关键点与该配置关键点作为关键点对，由于在匹配时考虑了检测关键点的检测得分，有利于减少误匹配的情况，从而有利于得到准确度高且稳定的m个关键点对。
[0143]
303：基于预先配置信息确定各个关键点对的匹配得分。
[0144]
304：基于各个关键点对的匹配得分，从m个关键点对中确定出n个关键点对，n个关键点对中任一关键点对的匹配得分大于或等于预设得分阈值，n大于或等于预设数量阈值。
[0145]
本技术实施例中，由于预先配置信息还包括目标对象在待检测物体中的目标点的位置信息，比如电信设备中线缆插口的中心点的位置信息，则基于预先配置信息确定各个关键点对的匹配得分，包括：
[0146]
基于目标点的位置信息和各个关键点对中的配置关键点的位置信息，分别计算各个关键点对中的配置关键点与目标点之间的目标距离，以得到m个目标距离；
[0147]
从m个目标距离中确定出最大目标距离；
[0148]
采用各个关键点对中的配置关键点与检测关键点之间的匹配度、各个关键点对中的配置关键点与目标点之间的目标距离和最大目标距离，计算各个关键点对的匹配得分。
[0149]
具体的，对于m个关键点对中的各个关键点对，分别计算各个关键点对中的配置关键点与目标点之间的目标距离，则会产生m个目标距离，示例性的，该目标距离可以是各个关键点对中的配置关键点的坐标与目标点的坐标之间的距离，也可以是各个关键点对中的配置关键点相对于配置参考点的相对坐标与目标点相对于配置参考点的相对坐标之间的距离。以各个关键点对中的配置关键点与检测关键点之间的匹配度、各个关键点对中的配置关键点与目标点之间的目标距离和m个目标距离中的最大目标距离为参数，采用以下公式计算得到m个关键点对中各个关键点对的匹配得分：
[0150][0151]
其中，target_distance表示各个关键点对中的配置关键点与目标点之间的目标距离，max target_distance表示m个目标距离中的最大目标距离，γ表示目标距离的权重。
[0152]
基于m个关键点对中各个关键点对的匹配得分，从m个关键点对中选出匹配得分大于或等于预设得分阈值的n个关键点对，作为最优关键点对，如图6所示，分别选取两个单螺钉和两个双螺钉组成的关键点对作为最优关键点对。同理，基于计算映射矩阵的需要，n也需大于或等于4。该实施方式中，在计算每个关键点对的匹配得分时，在每个关键点对原有匹配度(考虑了检测得分和定位距离)的基础上，还考虑了能够表示出配置关键点与目标点在待检测物体中的位置关系的目标距离，基于检测得分、定位距离和目标距离选出的n个关键点对是匹配最优的关键点对，采用匹配最优的n个关键点对对目标点进行映射，有利于降低目标点的映射偏差，从而使目标对象在图像中的位置信息更为准确。
[0153]
305：基于n个关键点对的位置信息，得到待检测物体中的目标对象的位置信息。
[0154]
本技术实施例中，基于n个关键点对中的配置关键点的位置信息与检测关键点的位置信息，能够计算得到从n个关键点对中的n个配置关键点到n个关键点对中的n个检测关键点的映射矩阵，如图7所示，通过该映射矩阵可以将预配置信息中的目标点映射到图像中，得到目标对象(如图7中的线缆插口)在图像中的位置信息。示例性的，该映射矩阵可以是透视变换矩阵。
[0155]
可以看出，本技术实施例基于p个配置关键点的位置信息和q个检测关键点的位置信息，对q个检测关键点与p个配置关键点进行匹配，能够得到与配置关键点匹配度最高的检测关键点，由此得到的m个关键点对均是准确且稳定的关键点对，对于准确且稳定的m个关键点对，基于预先配置信息再计算各个关键点对的最终匹配得分，从中选出匹配得分大于或等于预设阈值的关键点对，这样就会得到匹配最优、最有利于进行定位映射的n个关键点对，基于匹配最优、最有利于进行定位映射的n个关键点对将待检测物体中的目标对象映射到对应的图像中，有利于准确且有效地检测出目标对象在图像中的位置，且适用于存在遮挡、分辨率较小的目标对象，从而有利于提升物体检测的有效性和准确性。
[0156]
本技术实施例所提供的物体检测方法，可应用于ai(artificial intelligence，人工智能)智能运维场景中，能够准确检测出物体中难检的部件，支撑部件的状态监测。与深度神经网络的物体检测方案所需要的计算量相比，本技术实施例基于定位映射的方案所引入的计算量可忽略不计，检测的实时性相对较高。在软硬件架构层面，本技术实施例所提供的物体检测方法无需通过软件或硬件升级，只需对不同待检测物体中的对象进行配置即可实现快速调整，适用范围广，且泛化能力高。
[0157]
在本技术实施例的一个应用场景中，待检测物体的图像可以是视频，对于该视频中的每一帧可执行步骤301-305所示的物体检测方法，定位出目标对象在每一帧中的位置，以实现对目标对象的追踪。进一步的，为保证追踪的稳定性，可对每一帧中的检测结果进行平滑，具体包括检测关键点、检测参考点等，以使目标对象在每一帧中的位置更为平湖和稳定。进一步的，基于每一帧中选出的m个关键点对，可对最优关键点对中的配置关键点和检测关键点进行奖励，对匹配得分低于某个值的关键点对中的配置关键点和检测关键点进行惩罚，以在该每一帧的下一帧中同样能够匹配出相同的最优关键点对，使关键点的选择更稳定。在本技术实施例的另一个应用场景中，当待检测物体的图像存在旋转时，比如图8所示的非正面拍摄图像，电子设备可对存在旋转的图像进行反旋转，以得到正面视角的图像，然后对正面视角的图像执行步骤301-305所示的物体检测方法，定位出目标对象在正面视角的图像中的位置，再通过一个旋转得到目标对象在原始图像中的位置，以实现对存在旋
转的待检测物体图像中难以检测的目标对象的定位映射。
[0158]
请参见图9，图9为本技术实施例提供的另一种物体检测方法的流程示意图，该方法同样可应用于图2所示的场景中，具体可由电子设备执行，如图9所示，该方法可以包括步骤901-907：
[0159]
901：获取待检测物体的预先配置信息和获取待检测物体的图像的检测结果，预先配置信息包括待检测物体中的p个配置关键点的位置信息和类别信息，检测结果包括图像中的q个检测关键点的位置信息、检测得分和类别信息。
[0160]
本技术实施例中，应理解，在配置待检测物体中的关键点、参考点和目标点时，还会配置这些点的类别信息，比如p个配置关键点的类别信息可以为单螺钉、双螺钉等，相应地，物体检测模型对待检测物体的图像进行检测得到的检测结果除了包括图像中的关键点、参考点的位置信息、检测得分之外，同样包括图像中的关键点、参考点的类别信息，比如q个检测关键点的类别信息可以为单螺钉、双螺钉等。当然，q个检测关键点的类别数可能比p个配置关键点的类别数多，也有可能比p个配置关键点的类别数少，但这并不对本技术实施例造成限定。
[0161]
902：基于每个配置关键点的类别信息和每个检测关键点的类别信息，将p个配置关键点和q个检测关键点中类别相同的配置关键点和检测关键点确定为关键点集，以得到至少一个同类关键点集。
[0162]
本技术实施例中，可将p个配置关键点和q个检测关键点中类别相同的配置关键点和检测关键点作为一个关键点集，以得到至少一个同类关键点集，该至少一个同类关键点集的数量与p个配置关键点和q个检测关键点的类别总数相关。比如电信设备的预先配置信息中的单螺钉和图像中的单螺钉对应的关键点属于同类关键点集，电信设备的预先配置信息中的双螺钉和图像中的双螺钉对应的关键点属于同类关键点集，等等。
[0163]
903：对于至少一个同类关键点集中的任意一个同类关键点集h，基于任意一个同类关键点集h中的r个配置关键点的位置信息和s个检测关键点的位置信息，得到s个检测关键点中每个检测关键点a与r个配置关键点中每个配置关键点b之间的定位距离。
[0164]
本技术实施例中，r大于或等于1，且小于p；s大于或等于1，且小于q，即任意一个同类关键点集h中至少存在一个配置关键点和一个检测关键点。
[0165]
示例性的，预先配置信息还包括待检测物体中的配置参考点的位置信息，检测结果还包括图像中的检测参考点的位置信息，当配置参考点和检测参考点对应于待检测物体中的同一位置时，比如均对应电信设备的面板的左下角，基于任意一个同类关键点集h中的r个配置关键点的位置信息和s个检测关键点的位置信息，得到s个检测关键点中每个检测关键点a与r个配置关键点中每个配置关键点b之间的定位距离，包括：
[0166]
基于配置参考点的位置信息和r个配置关键点的位置信息，获取r个配置关键点分别相对于配置参考点的r个第四相对坐标；
[0167]
基于检测参考点的位置信息和s个检测关键点的位置信息，获取s个检测关键点分别相对于检测参考点的s个第五相对坐标；
[0168]
计算r个第四相对坐标中每个第四相对坐标和s个第五相对坐标中每个第五相对坐标之间的欧氏距离，将欧氏距离确定为每个检测关键点a与每个配置关键点b之间的定位距离。
[0169]
具体的，将任意一个同类关键点集h中每个配置关键点b相对于配置参考点的相对坐标称为第四相对坐标，则r个配置关键点就会存在r个第四相对坐标，将任意一个同类关键点集h中每个检测关键点相对于检测参考点的相对坐标称为第五相对坐标，则s个检测关键点就会存在s个第五相对坐标。通过计算每个第四相对坐标与每个第五相对坐标之间的欧氏距离，即得到每个配置关键点b与每个检测关键点a之间的定位距离。该实施方式中，应理解，对于任意一个同类关键点集h，由于只需进行类别内的匹配，那么当配置参考点和检测参考点对应于待检测物体中的同一位置时，计算定位距离只需计算r个配置关键点分别相对于配置参考点的r个第四相对坐标，以及只需计算s个检测关键点分别相对于检测参考点的s个第五相对坐标，再计算每个第四相对坐标与每个第五相对坐标之间的欧氏距离，即得到每个检测关键点a与每个配置关键点b之间的定位距离，将每个检测关键点a与每个配置关键点b之间的定位距离作为类别内关键点对匹配的参考指标，有利于匹配出相同类别中在布局位置上更相似的关键点对，且只在类别内计算定位距离，大大减少了计算量。
[0170]
示例性的，预先配置信息还包括待检测物体中的配置参考点的位置信息，检测结果还包括图像中的检测参考点的位置信息，当配置参考点和检测参考点对应于待检测物体中的不同位置时，比如配置参考点对应电信设备的面板的左下角，检测参考点对应电信设备的面板检测框的右上角，基于任意一个同类关键点集h中的r个配置关键点的位置信息和s个检测关键点的位置信息，得到s个检测关键点中每个检测关键点a与r个配置关键点中每个配置关键点b之间的定位距离，包括：
[0171]
基于配置参考点的位置信息和检测参考点的位置信息，获取检测参考点相对于配置参考点的相对坐标；
[0172]
基于配置参考点的位置信息和r个配置关键点的位置信息，获取r个配置关键点分别相对于配置参考点的r个第四相对坐标；
[0173]
基于s个检测关键点的位置信息、检测参考点的位置信息和检测参考点相对于配置参考点的相对坐标，获取s个检测关键点分别相对于配置参考点的s个第六相对坐标；
[0174]
计算r个第四相对坐标中每个第四相对坐标和s个第六相对坐标中每个第六相对坐标之间的欧氏距离，将欧氏距离确定为每个检测关键点a与每个配置关键点b之间的定位距离。
[0175]
具体的，对于任意一个同类关键点集h，在进行类内匹配时，需要获取检测参考点相对于配置参考点的相对坐标(或者配置参考点相对于检测参考点的相对坐标)，基于检测关键点的位置信息、检测参考点的位置信息和检测参考点相对于配置参考点的相对坐标，计算得到s个检测关键点中每个检测关键点相对于配置参考点的第六相对坐标，然后再计算第四相对坐标和第六坐标之间的欧氏距离，得到任意一个同类关键点集h中每个检测关键点a与每个配置关键点b之间的定位距离。该实施方式中，在任意一个同类关键点集h内获取每个检测关键点与每个配置关键点之间的定位距离时，将相对坐标的计算转换到相对于待检测设备中的同一位置的参考点上，这样统一相对坐标的计算标准，有利于避免将定位距离实际较近的检测关键点和配置关键点错判定为定位距离较远，而将定位距离实际较远的检测关键点和配置关键点错判定为定位距离较近，从而能够降低检测关键点和配置关键点之间的误匹配率。
[0176]
904：基于每个检测关键点a与每个配置关键点b之间的定位距离、每个检测关键点
a的检测得分，得到k个关键点对，处理完至少一个同类关键点集，得到m个关键点对，其中，m个关键点对包括k个关键点对。
[0177]
本技术实施例中，k大于或等于0，且小于或等于r，即任意一个同类关键点集h可能存在匹配不出任何关键点对的情况。示例性的，基于每个检测关键点a与每个配置关键点b之间的定位距离、每个检测关键点a的检测得分，得到k个关键点对，包括：
[0178]
从每个配置关键点b对应的s个定位距离中确定出最大定位距离b；
[0179]
采用每个检测关键点a的检测得分、每个检测关键点a与每个配置关键点b之间的定位距离和最大定位距离b，计算每个检测关键点a与每个配置关键点b之间的匹配度；
[0180]
对于每个配置关键点b，从s个检测关键点中确定出与该配置关键点b匹配度最高的检测关键点a，将该配置关键点b与该配置关键点b匹配度最高的检测关键点a确定为关键点对，以得到k个关键点对。
[0181]
具体的，由于计算了每个配置关键点b与每个检测关键点a之间的定位距离，则每个配置关键点b就会存在s个定位距离，现从s个定位距离中确定出最大定位距离b，以每个检测关键点a的检测得分、每个检测关键点a与每个配置关键点b之间的定位距离和该最大定位距离b为参数，计算每个检测关键点a与每个配置关键点b之间的匹配度，其计算可参见图3所示实施例中步骤302中的描述。
[0182]
对于任意一个同类关键点集h中的每个配置关键点b，从s个检测关键点中选取与之匹配度最高的检测关键点a作为相匹配的关键点对，得到k个关键点对，分别对至少一个同类关键点集中的每个关键点集进行相同处理，得到m个关键点对。该实施方式中，在将检测关键点a与配置关键点b进行匹配时，不仅会考虑检测关键点a与配置关键点b之间的定位距离，还会纳入检测关键点a的检测得分，采用该检测得分、定位距离和每个配置关键点b对应的s个定位距离中的最大定位距离(即最大定位距离b)，计算每个检测关键点a与每个配置关键点b之间的匹配度，将匹配度最高的检测关键点a与该配置关键点b作为关键点对，由于在匹配时考虑了检测关键点a的检测得分，有利于减少相同类别内误匹配的情况，从而有利于得到准确度高且稳定的k个关键点对。
[0183]
905：基于预先配置信息确定各个关键点对的匹配得分。
[0184]
906：基于各个关键点对的匹配得分，从m个关键点对中确定出n个关键点对，n个关键点对中任一关键点对的匹配得分大于或等于预设得分阈值。
[0185]
907：基于n个关键点对的位置信息，得到待检测物体中的目标对象的位置信息。
[0186]
本技术实施例中，n大于或等于预设数量阈值，其中，步骤905-907的具体实施方式在图3所示的实施例已有相关说明，且能达到相同或相似的有益效果，此处不再赘述。
[0187]
可以看出，本技术实施例在对q个检测关键点与p个配置关键点进行匹配时，还可基于每个配置关键点和每个检测关键点的类别信息，对p个配置关键点和q个检测关键点进行类别划分，得到至少一个同类关键点集，在得到至少一个同类关键点集的基础上，对于任意一个同类关键点集h，只需基于每个检测关键点a与每个配置关键点b之间的定位距离、每个检测关键点a的检测得分，对该任意一个同类关键点集h中的s个检测关键点与r个配置关键点进行匹配，得到k个关键点对，而不需要进行类别间的匹配，不仅能够解决仅依赖于定位距离进行匹配所带来的误匹配问题，匹配出准确且稳定的m个关键点对，还能相对减少计算量和匹配量。
[0188]
以上详细阐述了本技术实施例提供方法，下面提供了本技术实施例的装置设备。
[0189]
请参见图10，图10为本技术实施例提供的一种物体检测装置的结构示意图。该物体检测装置100应用于上述电子设备，如图10所示，该装置包括获取单元1001和处理单元1002；其中，获取单元，用于获取待检测物体的预先配置信息和获取待检测物体的图像的检测结果，预先配置信息包括待检测物体中的p个配置关键点的位置信息，检测结果包括图像中的q个检测关键点的位置信息，p和q均大于或等于预设数量阈值；
[0190]
处理单元，用于基于p个配置关键点的位置信息和q个检测关键点的位置信息，得到m个关键点对，m个关键点对中的各个关键点对包括p个配置关键点中的一配置关键点和q个检测关键点中与该配置关键点相匹配的检测关键点，m大于或等于预设数量阈值；
[0191]
处理单元，还用于基于预先配置信息确定各个关键点对的匹配得分；
[0192]
处理单元，还用于基于各个关键点对的匹配得分，从m个关键点对中确定出n个关键点对，n个关键点对中任一关键点对的匹配得分大于或等于预设得分阈值，n大于或等于预设数量阈值；
[0193]
处理单元，还用于基于n个关键点对的位置信息，得到待检测物体中的目标对象的位置信息。
[0194]
可以看出，在图10所示的装置中，基于p个配置关键点的位置信息和q个检测关键点的位置信息，对q个检测关键点与p个配置关键点进行匹配，能够得到与配置关键点匹配度最高的检测关键点，由此得到的m个关键点对均是准确且稳定的关键点对，对于准确且稳定的m个关键点对，基于预先配置信息再计算各个关键点对的最终匹配得分，从中选出匹配得分大于或等于预设阈值的关键点对，这样就会得到匹配最优、最有利于进行定位映射的n个关键点对，基于匹配最优、最有利于进行定位映射的n个关键点对将待检测物体中的目标对象映射到对应的图像中，有利于准确且有效地检测出目标对象在图像中的位置，且适用于存在遮挡、分辨率较小的目标对象，从而有利于提升物体检测的有效性和准确性。
[0195]
在一种可能的实施方式中，检测结果还包括q个检测关键点中每个检测关键点的检测得分，在基于p个配置关键点的位置信息和q个检测关键点的位置信息，得到m个关键点对方面，处理单元1002具体用于：
[0196]
基于p个配置关键点的位置信息和q个检测关键点的位置信息，得到每个检测关键点与p个配置关键点中的每个配置关键点之间的定位距离；
[0197]
基于每个检测关键点与每个配置关键点之间的定位距离、每个检测关键点的检测得分，得到m个关键点对。
[0198]
在一种可能的实施方式中，预先配置信息还包括待检测物体中的配置参考点的位置信息，检测结果还包括图像中的检测参考点的位置信息，当配置参考点和检测参考点对应于待检测物体中的同一位置时，在基于p个配置关键点的位置信息和q个检测关键点的位置信息，得到每个检测关键点与p个配置关键点中的每个配置关键点之间的定位距离方面，处理单元1002具体用于：
[0199]
基于配置参考点的位置信息和p个配置关键点的位置信息，获取p个配置关键点分别相对于配置参考点的p个第一相对坐标；
[0200]
基于检测参考点的位置信息和q个检测关键点的位置信息，获取q个检测关键点分别相对于检测参考点的q个第二相对坐标；
[0201]
计算p个第一相对坐标中每个第一相对坐标和q个第二相对坐标中每个第二相对坐标之间的欧氏距离，将欧氏距离确定为每个检测关键点与每个配置关键点之间的定位距离。
[0202]
在一种可能的实施方式中，预先配置信息还包括待检测物体中的配置参考点的位置信息，检测结果还包括图像中的检测参考点的位置信息，当配置参考点和检测参考点对应于待检测物体中的不同位置时，在基于p个配置关键点的位置信息和q个检测关键点的位置信息，得到每个检测关键点与p个配置关键点中的每个配置关键点之间的定位距离方面，处理单元1002具体用于：
[0203]
基于配置参考点的位置信息和检测参考点的位置信息，获取检测参考点相对于配置参考点的相对坐标；
[0204]
基于配置参考点的位置信息和p个配置关键点的位置信息，获取p个配置关键点分别相对于配置参考点的p个第一相对坐标；
[0205]
基于q个检测关键点的位置信息、检测参考点的位置信息和检测参考点相对于配置参考点的相对坐标，获取q个检测关键点分别相对于配置参考点的q个第三相对坐标；
[0206]
计算p个第一相对坐标中每个第一相对坐标和q个第三相对坐标中每个第三相对坐标之间的欧氏距离，将欧氏距离确定为每个检测关键点与每个配置关键点之间的定位距离。
[0207]
在一种可能的实施方式中，在基于每个检测关键点与每个配置关键点之间的定位距离、每个检测关键点的检测得分，得到m个关键点对方面，处理单元1002具体用于：
[0208]
从所述每个配置关键点对应的q个定位距离中确定出最大定位距离a；
[0209]
采用每个检测关键点的检测得分、每个检测关键点与每个配置关键点之间的定位距离和最大定位距离a，计算每个检测关键点与每个配置关键点之间的匹配度；
[0210]
对于每个配置关键点，从q个检测关键点中确定出与该配置关键点匹配度最高的检测关键点，将该配置关键点与该配置关键点匹配度最高的检测关键点确定为关键点对，以得到m个关键点对。
[0211]
在一种可能的实施方式中，预先配置信息还包括p个配置关键点中每个配置关键点的类别信息，检测结果还包括q个检测关键点中每个检测关键点的检测得分和每个检测关键点的类别信息，在基于p个配置关键点的位置信息和q个检测关键点的位置信息，得到m个关键点对方面，处理单元1002具体用于：
[0212]
基于每个配置关键点的类别信息和每个检测关键点的类别信息，将p个配置关键点和q个检测关键点中类别相同的配置关键点和检测关键点确定为关键点集，以得到至少一个同类关键点集；
[0213]
对于至少一个同类关键点集中的任意一个同类关键点集h，基于任意一个同类关键点集h中的r个配置关键点的位置信息和s个检测关键点的位置信息，得到s个检测关键点中每个检测关键点a与r个配置关键点中每个配置关键点b之间的定位距离；r大于或等于1，且小于p；s大于或等于1，且小于q；
[0214]
基于每个检测关键点a与每个配置关键点b之间的定位距离、每个检测关键点a的检测得分，得到k个关键点对，m个关键点对包括k个关键点对，k大于或等于0，且小于或等于r。
[0215]
在一种可能的实施方式中，预先配置信息还包括待检测物体中的配置参考点的位置信息，检测结果还包括图像中的检测参考点的位置信息，当配置参考点和检测参考点对应于待检测物体中的同一位置时，在基于任意一个同类关键点集h中的r个配置关键点的位置信息和s个检测关键点的位置信息，得到s个检测关键点中每个检测关键点a与r个配置关键点中每个配置关键点b之间的定位距离方面，处理单元1002具体用于：
[0216]
基于配置参考点的位置信息和r个配置关键点的位置信息，获取r个配置关键点分别相对于配置参考点的r个第四相对坐标；
[0217]
基于检测参考点的位置信息和s个检测关键点的位置信息，获取s个检测关键点分别相对于检测参考点的s个第五相对坐标；
[0218]
计算r个第四相对坐标中每个第四相对坐标和s个第五相对坐标中每个第五相对坐标之间的欧氏距离，将欧氏距离确定为每个检测关键点a与每个配置关键点b之间的定位距离。
[0219]
在一种可能的实施方式中，预先配置信息还包括待检测物体中的配置参考点的位置信息，检测结果还包括图像中的检测参考点的位置信息，当配置参考点和检测参考点对应于待检测物体中的不同位置时，在基于任意一个同类关键点集h中的r个配置关键点的位置信息和s个检测关键点的位置信息，得到s个检测关键点中每个检测关键点a与r个配置关键点中每个配置关键点b之间的定位距离方面，处理单元1002具体用于：
[0220]
基于配置参考点的位置信息和检测参考点的位置信息，获取检测参考点相对于配置参考点的相对坐标；
[0221]
基于配置参考点的位置信息和r个配置关键点的位置信息，获取r个配置关键点分别相对于配置参考点的r个第四相对坐标；
[0222]
基于s个检测关键点的位置信息、检测参考点的位置信息和检测参考点相对于配置参考点的相对坐标，获取s个检测关键点分别相对于配置参考点的s个第六相对坐标；
[0223]
计算r个第四相对坐标中每个第四相对坐标和s个第六相对坐标中每个第六相对坐标之间的欧氏距离，将欧氏距离确定为每个检测关键点a与每个配置关键点b之间的定位距离。
[0224]
在一种可能的实施方式中，在基于每个检测关键点a与每个配置关键点b之间的定位距离、每个检测关键点a的检测得分，得到k个关键点对方面，处理单元1002具体用于：
[0225]
从每个配置关键点b对应的s个定位距离中确定出最大定位距离b；
[0226]
采用每个检测关键点a的检测得分、每个检测关键点a与每个配置关键点b之间的定位距离和最大定位距离b，计算每个检测关键点a与每个配置关键点b之间的匹配度；
[0227]
对于每个配置关键点b，从s个检测关键点中确定出与该配置关键点b匹配度最高的检测关键点a，将该配置关键点b与该配置关键点b匹配度最高的检测关键点a确定为关键点对，以得到k个关键点对。
[0228]
在一种可能的实施方式中，预先配置信息还包括目标对象在待检测物体中的目标点的位置信息，在基于预先配置信息确定各个关键点对的匹配得分方面，处理单元1002具体用于：
[0229]
基于目标点的位置信息和各个关键点对中的配置关键点的位置信息，分别计算各个关键点对中的配置关键点与目标点之间的目标距离，以得到m个目标距离；
[0230]
从m个目标距离中确定出最大目标距离；
[0231]
采用各个关键点对中的配置关键点与检测关键点之间的匹配度、各个关键点对中的配置关键点与目标点之间的目标距离和最大目标距离，计算各个关键点对的匹配得分。
[0232]
在一种可能的实施方式中，预先配置信息还包括目标对象在待检测物体中的目标点的位置信息，在基于n个关键点对的位置信息，得到待检测物体中的目标对象的位置信息方面，处理单元1002具体用于：
[0233]
基于n个关键点对的位置信息，计算得到从n个关键点对中的n个配置关键点到n个关键点对中的n个检测关键点的映射矩阵；
[0234]
通过映射矩阵将目标点映射到图像中，得到目标对象的位置信息。
[0235]
根据本技术的一个实施例，图10所示的物体检测装置100中的各个单元可以分别或全部合并为一个或若干个另外的单元来构成，或者其中的某个(些)单元还可以再拆分为功能上更小的多个单元来构成，这可以实现同样的操作，而不影响本技术的实施例的技术效果的实现。上述单元是基于逻辑功能划分的，在实际应用中，一个单元的功能也可以由多个单元来实现，或者多个单元的功能由一个单元实现。在本技术的其它实施例中，物体检测装置1700也可以包括其它单元，在实际应用中，这些功能也可以由其它单元协助实现，并且可以由多个单元协作实现。
[0236]
根据本技术的另一个实施例，可以通过在包括中央处理单元(central processing unit，cpu)、随机存取存储介质(random access memory，ram)、只读存储介质(read-only memory，rom)等处理元件和存储元件的例如计算机的通用计算设备上运行能够执行如图3或图9中所示的相应方法所涉及的各步骤的计算机程序(包括程序代码)，来构造如图10中所示的物体检测装置100，以及来实现本技术实施例的物体检测方法。所述计算机程序可以记载于例如计算机可读记录介质上，并通过计算机可读记录介质装载于上述计算设备中，并在其中运行。
[0237]
基于上述方法实施例以及装置实施例的描述，本技术实施例还提供一种电子设备。请参见图11，图11为本技术实施例提供的一种电子设备的结构示意图，该电子设备110至少包括处理器1101、存储器1102、输入设备1103和输出设备1104，以及一个或多个程序，一个或多个程序被存储在存储器1102中，各个部分通过总线1105或其他方式相互连接，其中，输入设备1103和输出设备1104可以为同一设备，输入设备1103可用于接收其他设备或开发者的输入，输出设备1104可用于输出物体检测结果，图11以及图11所示的各个单元可以通过上述处理器1101、存储器1102、输入设备1103和输出设备1104实现。
[0238]
存储器1102包括但不限于是ram、rom、可擦除可编程只读存储器(erasable programmable read only memory，eprom)、或便携式只读存储器(compact disc read-only memory，cd-rom)，该存储器1102用于存储相关计算机程序及数据。
[0239]
处理器1101可以是一个或多个cpu，在处理器1101是一个cpu的情况下，该cpu可以是单核cpu，也可以是多核cpu。
[0240]
该电子设备110中的处理器1101用于读取上述存储器1102中存储的一个或多个程序，执行以下操作：
[0241]
获取待检测物体的预先配置信息和获取待检测物体的图像的检测结果，预先配置信息包括待检测物体中的p个配置关键点的位置信息，检测结果包括图像中的q个检测关键
点的位置信息，p和q均大于或等于预设数量阈值；
[0242]
基于p个配置关键点的位置信息和q个检测关键点的位置信息，得到m个关键点对，m个关键点对中的各个关键点对包括p个配置关键点中的一配置关键点和q个检测关键点中与该配置关键点相匹配的检测关键点，m大于或等于预设数量阈值；
[0243]
基于预先配置信息确定各个关键点对的匹配得分；
[0244]
基于各个关键点对的匹配得分，从m个关键点对中确定出n个关键点对，n个关键点对中任一关键点对的匹配得分大于或等于预设得分阈值，n大于或等于预设数量阈值；
[0245]
基于n个关键点对的位置信息，得到待检测物体中的目标对象的位置信息。
[0246]
可以看出，在图11所示的电子设备110中，基于p个配置关键点的位置信息和q个检测关键点的位置信息，对q个检测关键点与p个配置关键点进行匹配，能够得到与配置关键点匹配度最高的检测关键点，由此得到的m个关键点对均是准确且稳定的关键点对，对于准确且稳定的m个关键点对，基于预先配置信息再计算各个关键点对的最终匹配得分，从中选出匹配得分大于或等于预设阈值的关键点对，这样就会得到匹配最优、最有利于进行定位映射的n个关键点对，基于匹配最优、最有利于进行定位映射的n个关键点对将待检测物体中的目标对象映射到对应的图像中，有利于准确且有效地检测出目标对象在图像中的位置，且适用于存在遮挡、分辨率较小的目标对象，从而有利于提升物体检测的有效性和准确性。
[0247]
需要说明的是，各个操作的实现还可以对应参照图3所示的方法实施例的相应描述。
[0248]
应注意，尽管图11所示电子设备110仅仅示出了处理器1101、存储器1102、输入设备1103、输出设备1104和总线1105，但是在具体实现过程中，本领域的技术人员应当理解，电子设备110还包括实现正常运行所必须的其他器件。同时，根据具体需要，本领域的技术人员应当理解，电子设备110还可包括实现其他附加功能的硬件器件。此外，本领域的技术人员应当理解，电子设备110也可仅仅包括实现本技术实施例所必须的器件，而不必包括图11中所示的全部器件。
[0249]
本技术实施例还提供一种计算机可读存储介质(memory)，计算机可读存储介质是电子设备110中的记忆设备，用于存储用于设备执行的计算机程序，当其在电子设备110上运行时，图3或图9所示的方法流程得以实现。可以理解的是，此处的计算机可读存储介质既可以包括电子设备110中的内置存储介质，当然也可以包括电子设备110所支持的扩展存储介质。计算机可读存储介质提供存储空间，该存储空间存储了电子设备110的操作系统。并且，在该存储空间中还存放了适于被处理器1101加载并执行的一个或多个计算机程序。需要说明的是，此处的计算机可读存储介质可以是高速ram，也可以是非不稳定的存储器(non-volatile memory)，例如至少一个磁盘存储器；可选地，还可以是至少一个位于远离前述处理器1101的计算机可读存储介质。
[0250]
本技术实施例还提供一种计算机程序产品，当计算机程序产品被电子设备运行时，图3或图9所示的方法流程得以实现。
[0251]
在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其它实施例的相关描述。
[0252]
应理解，本技术实施例中提及的处理器可以是cpu，还可以是其他通用处理器、数
字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
[0253]
还应理解，本技术实施例中提及的存储器可以是易失性存储器或非易失性存储器，或可包括易失性和非易失性存储器两者。其中，非易失性存储器可以是rom、可编程只读存储器(programmable rom，prom)、eprom、电可擦除可编程只读存储器(electrically eprom，eeprom)或闪存。易失性存储器可以是ram，其用作外部高速缓存。通过示例性但不是限制性说明，许多形式的ram可用，例如静态随机存取存储器(static ram，sram)、动态随机存取存储器(dynamic ram，dram)、同步动态随机存取存储器(synchronous dram，sdram)、双倍数据速率同步动态随机存取存储器(double data rate sdram，ddr sdram)、增强型同步动态随机存取存储器(enhanced sdram，esdram)、同步连接动态随机存取存储器(synchlink dram，sldram)和直接内存总线随机存取存储器(direct rambus ram，dr ram)。
[0254]
需要说明的是，当处理器为通用处理器、dsp、asic、fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件时，存储器(存储模块)集成在处理器中。
[0255]
应注意，本文描述的存储器旨在包括但不限于这些和任意其它适合类型的存储器。
[0256]
应理解，在本技术的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
[0257]
在本技术所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示例性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口，装置或单元的间接耦合或通信连接，可以是电性，机械或其它的形式。
[0258]
所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
[0259]
另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。
[0260]
本技术中，“至少一个”是指一个或者多个，“多个”是指两个或两个以上。“和/或”，描述关联对象的关联关系，表示可以存在三种关系，例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b的情况，其中a，b可以是单数或者复数。在本技术的文字描述中，字符“/”，一般表示前后关联对象是一种“或”的关系。
[0261]
本技术实施例方法中的步骤可以根据实际需要进行顺序调整、合并和删减。
[0262]
本技术实施例装置中的模块可以根据实际需要进行合并、划分和删减。
[0263]
以上所述，以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的范围。

技术特征：
1.一种物体检测方法，其特征在于，所述方法包括：获取待检测物体的预先配置信息和获取所述待检测物体的图像的检测结果，所述预先配置信息包括所述待检测物体中的p个配置关键点的位置信息，所述检测结果包括所述图像中的q个检测关键点的位置信息，所述p和所述q均大于或等于预设数量阈值；基于所述p个配置关键点的位置信息和所述q个检测关键点的位置信息，得到m个关键点对，所述m个关键点对中的各个关键点对包括所述p个配置关键点中的一配置关键点和所述q个检测关键点中与该配置关键点相匹配的检测关键点，所述m大于或等于所述预设数量阈值；基于所述预先配置信息确定所述各个关键点对的匹配得分；基于所述各个关键点对的匹配得分，从所述m个关键点对中确定出n个关键点对，所述n个关键点对中任一关键点对的匹配得分大于或等于预设得分阈值，所述n大于或等于所述预设数量阈值；基于所述n个关键点对的位置信息，得到所述待检测物体中的目标对象的位置信息。2.根据权利要求1所述的方法，其特征在于，所述检测结果还包括所述q个检测关键点中每个检测关键点的检测得分，所述基于所述p个配置关键点的位置信息和所述q个检测关键点的位置信息，得到m个关键点对，包括：基于所述p个配置关键点的位置信息和所述q个检测关键点的位置信息，得到所述每个检测关键点与所述p个配置关键点中的每个配置关键点之间的定位距离；基于所述每个检测关键点与所述每个配置关键点之间的定位距离、所述每个检测关键点的检测得分，得到所述m个关键点对。3.根据权利要求2所述的方法，其特征在于，所述预先配置信息还包括所述待检测物体中的配置参考点的位置信息，所述检测结果还包括所述图像中的检测参考点的位置信息，当所述配置参考点和所述检测参考点对应于所述待检测物体中的同一位置时，所述基于所述p个配置关键点的位置信息和所述q个检测关键点的位置信息，得到所述每个检测关键点与所述p个配置关键点中的每个配置关键点之间的定位距离，包括：基于所述配置参考点的位置信息和所述p个配置关键点的位置信息，获取所述p个配置关键点分别相对于所述配置参考点的p个第一相对坐标；基于所述检测参考点的位置信息和所述q个检测关键点的位置信息，获取所述q个检测关键点分别相对于所述检测参考点的q个第二相对坐标；计算所述p个第一相对坐标中每个第一相对坐标和所述q个第二相对坐标中每个第二相对坐标之间的欧氏距离，将所述欧氏距离确定为所述每个检测关键点与所述每个配置关键点之间的定位距离。4.根据权利要求2所述的方法，其特征在于，所述预先配置信息还包括所述待检测物体中的配置参考点的位置信息，所述检测结果还包括所述图像中的检测参考点的位置信息，当所述配置参考点和所述检测参考点对应于所述待检测物体中的不同位置时，所述基于所述p个配置关键点的位置信息和所述q个检测关键点的位置信息，得到所述每个检测关键点与所述p个配置关键点中的每个配置关键点之间的定位距离，包括：基于所述配置参考点的位置信息和所述检测参考点的位置信息，获取所述检测参考点相对于所述配置参考点的相对坐标；
基于所述配置参考点的位置信息和所述p个配置关键点的位置信息，获取所述p个配置关键点分别相对于所述配置参考点的p个第一相对坐标；基于所述q个检测关键点的位置信息、所述检测参考点的位置信息和所述检测参考点相对于所述配置参考点的相对坐标，获取所述q个检测关键点分别相对于所述配置参考点的q个第三相对坐标；计算所述p个第一相对坐标中每个第一相对坐标和所述q个第三相对坐标中每个第三相对坐标之间的欧氏距离，将所述欧氏距离确定为所述每个检测关键点与所述每个配置关键点之间的定位距离。5.根据权利要求3或4所述的方法，其特征在于，所述基于所述每个检测关键点与所述每个配置关键点之间的定位距离、所述每个检测关键点的检测得分，得到所述m个关键点对，包括：从所述每个配置关键点对应的q个定位距离中确定出最大定位距离a；采用所述每个检测关键点的检测得分、所述每个检测关键点与所述每个配置关键点之间的定位距离和所述最大定位距离a，计算所述每个检测关键点与所述每个配置关键点之间的匹配度；对于所述每个配置关键点，从所述q个检测关键点中确定出与该配置关键点匹配度最高的检测关键点，将该配置关键点与该配置关键点匹配度最高的检测关键点确定为关键点对，以得到所述m个关键点对。6.根据权利要求1所述的方法，其特征在于，所述预先配置信息还包括所述p个配置关键点中每个配置关键点的类别信息，所述检测结果还包括所述q个检测关键点中每个检测关键点的检测得分和所述每个检测关键点的类别信息，所述基于所述p个配置关键点的位置信息和所述q个检测关键点的位置信息，得到m个关键点对，包括：基于所述每个配置关键点的类别信息和所述每个检测关键点的类别信息，将所述p个配置关键点和所述q个检测关键点中类别相同的配置关键点和检测关键点确定为关键点集，以得到至少一个同类关键点集，对于所述至少一个同类关键点集中的任意一个同类关键点集h，基于所述任意一个同类关键点集h中的r个配置关键点的位置信息和s个检测关键点的位置信息，得到所述s个检测关键点中每个检测关键点a与所述r个配置关键点中每个配置关键点b之间的定位距离；所述r大于或等于1，且小于所述p；所述s大于或等于1，且小于所述q；基于所述每个检测关键点a与所述每个配置关键点b之间的定位距离、所述每个检测关键点a的检测得分，得到k个关键点对，所述m个关键点对包括所述k个关键点对，所述k大于或等于0，且小于或等于所述r。7.根据权利要求6所述的方法，其特征在于，所述预先配置信息还包括所述待检测物体中的配置参考点的位置信息，所述检测结果还包括所述图像中的检测参考点的位置信息，当所述配置参考点和所述检测参考点对应于所述待检测物体中的同一位置时，所述基于所述任意一个同类关键点集h中的r个配置关键点的位置信息和s个检测关键点的位置信息，得到所述s个检测关键点中每个检测关键点a与所述r个配置关键点中每个配置关键点b之间的定位距离，包括：基于所述配置参考点的位置信息和所述r个配置关键点的位置信息，获取所述r个配置
关键点分别相对于所述配置参考点的r个第四相对坐标；基于所述检测参考点的位置信息和所述s个检测关键点的位置信息，获取所述s个检测关键点分别相对于所述检测参考点的s个第五相对坐标；计算所述r个第四相对坐标中每个第四相对坐标和所述s个第五相对坐标中每个第五相对坐标之间的欧氏距离，将所述欧氏距离确定为所述每个检测关键点a与所述每个配置关键点b之间的定位距离。8.根据权利要求6所述的方法，其特征在于，所述预先配置信息还包括所述待检测物体中的配置参考点的位置信息，所述检测结果还包括所述图像中的检测参考点的位置信息，当所述配置参考点和所述检测参考点对应于所述待检测物体中的不同位置时，所述基于所述任意一个同类关键点集h中的r个配置关键点的位置信息和s个检测关键点的位置信息，得到所述s个检测关键点中每个检测关键点a与所述r个配置关键点中每个配置关键点b之间的定位距离，包括：基于所述配置参考点的位置信息和所述检测参考点的位置信息，获取所述检测参考点相对于所述配置参考点的相对坐标；基于所述配置参考点的位置信息和所述r个配置关键点的位置信息，获取所述r个配置关键点分别相对于所述配置参考点的r个第四相对坐标；基于所述s个检测关键点的位置信息、所述检测参考点的位置信息和所述检测参考点相对于所述配置参考点的相对坐标，获取所述s个检测关键点分别相对于所述配置参考点的s个第六相对坐标；计算所述r个第四相对坐标中每个第四相对坐标和所述s个第六相对坐标中每个第六相对坐标之间的欧氏距离，将所述欧氏距离确定为所述每个检测关键点a与所述每个配置关键点b之间的定位距离。9.根据权利要求7或8所述的方法，其特征在于，所述基于所述每个检测关键点a与所述每个配置关键点b之间的定位距离、所述每个检测关键点a的检测得分，得到k个关键点对，包括：从所述每个配置关键点b对应的s个定位距离中确定出最大定位距离b；采用所述每个检测关键点a的检测得分、所述每个检测关键点a与所述每个配置关键点b之间的定位距离和所述最大定位距离b，计算所述每个检测关键点a与所述每个配置关键点b之间的匹配度；对于所述每个配置关键点b，从所述s个检测关键点中确定出与该配置关键点b匹配度最高的检测关键点a，将该配置关键点b与该配置关键点b匹配度最高的检测关键点a确定为关键点对，以得到所述k个关键点对。10.根据权利要求5或9所述的方法，其特征在于，所述预先配置信息还包括所述目标对象在所述待检测物体中的目标点的位置信息，所述基于所述预先配置信息确定所述各个关键点对的匹配得分，包括：基于所述目标点的位置信息和所述各个关键点对中的配置关键点的位置信息，分别计算所述各个关键点对中的配置关键点与所述目标点之间的目标距离，以得到m个目标距离；从所述m个目标距离中确定出最大目标距离；采用所述各个关键点对中的配置关键点与检测关键点之间的匹配度、所述各个关键点
对中的配置关键点与所述目标点之间的目标距离和所述最大目标距离，计算所述各个关键点对的匹配得分。11.根据权利要求1-10任一项所述的方法，其特征在于，所述预先配置信息还包括所述目标对象在所述待检测物体中的目标点的位置信息，所述基于所述n个关键点对的位置信息，得到所述待检测物体中的目标对象的位置信息，包括：基于所述n个关键点对的位置信息，计算得到从所述n个关键点对中的n个配置关键点到所述n个关键点对中的n个检测关键点的映射矩阵；通过所述映射矩阵将所述目标点映射到所述图像中，得到所述目标对象的位置信息。12.一种物体检测装置，其特征在于，所述装置包括获取单元和处理单元，其中，所述获取单元，用于获取待检测物体的预先配置信息和获取所述待检测物体的图像的检测结果，所述预先配置信息包括所述待检测物体中的p个配置关键点的位置信息，所述检测结果包括所述图像中的q个检测关键点的位置信息，所述p和所述q均大于或等于预设数量阈值；所述处理单元，用于基于所述p个配置关键点的位置信息和所述q个检测关键点的位置信息，得到m个关键点对，所述m个关键点对中的各个关键点对包括所述p个配置关键点中的一配置关键点和所述q个检测关键点中与该配置关键点相匹配的检测关键点，所述m大于或等于所述预设数量阈值；所述处理单元，还用于基于所述预先配置信息确定所述各个关键点对的匹配得分；所述处理单元，还用于基于所述各个关键点对的匹配得分，从所述m个关键点对中确定出n个关键点对，所述n个关键点对中任一关键点对的匹配得分大于或等于预设得分阈值，所述n大于或等于所述预设数量阈值；所述处理单元，还用于基于所述n个关键点对的位置信息，得到所述待检测物体中的目标对象的位置信息。13.根据权利要求12所述的装置，其特征在于，所述检测结果还包括所述q个检测关键点中每个检测关键点的检测得分，在基于所述p个配置关键点的位置信息和所述q个检测关键点的位置信息，得到m个关键点对方面，所述处理单元具体用于：基于所述p个配置关键点的位置信息和所述q个检测关键点的位置信息，得到所述每个检测关键点与所述p个配置关键点中的每个配置关键点之间的定位距离；基于所述每个检测关键点与所述每个配置关键点之间的定位距离、所述每个检测关键点的检测得分，得到所述m个关键点对。14.根据权利要求13所述的装置，其特征在于，所述预先配置信息还包括所述待检测物体中的配置参考点的位置信息，所述检测结果还包括所述图像中的检测参考点的位置信息，当所述配置参考点和所述检测参考点对应于所述待检测物体中的同一位置时，在基于所述p个配置关键点的位置信息和所述q个检测关键点的位置信息，得到所述每个检测关键点与所述p个配置关键点中的每个配置关键点之间的定位距离方面，所述处理单元具体用于：基于所述配置参考点的位置信息和所述p个配置关键点的位置信息，获取所述p个配置关键点分别相对于所述配置参考点的p个第一相对坐标；基于所述检测参考点的位置信息和所述q个检测关键点的位置信息，获取所述q个检测
关键点分别相对于所述检测参考点的q个第二相对坐标；计算所述p个第一相对坐标中每个第一相对坐标和所述q个第二相对坐标中每个第二相对坐标之间的欧氏距离，将所述欧氏距离确定为所述每个检测关键点与所述每个配置关键点之间的定位距离。15.根据权利要求13所述的装置，其特征在于，所述预先配置信息还包括所述待检测物体中的配置参考点的位置信息，所述检测结果还包括所述图像中的检测参考点的位置信息，当所述配置参考点和所述检测参考点对应于所述待检测物体中的不同位置时，在基于所述p个配置关键点的位置信息和所述q个检测关键点的位置信息，得到所述每个检测关键点与所述p个配置关键点中的每个配置关键点之间的定位距离方面，所述处理单元具体用于：基于所述配置参考点的位置信息和所述检测参考点的位置信息，获取所述检测参考点相对于所述配置参考点的相对坐标；基于所述配置参考点的位置信息和所述p个配置关键点的位置信息，获取所述p个配置关键点分别相对于所述配置参考点的p个第一相对坐标；基于所述q个检测关键点的位置信息、所述检测参考点的位置信息和所述检测参考点相对于所述配置参考点的相对坐标，获取所述q个检测关键点分别相对于所述配置参考点的q个第三相对坐标；计算所述p个第一相对坐标中每个第一相对坐标和所述q个第三相对坐标中每个第三相对坐标之间的欧氏距离，将所述欧氏距离确定为所述每个检测关键点与所述每个配置关键点之间的定位距离。16.根据权利要求14或15所述的装置，其特征在于，在基于所述每个检测关键点与所述每个配置关键点之间的定位距离、所述每个检测关键点的检测得分，得到所述m个关键点对方面，所述处理单元具体用于：从所述每个配置关键点对应的q个定位距离中确定出最大定位距离a；采用所述每个检测关键点的检测得分、所述每个检测关键点与所述每个配置关键点之间的定位距离和所述最大定位距离a，计算所述每个检测关键点与所述每个配置关键点之间的匹配度；对于所述每个配置关键点，从所述q个检测关键点中确定出与该配置关键点匹配度最高的检测关键点，将该配置关键点与该配置关键点匹配度最高的检测关键点确定为关键点对，以得到所述m个关键点对。17.根据权利要求12所述的装置，其特征在于，所述预先配置信息还包括所述p个配置关键点中每个配置关键点的类别信息，所述检测结果还包括所述q个检测关键点中每个检测关键点的检测得分和所述每个检测关键点的类别信息，在基于所述p个配置关键点的位置信息和所述q个检测关键点的位置信息，得到m个关键点对方面，所述处理单元具体用于：基于所述每个配置关键点的类别信息和所述每个检测关键点的类别信息，将所述p个配置关键点和所述q个检测关键点中类别相同的配置关键点和检测关键点确定为关键点集，以得到至少一个同类关键点集，对于所述至少一个同类关键点集中的任意一个同类关键点集h，基于所述任意一个同类关键点集h中的r个配置关键点的位置信息和s个检测关键点的位置信息，得到所述s个检
测关键点中每个检测关键点a与所述r个配置关键点中每个配置关键点b之间的定位距离；所述r大于或等于1，且小于所述p；所述s大于或等于1，且小于所述q；基于所述每个检测关键点a与所述每个配置关键点b之间的定位距离、所述每个检测关键点a的检测得分，得到k个关键点对，所述m个关键点对包括所述k个关键点对，所述k大于或等于0，且小于或等于所述r。18.根据权利要求17所述的装置，其特征在于，所述预先配置信息还包括所述待检测物体中的配置参考点的位置信息，所述检测结果还包括所述图像中的检测参考点的位置信息，当所述配置参考点和所述检测参考点对应于所述待检测物体中的同一位置时，在基于所述任意一个同类关键点集h中的r个配置关键点的位置信息和s个检测关键点的位置信息，得到所述s个检测关键点中每个检测关键点a与所述r个配置关键点中每个配置关键点b之间的定位距离方面，所述处理单元具体用于：基于所述配置参考点的位置信息和所述r个配置关键点的位置信息，获取所述r个配置关键点分别相对于所述配置参考点的r个第四相对坐标；基于所述检测参考点的位置信息和所述s个检测关键点的位置信息，获取所述s个检测关键点分别相对于所述检测参考点的s个第五相对坐标；计算所述r个第四相对坐标中每个第四相对坐标和所述s个第五相对坐标中每个第五相对坐标之间的欧氏距离，将所述欧氏距离确定为所述每个检测关键点a与所述每个配置关键点b之间的定位距离。19.根据权利要求17所述的装置，其特征在于，所述预先配置信息还包括所述待检测物体中的配置参考点的位置信息，所述检测结果还包括所述图像中的检测参考点的位置信息，当所述配置参考点和所述检测参考点对应于所述待检测物体中的不同位置时，在基于所述任意一个同类关键点集h中的r个配置关键点的位置信息和s个检测关键点的位置信息，得到所述s个检测关键点中每个检测关键点a与所述r个配置关键点中每个配置关键点b之间的定位距离方面，所述处理单元具体用于：基于所述配置参考点的位置信息和所述检测参考点的位置信息，获取所述检测参考点相对于所述配置参考点的相对坐标；基于所述配置参考点的位置信息和所述r个配置关键点的位置信息，获取所述r个配置关键点分别相对于所述配置参考点的r个第四相对坐标；基于所述s个检测关键点的位置信息、所述检测参考点的位置信息和所述检测参考点相对于所述配置参考点的相对坐标，获取所述s个检测关键点分别相对于所述配置参考点的s个第六相对坐标；计算所述r个第四相对坐标中每个第四相对坐标和所述s个第六相对坐标中每个第六相对坐标之间的欧氏距离，将所述欧氏距离确定为所述每个检测关键点a与所述每个配置关键点b之间的定位距离。20.根据权利要求18或19所述的装置，其特征在于，在基于所述每个检测关键点a与所述每个配置关键点b之间的定位距离、所述每个检测关键点a的检测得分，得到k个关键点对方面，所述处理单元具体用于：从所述每个配置关键点b对应的s个定位距离中确定出最大定位距离b；采用所述每个检测关键点a的检测得分、所述每个检测关键点a与所述每个配置关键点
b之间的定位距离和所述最大定位距离b，计算所述每个检测关键点a与所述每个配置关键点b之间的匹配度；对于所述每个配置关键点b，从所述s个检测关键点中确定出与该配置关键点b匹配度最高的检测关键点a，将该配置关键点b与该配置关键点b匹配度最高的检测关键点a确定为关键点对，以得到所述k个关键点对。21.根据权利要求16或20所述的装置，其特征在于，所述预先配置信息还包括所述目标对象在所述待检测物体中的目标点的位置信息，在基于所述预先配置信息确定所述各个关键点对的匹配得分方面，所述处理单元具体用于：基于所述目标点的位置信息和所述各个关键点对中的配置关键点的位置信息，分别计算所述各个关键点对中的配置关键点与所述目标点之间的目标距离，以得到m个目标距离；从所述m个目标距离中确定出最大目标距离；采用所述各个关键点对中的配置关键点与检测关键点之间的匹配度、所述各个关键点对中的配置关键点与所述目标点之间的目标距离和所述最大目标距离，计算所述各个关键点对的匹配得分。22.根据权利要求12-21任一项所述的装置，其特征在于，所述预先配置信息还包括所述目标对象在所述待检测物体中的目标点的位置信息，在基于所述n个关键点对的位置信息，得到所述待检测物体中的目标对象的位置信息方面，所述处理单元具体用于：基于所述n个关键点对的位置信息，计算得到从所述n个关键点对中的n个配置关键点到所述n个关键点对中的n个检测关键点的映射矩阵；通过所述映射矩阵将所述目标点映射到所述图像中，得到所述目标对象的位置信息。23.一种电子设备，其特征在于，包括处理器、存储器，以及一个或多个程序，所述处理器与所述存储器相连，所述一个或多个程序被存储在所述存储器中，并且被配置为由所述处理器执行时实现如权利要求1-11中任一项所述的方法。24.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有用于设备执行的计算机程序，所述计算机程序被执行时实现权利要求1-11中任一项所述的方法。25.一种计算机程序产品，其特征在于，当所述计算机程序产品被电子设备运行，使得所述电子设备执行如权利要求1-11中任一项所述的方法。

技术总结
本发明实施例公开了一种物体检测方法及相关设备，其中，该方法包括：获取待检测物体的预先配置信息中的P个配置关键点的位置信息和待检测物体的图像中的Q个检测关键点的位置信息；基于P个配置关键点的位置信息和Q个检测关键点的位置信息，得到M个关键点对；基于预先配置信息确定各个关键点对的匹配得分；基于各个关键点对的匹配得分，从M个关键点对中确定出N个关键点对，N个关键点对中任一关键点对的匹配得分大于或等于预设得分阈值；基于N个关键点对的位置信息，得到待检测物体中的目标对象的位置信息。本申请实施例有利于提升物体检测的有效性和准确性。的有效性和准确性。的有效性和准确性。


技术研发人员：姬曙光 牛佩 傅艺川 武维
受保护的技术使用者：华为技术有限公司
技术研发日：2021.12.27
技术公布日：2023/7/13