一种刺点方法、装置、设备及存储介质与流程

1.本技术属于摄影测量技术领域，尤其涉及一种刺点方法、装置、设备及存储介质。


背景技术：

2.目前，无人机影像采集设备对某一待测区域执行航测任务后，得到该待测区域的图像，然后由操作人员基于图像处理软件对该图像中包含的像控点进行刺点(即确定像控点在图像中的位置)，以得到像控点在该图像中的坐标。
3.然而，传统技术中待刺点图像中的刺点位置是由操作人员根据肉眼判断的，并通过手动标记的，具有一定的主观性以及不确定性，因此，容易引入人为误差。同时，无人机影像采集设备通常对某一待测区域的航测任务涉及的图像数量巨大，且每张图像中包含数个甚至数十个像控点，如果采用人为手动的方式执行刺点任务，则任务量巨大，且处理效率低下。


技术实现要素：

4.有鉴于此，本技术实施例提供了一种刺点方法、装置、设备及存储介质，以解决现有技术中通过人为在待刺点图像中手动标记刺点位置容易引入人为误差等问题。
5.本技术实施例的第一方面提供了一种刺点方法，该方法包括：获取待刺点图像；在待刺点图像中确定目标区域，目标区域包括像控点和像控点标识图像，像控点标识图像用于标识像控点的位置；通过神经网络模型根据像控点标识图像的特征，确定目标区域内的像控点标识图像，并根据像控点和像控点标识图像的位置关系，确定像控点在待刺点图像中的位置坐标。
6.结合第一方面，在第一方面的第一种可能实现方式中，在待刺点图像中确定目标区域，包括：获取像控点的实际位置坐标以及采集设备的设备位置坐标；根据实际位置坐标和设备位置坐标及其姿态，基于共线方程确定待刺点图像中的目标区域；其中，采集设备为采集待刺点图像的设备，设备位置坐标为采集设备在采集待刺点图像时所处的位置坐标；实际位置坐标为像控点在实地测量时所处的位置坐标。
7.结合第一方面，在第一方面的第二种可能实现方式中，通过神经网络模型根据像控点标识图像的特征，确定目标区域内的像控点标识图像，并根据像控点和像控点标识图像的位置关系，确定像控点在待刺点图像中的位置坐标，包括：基于第一神经网络模型，根据像控点标识图像的特征在目标区域内对像控点标识图像进行初步提取；基于第二神经网络模型，对初步提取到的像控点标识图像进行识别，最终确定像控点标识图像；基于第三神经网络模型，根据像控点和像控点标识图像的位置关系，确定像控点的位置坐标。
8.结合第一方面，在第一方面的第三种可能实现方式中，神经网络模型是通过训练数据集以及目标损失函数进行训练确定的；其中，在第一神经网络模型中，训练数据集包括具有像控点标识图像的特征的第一训练数据集，损失函数为分类损失函数和回归损失函数；在第二神经网络模型中，训练数据集包括第一训练数据集中的正样本和与正样本等同
数量的负样本，损失函数为分类损失函数；在第三神经网络模型中，训练数据集包括第一训练数据集中的正样本，损失函数为回归损失函数或热图损失函数。
9.结合第一方面，在第一方面的第四种可能实现方式中，正样本用于最终确定像控点标识图像以及标定像控点标识图像中的像控点位置坐标；负样本用于对第一神经网络模型中提取到的像控点标识图像进行剔除。
10.结合第一方面，在第一方面的第五种可能实现方式中，像控点标识图像包括：l型标识图像或x型标识图像中的任意一种。
11.结合第一方面，在第一方面的第六种可能实现方式中，当像控点标识图像为l型标识图像时，像控点位于l型标识图像的内角点；当像控点标识图像为x型标识图像时，像控点位于x型标识图像的中心点。
12.本技术实施例的第二方面提供了一种刺点装置，该装置包括：获取单元，用于获取待刺点图像；目标区域确定单元，用于在待刺点图像中确定目标区域，目标区域包括像控点和像控点标识图像，像控点标识图像用于标识像控点的位置；像控点位置坐标确定单元，用于通过神经网络模型根据像控点标识图像的特征，确定目标区域内的像控点标识图像，并根据像控点和像控点标识图像的位置关系，确定像控点在待刺点图像中的位置坐标。
13.本技术实施例的第三方面提供了一种电子设备，包括存储器、处理器以及存储在该存储器中并可在处理器上运行的计算机程序，处理器执行计算机程序时实现如第一方面任一项所述方法的步骤。
14.本技术实施例的第四方面提供了一种计算机可读存储介质，该计算机可读存储介质存储有计算机程序，计算机程序被处理器执行时实现如第一方面任一项所述方法的步骤。
15.本技术实施例与现有技术相比存在的有益效果是：本技术实施例提供一种刺点方法、装置、设备及存储介质，为航测内业工作中的刺点过程提供一种有效的自动化处理方法，该方法结合神经网络模型实现自动化刺点，即自动化确定航测图像中的像控点，减少人力，耗时少，从而能够更为有效的提高航测内业处理的自动化程度。
附图说明
16.为了更清楚地说明本技术实施例中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本技术的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
17.图1是本技术实施例提供的一种刺点方法的示意性流程图；
18.图2是本技术实施例提供的摄影测量中共线方程的应用场景示意图；
19.图3是本技术实施例提供的第一神经网络模型训练方法示意性流程图；
20.图4是本技术实施例提供的不同目标区域中像控点标识的成像图像的示意图；
21.图5是本技术实施例提供的第二神经网络模型训练方法示意性流程图；
22.图6是本技术实施例提供的与像控点标识具有类似形状的其他特征物体图像的示意图；
23.图7是本技术实施例提供的第三神经网络模型训练方法示意性流程图；
24.图8是本技术实施例提供的基于各个神经网络模型的刺点方法的示意性流程图；
25.图9是本技术实施例提供的关键点的位置示意图；
26.图10是本技术实施例提供的显示界面的示意图；
27.图11是本技术实施例提供的刺点装置的示意图；
28.图12是本技术实施例提供的电子设备的示意图。
具体实施方式
29.以下描述中，为了说明而不是为了限定，提出了诸如特定系统结构、技术之类的具体细节，以便透彻理解本技术实施例。然而，本领域的技术人员应当清楚，在没有这些具体细节的其它实施例中也可以实现本技术。在其它情况中，省略对众所周知的系统、装置、电路以及方法的详细说明，以免不必要的细节妨碍本技术的描述。
30.以下结合具体的实施例对本技术提供的技术方案进行详细的解释说明。
31.在无人机摄影测量领域中，需要采用无人机影像采集设备对待测区域进行航测，以获取该待测区域内的航测图像。
32.目前，无人机摄影测量通常包括航测外业工作和航测内业工作。
33.在航测外业工作中，为保证航测成果精度，需要先在待测区域(如某行政区域)布设一定数量的像控点。像控点在布设时需均匀覆盖待测区域，其数量则根据待测区域的面积大小、地形起伏程度、地貌复杂程度及所要求的测量精度而定。像控点布设完成后，由外业工作操作人员在像控点布设处绘制像控点标识，用于在内业工作时进行识别，然后通过无人机影像采集设备采集该待测区域的航测图像，并通过实时动态(real-time kinematic，rtk)检测设备实地检测每一个像控点在所对应坐标系下的三维坐标。应理解，在航测外业工作中，采用rtk检测设备实地测量像控点时所对应坐标系是指在航测内业工作中进行计算时需要用到的坐标系。
34.在航测内业工作中，需要通过图像处理软件对在航测外业工作中获取到的航测图像进行刺点(即确定像控点在航测图像中的位置)，以得到像控点在航测图像中的坐标。然后以像控点在航测图像中的坐标为计算基准，为后续的空中三角测量计算提供绝对坐标参考并对空中三角测量结果进行校正。因此，刺点环节的质量会直接影响后续空中三角测量计算结果的精度，进而影响最后的航测成果精度。
35.通常情况下，在航测内业工作中，通过图像处理软件对航测图像(即待刺点图像)进行刺点时，图像处理软件在获取到待刺点图像后，基于用户手动操作在待刺点图像确定的刺点位置，并将该刺点位置坐标作为像控点在对应待刺点图像中的坐标进行记录。
36.然而，传统技术中待刺点图像中的刺点位置是由操作人员根据肉眼判断的，并通过手动标记的，具有一定的主观性以及不确定性，因此，容易引入人为误差。同时，无人机影像采集设备通常对某一待测区域的航测任务涉及的图像数量巨大，如果采用人为手动的方式执行刺点任务时，则任务量巨大，且处理效率低下。
37.基于此，本技术实施例提供了一种刺点方法，该方法结合神经网络模型实现自动化刺点(即自动化确定航测图像中的像控点)，获取的像控点位置精度高，减少人力，耗时少，极大的提高航测内业处理的自动化程度。
38.本技术实施例提供的刺点方法，可以应用于电子设备。其中，该电子设备可以是智
能手机、平板电脑以及运行操作系统的计算机或者智能硬件设备等，本实施例对其不进行具体限制。
39.图1为本技术实施例提供的一种刺点方法的示意性流程图，如图1所示，该刺点方法包括以下步骤s1-s3。
40.s1、电子设备获取待刺点图像。
41.待刺点图像是指在无人机影像采集设备完成待测区域的航测任务后，采集到的该待测区域内的图像，该图像中包括该待测区域中的像控点。
42.电子设备在获取待刺点图像时，在无人机影像采集设备采集到待刺点图像后，将其存储在内存卡中，电子设备需要执行刺点任务时，可通过读卡器等读取设备使其访问无人机影像采集设备的存储信息即待刺点图像。
43.s2、电子设备在待刺点图像中确定目标区域。
44.由于由无人机影像采集设备采集到的目标区域的待刺点图像通常像幅巨大，为了准确识别出待刺点图像中的像控点位置，电子设备需要对待刺点图像进行范围缩减得到包括像控点和像控点标识图像的目标区域，然后对该目标区域做进一步处理，以此来提高刺点的处理速度和准确率。
45.电子设备可以将对待刺点图像进行范围缩减的过程看作是在像幅较大的图像上进行目标检测的过程，即在待刺点图像中检测到像控点的概略位置，并将其作为目标区域进行提取，然后再针对提取出的目标区域进行进一步的分析处理，从而使得检测的范围大大缩减。
46.在一些实施例中，目标区域可以根据像控点的实际位置坐标以及图像采集设备的设备位置坐标及其姿态确定。其中，图像采集设备为采集待刺点图像的设备，设备位置坐标为采集设备在采集待刺点图像时所处的位置坐标，实际位置坐标及其姿态为像控点在实地测量时所处的位置坐标及其外方位元素信息。示例性的，待测区域可以通过以下方法确定：电子设备首先获取像控点的实际位置坐标以及采集设备的设备位置坐标，其中，像控点的实际位置坐标在航测外业作业中可以由rtk检测设备实地测量而得，图像采集设备的设备位置坐标可以基于无人机影像采集设备中所记录的外方位元素信息。其中，外方位元素信息用于定位无人机采集设备的位置参数，外方位元素信息中的畸变参数能够用于对采集到的待刺点图像进行图像校正。然后电子设备根据摄影测量学中的共线方程公式，参见图2所示，通过共线方程预测得到像控点的概略位置，截取该概略位置周围部分范围作为像控点的目标区域，进而大大的缩减待刺点图像的检索范围。
47.s3、电子设备通过神经网络模型根据像控点标识图像的特征确定目标区域内的像控点标识图像，并根据像控点和像控点标识图像的位置关系，确定像控点在待刺点图像中的位置坐标。
48.待刺点图像通常情况下是通过无人机影像采集设备采集的，由于待测区域面积、地形起伏程度、地貌复杂程度等的不同，通过无人机影像采集设备采集到的待刺点图像往往十分复杂。因此，电子设备为了在复杂的待刺点图像中进行准确刺点，往往需要借助能够精确识别待刺点图像中特定目标的检测技术，对该待刺点图像进行处理。神经网络模型在图像处理领域中，对目标图像中的待测物体有着精确的识别能力，尤其是深度学习的卷积神经网络模型，相较于传统的算法，深度学习通过大量训练获取到的目标检测参数，能够更
好的提取出目标特征，具有更为鲁棒的表现。因此，考虑将神经网络模型引入待刺点图像的刺点过程中，以实现自动且精准刺点的目的。
49.在一些实施例中，电子设备可以创建用于提取目标区域内像控点标识图像的神经网络模型(也可称为第一神经网络模型)，该神经网络模型可以通过具有像控点标识图像特征的训练数据集进行训练而得。然而，由于在每个目标区域内包含的对象众多，且复杂程度高，因此，电子设备在通过神经网络模型提取目标区域内的像控点标识图像时，所提取出来的像控点标识图像可能是像控点所在图像，也可能是类似于像控点的其他特征物体所在的图像，所以，电子设备需要进一步的针对目标区域内所提取出来的像控点标识图像进行识别，判断该像控点标识图像是否为实际像控点标识图像。
50.同样的，电子设备在识别目标区域内的像控点标识图像是否为实际像控点标识图像时，也可以结合神经网络模型(也可称为第二神经网络模型)进行识别。应理解，这里所用到的第二神经网络模型与在提取目标区域内的像控点标识图像时所用到的第一神经网络模型不同。用于识别目标区域内的像控点标识图像是否为实际像控点标识图像的第二神经网络模型，是通过选择第一神经网络模型检测得到的误识别及成像质量差的负样本(像控点色彩混乱、边界模糊、部分遮挡的训练图像)，以及成像质量好的同数量正样本(像控点色彩鲜明、边界清晰、大小适中的训练图像)，制作成为误检测所形成的训练数据集进行训练而得的。因此，通过第二神经网络模型可以检测判断出第一神经网络模型的提取结果是否为具有像控点标识图像特征且实际的像控点标识图像，并剔除掉一些由于遮挡、镜头抖动、阴影等情况产生的成像质量差以至于难以准确进行刺点的像控点标识图像，以此来提高后续刺点的精度。
51.电子设备通过上述第一神经网络模型以及第二神经网络模型所得到的是，像控点标识在待刺点图像中的形状、位置以及像控点标识图像，但是在刺点时需要得到像控点标识图像中关键点的位置坐标，该关键点的位置坐标即为像控点标识图像中像控点的位置坐标，例如，像控点标识为l型时，刺点时需要得到l型标识的内角点的坐标，该内角点即为像控点标识图像中的关键点。因此电子设备还需要对得到的像控点标识图像做进一步处理。应理解，这里所提及的关键点的位置进行选择时，是按照在航测外业工作中操作人员采用rtk检测设备进行检测时所实地测量的点，当航测外业工作中操作人员在实地测量时所选择的点为内角点时，该关键点即为内角点，当航测外业工作中操作人员在实地测量时所选择的点为外角点时，改关键点即为外角点。同时，具有不同标识的像控点标识图像具有不同的关键点，比如，l型标识的像控点对应的关键点通常情况下是l型标识的内角点；x型标识的像控点对应的关键点通常情况下是x型标识的中心点。
52.电子设备在识别出像控点标识图像后，为了执行后续的刺点任务，电子设备需要进行像控点标识图像中关键点位置坐标的提取。在进行关键点位置坐标的提取时，针对不同的像控点标识选择关键点的坐标位置。由于在提取像控点标识图像中关键点的位置坐标时，许多的像控点往往处在复杂的背景之中，导致了像控点标识图像背景的不可控性。因此，传统的计算机视觉方法难以保证提取的关键点位置坐标的正确性，为了确保提取的关键点位置坐标的鲁棒性，同样可以采用神经网络模型(也可称为第三神经网络模型)实现关键点位置坐标的提取。应理解，这里所用到的第三神经网络模型与在识别目标区域内的像控点标识图像是否为实际像控点标识图像时所用到的第二神经网络模型网络基本结构相
同，但是在具体识别操作时，所用到的权重参数不同。用于像控点标识图像中关键点的坐标提取时所采用的第三神经网络模型，是通过选择第一神经网络模型中提取出的成像质量较好的像控点标识图像的关键点作为数据集标签文件，得到第三神经网络模型所需要的训练数据集，并进行训练而得的。因此，通过第三神经网络模型可以得到像控点标识图像中关键点的位置坐标，并将该关键点的位置坐标作为像控点在待刺点图像中的位置坐标。
53.图3为本技术实施例提供的第一神经网络模型训练方法示意性流程图，参见图3所示，具体包括以下步骤s301-s304。
54.s301、电子设备确定用于第一神经网络模型训练的训练数据集。
55.在本实施例中，训练神经网络模型时所用到的电子设备与前面执行刺点方法时所用到的电子设备可以是同一个设备，也可以是不同的设备。
56.在本实施例中，引入神经网络模型计算的方法可以得到更为鲁棒的目标检测，但神经网络模型不可避免的需要大量数据集进行训练。电子设备对第一神经网络模型进行训练时，由于神经网络模型的检测环境较为复杂，为了在复杂环境中保障其提取出准确的像控点，其训练数据集可以选择具有像控点标识特征的训练数据集。例如，电子设备主要以像控点标识色彩鲜明、边界清晰、大小适中的训练图像作为第一神经网络模型中的训练数据集；同时，由于部分像控点标识在航测外业作业中实地绘制时会出现形状不符合标准或者在待刺点图像中被遮挡的情况，因此电子设备在选择训练数据集时，将部分尺寸小、成像效果较差的含有像控点标识的训练图像，也作为训练数据集以提高第一神经网络模型识别的召回率以及泛化能力，从而提高其检测精度。其中，上述两种不同的训练数据集统称为第一训练数据集。图4中所示为不同目标区域中像控点标识的成像图像的示意图。
57.s302、电子设备基于第一神经网络模型提取训练数据集内的像控点标识图像。
58.在一些实施例中，电子设备基于未训练的第一神经网络模型对训练数据集内的训练图像的像控点标识图像进行提取，以得到训练数据集中像控点标识图像的检测值。
59.s303、电子设备通过损失函数计算第一神经网络模型在像控点标识图像提取时的目标损失。
60.在一些实施例中，电子设备对训练数据集中的训练图像进行标定，得到该训练图像中像控点标识图像的标签值，即训练图像中像控点标识图像的真实值，以及通过第一神经网络模型计算得到的像控点标识图像的检测值，结合损失函数计算第一神经网络模型在像控点标识图像提取时的目标损失。
61.需要说明的是，第一神经网络模型中目标损失的计算可以基于所选择的神经网络模型中所对应的损失函数进行计算。例如，若第一神经网络模型为yolo v5s神经网络模型，则在计算目标损失时所选择的损失函数包括分类损失函数和回归损失函数。
62.s304、电子设备基于目标损失以及训练数据集，对第一神经网络模型进行训练，得到能够提取像控点标识图像的第一神经网络模型。
63.在一些实施例中，电子设备将训练数据集中的训练图像的真实值以及计算出的目标损失输入至第一神经网络模型中进行反向传播及参数更新，得到能够提取像控点标识图像的第一神经网络模型。
64.图5为本技术实施例提供的第二神经网络模型训练方法示意性流程图，参见图5所示，具体包括以下步骤s501-s504。
65.s501、电子设备确定用于第二神经网络模型训练的训练数据集。
66.在一些实施例中，由于第二神经网络模型是用于识别目标区域内的像控点标识图像是否为实际像控点标识图像，而非类似于像控点标识的其他特征物体所在的图像，如图6所示为与像控点标识具有类似形状的其他特征物体图像的示意图。因此，电子设备以第一神经网络模型检测得到的误识别及成像质量差的负样本(像控点色彩混乱、边界模糊、面积过小的训练图像)，以及成像质量好的同数量正样本(像控点色彩鲜明、边界清晰、大小适中的训练图像)，制作成为误检测所形成的训练数据集。
67.s502、电子设备基于第二神经网络模型对训练数据集内的训练图像的进行识别。
68.在一些实施例中，电子设备基于未训练的第二神经网络模型对训练数据集内的训练图像中的像控点标识图像进行识别，以得到训练数据集中像控点标识图像的检测值。
69.s503、电子设备通过损失函数计算第二神经网络模型在像控点标识图像识别时的目标损失。
70.在一些实施例中，电子设备对训练数据集中的训练图像进行标定，得到该训练图像中像控点标识图像的标签值，即训练图像中像控点标识图像的真实值，以及通过第二神经网络模型计算得到的检测值，结合损失函数计算第二神经网络模型在像控点标识图像识别时的目标损失。
71.应理解，在本实施例中，第二神经网络模型用于判断检测出的结果是否为实际像控点标识图像，并剔除掉一些由于遮挡、镜头抖动、阴影等情况产生的成像质量差以至于难以准确进行刺点的像控点标识图像，以此来提高刺点的精度。该类判断方式属于深度学习中的分类问题，即是或者否的问题，因此，可以选择分类损失函数计算目标损失。
72.需要说明的是，在第二神经网络模型中，像控点标识图像的检测值或者真实值是指该像控点标识图像是否为实际像控点标识图像，若为实际像控点标识图像，则基于标记方法(如one-hot标注，即通过0与1标注是否为目标物体)标记为是像控点标识图像，若非实际像控点标识图像，则基于标记方法标记为非像控点标识图像。
73.s504、电子设备基于目标损失以及训练数据集，对第二神经网络模型进行训练，得到能够识别是否为实际像控点标识图像的第二神经网络模型。
74.在一些实施例中，电子设备将训练数据集中的训练图像的真实值以及计算出的目标损失输入至第二神经网络模型中进行训练，在训练的过程中，将误识别及成像质量差的负样本赋予其标签为非像控点标识图像，而成像质量好的同数量正样本赋予其标签为是像控点标识图像，从而得到能够识别是否为实际像控点标识图像的第二神经网络模型。
75.图7为本技术实施例提供的第三神经网络模型训练方法示意性流程图，参见图7所示，具体包括以下步骤s701-s704。
76.s701、电子设备确定用于第三神经网络模型训练的训练数据集。
77.在本实施例中，第三神经网络模型用于提取像控点标识图像中关键点的位置坐标。电子设备以第一神经网络模型检测得到的成像质量较好的像控点标识图像(例如，第一神经网络模型的训练数据集中的正样本，即正确识别出的像控点标识的图像)，采用标注工具(如使用基于matplotlib库开发的python脚本)对像控点标识图像中的关键点进行标注，得到用于关键点提取的第三神经网络模型网络所需要的训练数据集，参见图9所示。
78.s702、电子设备基于第三神经网络模型对训练数据集内的训练图像的进行关键点
识别。
79.在一些实施例中，电子设备基于未训练的第三神经网络模型对训练数据集内的训练图像进行关键点识别，以得到训练数据集中每个训练图像的关键点的检测值。
80.s703、电子设备通过损失函数计算第三神经网络模型在进行关键点提取时的目标损失。
81.在一些实施例中，电子设备对训练图像中关键点位置坐标进行标定，得到该训练图像中关键点位置坐标的标签值，即训练图像中关键点的真实值，以及通过第三神经网络模型计算得到的检测值，结合损失函数计算第三神经网络模型在进行关键点识别时的目标损失。
82.应理解，在本实施例中，第三神经网络模型用于提取像控点标识图像中关键点的位置坐标，此处所用到的第三神经网络模型结构与第二神经网络模型结构完全一致，但是由于像控点标识图像中关键点坐标预测属于回归问题，因此，选择回归损失函数或热图损失函数计算目标损失而不是分类损失函数计算目标损失。
83.s704、电子设备基于目标损失以及训练数据集，对第三神经网络模型进行训练，得到能够提取像控点标识图像中关键点的位置坐标的第三神经网络模型。
84.在一些实施例中，电子设备将训练数据集中的训练图像的真实值以及计算出的目标损失输入至第三神经网络模型中进行反向传播更新参数，得到能够提取像控点标识图像中关键点的位置坐标的第三神经网络模型。
85.以上则为本技术实施例所涉及到的各个神经网络模型的训练过程，将训练完成后的上述神经网络模型应用于本技术实施例提供的刺点方法时，可以参见图8所示，包括以下步骤s801-s803。
86.s801、电子设备基于第一神经网络模型，根据像控点标识图像的特征在目标区域内对像控点标识图像进行初步提取。
87.第一神经网络模型在选择时，为了保证提取准确度较高的同时尽可能的提升处理的效率，因此，电子设备可以选择可靠性较高的神经网络模型。且由于在本实施例中需要作为检测目标的像控点标识图像较为简单，因此，电子设备可以选择轻量级的神经网络模型进行目标检测，其中，轻量级是根据神经网络模型的体量大小，计算复杂程度来判定的，例如squeezenet、mobilenet、shufflenet和xception等均属于轻量级的神经网络模型。示例性的，yolo为目标检测神经网络模型中的一种，其经历yolo v1-v4迭代后产生的yolo v5作为一种目前通用的轻量级目标检测网络，具有较快的运算速度。且yolo v5还可依据网络的深度与宽度衍生出yolo v5s、yolo v5m、yolo v5l、yolo v5x四个模型。在本技术实施例中，为了保障运行的效率，电子设备可以选择网络结构最为简洁的yolo v5s神经网络模型，并通过上述步骤s301-s304中涉及到的训练方法对该模型进行训练。训练完成后，电子设备将待刺点图像输入至yolo v5s神经网络模型，即通过该模型对待刺点图像中的像控点进行提取，得到若干包括有像控点标识的区域图像，如图4所示。
88.s802、电子设备基于第二神经网络模型，对初步提取到像控点标识图像进行识别，最终确定像控点标识图像。
89.由于通过第一神经网络模型提取后的像控点标识的区域图像包含对象众多，复杂程度高，易出现类似于像控点标识形状的目标被误检测提取，参见图6所示。因此，电子设备
采用训练后的能识别出像控点的第二神经网络模型，对提取到的像控点标识图像进行识别，从而筛选出像控点标识图像中误识别的像控点标识图像和不规则难以分辨的像控点标识图像。
90.s803、电子设备基于第三神经网络模型，根据像控点和像控点标识图像的位置关系，确定像控点的位置坐标。
91.为了完成刺点任务，电子设备在识别出像控点标识图像后，基于训练后的第三神经网络模型对像控点标识图像中的关键点位置坐标进行提取，得到像控点标识图像中关键点的位置坐标，该关键点的位置坐标即为像控点在待刺点图像中的位置坐标，参见图9所示。
92.在本实施例中，电子设备在执行上述刺点方法时，可显示如图10所示的界面。参见图10所示，该界面包括位于中央视图的无人机原始影像，右上角视图的像控点目标区域图像，右下角视图的刺点位置，图10中的黑色小点表示神经网络模型预测的刺点的位置，基于该刺点位置即可得到像控点的坐标。
93.通过本技术实施例中提供的刺点方法，能够较为准确的识别出待刺点图像中像控点的位置坐标，减少人力，耗时少，极大提高航测内业处理的自动化程度。该方法可以满足各种施工单位的施工要求，对于各种环境下的像控点识别率高，无需制作特定像控点，实用性强。
94.应理解，上述实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
95.图11为本技术实施例提供的一种刺点装置的示意图，如图11所示，该装置包括：获取单元，用于获取待刺点图像；目标区域确定单元，用于在待刺点图像中确定目标区域，目标区域包括像控点和像控点标识图像，像控点标识图像用于标识像控点的位置；像控点位置坐标确定单元，用于通过神经网络模型根据像控点标识图像的特征，确定目标区域内的像控点标识图像，并根据像控点和像控点标识图像的位置关系，确定像控点在待刺点图像中的位置坐标。
96.图12是本技术一实施例提供的电子设备的示意图。如图12所示，该实施例的电子设备12包括：处理器120、存储器121以及存储在所述存储器121中并可在所述处理器120上运行的计算机程序122，例如刺点程序。所述处理器120执行所述计算机程序122时实现上述各个刺点方法实施例中的步骤。或者，所述处理器120执行所述计算机程序122时实现上述各装置实施例中各模块/单元的功能。
97.示例性的，所述计算机程序122可以被分割成一个或多个模块/单元，所述一个或者多个模块/单元被存储在所述存储器121中，并由所述处理器120执行，以完成本技术。所述一个或多个模块/单元可以是能够完成特定功能的一系列计算机程序指令段，该指令段用于描述所述计算机程序122在所述电子设备12中的执行过程。
98.所述电子设备12可以是平板电脑、平板电脑、桌上型计算机、笔记本、掌上电脑及云端服务器等计算设备。所述电子设备可包括，但不仅限于，处理器120、存储器121。本领域技术人员可以理解，图12仅仅是电子设备12的示例，并不构成对电子设备12的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如所述电子设备还可
以包括输入输出设备、网络接入设备、总线等。
99.所称处理器120可以是中央处理单元(central processing unit，cpu)，还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现场可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
100.所述存储器121可以是所述电子设备12的内部存储单元，例如电子设备12的硬盘或内存。所述存储器121也可以是所述电子设备12的外部存储设备，例如所述电子设备12上配备的插接式硬盘，智能存储卡(smart media card,smc)，安全数字(secure digital,sd)卡，闪存卡(flash card)等。进一步地，所述存储器121还可以既包括所述电子设备12的内部存储单元也包括外部存储设备。所述存储器121用于存储所述计算机程序以及所述电子设备所需的其他程序和数据。所述存储器121还可以用于暂时地存储已经输出或者将要输出的数据。
101.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将所述装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述系统中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
102.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
103.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
104.在本技术所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，所述模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
105.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
106.另外，在本技术各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
107.所述集成的模块/单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，也可以通过计算机程序指令相关的硬件来完成，所述的计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述各个方法实施例的步骤。其中，所述计算机程序包括计算机程序代码，所述计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。所述计算机可读介质可以包括：能够携带所述计算机程序代码的任何实体或装置、记录介质、u盘、移动硬盘、磁碟、光盘、计算机存储器、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、电载波信号、电信信号以及软件分发介质等。需要说明的是，所述计算机可读介质包含的内容可以根据司法管辖区内立法和专利实践的要求进行适当的增减，例如在某些司法管辖区，根据立法和专利实践，计算机可读介质不包括是电载波信号和电信信号。
108.以上所述实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。

技术特征：
1.一种刺点方法，其特征在于，所述方法包括：获取待刺点图像；在所述待刺点图像中确定目标区域，所述目标区域包括像控点和像控点标识图像，所述像控点标识图像用于标识所述像控点的位置；通过神经网络模型根据所述像控点标识图像的特征，确定所述目标区域内的所述像控点标识图像，并根据所述像控点和所述像控点标识图像的位置关系，确定所述像控点在所述待刺点图像中的位置坐标。2.根据权利要求1所述的方法，其特征在于，所述在所述待刺点图像中确定目标区域，包括：获取所述像控点的实际位置坐标以及采集设备的设备位置坐标；根据所述实际位置坐标和所述设备位置坐标，基于共线方程确定所述待刺点图像中的所述目标区域；其中，所述采集设备为采集所述待刺点图像的设备，所述设备位置坐标为所述采集设备在采集所述待刺点图像时所处的位置坐标；所述实际位置坐标为所述像控点在实地测量时所处的位置坐标。3.根据权利要求1或2所述的方法，其特征在于，所述通过神经网络模型根据所述像控点标识图像的特征，确定所述目标区域内的所述像控点标识图像，并根据所述像控点和所述像控点标识图像的位置关系，确定所述像控点在所述待刺点图像中的位置坐标，包括：基于第一神经网络模型，根据所述像控点标识图像的特征在所述目标区域内对所述像控点标识图像进行初步提取；基于第二神经网络模型，对初步提取到的所述像控点标识图像进行识别，最终确定所述像控点标识图像；基于第三神经网络模型，根据所述像控点和所述像控点标识图像的位置关系，确定所述像控点的位置坐标。4.根据权利要求3所述的方法，其特征在于，所述神经网络模型是通过训练数据集以及目标损失函数进行训练确定的；其中，在所述第一神经网络模型中，所述训练数据集包括具有所述像控点标识图像的特征的第一训练数据集，所述损失函数为分类损失函数和回归损失函数；在所述第二神经网络模型中，所述训练数据集包括所述第一训练数据集中的正样本和与所述正样本等同数量的负样本，所述损失函数为分类损失函数；在所述第三神经网络模型中，所述训练数据集包括所述第一训练数据集中的正样本，所述损失函数为回归损失函数或热图损失函数。5.根据权利要求4所述的方法，其特征在于，所述正样本用于最终确定所述像控点标识图像以及标定所述像控点标识图像中的像控点位置坐标；所述负样本用于对所述第一神经网络模型中提取到的所述像控点标识图像进行剔除。6.根据权利要求1所述的方法，其特征在于，所述像控点标识图像包括：l型标识图像或x型标识图像中的任意一种。7.根据权利要求6所述的方法，其特征在于，
当所述像控点标识图像为l型标识图像时，所述像控点位于所述l型标识图像的内角点；当所述像控点标识图像为x型标识图像时，所述像控点位于所述x型标识图像的中心点。8.一种刺点装置，其特征在于，所述装置包括：获取单元，用于获取待刺点图像；目标区域确定单元，用于在所述待刺点图像中确定目标区域，所述目标区域包括像控点和像控点标识图像，所述像控点标识图像用于标识所述像控点的位置；像控点位置坐标确定单元，用于通过神经网络模型根据所述像控点标识图像的特征，确定所述目标区域内的所述像控点标识图像，并根据所述像控点和所述像控点标识图像的位置关系，确定所述像控点在所述待刺点图像中的位置坐标。9.一种电子设备，包括存储器、处理器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现如权利要求1至7任一项所述方法的步骤。10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至7任一项所述方法的步骤。

技术总结
本申请属于摄影测量领域，提出了一种刺点方法、装置、设备及存储介质。该方法包括获取待刺点图像；在待刺点图像中确定目标区域，目标区域包括像控点和像控点标识图像，像控点标识图像用于标识像控点的位置；通过神经网络模型根据像控点标识图像的特征，确定目标区域内的像控点标识图像，并根据像控点和像控点标识图像的位置关系，确定像控点在待刺点图像中的位置坐标。由于本申请提供的刺点方法基于神经网络模型实现自动化刺点，从而能够得到精度较高的像控点位置坐标，且减少人力，耗时少，极大的提高航测内业处理的自动化程度。提高航测内业处理的自动化程度。提高航测内业处理的自动化程度。


技术研发人员：亢太波 陈庭 陈庆 张迪 孔令昊
受保护的技术使用者：武汉珞道科技有限责任公司
技术研发日：2023.04.10
技术公布日：2023/8/9