一种用于卫星对接快速寻找的方法

1.本发明涉及的是目标寻找的方法，尤其涉及在一种用于卫星对接快速寻找的方法。


背景技术：

2.近年来随着计算机技术的飞速发展，实时的目标检测与跟踪技术成为研究的热点。目标检测又称目标提取，是将目标的分割和识别合二为一，精准的目标检测对后续的跟踪系统有着很大的影响。目标跟踪是基于目标的初始状态，通过目标跟踪算法对目标进行空间上的轨迹追踪。视觉跟踪相比较其他技术，其特点在于对跟踪物体的类别具有更好的识别率，且视觉传感器价格较低。所以采用视觉的目标检测与跟踪算法对目标物体进行检测与跟踪，并且对云台的控制来转动相机。
3.由于卫星在对接前需要确定目标卫星的方位，因此利用在云台上放置双目相机对目标进行检测与跟踪，并且通过对云台的控制使得目标一直处于视场范围之内，同时双目相机能够获取目标的深度信息，为后续的处理提供了帮助。


技术实现要素：

4.本发明目的在于提供一种在卫星对接前能够快速寻找目标卫星的方法。
5.为实现上述目的，本发明提供一种在卫星上搭建一个云台双目相机，通过目标检测与跟踪算法实现对目标卫星的快速寻找，包括：
6.一种用于卫星对接快速寻找的方法，包括以下步骤：
7.1)在基准卫星上安装云台双目相机，快速转动云台双目相机获取图片，在图片中检测目标卫星，当检测到目标卫星时，输入第一帧图片的目标框；
8.2)在第二帧图片中生成候选框，对候选框中的物体进行特征提取，获取置信分数，将置信分数最高确定为目标候选框；
9.3)通过步骤1)和2)获得每一帧图片的目标框，并且输出目标卫星在图片中的位置信息，并通过转动云台双目相机使得目标卫星始终处于视场中心；
10.4)以云台双目相机的左目相机为基准，利用双目相机视差公式计算目标卫星到基准卫星的距离。
11.优选的，步骤1)的实现过程为：
12.步骤1.1)获取多张包含目标卫星的图片，并分为训练集和验证集，将训练集输入目标检测模型进行训练得到训练好的目标检测模型，并通验证集验证训练好的目标检测模型的性能；
13.步骤1.2)快速转动云台双目相机，将云台双目相机获取的图片输入到训练好的目标检测模型中，当检测到目标卫星时，输入第一帧图片的目标框。
14.优选的，步骤2)的实现过程为：在第二帧图片中生成候选框，通过滑窗式采样确定候选区域，并且进行外观建模，然后根据外观建模计算候选边框中物体的置信分数，将置信
分数最高确定为目标候选框。
15.优选的，步骤3)的实现过程为：通过步骤1)和2)得到每一帧图片的目标框，并且以目标框的中心像素点为图片中目标卫星的位置，输出目标卫星的位置信息，控制云台双目相机转动使得目标卫星处于视场中心处。
16.优选的，步骤4)的实现过程为：以云台双目相机的左目相机为基准，通过坐标变换由世界坐标系下的目标卫星坐标到相机坐标系再到图像坐标系最后转换到像素坐标系，利用双目视觉视差公式计算出目标卫星到基准卫星的距离z；其中t为云台双目相机的左右目相机图像上匹配到的目标框中心点的视差，f是左右目相机的焦距，d是左右目相机光心的距离。
17.优选的，步骤4)中在进行坐标转换之前，通过云台双目相机离焦快速标定方法，求出云台双目相机的内参数和外参数，具体包括以下步骤：
18.步骤a)通过相位移编码圆图案获取相机离焦状态下的特征点精确的亚像素坐标；
19.步骤b)根据步骤(a)中获取的特征点精确的亚像素坐标计算单目相机的初始参数，根据该初始参数构建单目相机重投影误差最小的单目目标函数，并根据该目标函数计算单目相机的内部参数；
20.步骤c)在得到每个相机较为准确的内部参数之后，再对双目相机的重投影误差函数进行优化，从而得到精确的内部参数以及双目相机的外部参数。
21.优选的，步骤a)的实现过程为：
22.获取相位移编码圆图案,并采集该相位移编码圆图案对应的图像，相位移编码圆图案的相移值为2/3π,光强分布函数为：
[0023][0024]
式中,i1(x,y)为相位编码圆图案的像素灰度值，i'(x,ｙ)为对应图像的背景平均灰度，取值0.5；ｉ”(x,y)为对应图像的调制灰度，取值0.5；φ(x,y)为相位主值,定义为：
[0025][0026]
式中,t为相位移编码圆图案的周期,r(x,y)为相位移编码圆图案上一点(x,y)到相位移编码圆图案的圆心(x0,y0)的欧氏距离,表示为：
[0027][0028]
对采集到的图像进行相位主值的解算,图像上像素点的相位主值为：
[0029][0030]
式中,i1、i2、i3分别是三张相位移编码圆图案对应像素的灰度值，对计算的相位主值进行轮廓提取拟合椭圆,从而获得特征点精确的亚像素坐标。
[0031]
优选的，步骤c)的实现过程为：所述双目相机的重投影误差函数为：
[0032][0033]
其中mi为图像观测到的图像二维点；g为投影方程；a为内参矩阵，其初值使用的是相机硬件制造厂商提供的参数；k为畸变参数；r，t为每个相机与标靶之间的外部参数,，其初值通过n点透视算法获取；mi为特征点的空间三维坐标；err为重投影误差。
[0034]
有益效果：
[0035]
本发明通过双目视觉的目标检测与追踪算法以及对云台的控制实现对目标卫星的快速寻。该方法用云台的方式既减少了能量的消耗同时也能够快速的寻找目标卫星。通过坐标系的转换能够建立两个对接卫星的位置关系，从而确定目标的位置信息。
附图说明
[0036]
图1为本发明的一种用于卫星对接快速寻找的方法流程图。
具体实施方式
[0037]
为了使本技术领域的技术人员更好地理解本发明方案，下面结合附图和具体实施方式对本发明作进一步的详细说明。
[0038]
本发明提供的一种用于卫星对接快速寻找的方法，包括：s1：快速转动云台在视频流中检测目标卫星，当检测到目标卫星时，输入第一帧的目标框。s2：在第二帧中生成候选框，对候选框中的物体进行特征提取，获取置信分数，分数最高的则确定为目标候选框。s3：通过s1,s2获得每一帧的目标框，并且输出目标在图像中的位置信息，通过云台的控制使得目标卫星始终处于视场中心。s4：以左目相机为基准，利用双目相机视差原理计算目标的距离。
[0039]
上述用于卫星快速对接寻的具体过程可以设置为：
[0040]
首先目标检测算法分为传统目标检测算法、基于候选区域的目标检测算法、基于回归的目标检测算法和基于增强学习的目标检测算法。综合对比各种算法的优缺绘制如下表1：
[0041][0042][0043]
表1目标检测算法特征总结
[0044]
本方法用于卫星对接快速寻的要求对目标检测迅速，对精度要求较高，可选用基于回归的目标检测算法，例如yolo(you only look once)系列算法和ssd(single shot multibox detector)。
[0045]
s1：在yolov4算法过程中，首先将输入的照片调整到416
×
416大小，在cspdarknet-53特征提取网络中将输入图像划分成s
×
s大小的单元格，
[0046]
然后得到三种不同尺寸的特征图，即13
×
13，26
×
26，52
×
52，分别用于大、中、小三种目标，同时在每个单元格中的回归预测有3个anchor box预测三个边框，选取其中置信度最大的作为最终检测结果。
[0047]
s2：在跟踪算法方面可以选择判别式跟踪算法，判别式的跟踪算法又可分为基于稀疏表示的跟踪算法，基于相关滤波的跟踪算法和基于深度学习的跟踪算法。由于基于深度学习的跟踪算法对形变，模糊和部分遮挡等问题不敏感并且能够实现较快且准确的跟踪，所以用基于深度学习的跟踪算法来对目标卫星的跟踪。
[0048]
s3：通过s1和s2对目标卫星进行快速检测与跟踪，在视频流中显示出目标卫星的框，以方框中心点像素为目标卫星的位置并输出目标卫星的位置信息，通过对云台的控制转动双目相机，使得目标卫星始终处于视场范围之内，从而实现对目标卫星的快速准确的跟踪，并且在此过程中卫星的姿态始终未受影响。
[0049]
s4：以左目相机为基准，目标卫星的位置坐标需要经过坐标转换变成像素坐标。假设目标框中心点像素对应的目标卫星在世界坐标系下的点是(xw,yw,zw),通过旋转矩阵和平移矩阵将世界坐标系转换为相机坐标系：
[0050][0051]
将其写成其次坐标形式：
[0052][0053]
在相机坐标系下的点通过相似变换到图像坐标系下：
[0054][0055]
最后通过图像坐标到像素坐标的转换公式：
[0056][0057]
将世界坐标系下目标卫星的中心点坐标变换到目标框像素坐标系下。将坐标变换公式联立：
[0058][0059]
利用双目视觉视差公式可以计算出深度z。其中t为左右相机图像上匹配到的目标框中心点的视差，f是相机的焦距，d是左右相机光心的距离也就是相距。
[0060]
针对大范围视觉系统相机标定难度大、效率低的问题，提出一种基于相位移编码圆的相机离焦快速标定方法。
[0061]
首先通过相位移编码圆实现离焦状态下的特征点提取；利用靶标空间位置信息构建出单目相机的目标优化函数，采用非线性最小二乘法求解相机内部参数；建立双目系统的目标优化函数计算出相机系统的外部参数。
[0062]
本文采用三步相移法生成相位移编码圆图案,其相移值为2/3π,光强分布函数可表示为
[0063][0064]
式中,i'(x,y)为图像背景平均灰度取值0.5；i”(x,y)为图像调制灰度取值0.5；φ(x,y)为相位主值,描述为
[0065][0066]
式中,t为相位移编码圆的周期,即相位主值从0变换到2π跨越的像素个数,其值大小由屏幕分辨率和规划的相位移编码圆的总行数以及列数决定。r(x,y)为相位移编码圆上一点(x,y)到其圆心(x0,y0)的欧氏距离,可表示为
[0067][0068]
对相位圆图案进行图像处理,获取其特征点的精确位置。相机采集到的图像其像素点的相位主值与生成时发生了变化,因此首先需要对采集到的图像进行相位主值的解算,相位移编码圆图像上像素点的相位主值为
[0069][0070]
式中,φ(x,y)为像素(x,y)处的待求相位主值,i1、i2、i3分别是三张相位移图案对应像素的灰度值。相位解算得到的相位主值范围在0～2π,因反正切函数的性质,相位主值在2π处会产生间断,因此可以直接对计算的相位主值进行轮廓提取拟合椭圆,从而获得特征点精确的亚像素坐标。
[0071]
系统参数的标定过程就是求解相机内部参数矩阵和外部参数矩阵的过程。相机内部参数矩阵只与相机本身的内部参数相关，双目系统的相机外部参数矩阵一般为右相机到左相机的变换关系。对双目系统的每一个相机分别计算其内参数，建立单目相机重投影误差最小的目标函数优化；在得到每个相机较为准确的内参结果之后，再建立双目相机的重投影误差函数进行优化，从而得到精确的内部参数以及双目相机的外部参数。重投影误差函数构造如下：
[0072][0073]
可以理解，本发明是通过一些实施例进行描述的，本领域技术人员知悉的，在不脱离本发明的精神和范围的情况下，可以对这些特征和实施例进行各种改变或等效替换。另外，在本发明的教导下，可以对这些特征和实施例进行修改以适应具体的情况及材料而不会脱离本发明的精神和范围。因此，本发明不受此处所公开的具体实施例的限制，所有落入本技术的权利要求范围内的实施例都属于本发明所保护的范围内。

技术特征：
1.一种用于卫星对接快速寻找的方法，其特征在于，包括以下步骤：1)在基准卫星上安装云台双目相机，快速转动云台双目相机获取图片，在图片中检测目标卫星，当检测到目标卫星时，输入第一帧图片的目标框；2)在第二帧图片中生成候选框，对候选框中的物体进行特征提取，获取置信分数，将置信分数最高确定为目标候选框；3)通过步骤1)和2)获得每一帧图片的目标框，并且输出目标卫星在图片中的位置信息，并通过转动云台双目相机使得目标卫星始终处于视场中心；4)以云台双目相机的左目相机为基准，利用双目相机视差公式计算目标卫星到基准卫星的距离。2.如权利要求1所述的一种用于卫星对接快速寻找的方法，其特征在于，步骤1)的实现过程为：步骤1.1)获取多张包含目标卫星的图片，并分为训练集和验证集，将训练集输入目标检测模型进行训练得到训练好的目标检测模型，并通验证集验证训练好的目标检测模型的性能；步骤1.2)快速转动云台双目相机，将云台双目相机获取的图片输入到训练好的目标检测模型中，当检测到目标卫星时，输入第一帧图片的目标框。3.如权利要求2所述的一种用于卫星对接快速寻找的方法，其特征在于，步骤2)的实现过程为：在第二帧图片中生成候选框，通过滑窗式采样确定候选区域，并且进行外观建模，然后根据外观建模计算候选边框中物体的置信分数，将置信分数最高确定为目标候选框。4.如权利要求3所述的一种用于卫星对接快速寻找的方法，其特征在于，步骤3)的实现过程为：通过步骤1)和2)得到每一帧图片的目标框，并且以目标框的中心像素点为图片中目标卫星的位置，输出目标卫星的位置信息，控制云台双目相机转动使得目标卫星处于视场中心处。5.如权利要求4所述的一种用于卫星对接快速寻找的方法，其特征在于，步骤4)的实现过程为：以云台双目相机的左目相机为基准，通过坐标变换由世界坐标系下的目标卫星坐标到相机坐标系再到图像坐标系最后转换到像素坐标系，利用双目视觉视差公式计算出目标卫星到基准卫星的距离z；其中t为云台双目相机的左右目相机图像上匹配到的目标框中心点的视差，f是左右目相机的焦距，d是左右目相机光心的距离。6.如权利要求5所述的一种用于卫星对接快速寻找的方法，其特征在于，步骤4)中在进行坐标转换之前，通过云台双目相机离焦快速标定方法，求出云台双目相机的内参数和外参数，具体包括以下步骤：步骤a)通过相位移编码圆图案获取相机离焦状态下的特征点精确的亚像素坐标；步骤b)根据步骤(a)中获取的特征点精确的亚像素坐标计算单目相机的初始参数，根据该初始参数构建单目相机重投影误差最小的单目目标函数，并根据该目标函数计算单目相机的内部参数；步骤c)在得到每个相机较为准确的内部参数之后，再对双目相机的重投影误差函数进行优化，从而得到精确的内部参数以及双目相机的外部参数。7.如权利要求6所述的一种云台双目相机离焦快速标定方法，其特征在于，步骤a)的实
现过程为：获取相位移编码圆图案,并采集该相位移编码圆图案对应的图像，相位移编码圆图案的相移值为2/3π,光强分布函数为：式中,ｉ1(x,y)为相位编码圆图案的像素灰度值，i'(x,y)为对应图像的背景平均灰度，取值0.5；i”(x,ｙ)为对应图像的调制灰度，取值0.5；φ(ｘ,ｙ)为相位主值,定义为：式中,ｔ为相位移编码圆图案的周期,ｒ(ｘ,y)为相位移编码圆图案上一点(x,y)到相位移编码圆图案的圆心(ｘ0,y0)的欧氏距离,表示为：对采集到的图像进行相位主值的解算,图像上像素点的相位主值为：式中,,i1、ｉ2、i3分别是三张相位移编码圆图案对应像素的灰度值，对计算的相位主值进行轮廓提取拟合椭圆,从而获得特征点精确的亚像素坐标。8.如权利要求7所述的一种用于卫星对接快速寻找的方法，其特征在于，步骤c)的实现过程为：所述双目相机的重投影误差函数为：其中m
i
为图像观测到的图像二维点；g为投影方程；a为内参矩阵，其初值使用的是相机硬件制造厂商提供的参数；k为畸变参数；r，t为每个相机与标靶之间的外部参数,，其初值通过n点透视算法获取；m
i
为特征点的空间三维坐标；err为重投影误差。

技术总结
本发明公开一种用于卫星对接快速寻找的方法，包括以下步骤：(1)快速转动云台寻找目标卫星，使其在视场范围之内。(2)采用基于回归的目标检测算法对目标卫星进行检测。(3)采用基于深度学习的目标跟踪算法对特定目标在每一帧图像上进行跟踪并输出位置信息。根据目标卫星在图像上的位置信息解算出卫星之间的相对距离。本发明通过双目视觉的目标检测与追踪算法以及对云台的控制实现对目标卫星的快速寻。该方法用云台的方式既减少了能量的消耗同时也能够快速的寻找目标卫星。通过坐标系的转换能够建立两个对接卫星的位置关系，从而确定目标的位置信息。标的位置信息。标的位置信息。


技术研发人员：武俊峰 李旭 康国华
受保护的技术使用者：南京航空航天大学
技术研发日：2023.03.08
技术公布日：2023/7/21