基于区域检测的星上空间目标部件中心定位和测角方法

1.本发明属于可见光图像处理领域，特别涉及基于区域检测的星上空间目标部件中心定位和测角方法。


背景技术：

2.随着航天技术的蓬勃发展，太空成为重要战略资源，航天强国开始重视各种空间活动。空间活动主要包括在轨服务、交会对接、空间目标监视、空间攻防、空间飞行器绕飞等，要执行这些空间任务，首先需要了解目标的形态特征，也就是测量目标飞行器相对于追踪飞行器的位置与姿态。光学成像系统能够提供高分辨率图像，展示丰富的纹理信息，研究者们可以通过视觉测量手段解决空间目标位姿测量等问题。视觉测量技术作为空间目标感知的一种有效手段，具备对空间目标各关键部件，如帆板、天线等的识别能力，近年来在该领域已经取得了很多研究成果。
3.现有较成熟的视觉测量方法主要是针对合作目标，即安装有专用视觉测量标志器的目标。美国的轨道快车、日本的ets-vii(engineering test satellite,工程实验卫星)等都在追踪星上安装了可见光相机，在目标飞行器上安装了用于测量的发光标志器作为目标识别与测量的标志。对于没有安装测量标志器的非合作目标，测量难度远大于合作目标位姿测量，如何在目标运动和空间结构未知的情况下精确获取目标的相对位置和姿态信息是主要难点。inaba等假定目标模型已知，即目标飞行器外形、尺寸及质量等都已知，提出了一种对非合作目标的在轨识别与捕获方法。德国宇航中心正在开展的德国轨道服务任务重点研究非合作目标的识别、接近与捕获等技术，由于算法复杂度高，难以在卫星平台上实时处理，必须将空间的图片下传到地面服务器上运行，再将结果上传回卫星。这类方法受传输时延、传输可靠性影响，系统不稳定，无法完成全自动的在轨实时测量。徐文福等提出一种基于双目视觉的非合作飞行器相对位姿测量方法，该方法以太阳能帆板支架作为识别对象，极大地提高了测量自主性，但需要人机交互为追踪飞行器提供人工处理信息完成特征提取和位姿解算。徐培智等对该方法做出改进，测量目标更加具体化，并采用物理仿真进行验证，但该方法并未考虑姿态翻滚等测量条件。上述研究内容实时性与精确性有待提高。


技术实现要素：

4.本发明所要解决的技术问题是：提供基于区域检测的星上空间目标部件中心定位和测角方法，充分利用了目标卫星的典型部件结构，用于抵近过程中的中心定位，实现对模型已知的非合作目标从远到近抵近过程中各部件的视线角测量。
5.本发明为解决上述技术问题采用以下技术方案：
6.本发明提出了基于区域检测的星上空间目标部件中心定位和测角方法，包括以下步骤：
7.s1、对空间目标观测图像进行降噪和对比度增强处理。
8.s2、计算局部自适应阈值，利用局部自适应阈值分割步骤s1处理后的图像中的初
始目标与背景。
9.s3、通过种子填充法，获得阈值分割图像中的各连通域。
10.s4、为防止图像中除了目标还有其他的区域，比如深空背景中的星星和地杂光，统计各连通域的面积，即具有同样标签的连通域所占像素数。设定整个图像面积的0.1％作为面积阈值，当连通域的面积小于该阈值时，则将该连通域内的像素置为黑色背景(灰度值为0)；采用闭运算，将目标区域连接为一个连通域，面积最大的连通域选为最终目标区域，去除非最大的区域。
11.s5、随着目标抵近，目标所占像素数增多，当像素数达到一定量级，各部件逐渐清晰，可通过形态学处理区分各部件。利用形态学处理区分各部件，当最终目标区域的面积小于设定的需要进行部件分割的面积阈值时，则将该最终目标区域的形心作为目标区域形心，将形心坐标转换为目标在相机坐标系下的方位角和俯仰角，完成目标中心定位和测角，反之则进行步骤s6。
12.s6、根据目标位于的连通域的边缘点集，利用最小面积法获得连通域的外接矩形，提取roi图像块，并对其进行阈值分割。
13.s7、利用形态学开运算和闭运算，将各部件分开之间的连接断开并填充部件中的空洞，得到部件间各自独立的区域。
14.s8、对步骤s7所得的结果进行连通域检测，获取各部件所在区域，计算各区域的形心坐标，并根据各区域形心的相对位置识别帆板和本体。
15.s9、根据投影变换将各部件的形心坐标转换为视线角。
16.进一步的，步骤s1中，在图像的采集过程中，由于受到目标部件之间相互遮挡以及光照条件多变等因素的影响，经常会使场景的光照不均匀，主要表现为图像中亮的区域光线足够或者过强，而暗的区域照度不足，导致一些重要的细节信息无法凸显甚至被掩盖掉，严重影响了图像的视觉效果和应用价值，所以利用高斯滤波和自动伽马矫正，对空间目标观测图像进行降噪和对比度增强处理，具体步骤为：
17.s101、利用高斯滤波进行降噪处理时，以高斯分布取权重矩阵，利用该矩阵对空间目标观测图像进行卷积，输出的图像中每一个像素都取周边像素的加权平均值，完成高斯滤波；将权重矩阵的“中心点”作为原点，邻域内其他点按照高斯分布计算初始权重，二维高斯分布为：
[0018][0019]
其中，σ是高斯分布的标准差，决定了平滑效果，即标准差越大平滑效果越明显。
[0020]
得到高斯权重矩阵g后，将空间目标观测图像i与g进行卷积操作，具体公式为：
[0021][0022]
其中，表示卷积运算，ig为卷积输出图像。
[0023]
s102、对降噪后的图像，利用自动伽马矫正实现对比度增强。自动伽马矫正根据平均亮度自动调节伽马增强指数，伽马增强后的图像平均亮度应该向该参考值接近，通过以
下方式计算得到伽马增强指数：
[0024][0025]
其中，γ表示伽马增强指数；refavebrt表示平均亮度；x表示归一化去噪后图像的平均值，采用min-max归一化标准。
[0026]
进一步的，步骤s2中，分割图像中初始目标和背景的具体内容为：
[0027]
对输入图像当前像素点所在局部窗口内(2r+1)
×
(2r+1)个邻域像素求均值，乘以敏感度系数后的值作为当前像素点的分割阈值，窗口以步长为1移动，从上到下从左到右遍历图像计算所有像素的局部均值，即得到局部自适应阈值，具体公式如下：
[0028][0029]
其中，(x,y)表示像素点的坐标位置；thresh(x,y)表示像素点的分割阈值；t为敏感度，通过信息熵表示；ie是增强后图像；r是计算局部窗口的半径，半径尺寸影响阈值分割的效果。
[0030]
尽量采用小的窗口尺寸，能尽可能多的保留目标信息，使检测的目标连通域能连成一体，从而根据该连通域边缘坐标提取roi。高敏感度导致更多的像素归为前景，为了能够完整地分割出目标，本发明采用信息熵作为敏感度。图像信息熵从信息论的角度衡量图像中信息的多少，将信息熵作为敏感度，可根据图像中信息的多少自适应地确定分割阈值。该阈值分割方法简单有效，便于硬件实现。
[0031]
比较每个像素点的灰度值与计算得到的局部自适应阈值，当灰度值低于阈值时，则将该点置为黑色，归类为初始目标；反之将该点置为白色，归类为初始背景：
[0032][0033]
其中，bw是阈值分割后的二值图像。
[0034]
进一步的，步骤s3中，利用种子填充法进行连通域检测的具体内容为：遍历图像，搜索像素不为0的点作为初始种子，并向其邻域搜索，相同灰度值的像素则标记为相同的连通域标签，持续在邻域搜索直到周围没有相同灰度值的像素时，则得到一个完整的连通域；按照同样的方法，针对其他的不在已搜索到的连通域中的种子继续搜索相应的连通域，直到检测出整幅图的所有连通域。
[0035]
进一步的，步骤s6中，通过获得连通域的外接矩形的四个角点坐标，从原始空间目标观测图像中提取roi图像块，将其作为阈值分割的输入，采用较大的窗口尺寸，完成阈值分割。其中设置阈值计算的局部窗口半径r为h*0.4向下取整后的值，则窗口尺寸为(2r+1)*(2r+1)，其中h是roi的高度。该尺寸随着roi尺寸的变化而变化。
[0036]
进一步的，步骤s7中，对阈值分割后的像先进行开运算，能平滑物体的轮廓、断开较窄的狭颈并消除细的突出物，比如帆板和本体之间的连接三脚架。开运算是图像依次经过腐蚀、膨胀处理后的结果。接着对开运算后的结果进行闭运算，用来填补目标部件中的空
洞及填补轮廓线中的断裂。闭运算是先做膨胀处理，再用腐蚀处理，闭运算可以表示为(a+r)-r。随着目标抵近，形态学开运算和闭运算的矩形结构元素尺寸也随着roi尺寸的变化而变化，以保证各独立部件能被完整地区分开。
[0037]
根据经验，设置开运算的矩形结构元素尺寸高度和宽度的系数分别为0.001和0.004，即矩形结构元素的m和n分别为0.001*w和0.004*h向上取整后的值，那么矩形结构元素尺寸为(2m+1)*(2n+1)，其中w和h分别是roi的宽度和高度，该结构元素表示为：
[0038][0039]
与上述确定开运算矩形结构元素尺寸的方式相同，通过设置闭运算矩形结构元素的高度和宽度的系数，自适应地改变结构元素尺寸。闭运算的高度和宽度的系数分别被设置为0.001和0.001。
[0040]
进一步的，步骤s8中，计算形心坐标的具体公式为：
[0041][0042]
其中，si为第i个区域；xi和yi分别表示第i个连通域的水平和垂直方向坐标，xc和yc分别表示形心的水平和垂直方向坐标，ni是第i个连通域所占像素总数。
[0043]
将各区域形心的相对位置与目标结构相对应，形心处于图像中心两侧的是卫星帆板区域，形心处于两帆板形心之间的是本体区域。
[0044]
进一步的，步骤s9中，根据图像平面中的形心坐标、相机提供的像元尺寸和焦距参数，利用投影变换将帆板形心从图像坐标系o-uv变换到成像坐标系的坐标(y
t
,z
t
)，具体公式为：
[0045][0046]
其中，(u0,v0)表示图像平面中心坐标，(u
t
,v
t
)为目标形心坐标，dx和dy分别是水平方向和垂直方向的像元尺寸。
[0047]
对于焦距为f的相机，目标在成像坐标系o
r-xy中的坐标(y
t
,z
t
)与在相机坐标系o
p-x
pypzp
下的三维坐标的关系表示为：
[0048][0049]
在相机坐标系下目标视线角以矢量的形式表示为将该矢量单位化后表示为i
p
＝[if，iy，iz]，在相机坐标下由视线角信息表示，具体公式为：
[0050][0051]
其中，α表示方位角，β表示俯仰角。随着目标抵近可实时定位目标部件形心。
[0052]
本发明还提出一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现前文所述的基于区域检测的星上空间目标部件中心定位和测角方法的步骤。
[0053]
本发明还提出一种计算机可读的存储介质，所述计算机可读的存储介质存储有计算机程序，所述计算机程序被处理器运行时执行前文所述的基于区域检测的星上空间目标部件中心定位和测角方法的步骤。
[0054]
本发明采用以上技术方案与现有技术相比，具有以下技术效果：
[0055]
(1)实际太空环境复杂，目标边缘轮廓的提取精度受光照条件影响，存在无法适应光照过强或过暗的问题。本发明采用对比度增强预处理后，利用局部自适应阈值进行阈值分割，可以有效避免因为图像中各部件亮度不均而分割不准确的问题。
[0056]
(2)通过提取roi，并对其进行阈值分割，连通域检测和形态学开运算等操作，局部处理的操作有效提升了检测精度和算法速度。
[0057]
(3)根据roi尺寸计算各形态学操作的尺寸，在保障精度的条件下，能自适应地完成目标抵近过程中的测量任务。
附图说明
[0058]
图1是本发明的整体实施流程图。
[0059]
图2是本发明高斯滤波前后的对比示意图。
[0060]
图3是本发明实施例中进行对比度增强前后的对比示意图。
[0061]
图4是本发明实施例中进行局部自适应阈值分割前后的对比示意图。
[0062]
图5是本发明实施例中进行连通域检测效果对比示意图。
[0063]
图6是本发明实施例中进行点目标形心定位和测角的结果示意图。
[0064]
图7是本发明实施例中进行roi提取和阈值分割的结果示意图。
[0065]
图8是本发明实施例中进行roi图像开运算和闭运算的结果示意图。
[0066]
图9是本发明实施例中进行roi图像连通域检测的结果示意图。
[0067]
图10是本发明实施例在相机坐标系下目标所在位置的方位角和俯仰角定义示意图。
[0068]
图11是本发明实施例中进行目标部件形心定位和测角的示意图。
[0069]
图12是本发明实施例中blender仿真数据集测试结果示例。
[0070]
图13是本发明实施例中实拍数据集中相对距离200m，光圈f＝2.8并且曝光时间分别为2.574ms、10.7ms、48.3ms和69ms测试结果及放大示意图。
具体实施方式
[0071]
为了使本发明的目的、技术方案和优点更加清楚，下面将结合附图及具体实施例对本发明进行详细描述。
[0072]
本发明基于区域检测的星上空间目标部件中心定位和测角方法，应用于空间目标观测图像，如图1所示，包括以下步骤：
[0073]
s1、对空间目标观测图像进行降噪和对比度增强处理，具体步骤为：
[0074]
s101、利用高斯滤波进行降噪处理时，以高斯分布取权重矩阵，将卷积核的“中心点”作为原点，邻域内其他点按照其在正态曲线上的位置，分配权重，就可以得到一个加权平均值，每一个像素都取周边像素的加权平均值。
[0075]
二维高斯分布为：
[0076][0077]
其中，σ是高斯分布的标准差，决定了平滑效果，即标准差越大平滑效果越明显。
[0078]
本实施例中，选择高斯滤波窗口尺寸为5*5，标准差σ＝1.4。根据高斯分布函数得到初始权重后经过归一化得到最终的高斯滤波权重矩阵，卷积核半径为2时的归一化权重矩阵如下：
[0079][0080]
得到高斯权重矩阵g后，如上式所示，将空间目标观测图像i与g进行卷积操作，具体公式为：
[0081][0082]
其中，表示卷积运算，ig为卷积输出图像。
[0083]
以空间目标模型二在距离相机42m观测图像为例，图2展示了高斯滤波结果图，图2的(a)为原始图像，图2的(b)为高斯滤波后图像。通过对比高斯滤波前后的图像，可以看出滤波后的图像经过滤波后目标灰度变化更平滑，去除了目标表面的噪声。
[0084]
s102、对降噪后的图像，利用自动伽马矫正实现对比度增强，对空间目标观测图像
进行幂律变换，用于平滑地扩展较暗的细节。伽马增强指数γ小于1时，会拉伸图像中灰度级较低的区域，同时会压缩灰度级较高的部分；γ值大于1时，会拉伸图像中灰度级较高的区域，同时会压缩灰度级较低的部分。在本实施例中，由于目标材质特殊导致其反射强度较弱，图像的灰度值整体偏小，则设定一副合理图像的所有归一化后的参考平均亮度refavebrt为0.1，则伽马增强指数的计算公式为：
[0085][0086]
其中，γ表示伽马增强指数；refavebrt表示平均亮度；x表示归一化去噪后图像的平均值，采用min-max归一化标准。
[0087]
则增强后图像为：
[0088]
ie
＝
igγ
[0089]
如图3所示，图3的(a)是对比度增强前图像ig，可以看出，增强前图像整体较暗，除卫星主体较亮外，卫星帆板亮度几乎等同背景亮度。图3的(b)是对比度增强后的图像ie，可以看出，增强后的图像使目标整体明显变亮，主体和帆板均清晰可见，相较于背景具有显著的差别。同时保留了清晰的目标边缘，并且没有产生多余的噪声。
[0090]
s2、计算局部自适应阈值，由于目标和背景处于不同灰度级范围，所以利用局部自适应阈值分割步骤s1中处理后的图像中的目标与背景，具体内容为：
[0091]
计算局部自适应阈值，具体公式如下：
[0092][0093]
其中，(x,y)表示像素点的坐标位置；thresh(x,y)表示像素点的分割阈值；t为敏感度，通过信息熵表示；ie是增强后图像；r是计算局部窗口的半径，半径尺寸影响阈值分割的效果。
[0094]
在本实施中，设置为r＝5，邻域尺寸为11*11。
[0095]
遍历图像计算一个移动的平均值，比较每个像素点的灰度值和阈值，当灰度值低于阈值时，则将该点置为黑色，即归类为目标；反之将该点置为白色，即归类为前景：
[0096][0097]
其中，bw是阈值分割后的二值图像，图像中目标像素的灰度值被置为1(白色)，背景像素的灰度值被置为0(黑色)。
[0098]
如图4所示，图4的(a)是阈值分割前图像ie，图4的(b)是阈值分割后的图像bw。可以看出选用较小的窗口尺寸，能将目标完整的从背景中分割出来。
[0099]
s3、通过种子填充法，获得阈值分割图像中的各连通域，具体内容为：
[0100]
遍历图像，搜索像素不为0的点作为初始种子，并向其邻域搜索，相同灰度值的像素则标记为相同的连通域标签，持续在邻域搜索直到周围没有相同灰度值的像素时，则得到一个完整的连通域；按照同样的方法，针对其他的不在已搜索到的连通域中的种子继续
搜索相应的连通域，直到检测出整幅图的所有连通域。
[0101]
如图5所示，图5的(a)是区域检测前图像bw，图5的(b)是区域检测后的标签，不同区域采用不同标签值表示，也就是说将标签可视化在图5的(b)中，不同区域的灰度值不同，可以看出图像中检测出多个区域，其中区域面积最大的是空间目标。
[0102]
s4、统计各连通域的面积，也就是其所占像素数，面积最大的(像素数最多)的连通域是目标所在连通域。因为深空背景中星星和地杂光相比于整个目标所占面积非常小，所以为了排除深空背景中星星的干扰，本实施例中设定面积阈值为4194。当连通域的面积小于该阈值，则将该连通域内的像素置为背景(灰度值为0)。接着采用闭运算，目的是将目标区域连接为一个连通域。将面积最大的连通域选为最终目标区域，即可彻底排除星星和地杂光。
[0103]
本实施例中，整个图像分辨率为2048*2048。
[0104]
s5、随着目标抵近，目标所占像素数增多，当像素数达到一定量级，各部件逐渐清晰，可通过形态学处理区分各部件。当目标面积小于设定的需要进行部件分割的面积阈值时，则将该区域的形心作为目标区域形心，将形心坐标转换为目标在相机坐标系下的方位角和俯仰角，完成目标中心定位和测角，反之则进行步骤s6。
[0105]
在本实施例中，该面积阈值定为500。如图6所示，图6的(a)是目标面积小于500的空间点目标观测图，可以看出各部件区分不明显。图6的(b)是点目标形心检测结果，其中在最上面的标注“relative distance”是指当前目标与相机的相对距离，“number of pixels”是指当前检测出的目标所占像素数，“targetelevationangle”是指检测的目标中心的俯仰角，“targetazimuthangle”是指检测的目标中心的方位角。可以看出，本发明在本实施例中检测的点目标距离相机1120m，空间所占面积(像素数)为415，检测得到的目标中心在图像中坐标为(891，947)，经投影转换后输出的俯仰角和方位角分别为：-2.8803
°
和-4.9856
°
。图6的(c)是检测结果放大图。
[0106]
s6、根据目标所在连通域的边缘点集，利用最小面积法获得连通域的外接矩形，通过外接矩形的四个角点坐标，从原始空间目标观测图像中提取roi，roi是含有空间目标的矩形块；对roi进行局部自适应阈值分割；其中设置阈值计算的局部窗口半径r为h*0.4向下取整后的值，那么窗口尺寸为(2r+1)*(2r+1)，其中h是roi的高度。
[0107]
在本实施例中，原始目标观测图像尺寸为2048*2048，提取的roi尺寸为414*1339。那么阈值分割的窗口尺寸为331*331。如图7所示，图7的(a)是提取roi图像，roi图像是包含了空间目标的矩形块。图7的(b)是对图7的(a)进行自适应局部阈值分割后的二值图像，由于采用了较大的窗口尺寸，可以看出分割出的目标各部件区分更明显，各部件之间的边缘更清楚。
[0108]
s7、利用形态学开运算和闭运算，将各部件分开，得到部件间各自独立的区域。
[0109]
对阈值分割后图像先进行开运算，能平滑物体的轮廓、断开较窄的狭颈并消除细的突出物，比如帆板和本体之间的连接三脚架。接着进行闭运算，用来填补目标部件中的空洞及填补轮廓线中的断裂。
[0110]
设置开运算的矩形结构元素尺寸高度和宽度的系数分别为0.001和0.004，即矩形结构元素宽度m和高度n分别为0.001*w和0.004*h向上取整后的值，那么矩形结构元素尺寸为(2m+1)*(2n+1)，其中w和h分别是roi的宽度和高度。与上述确定开运算矩形结构元素尺
寸的方式相同，闭运算的高度和宽度的系数分别被设置为0.001和0.001。
[0111]
在本实施例中，提取的roi尺寸为414*1339，开运算的矩形结构元素尺寸为3*13，闭运算的矩形结构元素尺寸为3*7，如图8所示，图8的(a)是对图7的(b)进行开运算结果，可以看出这一步将图7的(b)中帆板和本体之间连接的三脚架消除了。图8的(b)是对图8的(a)进行闭运算结果，可以看出这一步填充了各部件区域内的空洞和轮廓线中的断裂。如此便获得了各部件完整的区域，可以用来进行下一步区域的形心计算。
[0112]
s8、对上述步骤所得结果进行阈值分割图像中的各连通域，获取各部件所在区域。计算各区域的形心坐标，并根据各区域形心的相对位置识别帆板和本体。对于分割出的第i个目标区域si，计算区域的形心作为该区域的中心，计算表达式为：
[0113][0114]
其中si为第i个区域；xi和yi分别表示第i个连通域的水平和垂直方向坐标，(xc,yc)是经过连通域检测以后确定特征点所在区域并计算得到形心，ni是第i个连通域所占像素总数。因为模型结构已知，所以形心处于图像中心两侧的则是卫星帆板区域，形心处于两帆板形心之间的则是本体区域。
[0115]
在本实施例中，对图8的(b)进行连通域检测获得所有连通域，并计算这些连通域对应形心。如图9所示，共检测出四个连通域。从左往右，从上到下对应形心坐标分别为(254，81)，(647，111)，(657，333)，(1083，113)。根据已知模型特点，右帆板的形心应该离roi图像右边缘中心点(207，1339)最近，主体次之，左帆板最远。根据此原理可以将各区域与卫星部件一一对应。
[0116]
s9、根据投影变换将各部件的形心坐标转换为视线角，具体是指根据上述步骤得到的在图像平面中的形心坐标和相机提供的像元尺寸和焦距，利用投影变换计算形心在相机坐标系下的坐标。
[0117]
投影变化的具体内容为：首先，为了描述相机姿态，建立相机坐标系。以相机光学镜头中心与光轴的焦点为坐标原点，以光轴方向为x
p
轴，与相机感光传感器成像平面平行的平面内建立y
p
轴与z
p
轴，将该坐标系记作o
p-x
pypzp
。感光传感器将采集到的信号量化为灰度值后以数组的形式存储，建立描述数组中元素位置的坐标系o-uv。以传感器平面的左上角为原点，在成像平面与相机坐标系z
p
平行同向建立u轴，与y
p
轴平行同向建立v轴。坐标系内的值以像素为单位，坐标(um,vn)表示像素数组中位于um行vn列的位置。为了以物理单位描述像素的位置，并通过算法提高精度，建立成像平面坐标系o
r-xy。该坐标系以光轴与成像平面的交点为原点or，在成像平面内建立与u轴平行同方的x轴，与v轴平行同向的y轴。相机坐标系o
p-x
pypzp
与传感器像素坐标系o
r-xy及成像平面坐标系o-uv间的关系如图10所示，图中f表示焦距，dx与dy分别表示感光传感器在x轴与y轴方向上的单位像元尺寸。在不考虑镜头畸变的情况下，依据几何关系，将帆板形心从图像坐标系o-uv变换到成像坐标系的坐标o
r-xy，具体公式为：
[0118][0119]
其中，u0和v0表示图像平面中心坐标，(u
t
,v
t
)为目标形心坐标，dx和dy分别是水平方向和垂直方向的像元尺寸。
[0120]
对于焦距为f的相机，目标在成像坐标系o
r-xy中的坐标(y
t
,z
t
)与在相机坐标系o
p-x
pypzp
下的三维坐标的关系表示为：
[0121][0122]
则在相机坐标系下目标视线角以矢量的形式表示为将该矢量单位化后表示为i
p
＝[if，iy，iz]，在相机坐标下由方位角α和俯仰角β表示。如图10所示，单位向量i
p
与方位角和俯仰角满足关系：
[0123][0124]
由上式计算得到相机坐标系下目标部件形心所在位置，方位角和俯仰角组成视线角信息，根据该信息实现目标部件形心定位。
[0125]
本实施例中，通过步骤s1～s8得到各部件的中心坐标，左帆板中心为(450，972)，右帆板中心坐标为(1279，1004)，主体的中心坐标为(843，1002)。拍摄使用相机焦距为8mm，像元尺寸为6.5μm*6.5μm。如图11所示为本实施例的各部件视线角检测结果，其中在最上面的标注“relative distance”是指当前目标与相机的相对距离，“number of pixels”是指当前检测出的目标所占像素数，“bodyelevationangle”是指本体中心的俯仰角，“bodyazimuthangle”是指本体中心的方位角，“leftelevationangle”是指左帆板中心的俯仰角。“leftazimuthangle”是指左帆板中心的方位角，“rightelevationangle”是指右帆板中心的俯仰角，“rightazimuthangle”是指右帆板中心的方位角。从图中可以看出当距离相机为21.5m时，检测得到的部件中心坐标经过步骤s9的投影变换后，目标左帆板的方位角和俯仰角分别为-21.9094
°
和-1.8997
°
，右帆板的方位角和俯仰角为12.0175
°
和-0.72848
°
，主体的方位角和俯仰角为-6.2136
°
和-0.7404
°
。
[0126]
为了验证本发明提出的方法的有效性，通过人工从图像中提取目标各部件的中心
坐标作为真实值(u_truth，v_truth)，计算对应的真实方位角α_truth和俯仰角β_truth，算出测角误差，具体公式为：
[0127][0128]
为了验证基于区域检测的星上实时空间目标部件识别及中心定位方法的有效性，分别在可见光blender仿真数据集和实测数据集上进行实验验证。
[0129]
通过blender模拟实际太空背景和目标模型一，生成了目标从500m至5m抵近过程的仿真图。仿真实验数据集由100张仿真空间目标图像组成，即每隔5m产生一张仿真空间目标图像，模拟的相机焦距为9.01mm，视场角为65
°
。针对这些图片进行距离变化的测角实验，500m～5m的平均测角误差统计如表1所示，相对距离处于500m，400m，180m和60m时的测试结果如图12所示。
[0130]
表1 65
°
视场角下500m～5m抵近过程平均测角误差
[0131][0132][0133]
采集实测数据时需要模拟在轨任务的太空环境，通过吸光性强的黑色背景幕布模拟深空黑暗环境，拍摄目标模型二时采用与实际尺寸比例为1：35的目标模型。最后在搭建的光学暗室下，采集实测图像。为充分测试算法性能，在暗室中模拟不同场景进行拍照，包括不同光圈、不同曝光时间下的卫星，具体设置如表2所示：
[0134]
表2实拍场景设置
[0135][0136]
如图13所示，当光圈小且曝光时间少时，光照强度弱，本发明通过伽马自动矫正将图像的平均亮度提升。当光圈大且曝光时间长时，光照强度强，本发明可通过伽马自动矫正将图像的平均亮度降低。当光圈f＝2.8，曝光时间分别为2.574ms，20.7ms，48.3ms和69ms时
的测试结果如图13所示，其中左侧一列是对应不同曝光时间拍摄图的检测结果，为了看清楚对目标区域的检测效果，右侧一列是将对应左侧图像中的目标放大后效果图。当曝光时间变化时，本发明可以适应光照强度分布不均应的情况，有效地完成中心定位。
[0137]
表3距离200m时不同光圈和曝光时间下平均测角误差
[0138][0139]
本发明采用区域检测的方法进行空间目标太阳能帆板位置的检测，首先利用降噪和对比度增强，有效的保证了算法在复杂多变观测环境下的鲁棒性。在分析目标特性的基础上，使用衡量信息量的信息熵作为阈值分割的敏感度，分割空间目标图像中复杂的部件结构，避免因为阈值选择不当造成部件检测错误。本发明采用相对简单的计算公式和流程，时间复杂度小，处理频率快。本发明在matlab r2021b中实现，并运行在一台具有i7-7800x cpu和16gb ram的pc上，经测试算法平均处理频率达8hz，能够满足实时性要求。
[0140]
本发明实施例还提出一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序。需要说明的是，上述系统中的各个模块对应本发明实施例所提供的方法的具体步骤，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
[0141]
本发明实施例还提出一种计算机可读的存储介质，所述计算机可读的存储介质存储有计算机程序。需要说明的是，上述系统中的各个模块对应本发明实施例所提供的方法的具体步骤，具备执行方法相应的功能模块和有益效果。未在本实施例中详尽描述的技术细节，可参见本发明实施例所提供的方法。
[0142]
以上所述，仅为本发明的具体实施方式，但本发明的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本发明揭露的技术范围内，可轻易想到的变化或替换，都应涵盖在本发明的保护范围内。

技术特征：
1.基于区域检测的星上空间目标部件中心定位和测角方法，其特征在于，包括以下步骤：s1、对空间目标观测图像进行降噪和对比度增强处理；s2、计算局部自适应阈值，利用局部自适应阈值分割步骤s1处理后的图像中的初始目标与背景；s3、获得阈值分割图像中的各连通域；s4、统计各连通域的面积，当连通域的面积小于阈值时，则将该连通域内的像素置为黑色背景；采用闭运算，将目标区域连接为一个连通域，面积最大的连通域选为最终目标区域；s5、利用形态学处理区分各部件，当最终目标区域的面积小于设定的需要进行部件分割的面积阈值时，则将该最终目标区域的形心作为目标区域形心，完成目标中心定位和测角；反之则进行步骤s6；s6、根据目标位于连通域的边缘点集，获得连通域的外接矩形，提取roi图像块，并对其进行阈值分割；s7、利用形态学开运算和闭运算，将各部件之间的连接断开并填充部件中的空洞，得到部件间各自独立的区域；s8、对步骤s7所得的结果进行连通域检测，获取各部件所在的区域，计算各区域的形心坐标，并根据各区域形心的相对位置识别帆板和本体，获得帆板和本体部件的形心坐标；s9、根据投影变换将各部件的形心坐标转换为视线角。2.根据权利要求1所述的基于区域检测的星上空间目标部件中心定位和测角方法，其特征在于，步骤s1中，利用高斯滤波和自动伽马矫正，对空间目标观测图像进行降噪和对比度增强处理，具体步骤为：s101、以高斯分布取权重矩阵，利用该矩阵对空间目标观测图像进行卷积，输出的图像中每一个像素都取周边像素的加权平均值，完成高斯滤波；将权重矩阵的“中心点”作为原点，邻域内其他点按照高斯分布计算初始权重，二维高斯分布为：其中，σ是高斯分布的标准差；得到高斯权重矩阵g后，将空间目标观测图像i与g进行卷积操作，具体公式为：其中，表示卷积运算，i
g
为卷积输出图像；s102、对降噪后的图像，利用自动伽马矫正实现对比度增强，根据平均亮度自动调节伽马增强指数，具体公式为：其中，γ表示伽马增强指数；refavebrt表示平均亮度；x表示归一化去噪后图像的平均
值，采用min-max归一化标准。3.根据权利要求1所述的基于区域检测的星上空间目标部件中心定位和测角方法其特征在于，步骤s2中，分割图像中初始目标和背景的具体内容为：对输入图像当前像素点所在局部窗口内(2r+1)
×
(2r+1)个邻域像素求均值，乘以敏感度系数后的值作为当前像素点的分割阈值，窗口以步长为1移动，从上到下从左到右遍历图像计算所有像素的局部均值，即得到局部自适应阈值，具体公式如下：其中，(x,y)表示像素点的坐标位置；thresh(x,y)表示像素点的局部自适应分割阈值；t为敏感度，通过信息熵表示；i
e
是增强后图像；r是计算局部窗口的半径；比较每个像素点的灰度值与计算得到的局部自适应阈值，当灰度值低于阈值时，则将该点置为黑色，归类为初始目标；反之将该点置为白色，归类为初始背景：其中，bw是阈值分割后的二值图像。4.根据权利要求1所述的基于区域检测的星上空间目标部件中心定位和测角方法，其特征在于，步骤s3中，利用种子填充法进行连通域检测的具体内容为：遍历图像，搜索像素不为0的点作为初始种子，并向其邻域搜索，相同灰度值的像素则标记为相同的连通域标签，持续在邻域搜索直到周围没有相同灰度值的像素时，则得到一个完整的连通域；按照同样的方法，针对其它的不在已搜索到的连通域中的种子继续搜索相应的连通域，直到检测出整幅图的所有连通域。5.根据权利要求1所述的基于区域检测的星上空间目标部件中心定位和测角方法，其特征在于，步骤s6中，通过获得连通域的外接矩形的四个角点坐标，从原始空间目标观测图像中提取roi图像块，将其作为阈值分割的输入，完成阈值分割；其中，设置阈值计算的局部窗口半径r为h*0.4向下取整后的值，窗口尺寸为(2r+1)*(2r+1)，h是roi的高度。6.根据权利要求1所述的基于区域检测的星上空间目标部件中心定位和测角方法，其特征在于，步骤s7中，对经过阈值分割后的二值图像先进行开运算，平滑物体的轮廓、断开较窄的狭颈并消除细的突出物；对开运算后的结果进行闭运算，填补目标部件中的空洞及填补轮廓线中的断裂；设置开运算的矩形结构元素高度的半径尺寸m是w乘以一定系数并向上取整后的值，宽度的半径尺寸n是h乘以一定系数并向上取整后的值，则矩形结构元素尺寸为(2m+1)*(2n+1)，其中w和h分别是roi的宽度和高度；该结构元素表示为：
与上述确定开运算矩形结构元素尺寸的方式相同，通过设置闭运算矩形结构元素的高度和宽度的系数，自适应地改变结构元素尺寸。7.根据权利要求1所述的基于区域检测的星上空间目标部件中心定位和测角方法，其特征在于，步骤s8中，计算形心坐标的具体公式为：其中，s
i
为第i个区域；x
i
和y
i
分别表示第i个连通域的水平和垂直方向坐标，x
c
和y
c
分别表示形心的水平和垂直方向坐标，n
i
是第i个连通域所占像素总数；将各区域形心的相对位置与目标结构相对应，形心处于图像中心两侧的是卫星帆板区域，形心处于两帆板形心之间的是本体区域。8.根据权利要求1所述的基于区域检测的星上空间目标部件中心定位和测角方法，其特征在于，步骤s9中，根据图像平面中的形心坐标、相机提供的像元尺寸和焦距参数，利用投影变换将帆板形心从图像坐标系o-uv变换到成像坐标系的坐标(y
t
,z
t
)，具体公式为：其中，(u0,v0)表示图像平面中心坐标，(u
t
,v
t
)表示目标形心坐标，dx和dy分别是水平方向和垂直方向的像元尺寸；对于焦距为f的相机，目标在成像坐标系o
r-xy中的坐标(y
t
,z
t
)与在相机坐标系o
p-x
p
y
p
z
p
下的三维坐标的关系表示为：在相机坐标系下目标视线角以矢量的形式表示为将该矢量单位化后表示为i
p
＝[i
f
，i
y
，i
z
]，在相机坐标下由视线角信息表示，具体公式为：其中，α表示方位角，β表示俯仰角。
9.一种电子设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至8中任一项所述方法的步骤。10.一种计算机可读的存储介质，所述计算机可读的存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器运行时执行所述权利要求1至8中任一项所述的方法。

技术总结
本发明公开了基于区域检测的星上空间目标部件中心定位和测角方法，涉及可见光信号处理技术领域。该方法包括：对图像进行平滑降噪和对比度增强等预处理，排除噪声和光照条件导致的成像质量低的影响；通过求邻域平均的方法获得图像的局部自适应阈值，实现前景与背景的分割；检测图像中的连通域并提取感兴趣区域，对其进行参数调整后的阈值分割、形态学开运算和闭运算，将各部件分开，得到各部件所在区域；通过形心提取算法获得各个部件的形心，利用其相对位置识别各部件。本发明充分考虑到了目标抵近过程中像素数逐渐递增导致的参数自适应问题，提高了形心检测的精度，实现了对空间面目标从远到近的自适应部件识别及中心定位方法。法。法。


技术研发人员：汪玲 谢菲 郑淑娴 张翔 王波 刘寒寒
受保护的技术使用者：南京航空航天大学
技术研发日：2023.06.01
技术公布日：2023/9/12