一种基于半球投影模型的火星岩石测量方法

sensing images[j].journal of deep space exploration，2022，9(3)：338-347.


技术实现要素：

本发明提出了一种基于半球投影模型的火星岩石测量方法，通过关注火星特征的连贯性和全局性，采用投影模型(pm)建立火星全局坐标系，以支持高精度的、像素级的火星岩石定位，通过视差滤波算法wls对视差进行优化，提高了视差估计的精度，结合语义分割算法提取弱纹理场景下的火星特征，从而在三维环境中恢复火星特征，具有精度更好的优势。所述基于半球投影模型的火星岩石测量方法，包括以下步骤：步骤一、利用双目相机对火星地表进行拍摄，每一个时刻同一个物体分别对应着左右两张图像；步骤二、对所拍摄的每一张图像分别进行解析，以相机光轴为拍摄方向，在相机的视场角范围内，计算当前图像中各像素在火星三维场景中的对应位置，建立像素点与真实火星地表的对应关系；针对像素坐标系中的目标点p，位置为(u,v)；将其转换到图像坐标系的投影，如下：(xi,yi)为目标点p在图像坐标系中的对应位置，其中(u0,v0)是图像中心点坐标，(d
x
,dy)表示相机光敏元件上像素的大小。然后，将图像坐标系转换到相机坐标系，表示为:(xc，yc，zc)为相机坐标系中目标点p的坐标，f为相机的焦距；最后，从相机坐标系转换到世界坐标系，表示为:(xw，yw，zw)为世界坐标系中目标点p的坐标，其中r是旋转矩阵，代表光轴在世界坐标系中与初始时刻之间的旋转，t是世界坐标系原点到相机光心的平移向量，0
t
是三维列向量，r，t，共同描述像素点在相机坐标系和世界坐标系之间的转换关系。最后，结合相机参数，恢复当前图像中物体在火星地表场景中的真实位置，像素对应关系如下：
步骤三、计算相机的旋转矩阵和平移向量，求得相机在火星全局坐标系中的位姿信息；定义火星全局坐标系绕z-y-x轴的顺序，旋转各自的角度与火星车本体坐标系重合，得到旋转矩阵r1表示为：绕z轴旋转偏航角为θ3，绕y轴旋转俯仰角为θ2，绕x轴旋转滚动角为θ1；同理，得到火星车本体坐标系旋转到火星车桅杆坐标系的旋转矩阵r2；火星车桅杆坐标系旋转到火星车相机平台坐标系的旋转矩阵r3；联合r1、r2、r3三个旋转矩阵可得相机姿态，结合火星车的里程计和尺寸，求得相机在火星全局坐标系中的位姿信息。从火星坐标系的原点到相机中心的平移向量t为:t＝t1+r1t2t1是火星坐标系原点到漫游者中心的向量，t2是漫游者坐标系原点到相机中心的向量；步骤四、对建立了像素点与真实火星地表的对应关系的各图像，通过解析图像内参，对每张图像的失真分别进行校正，选出同一物体的左右图像进行行对应，使其位于同一平面上；具体为：首先，根据相机焦距、成像原点和畸变系数等内参数据对像素进行重投影，解决由于相机透镜带来的畸变误差，从而进行校正；针对同一物体的左右图像校正后，根据两图像对之间的旋转矩阵和平移向量等外参数据，对图像进行行对准，使两幅图像的对极线恰好在同一水平线上。步骤五、针对位于同一平面上的左右图像，利用立体视觉匹配检测两张图像重叠区域的匹配特征点，基于匹配特征点计算视差图。立体视觉匹配检测采用尺度不变特征变换(sift)、加速鲁棒特征(surf)和快速旋转定向(orb)等特征描述符对图像中的特征点进行分别提取，并进行特征点匹配。将校正后的左右图像作为sgbm算法的输入，根据双目相机数据确定视差图，左右图像平面上的映射点p分别用p
left
和p
right
表示。视差d是p
left
和p
right
的列坐标之差，进行迭代求解。步骤六、对现有火星表面影像分割数据集中，采用语义分割法检测出岩石轮廓，在当前视差图中确定岩石的像素位置和分布边缘；
首先进行岩石的识别与分割，针对不同岩石的特点，分别采用基于深度学习的语义分割模型、阴影法、或手工标记的方法进行岩石分割，得到岩石像素分布的范围并生成掩膜。掩膜的选定方式为在图像中选定岩石区域像素，对其进行遮挡，得到目标区域图像。根据语义分割得到的岩石掩膜，确定图像中岩石区域的像素分布范围，获得视差图中岩石区域的视差。步骤七、根据岩石像素的位置，基于双目相机的成像原路和三角测量原理，计算像素的位置和大小；利用视差滤波算法对当前视差图进行优化；根据岩石像素的位置，在视差图中找到对应像素的分布方位和其分布边界，并采用加权最小二乘滤波算法对视差图进行滤波。给定视差图g，其大小为n*m，滤波后的视差图为u，则损失函数为：其中a
x
，ay为以a
x
，ay为对角元素的对角矩阵，d
′
x
，d
′y为前向差分矩阵，和是后向差分算子。λ是尺度因子，λ越大则平滑效果越强。步骤八、以相机在火星全局坐标系中的位姿信息为基准，结合不同相机的位置，计算重复出现的岩石距离和位置，相互之间进行验证，确定当前视差图中岩石的分布。岩石到相机的深度z，根据三角形相似原理，公式如下：b为双目相机的基线，即左右相机光心之间的距离；f为相机的焦距。根据语义分割掩膜边缘信息，计算岩石的大小。本发明的优点在于：1)一种基于半球投影模型的火星岩石测量方法，用于天问一号地形导航相机的火星车相机姿态描述，通过对导航相机的姿态进行建模，恢复数据和场景的对应关系，确定岩石在三维场景中的位置，满足大尺度下特征定位和测量的需求。2)一种基于半球投影模型的火星岩石测量方法，提出基于半球投影模型获取相机的外部参数获取方法，能够在大数据量的场景下对图像进行预处理，获取图像之间的位置关系，初步矫正图像以及匹配特征点，得到匹配度较好的双目相机数据。3)一种基于半球投影模型的火星岩石测量方法，设计了适用于火星岩石的视差匹配以及滤波模块，能够在大尺度场景下准确地测量火星岩石的距离和大小、提高了相关测量的精度；能在多个场景下恢复火星岩石的分布，为火星地表探测提供支持。
附图说明
图1为本发明一种基于半球投影模型的火星岩石测量方法流程图；图2为本发明从火星车机械原理进行建模的示意图；图3为本发明像素从图像坐标系，相机坐标系以及世界坐标系的转换示意图；图4为本发明从火星车机械原理进行建模，建立的半球模型的示意图；图5为本发明基于双目相机匹配数据进行视图差的示意图。
具体实施方式
下面结合附图，对本发明的实施方式做详细、清楚的描述。为了获取岩石在火星场景中的分布信息，现有的技术没有从全局上考虑信息提取，本发明一种基于半球投影模型的火星岩石测量方法，采用半球投影模型可以获取全局信息，采用滤波算法可以提升匹配的精度。具体是通过关注火星特征的连贯性和全局性，采用投影模型(pm)建立火星全局坐标系，根据相机的位置和姿态、桅杆的旋转角度、火星车的位置和姿态等信息，使多个场景下的火星岩石能够被统一的描述在火星全局坐标系中，以支持高精度的、像素级的火星岩石定位。采用sgbm算法进行视差匹配，通过视差滤波算法wls对视差进行优化，达到了提高视差估计精度的效果，结合语义分割算法提取弱纹理场景下的火星特征，从而在三维环境中恢复火星特征，具有为火星地表探测提供支持的科研意义。所述一种基于半球投影模型的火星岩石测量方法，如图1所示，具体步骤如下：步骤一、利用双目相机对火星地表进行拍摄，每一个时刻同一个物体分别对应着左右两张图像；步骤二、对所拍摄的每一张图像分别进行解析，利用半球投影模型确定像素点与真实火星表面的对应关系；该步骤从相机原理和机械原理进行建模，具体过程为：步骤101、基于导航地形相机的参数，通过图像解析拍摄时相机的空间位置和姿态角信息。针对祝融号的机械结构和相机的搭载方式提出解析方法；如图2所示，在采集火星图像时，相机、相机平台、桅杆和火星车本体都有一定的旋转和位移。祝融号火星车工作时，首先将桅杆机械臂向上展开至垂直位置，然后云台进行上下俯仰，最后机械臂左右偏航，完成对科学探测点的序列成像。为描述当前图像的成像过程，需根据当前的火星车坐标、桅杆角度、相机高度位置、及相机拍摄方向确定当前相机的成像姿态。步骤102、利用所提取的相机信息对图像进行投影，根据导航地形相机位置确定投影源，计算相机在该位置下的拍摄范围；如图3所示，(u,v)为目标点p在像素坐标系中的对应位置，(xi,yi)为目标点p在图像坐标系中的对应位置，其中(u0,v0)是图像中心的主点，(d
x
,dy)表示导航地形相机光敏元件上像素的大小。像素坐标系到图像坐标系的投影可表示为:(xc，yc，zc)为相机坐标系中p点的坐标，f为导航地形相机的焦距，从图像坐标系到相机坐标系的转换可表示为:(xw，yw，zw)为世界坐标系中p点的坐标，从相机坐标系到世界坐标系的变换表示为:
其中r是旋转矩阵，代表光轴在世界坐标系中与初始时刻之间的旋转，t是世界坐标系原点到相机光心的平移向量，0
t
是三维列向量，r和t，共同描述像素点在相机坐标系和世界坐标系之间的转换关系。计算以地形导航相机光轴为拍摄方向，在导航地形相机的视场角范围内的相机成像范围，计算像素在火星三维场景中的对应位置，建立像素与真实火星地表的对应关系。步骤103、结合相机参数，将像素从像素坐标系依次转化到图像坐标系、相机坐标系和世界坐标系进行转换，恢复图像中物体在火星地表场景中的真实位置，像素对应关系如下：步骤104、图像中的每个像素都被投影到世界坐标系统中，通过投影确定图像分布的大致范围以及不同图像间是否有重叠。步骤三、计算相机的旋转矩阵和平移向量，求得相机在火星全局坐标系中的位姿信息，为立体视觉匹配提供初始位置；该步骤从火星车机械原理进行建模；根据半球投影模型计算相机的旋转矩阵r、平移向量t等外部参数，并用于立体视觉匹配中，基于祝融号机械结构和相机安装方式，建立半球模型，如图4所示：具体为：定义火星全局坐标系绕z-y-x轴的顺序，旋转一定的角度与火星车本体坐标系重合，绕z轴旋转偏航角为θ3，绕y轴旋转俯仰角为θ2，绕x轴旋转滚动角为θ1，得到旋转矩阵r1表示为：同理，得到火星车本体坐标系旋转到火星车桅杆坐标系的旋转矩阵r2；火星车桅杆坐标系旋转到火星车相机平台坐标系的旋转矩阵r3；联合r1、r2、r3三个旋转矩阵可得导航地形相机姿态，结合火星车的里程计和尺寸，求得相机在火星全局坐标系中的位姿信息。从火星坐标系的原点到相机中心的平移向量t为:t＝t1+r1t2t1是火星坐标系原点到漫游者中心的向量，t2是漫游者坐标系原点到相机中心的向量；火星车坐标系相对于火星坐标系的旋转矩阵是r1。步骤四、利用立体视觉匹配的方法，基于半球投影模型计算双目相机间的旋转矩
阵和平移向量计算图像的外参，解析图像内参，对图像失真进行校正，使左右图像位于同一平面上；利用立体匹配检测出左右图像的相关匹配点，基于匹配特征点计算视差图。对建立了像素点与真实火星地表的对应关系的各图像，通过解析图像内参，对每张图像的失真分别进行校正，选出同一部位的左右图像，使其位于同一平面上；校正后左右图像对中的两幅图像在同一平面上，但不同的图像对之间关系不在同一直线上。本步骤首先对每一幅图像进行校正，然后选出双目图像进行行对应；即校正的对象是每一张图像，行对应的对象是选出的双目图像对。具体为：首先根据相机焦距、成像原点、畸变系数等的内参数据分别对左右图像进行校正，消除左右视图的畸变。其次，根据相机左右图像对之间的旋转矩阵和平移向量等外参数据对双目图像进行行对准。根据相机内参矩阵，对像素进行重投影，解决由于相机透镜带来的畸变误差。畸变分为径向畸变和切向畸变，径向畸变是由透镜形状导致的，是透镜自身形状对光线传播的影响，切向畸变是由透镜与成像平面位置不平行所导致的，这会使线穿过透镜投影到成像平面时的位置发生变化。把消除畸变后的两幅图像严格地行对应，使得两幅图像的对极线恰好在同一水平线上，这样一幅图像上任意一点与其在另一幅图像上的对应点就必然具有相同的行号，只需在该行进行一维搜索即可匹配到对应点。以上步骤使相机左右视图的成像原点坐标一致、两摄像头光轴平行、左右成像平面共面、对极线行对齐，减少求解视差的计算过程。步骤五、针对位于同一平面上的左右图像，利用立体视觉匹配检测两张图像重叠区域的特征点进行匹配，基于匹配特征点计算视差图。通过立体校正恢复图像的失真，使相同的点基本上在同一条线上；对两张照片重叠区域的特征点进行检测和匹配，匹配使用尺度不变特征变换(sift)、加速鲁棒特征(surf)和快速旋转定向(orb)等特征描述符对图像中的特征点进行分别提取，并进行特征点匹配。基于双目像机匹配数据进行视差图估计，如图5所示：双目相机光心之间的距离为基线b，左右图像都位于在o
w-x
wywzw
坐标系中。相机之间的光轴z
left
和z
right
彼此平行，左右图像平面上的映射点p分别用p
left
和p
right
表示。视差d是p
left
和p
right
的列坐标之差，进行迭代求解。将半球投影模型校正后的左右图像作为sgbm算法的输入，根据双目相机数据确定视差图。步骤六、对现有火星表面影像分割数据集中，采用语义分割法检测出岩石轮廓，在当前视差图中确定岩石的像素位置和分布边缘；首先进行岩石的识别与分割，针对不同岩石的特点，分别采用基于深度学习的语义分割模型、阴影法、或手工标记的方法进行岩石分割，得到岩石像素分布的范围并生成掩膜。掩膜的选定方式为在图像中选定岩石区域像素，对其进行遮挡，得到目标区域图像。本方法采用的是火星表面影像分割数据集twmars，该数据集为本团队基于“天问一号”数据集制作的岩石分割数据集，可为视差图中岩石边缘提取和定位提供依据。根据语义分割得到的岩石掩膜，确定图像中岩石区域的像素分布范围，获得视差
图中岩石区域的视差。步骤七、根据岩石像素的位置，基于双目相机的成像原路和三角测量原理，计算像素的位置和大小；利用视差滤波算法对当前视差图进行优化；根据岩石像素的位置，在视差图中找到对应像素的分布方位和其分布边界，并采用加权最小二乘滤波算法对视差图进行滤波。给定视差图g，其大小为n*m，滤波后的视差图为u，则损失函数为：其中a
x
，ay为以a
x
，ay为对角元素的对角矩阵，d
′
x
，d
′y为前向差分矩阵，和是后向差分算子；λ是尺度因子，λ越大则平滑效果越强。滤波使视差图中岩石部分的视差变化较为平滑，且能较好体现出掩膜的轮廓。步骤八、以相机在火星全局坐标系中的位姿信息为基准，结合不同相机的位置，计算重复出现的岩石距离和位置，相互之间进行验证，确定当前视差图中岩石的分布。因为测量岩石的得到的结果是相对于当前相机位置的，需要通过相机的之间的位置求出不同图像中岩石的相对位置。基于立体视觉的成像原理和三角测量原理，根据双目相机基线、焦距等信息计算岩石的距离和大小。左右照片之间的视差d与深度z成反比，根据三角形相似原理，可以建立如下关系:其中根据视差d、基线b和焦距f，可以计算出从岩石到相机的深度z。z是像素到导航地形中心的距离。根据语义分割掩膜边缘信息，计算岩石的大小。本发明能有效地获取大场景下的岩石分布信息；高效快速的对双目数据进行校正等预处理工作；并优化岩石部分的匹配精度，获取更准确的岩石大小和距离信息。首先，利用半球投影模型对相机姿态进行建模，并确定像素点与真实火星表面的对应关系，确定图像分布的大致范围以及不同图像间是否有重叠。具体来说，对祝融号导航地形相机的图像进行解析，得到拍摄图像时相机的空间位置、姿态角等信息；利用所提取的信息对图像进行投影，建立像素与真实火星地表的对应关系。结合相机参数，依次对像素坐标系、图像坐标系、相机坐标系和世界坐标系进行转换，将恢复图像中物体在火星地表场景中的真实位置；图像中的每个像素都被投影到世界坐标系统中，通过投影确定火星图像的位置和覆盖范围。然后，利用立体视觉匹配的方法，基于半球投影模型计算双目相机间的旋转矩阵和平移向量计算图像的外参，解析图像内参，对图像失真进行校正，使左右图像位于同一平面上；利用立体匹配检测出左右图像的相关匹配点，基于匹配特征点计算视差图。具体来说，通过立体矫正恢复图像的失真，使相同的点基本上在同一条线上；对两张照片重叠区域的特征点进行检测和匹配，使用尺度不变特征变换(sift)、加速鲁棒特征(surf)和快速旋转定向(orb)等特征描述符对图像中的特征点进行分别提取，并进行特征点匹配。基于双目像机匹配数据进行视差图估计，在这一阶段，将半球投影模型校正后的图像作为sgbm算法的输入数据，根据双目摄像机数据确定视差图。创新点为采用提出的半球
投影模型获取相机的外部参数，对图像进行预处理，得到匹配度较好的双目相机数据。最后，结合语义分割等方法检测出的石头轮廓，在视差图中确定岩石的像素位置和分布边缘；根据岩石像素的位置，基于双目相机的成像原路和三角测量原理，计算像素的位置和大小；利用视差滤波算法对视差图进行优化；结合不同相机的位置，计算重复出现的岩石距离和位置，相互之间进行验证，确定岩石的分布。具体来说：首先进行岩石的识别与分割，针对不同岩石的特点，分别采用基于深度学习的语义分割模型、阴影法、或手工标记的方法进行岩石分割，得到岩石像素分布的范围并生成掩模。根据岩石像素的位置，在视差图中找到对应像素的分布方位和其分布边界，并采用加权最小二乘滤波算法对视差图进行滤波，使视差图中岩石部分的视差变化较为平滑，且较好的体现出掩饰的轮廓。基于立体视觉的成像原理和三角测量原理，根据双目相机基线、焦距等信息计算岩石的距离和大小。结合不同相机的位置，计算重复出现的岩石距离和位置，相互之间进行验证，确定岩石的分布。创新点为针对火星岩石数据特点，设计了视差滤波模块，提高了岩石的测量精度。实施例：步骤1：基于c++语言和opencv库，在计算机设备上对火星原始数据进行解析，提取得到导航地形相机各帧数据参数，包括拍摄时间、拍摄位置、拍摄姿态角(偏航、俯仰、翻滚)、相机参数(焦距、像素大小、感光元件尺寸、光轴方向)、旋转角度等。步骤2：由相机提取出的参数进行投影，根据火星车的拍摄位置、火星车的旋转方向、桅杆的姿态角、相机平台的俯仰角、火星车的尺寸、安装结构等信息建立半球投影模型，计算图像覆盖范围，投影到火星地表模型上。步骤3：根据半球投影模型计算双目相机数据之间的旋转矩阵、平移向量等外参信息，对图像进行校正，使相同特征点在对应图像上处于同一水平位置。步骤4：根据立体视差匹配原理计算双目数据的视差图，采用sgbm算法匹配特征点，获取特征点的视素距离，计算图像的视差。步骤5：根据岩石识别与分割结果，针对视差图中岩石部分进行优化，采用最小加权二乘滤波算法对视差图进行优化，保存图像边缘信息，平滑岩石区域像素。步骤6：基于三角测量原理计算岩石的位置和大小，根据不同相机之间的位置进行验证。如表1所示，本方法测量的岩石c～f的距离分别为9.877m、6.377m、5.208m和10.820m，与主流的测量方法和测量结果相符。从表中可以看到本发明的测量精度为毫米，优于目前的测量方法。表1如表2所示，本方法测量的岩石c的大小为(3.470m,1.130m)，岩石d的大小为(0.110m,0.144m)，岩石e的大小为(0.178m,0.109m)，与主流的测量方法和测量结果相符。从表中可以看到本发明的测量精度为毫米，优于目前的测量方法。
表2

技术特征：
1.一种基于半球投影模型的火星岩石测量方法，其特征在于，包括以下步骤：步骤一、利用双目相机对火星地表进行拍摄，每一个时刻同一个物体分别对应着左右两张图像；步骤二、对所拍摄的每一张图像分别进行解析，以相机光轴为拍摄方向，在相机的视场角范围内，计算当前图像中各像素在火星三维场景中的对应位置，建立像素点与真实火星地表的对应关系；步骤三、计算相机的旋转矩阵和平移向量，求得相机在火星全局坐标系中的位姿信息；定义火星全局坐标系绕z-y-x轴的顺序，旋转各自的角度与火星车本体坐标系重合，得到旋转矩阵r1表示为：绕z轴旋转偏航角为θ3，绕y轴旋转俯仰角为θ2，绕x轴旋转滚动角为θ1；同理，得到火星车本体坐标系旋转到火星车桅杆坐标系的旋转矩阵r2；火星车桅杆坐标系旋转到火星车相机平台坐标系的旋转矩阵r3；联合r1、r2、r3三个旋转矩阵可得相机姿态，结合火星车的里程计和尺寸，求得相机在火星全局坐标系中的位姿信息；从火星坐标系的原点到相机中心的平移向量t为:t＝t1+r1t2t1是火星坐标系原点到漫游者中心的向量，t2是漫游者坐标系原点到相机中心的向量；步骤四、对建立了像素点与真实火星地表的对应关系的各图像，通过解析图像内参，对每张图像的失真分别进行校正，选出同一物体的左右图像进行行对应，使其位于同一平面上；步骤五、针对位于同一平面上的左右图像，利用立体视觉匹配检测两张图像重叠区域的匹配特征点，基于匹配特征点计算视差图；将校正后的左右图像作为sgbm算法的输入，根据双目相机数据确定视差图，左右图像平面上的映射点p分别用p
left
和p
right
表示。视差d是p
left
和p
right
的列坐标之差，进行迭代求解；步骤六、对现有火星表面影像分割数据集中，采用语义分割法检测出岩石轮廓，在当前视差图中确定岩石的像素位置和分布边缘；步骤七、根据岩石像素的位置，基于双目相机的成像原路和三角测量原理，计算像素的位置和大小；利用视差滤波算法对当前视差图进行优化；步骤八、以相机在火星全局坐标系中的位姿信息为基准，结合不同相机的位置，计算重复出现的岩石距离和位置，相互之间进行验证，确定当前视差图中岩石的分布；岩石到相机的深度z，根据三角形相似原理，公式如下：b为双目相机的基线，即左右相机光心之间的距离；f为相机的焦距；
根据语义分割掩膜边缘信息，计算岩石的大小。2.如权利要求1所述的一种基于半球投影模型的火星岩石测量方法，其特征在于，所述步骤二具体为：针对像素坐标系中的目标点p，位置为(u,v)；将其转换到图像坐标系的投影，如下：(x
i
,y
i
)为目标点p在图像坐标系中的对应位置，其中(u0,v0)是图像中心点坐标，(d
x
,d
y
)表示相机光敏元件上像素的大小；然后，将图像坐标系转换到相机坐标系，表示为:(x
c
，y
c
，z
c
)为相机坐标系中目标点p的坐标，f为相机的焦距；最后，从相机坐标系转换到世界坐标系，表示为:(x
w
，y
w
，z
w
)为世界坐标系中目标点p的坐标，其中r是旋转矩阵，代表光轴在世界坐标系中与初始时刻之间的旋转，t是世界坐标系原点到相机光心的平移向量，0
t
是三维列向量，r，t，共同描述像素点在相机坐标系和世界坐标系之间的转换关系；最后，结合相机参数，恢复当前图像中物体在火星地表场景中的真实位置，像素对应关系如下：3.如权利要求1所述的一种基于半球投影模型的火星岩石测量方法，其特征在于，所述步骤四具体为：首先，根据相机焦距、成像原点和畸变系数内参数据对像素进行重投影，解决由于相机透镜带来的畸变误差，从而进行校正；针对同一物体的左右图像校正后，根据两图像对之间的旋转矩阵和平移向量等外参数据，对图像进行行对准，使两幅图像的对极线恰好在同一水平线上。4.如权利要求1所述的一种基于半球投影模型的火星岩石测量方法，其特征在于，所述步骤五中，立体视觉匹配检测采用尺度不变特征变换、加速鲁棒特征和快速旋转定向特征描述符对图像中的特征点进行分别提取，并进行特征点匹配。5.如权利要求1所述的一种基于半球投影模型的火星岩石测量方法，其特征在于，所述步骤六中，首先进行岩石的识别与分割，针对不同岩石的特点，分别采用基于深度学习的语义分割模型、阴影法、或手工标记的方法进行岩石分割，得到岩石像素分布的范围并生成掩膜；
根据语义分割得到的岩石掩膜，确定图像中岩石区域的像素分布范围，获得视差图中岩石区域的视差。6.如权利要求1所述的一种基于半球投影模型的火星岩石测量方法，其特征在于，所述步骤七中，根据岩石像素的位置，在视差图中找到对应像素的分布方位和其分布边界，并采用加权最小二乘滤波算法对视差图进行滤波；给定视差图g，其大小为n*m，滤波后的视差图为u，则损失函数为：其中a
x
，a
y
为以a
x
，a
y
为对角元素的对角矩阵，d
′
x
，d
′
y
为前向差分矩阵，和是后向差分算子；λ是尺度因子，λ越大则平滑效果越强。

技术总结
本发明公开了一种基于半球投影模型的火星岩石测量方法，属于场景重建领域；具体为：首先，利用双目相机对火星地表进行拍摄，从相机原理和火星车机械原理分别进行建模，建立每张图像的像素点与真实火星地表的对应关系；以及相机在火星全局坐标系中的位姿信息；然后，对各图像进行内参解析，校正失真并对双目相机的左右图像对进行行对应后，基于匹配特征点计算视差图。接着，利用现有火星表面影像分割数据集中的岩石轮廓，在当前视差图中确定岩石的像素位置和分布边缘，利用视差滤波算法对当前视差图进行优化；同时，结合不同相机的位姿，计算重复出现的岩石距离和位置，相互之间进行验证，确定当前视差图中岩石的分布。本发明提高了视差估计精度。了视差估计精度。了视差估计精度。


技术研发人员：刘雨 郑殿 魏琳慧 吕炜琨 望育梅
受保护的技术使用者：北京邮电大学
技术研发日：2023.05.26
技术公布日：2023/8/9