一种基于载物台运动信息的显微图像拼接方法

1.本发明涉及是显微图像处理的技术领域，更具体地说，尤其涉及一种基于载物台运动信息的显微图像拼接方法。


背景技术：

2.光学显微镜由于其特殊的作用广泛应用于工业检测、科学研究和医学分析等领域，但由于传统光学显微镜视场受限于放大倍率，在高放大倍率下只能观察到样本的部分内容，给使用者带来不便。随着图像处理领域与工业相机领域的快速发展，可利用图像拼接技术将同一显微多个切片的图像合成一个具备较宽视野和较高分辨率的图像，从而解决显微镜视场受限于放大倍率这一问题。由于显微图像往往存在大量复杂且相似的微观结构，对配准算法鲁棒性要求较高。但随着显微工业相机成像分辨率越高，基于特征的方法会提取到大量特征进行匹配，计算量极大，拼接效率变低。
3.显微图像存在大量相似结构是造成特征点匹配效率低的主要原因，为了避开特征点的检测，一些学者提出选择线特征作为检测对象进行图像配准、通过模板匹配进行初始运动估计和光流法进一步匹配、边缘检测结合线性搜索法配准图像等方法拼接显微图像取得不错的效果。而通过深度学习方式进行图像拼接，需要大量数据和高性能gpu训练数据模型，一般的显微设备无法完美地部署深度学习算法。还有一些开源图像处理软件openpan、autostitch、imagej提供了图像拼接功能插件，为学者们提出的拼接算法提供了比较对象。但这些改进的拼接算法和图像拼接软件中，图像采集和处理是分开的，图像拼接是后处理过程，并没有充分利用图像间的关系。当图像分辨率较高时，难以实现快速配准，因此亟待设计一种能更为高效准确的图像拼接方法，以解决上述问题。


技术实现要素：

4.本发明的目的在于提供一种基于载物台运动信息的显微图像拼接方法，该方法能够将显微镜对同一观察物采集到的不同位置图像快速拼接，具有抗干扰性好、拼接效率高、拼接缝隙平滑的特点。
5.本发明的技术方案如下：
6.一种基于载物台运动信息的显微图像拼接方法，包括以下步骤：
7.s1控制载物台以“弓”字形移动并依次获取各个区域的图像，按顺序抽取两张图像，前一张作为基准图像，后一张作为待配准图像；
8.s2将基准图像和待配准图像的重叠区域提取特征点，通过载物台运动信息预测基准图像中所有特征点对应待配准图像的待匹配点，将待配准图像提取到的所有特征点分别与各个待匹配点一一配对组成匹配特征点组；
9.s3计算所有匹配特征点组的斜率并剔除与载物台运动方向不同斜率的匹配特征点组，利用随机抽样一致算法优化剩余的匹配特征点组；
10.s4通过单应性矩阵透视变换后，将待配准图像转换到基准图像的坐标系，将基准
图像粘贴至待配准图像，得两两拼接图，将两两拼接图粘贴至全景图像，按顺序抽取下一幅图像，若抽取成功，则在全景图像截取图像作为基准图像，将抽取图像作为待配准图像，重复步骤s2，否则完成拼接。
11.进一步的，所述的步骤s1中，通过丝杆和步进电机组合控制使载物台在xy轴进行水平或者垂直方向的移动。
12.进一步的，所述的步骤s2包括以下步骤：
13.s2.1利用surf算法将两幅相邻的图像i和图像j的重叠区域分别进行特征检测得所有特征点pi(xi,yi)和所有特征点pj(xj,yj)，所有特征点pi(xi,yi)和所有特征点pj(xj,yj)均为64维的特征描述符；
14.s2.2取图像i的一个特征点pi(xi,yi)，根据载物台的运动方向及距离预测该特征点在下一幅图像的待匹配点p'i(xi,yi)；
15.s2.3在所有特征点pj(xj,yj)中找出与待匹配点p'i(xi,yi)最接近的特征点pj(xj,yj)，将该待匹配点p'i(xi,yi)与其最接近的特征点pj(xj,yj)组成匹配特征点组，重复步骤s2.2直至图像i的所有特征点均已组成匹配特征点组。
16.进一步的，所述的步骤s2.2中，根据载物台的运动方向及距离预测特征点pi(xi,yi)在下一幅图像的待匹配点p'i(xi,yi)时，待匹配点p'i(xi,yi)的坐标为：
17.p'i＝δd-(s
i-pi)；
18.其中，si为图像i的大小，δd是图像i中特征点pi在图像j中匹配的特征点pj的候选正方形区域，pj'为图像i中特征点pi(xi,yi)在图像j的待匹配。
19.进一步的，所述的步骤s2.3具体为：计算待匹配点p'i(xi,yi)与所有特征点pj(xj,yj)的欧氏距离，计算公式为：
[0020][0021]
其中，di(xi,yi)为欧氏距离；x
jx
为特征点pj(xj,yj)中xj的值，x
ix
为待匹配点p'i(xi,yi)中xi的值，y
jx
为特征点pj(xj,yj)中yj的值，y
ix
为待匹配点p'i(xi,yi)中yi的值；
[0022]
找出欧氏距离最小的值所对应的特征点即为与待匹配点p'i(xi,yi)最接近的特征点pj(xj,yj)，将该待匹配点p'i(xi,yi)与其最接近的特征点pj(xj,yj)组成匹配特征点组。
[0023]
进一步的，所述的步骤s3包括以下步骤：
[0024]
s3.1计算所有匹配特征点组的斜率，将斜率低的匹配特征点组删除计算公式为：
[0025][0026]
其中，w为图像的宽度；
[0027]
s3.2利用随机抽样一致算法优化剩余的匹配特征点组。
[0028]
进一步的，所述步骤s3.2的具体过程为：从剩余的匹配特征点组中随机选取4对不共线的匹配特征点组计数出单应性矩阵h，记为模型m，利用模型m计算所有数据的投影误差e，将e少于阈值的特征点对定义为“内点”，大于阈值的定义为“外点”，通过不断迭代次数k得出最优模型m，投影误差e的计算公式为：
[0029][0030]
迭代次数k在不大于最大迭代次数的情况下，并不是固定值而是不断更新：
[0031][0032]
式中，p为置信度，w为“内点”的比例，m为计算模型m所需要的最少样本数。
[0033]
进一步的，所述的步骤s4中，将待配准图像转换到基准图像的坐标系的具体过程为：设待配准图像b上的一点坐标为(x,y)，则经过h矩阵变换后的图像b'坐标为(x',y')，变换公式为：
[0034]
b'＝hb；
[0035][0036]
式中，h0、h1、h3、h4为尺度及旋转变化量，h2为水平方向位移量，h5为垂直方向位移量，h6、h7为水平与垂直方向变化量。
[0037]
进一步的，所述的步骤s4中，将两两拼接图粘贴至全景图像后，利用加权平均法在拼接图片的重叠部分权值渐变，加权平均融合算法定义为：
[0038][0039]
其中，i为融合后的图像，i1和i2分别为基准图像和图像变换后的图像b'，a1和a2分别两张图像融合时重叠区域像素点的权值。
[0040]
与现有技术相比，本发明具有的有益效果为：
[0041]
本发明的一种基于载物台运动信息的显微图像拼接方法，通过控制载物台移动并获取各个区域的图像，将相邻两张图像重叠区域提取特征点，预测所有特征点对应待配准图像的待匹配点，将待配准图像提取到的所有特征点分别与各个待匹配点一一配对组成匹配特征点组；计算所有匹配特征点组的斜率并剔除与载物台运动方向不同斜率的匹配特征点组，利用随机抽样一致算法优化剩余的匹配特征点组；通过单应性矩阵透视变换后，将待配准图像转换到基准图像的坐标系，将基准图像粘贴至待配准图像，得两两拼接图，将两两拼接图粘贴至全景图像，重复拼接各个区域的图像后，即完成拼接。本发明的拼接方法充分利用高精度电动载物台运动信息预测待匹配特征点位置，降低因显微图像相似结构造成的误匹配影响，抗干扰性更好；利用匹配特征点组的斜率快速粗筛选误匹配点对，减少精匹配迭代次数，以实现图像快速拼接，最后通过改进的加权平均融合消除多图拼接缝隙平滑图像。
附图说明
[0042]
此处所说明的附图用来提供对本发明的进一步理解，构成本技术的一部分，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：
[0043]
图1是载物台的图像采集示意图；
[0044]
图2是配备电动载物台以及ccd相机的显微镜平台的结构示意图；
[0045]
图3是特征描述符的示意图；
[0046]
图4是预测匹配特征点过程示意图；
[0047]
图5是特征点组斜率的示意图；
[0048]
图6是拼接模式示意图；
[0049]
图7是stitching direction为1时的配置图像；
[0050]
图8是加权平均融合示意图；
[0051]
图9是多图拼接过程示意图；
[0052]
图10是图像结构相似性示意图；
[0053]
图11是不同重叠区域预测坐标与实际坐标示意图；
[0054]
图12是30％重叠区域花粉图像特征匹配；
[0055]
图13是30％重叠区域脊髓图像特征匹配；
[0056]
图14是30％重叠区域双子叶图像特征匹配；
[0057]
图15是融合情况示意图；
[0058]
图16是将3x3的图片拼接示意图；
[0059]
图17是将4x5的图片拼接示意图。
具体实施方式
[0060]
下面结合具体实施方式，对本发明的技术方案作进一步的详细说明，但不构成对本发明的任何限制。
[0061]
本发明的一种基于载物台运动信息的显微图像拼接方法，包括以下步骤：
[0062]
s1控制载物台以“弓”字形移动并依次获取各个区域的图像，载物台的xyz轴分别通过丝杆与步进电机组合控制，xy轴控制载物台水平和竖直平面方向的移动，z轴控制聚焦工作。进行图像拼接时，载物台的采集顺序如图1所示，灰色区域即为图像重叠区域，区域的大小由电动载物台移动的距离控制。配备电动载物台以及ccd相机的显微镜平台如图2所示。
[0063]
ccd相机是显微镜将图像信号转变成数字信号重要配件之一，靶面尺寸是ccd相机的重要参数即电荷耦合元件的尺寸。显微镜的视场大小与ccd靶面尺寸和放大倍率有着密切关系，视场大小可以表示为：
[0064][0065]
式中，f为视场大小，a为靶面尺寸，γ为光学放大倍率，通过上式可知显微镜视场随放大倍数增大而减小。
[0066]
像元尺寸可表示为：
[0067][0068]
式中，p为像元尺寸，σ为图像分辨率。
[0069]
通过控制载物移动来确定图像重叠区域，载物台的移动需要丝杆与步进电机搭配才能完成，设备xy丝杆导程为1mm，即丝杆旋转一周载物台移动1mm，载物台移动距离与成像间的关系可表示为：
[0070][0071]
式中，s为相邻两图像间重叠区域的像元数；n为丝杆旋转圈数。由上可得：
[0072][0073]
完成区域图像的获取后，按顺序抽取两张图像，前一张作为基准图像，后一张作为待配准图像。
[0074]
s2将基准图像和待配准图像的重叠区域提取特征点，通过载物台运动信息预测基准图像中所有特征点对应待配准图像的待匹配点，将待配准图像提取到的所有特征点分别与各个待匹配点一一配对组成匹配特征点组。
[0075]
进一步的，具体包括以下步骤：
[0076]
s2.1利用surf算法将两幅相邻的图像i和图像j的重叠区域分别进行特征检测得所有特征点pi(xi,yi)和所有特征点pj(xj,yj)，所有特征点pi(xi,yi)和所有特征点pj(xj,yj)均为64维的特征描述符。
[0077]
surf算法性能的提升得益于积分图在hessian矩阵的使用和降维特征描述符的使用，积分定义为在图像中的任意一点p(x,y)的值i(x,y)为原图像左上角到该点p(x,y)形成的矩形区域中所有点的灰度值之和，公式表示为:
[0078][0079]
式中：p(xi,yi)表示原图像中点(xi,yi)的灰度值，i(x,y)表示积分图像。
[0080]
hessian矩阵是一个多元函数的二阶偏导数构成的方阵，描述函数的局部曲率，在构造hessian矩阵前对图像进行高斯滤波，对图像i中的某点m(x,y)尺度为σ的滤波后的hessian矩阵表述为：
[0081][0082]
以特征点为中心﹐在一定领域内对60
°
扇形里的所有点在水平和垂直方向的haar小波相应值进行累加，最大的值为该特征点对应的主方向。
[0083]
在获得特征点主方向之后，通过旋转图像将主方向旋转到垂直向上。如图3所示，以特征点为中心选取边长为20s(s是所检测到该特征点所在的尺度)正方形区域，并对该矩形进行分割，分割成16个边长为5s的子区域。对每个子正方形区域用尺寸为2s的haar模板进行响应值计算，将垂直方向和水平方向作为haar小波的计算方向，分别统计16个区域中
haar小波水平方向之和∑d
x
，垂直方向之和∑dy，水平方向绝对值的和∑|d
x
|，垂直向绝对值的和∑|dy|。此外在进行统计时，以每个小区域的中心，也就是5s的小区域中心，为二维高斯中心，统计haar小波的时候乘以其相应位置的高斯权重。
[0084]
此时每个边长为5s的正方向区域都会得到一个4维方向向量，即v＝|∑d
x
,∑|d
x
|,∑dy,∑|dy||，即该特征点有一个64维的特征描述符。
[0085]
s2.2取图像i的一个特征点pi(xi,yi)，根据载物台的运动方向及距离预测该特征点在下一幅图像的待匹配点p'i(xi,yi)。
[0086]
进一步的，图像之间的重叠区域由机械定位误差和载物台预设运动轨迹决定，如图4所示，“+”表示预测匹配点坐标，连线为实际配对特征点。重叠区域中的特征点pn从第i平面图像移动到第j个平面图像pm，δd是图像i中特征点pi在图像j中匹配的特征点pj的候选正方形区域。根据载物台的运动方向及距离预测特征点pi(xi,yi)在下一幅图像的待匹配点p'i(xi,yi)时，待匹配点p'i(xi,yi)的坐标为：
[0087]
p'i＝δd-(s
i-pi)；
[0088]
其中，si为图像i的大小，δd是图像i中特征点pi在图像j中匹配的特征点pj的候选正方形区域，p'j为图像i中特征点pi(xi,yi)在图像j的待匹配。
[0089]
s2.3在所有特征点pj(xj,yj)中找出与待匹配点p'i(xi,yi)最接近的特征点pj(xj,yj)，将该待匹配点p'i(xi,yi)与其最接近的特征点pj(xj,yj)组成匹配特征点组，重复步骤s2.2直至图像i的所有特征点均已组成匹配特征点组。
[0090]
进一步的，具体为：计算待匹配点p'i(xi,yi)与所有特征点pj(xj,yj)的欧氏距离，计算公式为：
[0091][0092]
其中，di(xi,yi)为欧氏距离；x
jx
为特征点pj(xj,yj)中xj的值，x
ix
为待匹配点p'i(xi,yi)中xi的值，y
jx
为特征点pj(xj,yj)中yj的值，y
ix
为待匹配点p'i(xi,yi)中yi的值；
[0093]
找出欧氏距离最小的值所对应的特征点即为与待匹配点pi'(xi,yi)最接近的特征点pj(xj,yj)，将该待匹配点pi'(xi,yi)与其最接近的特征点pj(xj,yj)组成匹配特征点组。
[0094]
由于显微镜电动载物台内部结构精密，在运动过程中误差范围不大。δd的值影响计算效率，δd越小，区域内特征点数越少，计算效率越高，但值过小时区域内无特征点。通过预测区域缩小特征点配对范围，减少了特征点间相似度的计算量。即使区域外存在及其相似的特征点也无法匹配，降低了显微图像存在大量相似结构的影响。
[0095]
s3计算所有匹配特征点组的斜率并剔除与载物台运动方向不同斜率的匹配特征点组，利用随机抽样一致算法优化剩余的匹配特征点组。
[0096]
通过预测匹配点方法计算得到匹配特征点组后，在区域内存在特征点相似多的情况下仍出现少部分误匹配情况，为了更好地求解单应性矩阵，引入斜率粗筛选特征点对机制。计算出所有匹配特征点组在同一坐标内的斜率，由于载物台仅在xy轴运动，正确匹配的匹配特征点组斜率大部分相同，计算出斜率分布曲线，将斜率出现概率低的匹配特征点组剔除如图5所示。
[0097]
进一步的，具体包括以下步骤：
[0098]
s3.1计算所有匹配特征点组的斜率，将斜率低的匹配特征点组删除计算公式为：
[0099][0100]
其中，w为图像的宽度。
[0101]
s3.2为了进一步提高算法在相似结构显微图像上的匹配准确度，还需精匹配剔除掉误特征点，因此采用随机抽样一致(ransac)算法进一步优化匹配点。利用随机抽样一致算法优化剩余的匹配特征点组。
[0102]
进一步的，具体过程为：从剩余的匹配特征点组中随机选取4对不共线的匹配特征点组计数出单应性矩阵h，记为模型m，利用模型m计算所有数据的投影误差e，将e少于阈值0.995的特征点对定义为“内点”，大于阈值的定义为“外点”，通过不断迭代次数k得出最优模型m，投影误差e的计算公式为：
[0103][0104]
迭代次数k在不大于最大迭代次数的情况下，并不是固定值而是不断更新：
[0105][0106]
式中，p为置信度，一般取0.995，w为“内点”的比例，m为计算模型m所需要的最少样本数。
[0107]
s4经随机抽样一致算法优化特征点对后，计算转换数据模型单应性矩阵h，图像通过单应性矩阵透视变换后，将待配准图像转换到基准图像的坐标系，将基准图像粘贴至待配准图像，得两两拼接图，将两两拼接图粘贴至全景图像，按顺序抽取下一幅图像，若抽取成功，则在全景图像截取图像作为基准图像，将抽取图像作为待配准图像，重复步骤s2，否则完成拼接。
[0108]
进一步的，将待配准图像转换到基准图像的坐标系的具体过程为：设待配准图像b上的一点坐标为(x,y)，则经过h矩阵变换后的图像b'坐标为(x',y')，变换公式为：
[0109]
b'＝hb；
[0110][0111]
式中，h0、h1、h3、h4为尺度及旋转变化量，h2为水平方向位移量，h5为垂直方向位移量，h6、h7为水平与垂直方向变化量。显微图像间仅存在平移关系，无旋转与尺度变换关系，因此在变换图像时h0、h1、h3、h4可以等于零，因此图像为b'坐标为(x',y')变换为：
[0112][0113]
以基准图像为中心，配准图像有四种方式拼接。拼接方向决定了基准图像与配准图像间的相对位置，如图6所示。当stitching direction为1和3时，即相对于基准图像左侧与上侧的基准图像做变换，由于基准图像左上角坐标为(0,0)，因此b'图像的部分像素点坐标为负值超出基准图像的坐标系，仅在基准图像坐标系中显示部分内容，如图7所示。
[0114]
因此需移动变换后的图像b'到基准图像的坐标系中，当stitching direction为1和3时，移动图像b'表示为：
[0115][0116]
其中，d
x
、dy分别为图像b'顶点坐标超出x轴坐标系最小的x值和超出y轴坐标系最小的y值。
[0117]
进一步的，显微图像两两拼接后会存在拼接缝隙，在保证拼接效果和拼接速度的前提下采用加权平均法融合重叠区域图像。加权平均法是将重叠区域的像素值通过一定的权值来计算两张图像的像素值得到，在图像重叠部分权值渐变，计算方式简单，融合后的图像更加平滑，如图8(a)所示。将基准图像粘贴至待配准图像得到拼接图片后，利用加权平均法在拼接图片的重叠部分权值渐变，加权平均融合算法定义为：
[0118][0119]
其中，i为融合后的图像，i1和i2分别为基准图像和图像变换后的图像b'，a1和a2分别两张图像融合时重叠区域像素点的权值，满足a1+a2＝1计算公式为：
[0120][0121]
当图像进行多图拼接时，图像i1不仅与基准图像接壤还与最终拼接图像i2存在重叠部分，如图8(b)所示，为了适用于多图拼接将加权平均融合算法改进为：
[0122]
[0123][0124]
式中，x
l
，xr，yu，yb分别为重叠区域左边界，右边界，上边界，下边界；p(x,y)为图像上某一点像元坐标。
[0125]
在显微图像多图拼接模式中，预设载物台运动轨迹为“弓”字形，如图1所示。从拼接结果图像中截取与待配准图像尺寸相同的图像作为基准图像，将待配准图像与截取的图像进行两两拼接，最终将两两拼接结果按pi位置粘贴到最终拼接图像，如图9所示。由于显微图像间仅存在平移关系，无旋转与尺度变换关系，在多图拼接模式中，采用帧到帧的拼接模式，有效避免传统“先采集后拼接”模式中因局部失配造成的影响。求解单应性矩阵8个未知数至少需要4对优秀匹配特征点组，若不满足则重新采集待配准图像。
[0126]
图9中，p0—pi表示基准图像与配准图像拼接后的结果图像粘贴到最终拼接结果图像的左上角坐标当stitchingdirection＝2时，pi可表示为：
[0127][0128]
其中，pix为第i次粘贴拼接结果图像左上角坐标的x值，piy为坐标y值，p
i-1
x为第i-1的坐标x值，sw
i-1
为第i-1次两两拼接图像的宽，w、h分别为基准图像的宽度和高度，dh
i-1
表示第i-1次最终拼接图像的高度。
[0129]
同理，当stitchingdirection＝1时，pi可表示为：
[0130][0131]
式中，swi为第i次两两拼接图像的宽。
[0132]
当stitchingdirection＝3时，分为两种情况，当载物台从左向右运动再向上运动时，pi可表示为：
[0133][0134]
式中，shi为第i次两两拼接图像的高。当载物台从右向左运动再向上运动时，pi可表示为：
[0135][0136]
当stitchingdirection＝4时，分为两种情况，当载物台从左向右运动再向下运动时，pi可表示为：
[0137][0138]
式中，dw
i-1
表示第i-1次最终拼接图像的宽度。当载物台从右向左运动再向下运动时，pi可表示为：
[0139][0140]
本发明的拼接方法充分利用高精度电动载物台运动信息预测待匹配特征点位置，降低因显微图像相似结构造成的误匹配影响，抗干扰性更好；利用匹配特征点组的斜率快速粗筛选误匹配点对，减少精匹配迭代次数，以实现图像快速拼接，最后通过改进的加权平均融合消除多图拼接缝隙平滑图像。
[0141]
对比实验
[0142]
对图像分辨率为1600x1200的200组存在相似结构的脊髓横切片、木本双子叶植物茎横切片以及特征稀疏的植物花粉的显微图像进行拼接，与bf和flann匹配算法比较性能以及多图拼接结果与autostitch软件拼接结果进行比较。
[0143]
1.显微图像结构相似度评价指标
[0144]
以特征点间的相似性作为显微图像结构相似度的评价指标，通过计算图像中某个特征点与其余特征点的欧氏距离来衡量相似度，当欧氏距离小于阈值时判定为相似特征点，具体如表1所示，在相同阈值下相比与自然场景图像，显微图像具有更多的相似特征点，即更多的相似结构。图10分别用菱形标出了与标“+”处特征点相似的特征点，图10中，(a)为脊髓；(b)为双子叶；(c)为自然场景，在图10(a)脊髓显微结构中存在大量相似的点特征，surf算法用64维向量描述特征点邻域内haar响应值，因点区域内相差不大，造成描述符相似度最高21.15％。
[0145]
表1不同类型图像结构相似性
[0146][0147]
2.匹配点预测坐标及实际匹配坐标
[0148]
图11展示了显微镜放大倍率为200电动载物台x轴移动控制植物花粉成像重叠区域为20％和30％的情况下，三组特征点的坐标预测值和实际匹配值，其中，(a)为20％图像重叠区域，(b)为30％图像重叠区域。通过判断匹配特征点与预测区域内待匹配特征点间的最小欧氏距离确定实际匹配点。表2为20％图像重叠区域预测坐标与实际坐标的情况，表3为30％图像重叠区域预测坐标与实际坐标的情况。从表2和表3可知，由于机械精度误差及显微镜设备周围环境的影响，造成实际匹配坐标与预测匹配坐标存在误差，x轴误差在0.19％-0.25％之间，y轴误差在0.16％-0.33％之间。
[0149]
表2 20％图像重叠区域预测坐标与实际坐标
[0150][0151]
表3 30％图像重叠区域预测坐标与实际坐标
[0152][0153]
3.本发明的算法与bf、flann算法特征匹配性能比较
[0154]
将花粉、脊髓和双子叶这三组显微结构不同，成像重叠区域为30％，放大倍率为200的图像进行图像匹配实验。通过surf算法提取和描述特征点，bf和flann匹配算法与本发明的预测匹配算法进行实验比较，特征匹配结果如图12-14所示，图12-14中，(a)均为bf匹配和优秀匹配；(b)均为flann匹配和优秀匹配；(c)均为本发明的算法，特征匹配情况如表4-6所示。从图12-14和表4-6可得，本发明的算法中的误匹配较少，而其他算法存在明显的误匹配现象。通过相同阈值的劳氏算法过滤误匹配点对获得优秀匹配点对，本发明的算法具有更好的性能指标，原因是本发明的算法在用surf算法提取和描述特征点之后利用载物台运动信息的先验知识，预测待匹配点位置，减少了显微图像存在大量相似结构引起误匹配的影响，同时预测点附近区域内筛选待匹配特征点，缩小了匹配点的范围，减少了后续特征点匹配过程的计算量，从而减少了运算时间。当显微图像内容稀疏时，匹配算法耗时都相同，但本发明的匹配算法获得的优秀特征点对更多。当显微图像内容丰富时，本发明的算法在优秀匹配率和耗时明显由于bf和flann匹配算法。
[0155]
表4 30％重叠区域的花粉图像特征匹配
[0156][0157]
表5 30％重叠区域的脊髓图像特征匹配
[0158][0159]
表6 30％重叠区域的双子叶图像特征匹配
[0160][0161]
4.图像拼接与融合
[0162]
由于显微镜采集图像时因曝光率不同，造成拼接图像时亮度不一致如图15(a)所示，因显微图像间仅存在平移关系采取加权平均算法使图像拼接处更平滑自然如图17(b)所示。
[0163]
实验对比了两组放大倍率不同的显微图像采取autostitch开源软件拼接和本发明的拼接方法的效果，如图16-17所示，其中，图中(a)均为拼接原图像，(b)均为autostitch拼接的图像，(b)均为采用本发明的拼接方法拼接的图像效果。从图16-17可知，两者拼接效果相差不大，但autostitch拼接图像边缘出现了变形。如表7所示，本发明的算法拼接耗时优于autostitch软件，是因为该软件采用sift提取特征点和128维向量描述特征点，增加了特征匹配计算量，以及采取多波段融合拼接图像。
[0164]
表7多图拼接
[0165][0166]
本发明针对显微图像存在大量相似结构引起匹配效率不高以及传统显微图像拼接系统中图像采集和拼接互相独立抗干扰性不强等问题，提出了一种结合载物台运动信息的显微图像预测拼接算法。充分利用高精度电动载物台运动信息预测待匹配特征点位置，降低因显微图像相似结构造成的误匹配影响。利用匹配特征点对的斜率快速粗筛选误匹配
点对，减少精匹配迭代次数，最后通过改进的加权平均融合消除多图拼接缝隙平滑图像。实验对比结果表明，本发明的算法降低了显微图像特征点误匹配率，有效利用载物台运动信息加速了显微图像拼接过程。当特征丰富的显微图像分辨率为1600x1200时，能达到每秒2帧的拼接速度，为进一步研究显微镜实时拼接算法提供研究依据。
[0167]
以上所述仅为本发明的较佳实施例，凡在本发明的精神和原则范围内所作的任何修改、等同替换和改进等，均应包含在本发明的保护范围之内。

技术特征：
1.一种基于载物台运动信息的显微图像拼接方法，其特征在于，包括以下步骤：s1控制载物台以“弓”字形移动并依次获取各个区域的图像，按顺序抽取两张图像，前一张作为基准图像，后一张作为待配准图像；s2将基准图像和待配准图像的重叠区域提取特征点，通过载物台运动信息预测基准图像中所有特征点对应待配准图像的待匹配点，将待配准图像提取到的所有特征点分别与各个待匹配点一一配对组成匹配特征点组；s3计算所有匹配特征点组的斜率并剔除与载物台运动方向不同斜率的匹配特征点组，利用随机抽样一致算法优化剩余的匹配特征点组；s4通过单应性矩阵透视变换后，将待配准图像转换到基准图像的坐标系，将基准图像粘贴至待配准图像，得两两拼接图，将两两拼接图粘贴至全景图像，按顺序抽取下一幅图像，若抽取成功，则在全景图像截取图像作为基准图像，将抽取图像作为待配准图像，重复步骤s2，否则完成拼接。2.根据权利要求1所述的一种基于载物台运动信息的显微图像拼接方法，其特征在于，所述的步骤s1中，通过丝杆和步进电机组合控制使载物台在xy轴进行水平或者垂直方向的移动。3.根据权利要求1所述的一种基于载物台运动信息的显微图像拼接方法，其特征在于，所述的步骤s2包括以下步骤：s2.1利用surf算法将两幅相邻的图像i和图像j的重叠区域分别进行特征检测得所有特征点p
i
(x
i
,y
i
)和所有特征点p
j
(x
j
,y
j
)，所有特征点p
i
(x
i
,y
i
)和所有特征点p
j
(x
j
,y
j
)均为64维的特征描述符；s2.2取图像i的一个特征点p
i
(x
i
,y
i
)，根据载物台的运动方向及距离预测该特征点在下一幅图像的待匹配点p
i
'(x
i
,y
i
)；s2.3在所有特征点p
j
(x
j
,y
j
)中找出与待匹配点p
i
'(x
i
,y
i
)最接近的特征点p
j
(x
j
,y
j
)，将该待匹配点p
i
'(x
i
,y
i
)与其最接近的特征点p
j
(x
j
,y
j
)组成匹配特征点组，重复步骤s2.2直至图像i的所有特征点均已组成匹配特征点组。4.根据权利要求3所述的一种基于载物台运动信息的显微图像拼接方法，其特征在于，所述的步骤s2.2中，根据载物台的运动方向及距离预测特征点p
i
(x
i
,y
i
)在下一幅图像的待匹配点p
i
'(x
i
,y
i
)时，待匹配点p
i
'(x
i
,y
i
)的坐标为：p
i
'＝δd-(s
i-p
i
)；其中，s
i
为图像i的大小，δd是图像i中特征点p
i
在图像j中匹配的特征点p
j
的候选正方形区域，p
j
'为图像i中特征点p
i
(x
i
,y
i
)在图像j的待匹配。5.根据权利要求3所述的一种基于载物台运动信息的显微图像拼接方法，其特征在于，所述的步骤s2.3具体为：计算待匹配点p
i
'(x
i
,y
i
)与所有特征点p
j
(x
j
,y
j
)的欧氏距离，计算公式为：其中，d
i
(x
i
,y
i
)为欧氏距离；x
jx
为特征点p
j
(x
j
,y
j
)中x
j
的值，x
ix
为待匹配点p
i
'(x
i
,y
i
)中x
i
的值，y
jx
为特征点p
j
(x
j
,y
j
)中y
j
的值，y
ix
为待匹配点p
i
'(x
i
,y
i
)中y
i
的值；
找出欧氏距离最小的值所对应的特征点即为与待匹配点p
i
'(x
i
,y
i
)最接近的特征点p
j
(x
j
,y
j
)，将该待匹配点p
i
'(x
i
,y
i
)与其最接近的特征点p
j
(x
j
,y
j
)组成匹配特征点组。6.根据权利要求3所述的一种基于载物台运动信息的显微图像拼接方法，其特征在于，所述的步骤s3包括以下步骤：s3.1计算所有匹配特征点组的斜率，将斜率低的匹配特征点组删除计算公式为：其中，w为图像的宽度；s3.2利用随机抽样一致算法优化剩余的匹配特征点组。7.根据权利要求6所述的一种基于载物台运动信息的显微图像拼接方法，其特征在于，所述步骤s3.2的具体过程为：从剩余的匹配特征点组中随机选取4对不共线的匹配特征点组计数出单应性矩阵h，记为模型m，利用模型m计算所有数据的投影误差e，将e少于阈值的特征点对定义为“内点”，大于阈值的定义为“外点”，通过不断迭代次数k得出最优模型m，投影误差e的计算公式为：迭代次数k在不大于最大迭代次数的情况下，并不是固定值而是不断更新：式中，p为置信度，w为“内点”的比例，m为计算模型m所需要的最少样本数。8.根据权利要求1所述的一种基于载物台运动信息的显微图像拼接方法，其特征在于，所述的步骤s4中，将待配准图像转换到基准图像的坐标系的具体过程为：设待配准图像b上的一点坐标为(x,y)，则经过h矩阵变换后的图像b'坐标为(x',y')，变换公式为：b
′
＝hb；式中，h0、h1、h3、h4为尺度及旋转变化量，h2为水平方向位移量，h5为垂直方向位移量，h6、h7为水平与垂直方向变化量。9.根据权利要求8所述的一种基于载物台运动信息的显微图像拼接方法，其特征在于，所述的步骤s4中，将两两拼接图粘贴至全景图像后，利用加权平均法在拼接图片的重叠部分权值渐变，加权平均融合算法定义为：
其中，i为融合后的图像，i1和i2分别为基准图像和图像变换后的图像b'，a1和a2分别两张图像融合时重叠区域像素点的权值。

技术总结
本发明公开了一种基于载物台运动信息的显微图像拼接方法，属于显微图像处理的技术领域，该方法能够将显微镜对同一观察物采集到的不同位置图像快速拼接，具有抗干扰性好、拼接效率高、拼接缝隙平滑的特点；包括以下步骤：S1控制载物台依次获取各个区域的图像；S2将图像的重叠区域提取特征点，预测特征点对应待匹配点，将提取到的所有特征点分别与各个一一配对组成匹配特征点组；S3计算所有匹配特征点组的斜率并剔除与不同斜率的匹配特征点组，利用随机抽样一致算法优化剩余的匹配特征点组；S4通过单应性矩阵透视变换后，将基准图像粘贴至待配准图像得两两拼接图，将两两拼接图粘贴至全景图像，抽取下一幅图像，若成功，重复步骤S2。重复步骤S2。重复步骤S2。


技术研发人员：黄家广 玉振明 甘辉 彭国晋 吕美妮
受保护的技术使用者：梧州学院
技术研发日：2023.04.04
技术公布日：2023/7/12