近视患者眼底结构的演变识别及3D可视化系统和方法与流程

近视患者眼底结构的演变识别及3d可视化系统和方法
技术领域
1.本发明涉及眼科学技术领域，特别是涉及一种近视患者眼底结构的演变识别及3d可视化系统和方法。


背景技术：

2.近视在全球范围高发，可引起严重视网膜并发症，造成不可逆视力损伤。近视低龄化问题严峻，并仍处于增加趋势，情况不容乐观。作为进行性发展的疾病，近视需要长期持续监测，以避免造成严重后果。
3.近视患者长期随访产生的大量时序性(演变过程)影像学数据，包括角膜形态、眼底图像和光学相干断层扫描等，对于这些影像图片中眼底结构的演变和比较，目前临床仍只能通过医生对比不同时间点的报告发现问题，一旦发现典型改变便已经造成不可逆的损伤，既缺乏准确性又消耗大量时间，特别是对于眼底图像中的视盘形态位置、血管结构走形这些对近视发展有显著的提示性，但当发生细微变化时却难以准确鉴别的特征。因此，亟待需要精准、高效、直观的方法发现这些典型、细微的改变和演变规律，以提前诊断并及早干预。


技术实现要素：

4.本发明的目的是提供一种近视患者眼底结构的演变识别及3d可视化系统和方法，能够精准、高效、直观的发现近视患者眼底结构的典型、细微的改变和演变规律。
5.为实现上述目的，本发明提供了如下方案：
6.一种近视患者眼底结构的演变识别及3d可视化系统，所述系统包括：
7.获取模块，用于获取第一时间采集的近视患者眼底图像以及第二时间采集的近视患者眼底图像，并将所述第一时间采集的近视患者眼底图像作为参考图像，将所述第二时间采集的近视患者眼底图像作为测试图像；所述第一时间早于所述第二时间；
8.关键点提取模块，用于采用关键点提取算法对所述参考图像和所述测试图像中的关键点进行提取，得到所述参考图像中提取出的关键点和所述测试图像中提取出的关键点；
9.关键点匹配模块，用于采用关键点匹配算法对所述参考图像中提取出的关键点和所述测试图像中提取出的关键点进行匹配，得到多对匹配的关键点；
10.物理眼球模型构建模块，用于采用椭球模型对眼睛进行近似构建，得到物理眼球模型；
11.相机模型构建模块，用于采用参考相机的内参矩阵和外参矩阵构建参考相机模型，并采用测试相机的内参矩阵和外参矩阵构建测试相机模型；所述参考相机为采集所述参考图像的相机；所述测试相机为采集所述测试图像的相机；
12.关键点第一映射模块，用于针对每一对匹配的关键点，将参考关键点映射至所述参考相机模型上，得到所述参考关键点在参考相机模型坐标系下的坐标，同时将测试关键
点映射至所述测试相机模型上，得到所述测试关键点在测试相机模型坐标系下的坐标；所述参考关键点为所述参考图像中提取出的关键点；所述测试关键点为所述测试图像中提取出的关键点；
13.关键点第二映射模块，用于将所述参考关键点在参考相机模型坐标系下的坐标映射至所述物理眼球模型上，得到所述参考关键点在物理眼球模型坐标系下的坐标，同时将所述测试关键点在测试相机模型坐标系下的坐标映射至所述物理眼球模型上，得到所述测试关键点在物理眼球模型坐标系下的坐标；
14.模型优化模块，用于基于粒子群优化算法对所述参考关键点在物理眼球模型坐标系下的坐标和所述测试关键点在物理眼球模型坐标系下的坐标之间的距离进行优化，通过最小化所述距离优化所述物理眼球模型的参数和所述测试相机模型的参数，得到优化后的物理眼球模型和优化后的测试相机模型；
15.测试关键点第一重映射模块，用于将所述测试关键点映射至所述优化后的测试相机模型上，得到所述测试关键点在优化后的测试相机模型坐标系下的坐标；
16.测试关键点第二重映射模块，用于将所述测试关键点在优化后的测试相机模型坐标系下的坐标映射至所述优化后的物理眼球模型上，得到所述测试关键点在优化后的物理眼球模型坐标系下的坐标；
17.测试关键点第三重映射模块，用于将所述测试关键点在优化后的物理眼球模型坐标系下的坐标映射至所述参考相机模型上，得到所述测试关键点在所述参考相机模型坐标系下的坐标；
18.测试关键点第四重映射模块，用于将所述测试关键点在所述参考相机模型坐标系下的坐标映射至所述参考图像中，得到所述测试关键点与所述参考关键点的位置比对结果；
19.位置比对结果3d可视化呈现模块，用于将所有所述测试关键点与所述参考关键点的位置比对结果进行3d可视化呈现。
20.可选地，所述关键点提取算法包括大津法、尺度不变特征变换算法和血管分叉提取算法。
21.可选地，所述关键点匹配算法包括单边匹配和双边匹配。
22.可选地，所述物理眼球模型坐标系为空间坐标系；所述空间坐标系的原点为眼球中心。
23.可选地，所述物理眼球模型的参数包括所述物理眼球模型的三个正交半轴的长度以及所述物理眼球模型的三个正交半轴相对于所述物理眼球模型坐标系旋转的角度。
24.可选地，所述测试相机模型的参数包括所述测试相机坐标系相对所述物理眼球模型坐标系x轴、y轴、z轴旋转的角度以及所述测试相机坐标系相对所述物理眼球模型坐标系x轴、y轴、z轴的平移向量。
25.本发明还提供了如下方案：
26.一种近视患者眼底结构的演变识别及3d可视化方法，所述方法包括：
27.获取第一时间采集的近视患者眼底图像以及第二时间采集的近视患者眼底图像，并将所述第一时间采集的近视患者眼底图像作为参考图像，将所述第二时间采集的近视患者眼底图像作为测试图像；所述第一时间早于所述第二时间；
28.采用关键点提取算法对所述参考图像和所述测试图像中的关键点进行提取，得到所述参考图像中提取出的关键点和所述测试图像中提取出的关键点；
29.采用关键点匹配算法对所述参考图像中提取出的关键点和所述测试图像中提取出的关键点进行匹配，得到多对匹配的关键点；
30.采用椭球模型对眼睛进行近似构建，得到物理眼球模型；
31.采用参考相机的内参矩阵和外参矩阵构建参考相机模型，并采用测试相机的内参矩阵和外参矩阵构建测试相机模型；所述参考相机为采集所述参考图像的相机；所述测试相机为采集所述测试图像的相机；
32.针对每一对匹配的关键点，将参考关键点映射至所述参考相机模型上，得到所述参考关键点在参考相机模型坐标系下的坐标，同时将测试关键点映射至所述测试相机模型上，得到所述测试关键点在测试相机模型坐标系下的坐标；所述参考关键点为所述参考图像中提取出的关键点；所述测试关键点为所述测试图像中提取出的关键点；
33.将所述参考关键点在参考相机模型坐标系下的坐标映射至所述物理眼球模型上，得到所述参考关键点在物理眼球模型坐标系下的坐标，同时将所述测试关键点在测试相机模型坐标系下的坐标映射至所述物理眼球模型上，得到所述测试关键点在物理眼球模型坐标系下的坐标；
34.基于粒子群优化算法对所述参考关键点在物理眼球模型坐标系下的坐标和所述测试关键点在物理眼球模型坐标系下的坐标之间的距离进行优化，通过最小化所述距离优化所述物理眼球模型的参数和所述测试相机模型的参数，得到优化后的物理眼球模型和优化后的测试相机模型；
35.将所述测试关键点映射至所述优化后的测试相机模型上，得到所述测试关键点在优化后的测试相机模型坐标系下的坐标；
36.将所述测试关键点在优化后的测试相机模型坐标系下的坐标映射至所述优化后的物理眼球模型上，得到所述测试关键点在优化后的物理眼球模型坐标系下的坐标；
37.将所述测试关键点在优化后的物理眼球模型坐标系下的坐标映射至所述参考相机模型上，得到所述测试关键点在所述参考相机模型坐标系下的坐标；
38.将所述测试关键点在所述参考相机模型坐标系下的坐标映射至所述参考图像中，得到所述测试关键点与所述参考关键点的位置比对结果；
39.将所有所述测试关键点与所述参考关键点的位置比对结果进行3d可视化呈现。
40.可选地，所述物理眼球模型坐标系为空间坐标系；所述空间坐标系的原点为眼球中心。
41.可选地，所述物理眼球模型的参数包括所述物理眼球模型的三个正交半轴的长度以及所述物理眼球模型的三个正交半轴相对于所述物理眼球模型坐标系旋转的角度。
42.可选地，所述测试相机模型的参数包括所述测试相机坐标系相对所述物理眼球模型坐标系x轴、y轴、z轴旋转的角度以及所述测试相机坐标系相对所述物理眼球模型坐标系x轴、y轴、z轴的平移向量。
43.根据本发明提供的具体实施例，本发明公开了以下技术效果：
44.本发明公开的近视患者眼底结构的演变识别及3d可视化系统和方法，基于近视患者眼底图像中提取和匹配的关键点以及构建的物理眼球模型、参考相机模型和测试相机模
型，针对每对匹配的关键点，将关键点经参考相机模型和测试相机模型映射到物理眼球模型上，基于粒子群优化算法优化物理眼球模型上的两关键点之间的距离，通过最小化该距离优化物理眼球模型和测试相机模型，将测试图像中提取出的关键点再经优化后的测试相机模型映射到优化后的物理眼球模型上，通过将优化后的物理眼球模型上的关键点经参考相机模型映射到参考图像中，即可完成测试图像和参考图像的对比，得到每对匹配的关键点的位置比对结果，从而识别出近视患者眼底结构的典型、细微的改变(演变)，相比目前临床上只能通过医生对比不同时间点的报告发现近视患者眼底结构的演变，本发明能够精准、高效的发现近视患者眼底结构的典型、细微的改变和演变规律。同时，相比于目前平面的图像显示，本发明通过将位置比对结果进行3d可视化呈现，从而能够看到对比前后整个的立体情况(3d效果)，直观的发现近视患者眼底结构的典型、细微的改变和演变规律。
附图说明
45.为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
46.图1为本发明近视患者眼底结构的演变识别及3d可视化系统实施例的结构图；
47.图2为几何方法进行近似求解示意图；
48.图3为u-v坐标系示意图；
49.图4为相机矩阵将空间坐标系下的3d点坐标转换为像素坐标系下的2d点坐标的过程示意图；
50.图5为在所构建的空间模型内对参考相机的参数计算求解的几何图；
51.图6为本发明具体模型图；
52.图7为配准输出的图像。
具体实施方式
53.下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
54.本发明的目的是提供一种近视患者眼底结构的演变识别及3d可视化系统和方法，能够精准、高效、直观的发现近视患者眼底结构的典型、细微的改变和演变规律。
55.为使本发明的上述目的、特征和优点能够更加明显易懂，下面结合附图和具体实施方式对本发明作进一步详细的说明。
56.图1为本发明近视患者眼底结构的演变识别及3d可视化系统实施例的结构图。如图1所示，本实施例提供了一种近视患者眼底结构的演变识别及3d可视化系统，该系统包括以下模块：
57.获取模块101，用于获取第一时间采集的近视患者眼底图像以及第二时间采集的近视患者眼底图像，并将第一时间采集的近视患者眼底图像作为参考图像，将第二时间采
集的近视患者眼底图像作为测试图像；第一时间早于第二时间。
58.关键点提取模块102，用于采用关键点提取算法对参考图像和测试图像中的关键点进行提取，得到参考图像中提取出的关键点和测试图像中提取出的关键点。
59.其中，关键点提取算法包括大津法、尺度不变特征变换算法和血管分叉提取算法。
60.关键点匹配模块103，用于采用关键点匹配算法对参考图像中提取出的关键点和测试图像中提取出的关键点进行匹配，得到多对匹配的关键点。
61.其中，关键点匹配算法包括单边匹配和双边匹配。
62.物理眼球模型构建模块104，用于采用椭球模型对眼睛进行近似构建，得到物理眼球模型。
63.其中，物理眼球模型坐标系为空间坐标系；空间坐标系的原点为眼球中心。
64.相机模型构建模块105，用于采用参考相机的内参矩阵和外参矩阵构建参考相机模型，并采用测试相机的内参矩阵和外参矩阵构建测试相机模型；参考相机为采集参考图像的相机；测试相机为采集测试图像的相机。
65.关键点第一映射模块106，用于针对每一对匹配的关键点，将参考关键点映射至参考相机模型上，得到参考关键点在参考相机模型坐标系下的坐标，同时将测试关键点映射至测试相机模型上，得到测试关键点在测试相机模型坐标系下的坐标；参考关键点为参考图像中提取出的关键点；测试关键点为测试图像中提取出的关键点。
66.关键点第二映射模块107，用于将参考关键点在参考相机模型坐标系下的坐标映射至物理眼球模型上，得到参考关键点在物理眼球模型坐标系下的坐标，同时将测试关键点在测试相机模型坐标系下的坐标映射至物理眼球模型上，得到测试关键点在物理眼球模型坐标系下的坐标。
67.模型优化模块108，用于基于粒子群优化算法对参考关键点在物理眼球模型坐标系下的坐标和测试关键点在物理眼球模型坐标系下的坐标之间的距离进行优化，通过最小化该距离优化物理眼球模型的参数和测试相机模型的参数，得到优化后的物理眼球模型和优化后的测试相机模型。
68.其中，物理眼球模型的参数包括物理眼球模型的三个正交半轴的长度以及物理眼球模型的三个正交半轴相对于物理眼球模型坐标系旋转的角度。
69.测试相机模型的参数包括测试相机坐标系相对物理眼球模型坐标系x轴、y轴、z轴旋转的角度以及测试相机坐标系相对物理眼球模型坐标系x轴、y轴、z轴的平移向量。
70.测试关键点第一重映射模块109，用于将测试关键点映射至优化后的测试相机模型上，得到测试关键点在优化后的测试相机模型坐标系下的坐标。
71.测试关键点第二重映射模块110，用于将测试关键点在优化后的测试相机模型坐标系下的坐标映射至优化后的物理眼球模型上，得到测试关键点在优化后的物理眼球模型坐标系下的坐标。
72.测试关键点第三重映射模块111，用于将测试关键点在优化后的物理眼球模型坐标系下的坐标映射至参考相机模型上，得到测试关键点在参考相机模型坐标系下的坐标。
73.测试关键点第四重映射模块112，用于将测试关键点在参考相机模型坐标系下的坐标映射至参考图像中，得到测试关键点与参考关键点的位置比对结果。
74.位置比对结果3d可视化呈现模块113，用于将所有测试关键点与参考关键点的位
置比对结果进行3d可视化呈现。
75.下面以一个具体实施例说明本发明的技术方案：
76.本发明近视患者眼底结构的演变识别及3d可视化系统为一种基于空间建模和姿态估计的近视患者眼底演变规律的分析(确定)系统，用于提高屈光不正眼监测准确率，属于屈光不正眼健康管理和检测系统。
77.对于近视等屈光不正的眼底影像分析，目前现有的方法主要实现了分类和分割任务，如专利cn 113768460a、cn 111242212a公布了对近视眼底图像的分析方法，实现对近视眼底图像的分析和量化，但均只能分析单一时间点的图片，不能够解决任意两张图片之间的对比问题，无法实现对不同时间点的图像特点比较，无法观察到眼底的演变过程，对于这种具有时序性的眼底图像的分析，当前主要基于图像配准技术实现，通过配准可以实现对同一组数据的任意两幅图像之间的比较，专利cn 106651827 a公开了基于特征的眼底图像配准方法，专利cn 112819867 a公开了基于关键点匹配的眼底图像配准方法，专利cn 112598028 a公开了眼底图像配准方法，然而这些方法对眼底图像中的曲面状结构与眼球旋转相耦合往往会导致待配准的眼底图像之间存在更为复杂的变换关系，配准精度受到很大限制，尤其难以胜任大视场下具有较大变化的眼底图像的配准工作，且当存在关键点缺失严重或者两幅图像局部结构相似性高的情况下，以上公开专利的方法极易出现准确率低和错误配准等问题，同时较长的配准时间也不能满足临床诊疗中的实时性要求，特别是眼科影像拍摄过程中存在由相机角度或者患者头位、眼位变化引起的图像旋转等十分常见，在进行配准时往往引入噪声干扰，专利cn 114565654a公开了一种基于多圆盘掩膜的配准方法，虽然克服了图像旋转角度的影响，提高了眼底图像配准的效率，但是鲁棒性较差，对图像中的噪声及其成像效果较为敏感，并且对重叠区域较小的眼底图像对的配准效果较差。因此，实现时序性眼底图像的精准高效对比分析，对于发现近视眼底演变规律，提前发现和干预近视进展具有重要价值。
78.针对上述问题和现有技术中的缺陷，本发明提出一种基于物理建模和姿态估计的近视患者眼底演变规律的识别和分析系统，即近视患者眼底结构的演变识别及3d可视化系统，采用物理建模和姿态估计的方法，克服因不同时间点多次采集过程中图像的伪影、曝光度差异、患者头位眼位偏移、视网膜固有的弧面形状引起的误差，实现对屈光不正患者眼部结构演变规律的精准分析量化，解决当前因近视发展引起的眼部结构改变发现困难的问题。
79.本发明近视患者眼底结构的演变识别及3d可视化系统具体基于以下技术手段实现：
80.一、输入两幅待配准(比对)的视网膜图像(近视患者眼底图像)，分别作为参考图像和测试图像。
81.二、分别对参考图像和测试图像进行关键点(关键特征点)的提取与匹配。
82.为了提高关键特征点配对的准确性，需要保证待配对(比对)图像的关键点均匀分布在视盘、血管、中央凹等眼底重点区域中，尽可能遍布整个视网膜图像区域。
83.1、关键点的提取
84.(1)采用大津法(otsu)确定参考图像和测试图像二值化分割阈值，并分别生成覆盖参考图像和测试图像中视网膜区域的mask图像，最后根据mask图像滤除参考图像和测试
图像中视网膜区域边缘处的关键点(即找出图像中的背景和前景，即整个视网膜区域与整个图像的背景)。
85.(2)采用尺度不变特征变换(sift)算法和血管分叉提取算法对两幅待配准的视网膜图像中的关键点进行提取。
86.较优的，经过sift和血管分叉提取相结合的方法，提高了整个视网膜图像区域内关键点分布的均匀性。
87.2、关键点的匹配
88.(1)单边匹配，选取图像对之间关键点描述向量的最小欧氏距离的最近邻，并且丢弃最近邻和次近邻之间的距离比大于0.8的所有匹配，以去除异常值，减少误匹配。
89.(2)双边匹配，即执行从参考图像a到待配准图像(测试图像)b以及从待配准图像b到参考图像a的两次关键点匹配过程，并且仅保留两个过程中共有的匹配点。
90.较优的，采用双边匹配，提高关键点匹配的准确性，为模型构建的参数最优化提供做基础。
91.三、配准模型的构建
92.1、物理眼球模型的构建
93.1.1、采用椭球模型{a,q}对眼睛进行近似构建椭球形眼模型，将空间坐标系的原点定于眼球中心cs处，则cs＝[0,0,0]
t
，得到矩阵形式的眼球模型方程如下：
[0094]
x
tqt
aqx＝1
[0095]
其中，x是眼球模型曲面ε上的一个3d点，t表示矩阵的转置，矩阵a由眼模型的3个正交半轴的长度组成，旋转矩阵q表示半轴相对空间坐标系的旋转，反映了眼球模型的姿态，其计算公式如q＝ra(ra)
·
rb(rb)
·
rc(rc)所示，其中，r
ɑ
、rb、rc表示旋转矩阵，都是3*3的旋转矩阵。
[0096]
公式x
tqt
aqx＝1中的三个正交半轴的长度a、b、c能够决定眼模型的形状，旋转矩阵q中的三个参数ra、rb、rc分别为眼球模型的三个正交半轴相对于空间坐标系旋转的角度，能够决定眼睛模型的姿态，这6个参数需要在后面通过粒子群优化算法进行最优化。
[0097]
2、相机模型的构建
[0098]
定义相机模型也称为相机矩阵p，是一个3*4的矩阵，可以将齐次形式的三维坐标转换为二维像素坐标。相机矩阵p能够分解为两个矩阵的乘积——内参矩阵k和外参矩阵[r|t]，矩阵式如下：
[0099]
p＝k[r|t]＝k[r|-rc]
[0100]
其中k为3*3的上三角阵，描述了相机的内参；r为3*3的旋转矩阵，描述了相机坐标系相对空间坐标系的旋转；c为3*1的向量，描述了相机坐标系原点在整个模型系统的空间坐标系中的位置；t为3*1的平移向量，描述了整个模型系统的空间坐标系原点在相机坐标系中的位置。
[0101]
2.1、内参矩阵k的构建
[0102]
内参矩阵k的主要作用是描述3d相机坐标系到2d齐次像素坐标系的变换，该矩阵
的具体形式如下：
[0103][0104]
其中，f
x
和fy表示以像素为单位的焦距，通常，相机的f
x
和fy有相同的值；s表示轴倾斜，在这里取值为0；x0和y0表示主点的偏移，定义相机的主轴是与图像平面垂直的线，它与图像平面的交点称为主点，一般位于图像的中心。f
x
和fy的计算采用几何方法进行近似求解，如图2所示。有关主点偏移参数的确定，涉及到两个坐标系，分别为图像坐标系和像素坐标系，图像坐标系是以主点为原点建立的以物理单位表示的坐标系(通常的x-y坐标系)，像素坐标系是以图像左上角为原点建立的以像素为单位的坐标系，如图3中的u-v坐标系，那么主点偏移的参数就是图像坐标系原点o1在以像素为单位的u-v像素坐标系下的值u0和v0，一般情况下主点位于图像的中心位置。图4总结了相机矩阵将空间坐标系下的3d点坐标转换为像素坐标系下的2d点坐标的过程。
[0105]
2.2、外参矩阵[r|t]的求解
[0106]
外参矩阵[r|t]的主要作用是描述空间坐标系到相机坐标系的变换，它由两部分构成——旋转矩阵r和平移向量t，两者采用增广(“|”)的形式构成一个大小为3*4的矩阵。外参矩阵反映的是相机在空间坐标系内的位置。
[0107]
2.3、本发明所构建的眼底图像配准框架将待配准图像之间眼睛位置的差异转换为采集图像的相机位姿的差异，那么参考图像和测试图像就分别对应一架相机，将采集到参考图像的相机命名为参考相机，将采集到测试图像的相机命名为测试相机，分别对这两架相机进行建模如下：
[0108]
2.3.1、参考相机的矩阵求解
[0109]
(1)内参矩阵求解：构建参考相机的矩阵形式，其中α
x
和αy分别代表在像素水平的焦距，γ是倾斜系数，则有矩阵k：
[0110][0111]
在所构建的空间模型内对参考相机的参数计算求解，几何图如图5所示。
[0112]
其中，l表示镜头到角膜的距离(单位为毫米)，k表示相机的视野(单位为弧度)，这两个参数根据相机规格而定。由于相机的焦距为定值时，成像的像距是一个定值，那么对应的物距也应该是一个定值，故镜头到眼底的距离理论上应该是一个定值，在图5中的模型，本发明近似取所有人的眼球都为半径12mm的标准眼球，此时镜头到眼底的距离是一个定值就转化为了镜头到角膜的距离是一个定值了；r表示图像中视网膜区域的半径(单位是像素)，由输入的参考图像决定；所构建的物理眼睛模型的初始值为一个半径ρ＝12mm的球体；p表示像素和实际物理长度(毫米)的对应关系，仅为一个中间变量，不需要标定或计算。计算公式如下：
[0113][0114]
其中，f在物理意义上表示焦距，单位是mm。
[0115]
较优的，进一步推导出α
x
和αy的计算公式如下，至此即完成了参考相机内参矩阵中所有参数的求解。
[0116][0117]
(2)外参矩阵的求解：参考相机是用于采集参考图像的，而参考图像又是待配准图像对中的基准，因此参考相机在空间坐标系中的位置是固定且已知的，参考相机的旋转矩阵如下：
[0118][0119]
其中，r
θ
、r
ω
表示分别表示相机相对世界坐标系的三个坐标轴旋转的角度。r
x
、ry、rz表示三个旋转角度r分别对应的3*3的旋转矩阵。
[0120]
平移向量t(t
ref
)的计算如下，其中的l和ρ与上面介绍的含义相同。
[0121][0122]
其中，δ表示相机镜头到世界坐标系原点，也就是眼球中心的距离。
[0123]
最后对求得的旋转矩阵和平移向量按照增广的形式放在一起即完成了参考相机外参矩阵的求解。
[0124]
2.3.2、测试相机的矩阵求解
[0125]
对测试相机的相机矩阵进行求解，同样分为两部分进行：内参矩阵的求解和外参矩阵的求解。
[0126]
(1)内参矩阵的求解：本发明中，待配准的两幅视网膜图像使用的是同一个相机，测试相机的内参矩阵和参考相机的内参矩阵就完全相同。
[0127]
较优选的，当两幅拍摄图像的相机不同时，按照前述相同的步骤进行测试相机内参矩阵中各参数的计算。
[0128]
(2)外参矩阵的求解：测试相机的外参矩阵是需要进行最优化求解的对象之一，它一共包含6个参数：旋转矩阵中的3个参数(也就是旋转向量中的3个元素，即测试相机坐标系相对世界坐标系x、y、z轴旋转的角度，以弧度为单位)和平移向量中的3个参数。
[0129]
3、视网膜图像上的2d像素点到眼球的3d空间点映射模型
[0130]
在给定的眼睛模型和相机模型的情况下，通过求解空间中从图像关键点u到相机中心形成的射线与眼睛模型后半球的交点计算得到该图像关键点u对应的3d视网膜空间点坐标。该射线的计算公式如下：
[0131]
x＝p
+
u+λc
[0132]
p
+
＝p
t
(pp
t
)-1
[0133]
其中，p
+
只是一个中间变量，无其他含义，c表示相机中心。
[0134]
3.1、采用的眼睛模型如公式x
tqt
aqx＝1所示，将公式x＝p
+
u+λc和公式x
tqt
aqx＝1联立求解出变量λ，此时的λ有两个值。
[0135]
3.2、将3.1中λ的值分别代入公式x＝p
+
u+λc中求解出两个3d点坐标。
[0136]
3.3、对其分别进行归一化，将第四行元素化为1，得到的前三行元素即为3d点坐标。
[0137]
3.4、选择坐标中的z值为负数即为射线与眼球后半球视网膜上的交点，至此完成视网膜图像上的某一个2d像素点到眼球视网膜上3d空间点的映射。
[0138]
4、整体模型的构建和求解
[0139]
考虑这样一个等效的几何体——获取参考图像f0的参考相机是固定的，眼球姿态和获取测试图像f
t
的测试相机的姿态都是相对于参考相机定义的，眼睛的旋转(即待配准图像之间眼球的位置差异)转化为测试相机相对于参考相机的位置变化。具体模型图如图6所示。
[0140]
较优的，在本发明中，为了避免从2d到3d点映射和逆映射时需要的额外转换和优化算法构建的复杂度，选取空间坐标系作为参考，使参考相机和眼球位置保持固定。
[0141]
四、基于ransac方法的测试相机位姿参数初始化；
[0142]
对测试相机的6个位置参数进行初始化，具体的算法实现流程可以描述为：(1)由于参考相机的位姿是固定且已知的，那么就采用半径为12mm的球体作为眼睛模型；(2)然后将参考图像上的2d关键点映射到3d视网膜上，得到对应的三维坐标；(3)由于参考图像上的关键点都在测试图像上有相互匹配的关键点，那么理论上第二步中得到的3d坐标也是可以由测试图像上的关键点映射得到的，这样就针对测试相机获得了若干对2d图像点和对应的3d视网膜点；(4)最后，基于ransac方法求解3d到2d点映射问题即可得到测试相机的(初始)位姿参数。
[0143]
五、基于粒子群优化算法的眼球模型参数和测试相机位姿参数最优化
[0144]
1、待优化的参数：
[0145]
(1)眼睛模型相关——椭球模型的3个半轴长以及反映眼睛姿态的旋转向量的3个参数；
[0146]
(2)测试相机位姿相关——反映测试相机姿态的旋转向量的3个参数以及反映测试相机位置的平移向量的3个参数。
[0147]
2、最优化的问题：如图6所示，假定qi点是参考图像f0的关键点在眼球模型视网膜上的3d坐标位置，点pi是测试相机f
t
的匹配关键点在眼球模型视网膜上的3d坐标位置，那么球面上相应关键点的3d距离为：
[0148]di
＝|q
i-pi|
[0149]
最小化距离di就构成了要优化的目标函数o(sh)的基础，这就转化为了优化问题，
其中sh表示所有待优化参数组成的一个集合。为了增强算法对误匹配的鲁棒性，使用80％数量的最小距离之和，公式如下：
[0150][0151]
其中d
j,h
表示每一对关键点在3d空间上的欧氏距离，j列举出the smallest80％values ofd
i,h
，d
i,h
表示每一对关键点在3d空间上的欧氏距离。
[0152]
3、较优的，本发明对优化内容的设置如下
[0153]
(1)搜索空间的设置
[0154]
对于眼睛模型的3个半轴长设置搜索空间为：以12mm为中心，正负2mm的范围内。
[0155]
对于眼睛模型旋转向量的3个旋转角度设置搜索空间为：以0rad为中心，正负1rad的范围内。
[0156]
对于测试相机旋转向量的3个旋转角度设置搜索空间为：以2.5中初始化的结果为中心，正负1rad的范围内。
[0157]
对于测试相机平移向量的3个元素设置搜索空间为：以2.5中初始化的结果为中心，正负2mm的范围内。
[0158]
(2)搜索速度的设置
[0159]
这个搜索速度也可以理解为最大搜索步长的设置。
[0160]
对于眼睛模型的3个半轴长设置搜索速度为：正负0.1mm的范围内。
[0161]
对于眼睛模型旋转向量的3个旋转角度设置搜索速度为：正负0.01rad的范围内。
[0162]
对于测试相机旋转向量的3个旋转角度设置搜索速度为：正负0.01rad的范围内。
[0163]
对于测试相机平移向量的3个元素设置搜索速度为：正负0.1mm的范围内。
[0164]
六、根据参数最优化的结果对配准后的测试图像进行输出：
[0165]
1、将测试图像中视网膜区域的所有像素点经由测试相机映射到位于眼球模型后半球的视网膜上；
[0166]
2、将视网膜上的所有-3d像点经参考相机模型成像即可得到配准后的视网膜图像。
[0167]
如图6所示空间模型图：测试图像的点经过测试相机映射到3d眼球模型，再经过参考相机映射到参考图像中，即可完成对比。
[0168]
本发明的创新之处在于(即所能克服的技术缺陷是)：基于本发明实现的图像配准，能够最大限度地保留原图像中物理结构信息不受配准过程的影响。目前所常见的基于深度学习方法的配准技术不可避免存在过程中的图像扭曲，深度学习模型为了实现更多特征点的对齐而损失原本的结构特征，导致配准后的结果失去原本的结构意义。而近视发展过程中视网膜结果的改变是缓慢的，最终导致的病理变化是逐渐积累形成的，最大限度保证原来的视网膜结构不因配准过程而改变非常重要。
[0169]
当然本发明不仅仅只局限于眼底照相一种眼底检查数据，还应考虑到其他如眼底荧光造影等眼底检查技术的适用性。
[0170]
本发明提出了基于物理模型和相对位姿参数的近视患者视网膜图像改变配对比较的方法，实现了对时间序列性眼底图像之间的分析，该方法能够不破坏图像中包含的有助于近视发展分析和判断的信息(如视乳头区域)，不破坏图像中视网膜血管自身的空间结
构，有利于微小结构变化的发现，最大程度上避免了当前盲目追求像素间配准准确性而引起的图像扭曲，使得结果更具有临床实际意义，并且具有良好的可解释性。通过采用本发明近视患者眼底结构的演变识别及3d可视化系统对实际临床上获取的两次拍摄图像进行比较，图7为关键点提取与匹配的结果图，即配准输出的图像，图中连线表示配对结果，连线越密集覆盖范围越广，表示配对的效果越好。
[0171]
与现有技术相比，本发明提供了一种用于快速诊断屈光不正的时序性眼底图像分析方法，其是一种通过对时序性眼底图像的对比分析，快速、精确地诊断屈光不正眼底病变的方法，本发明的优点在于：
[0172]
1、本发明是通过同时考虑物理眼模型和采集图像时的相对位姿参数，实现对不同时间点近视患者眼底图像的配对比较，从而实现近视患者眼底演变规律的识别和分析。
[0173]
2、本发明提出了一种基于三维空间的近视眼底改变的配对比较方法，该方法提高了较大视场范围下的眼底图像配对比较的准确性，降低因周边曲率引起的失真，特别是近视引起的眼底病变更早出现在视网膜周边部具有重要意义。
[0174]
3、本发明引入了物理眼模型，提高了在任意两张图像中非重叠区域转换的准确性，即由于近视进展引起的包括视神经乳头区、视盘黄斑距离、血管形态等缓慢变化的非重叠区域的识别准确性。
[0175]
本发明还提供了一种近视患者眼底结构的演变识别及3d可视化方法，该方法包括如下步骤：
[0176]
获取第一时间采集的近视患者眼底图像以及第二时间采集的近视患者眼底图像，并将第一时间采集的近视患者眼底图像作为参考图像，将第二时间采集的近视患者眼底图像作为测试图像；第一时间早于第二时间。
[0177]
采用关键点提取算法对参考图像和测试图像中的关键点进行提取，得到参考图像中提取出的关键点和测试图像中提取出的关键点。
[0178]
采用关键点匹配算法对参考图像中提取出的关键点和测试图像中提取出的关键点进行匹配，得到多对匹配的关键点。
[0179]
采用椭球模型对眼睛进行近似构建，得到物理眼球模型。
[0180]
采用参考相机的内参矩阵和外参矩阵构建参考相机模型，并采用测试相机的内参矩阵和外参矩阵构建测试相机模型；参考相机为采集参考图像的相机；测试相机为采集测试图像的相机。
[0181]
针对每一对匹配的关键点，将参考关键点映射至参考相机模型上，得到参考关键点在参考相机模型坐标系下的坐标，同时将测试关键点映射至测试相机模型上，得到测试关键点在测试相机模型坐标系下的坐标；参考关键点为参考图像中提取出的关键点；测试关键点为测试图像中提取出的关键点。
[0182]
将参考关键点在参考相机模型坐标系下的坐标映射至物理眼球模型上，得到参考关键点在物理眼球模型坐标系下的坐标，同时将测试关键点在测试相机模型坐标系下的坐标映射至物理眼球模型上，得到测试关键点在物理眼球模型坐标系下的坐标。
[0183]
基于粒子群优化算法对参考关键点在物理眼球模型坐标系下的坐标和测试关键点在物理眼球模型坐标系下的坐标之间的距离进行优化，通过最小化距离优化物理眼球模型的参数和测试相机模型的参数，得到优化后的物理眼球模型和优化后的测试相机模型。
[0184]
将测试关键点映射至优化后的测试相机模型上，得到测试关键点在优化后的测试相机模型坐标系下的坐标。
[0185]
将测试关键点在优化后的测试相机模型坐标系下的坐标映射至优化后的物理眼球模型上，得到测试关键点在优化后的物理眼球模型坐标系下的坐标。
[0186]
将测试关键点在优化后的物理眼球模型坐标系下的坐标映射至参考相机模型上，得到测试关键点在参考相机模型坐标系下的坐标。
[0187]
将测试关键点在参考相机模型坐标系下的坐标映射至参考图像中，得到测试关键点与参考关键点的位置比对结果。
[0188]
将所有测试关键点与参考关键点的位置比对结果进行3d可视化呈现。
[0189]
其中，关键点提取算法包括大津法、尺度不变特征变换算法和血管分叉提取算法。关键点匹配算法包括单边匹配和双边匹配。
[0190]
物理眼球模型坐标系为空间坐标系；空间坐标系的原点为眼球中心。
[0191]
物理眼球模型的参数包括物理眼球模型的三个正交半轴的长度以及物理眼球模型的三个正交半轴相对于物理眼球模型坐标系旋转的角度。测试相机模型的参数包括测试相机坐标系相对物理眼球模型坐标系x轴、y轴、z轴旋转的角度以及测试相机坐标系相对物理眼球模型坐标系x轴、y轴、z轴的平移向量。
[0192]
本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。对于实施例公开的方法而言，由于其与实施例公开的系统相对应，所以描述的比较简单，相关之处参见系统部分说明即可。
[0193]
本文中应用了具体个例对本发明的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本发明的方法及其核心思想；同时，对于本领域的一般技术人员，依据本发明的思想，在具体实施方式及应用范围上均会有改变之处。综上所述，本说明书内容不应理解为对本发明的限制。

技术特征：
1.一种近视患者眼底结构的演变识别及3d可视化系统，其特征在于，所述系统包括：获取模块，用于获取第一时间采集的近视患者眼底图像以及第二时间采集的近视患者眼底图像，并将所述第一时间采集的近视患者眼底图像作为参考图像，将所述第二时间采集的近视患者眼底图像作为测试图像；所述第一时间早于所述第二时间；关键点提取模块，用于采用关键点提取算法对所述参考图像和所述测试图像中的关键点进行提取，得到所述参考图像中提取出的关键点和所述测试图像中提取出的关键点；关键点匹配模块，用于采用关键点匹配算法对所述参考图像中提取出的关键点和所述测试图像中提取出的关键点进行匹配，得到多对匹配的关键点；物理眼球模型构建模块，用于采用椭球模型对眼睛进行近似构建，得到物理眼球模型；相机模型构建模块，用于采用参考相机的内参矩阵和外参矩阵构建参考相机模型，并采用测试相机的内参矩阵和外参矩阵构建测试相机模型；所述参考相机为采集所述参考图像的相机；所述测试相机为采集所述测试图像的相机；关键点第一映射模块，用于针对每一对匹配的关键点，将参考关键点映射至所述参考相机模型上，得到所述参考关键点在参考相机模型坐标系下的坐标，同时将测试关键点映射至所述测试相机模型上，得到所述测试关键点在测试相机模型坐标系下的坐标；所述参考关键点为所述参考图像中提取出的关键点；所述测试关键点为所述测试图像中提取出的关键点；关键点第二映射模块，用于将所述参考关键点在参考相机模型坐标系下的坐标映射至所述物理眼球模型上，得到所述参考关键点在物理眼球模型坐标系下的坐标，同时将所述测试关键点在测试相机模型坐标系下的坐标映射至所述物理眼球模型上，得到所述测试关键点在物理眼球模型坐标系下的坐标；模型优化模块，用于基于粒子群优化算法对所述参考关键点在物理眼球模型坐标系下的坐标和所述测试关键点在物理眼球模型坐标系下的坐标之间的距离进行优化，通过最小化所述距离优化所述物理眼球模型的参数和所述测试相机模型的参数，得到优化后的物理眼球模型和优化后的测试相机模型；测试关键点第一重映射模块，用于将所述测试关键点映射至所述优化后的测试相机模型上，得到所述测试关键点在优化后的测试相机模型坐标系下的坐标；测试关键点第二重映射模块，用于将所述测试关键点在优化后的测试相机模型坐标系下的坐标映射至所述优化后的物理眼球模型上，得到所述测试关键点在优化后的物理眼球模型坐标系下的坐标；测试关键点第三重映射模块，用于将所述测试关键点在优化后的物理眼球模型坐标系下的坐标映射至所述参考相机模型上，得到所述测试关键点在所述参考相机模型坐标系下的坐标；测试关键点第四重映射模块，用于将所述测试关键点在所述参考相机模型坐标系下的坐标映射至所述参考图像中，得到所述测试关键点与所述参考关键点的位置比对结果；位置比对结果3d可视化呈现模块，用于将所有所述测试关键点与所述参考关键点的位置比对结果进行3d可视化呈现。2.根据权利要求1所述的近视患者眼底结构的演变识别及3d可视化系统，其特征在于，所述关键点提取算法包括大津法、尺度不变特征变换算法和血管分叉提取算法。
3.根据权利要求1所述的近视患者眼底结构的演变识别及3d可视化系统，其特征在于，所述关键点匹配算法包括单边匹配和双边匹配。4.根据权利要求1所述的近视患者眼底结构的演变识别及3d可视化系统，其特征在于，所述物理眼球模型坐标系为空间坐标系；所述空间坐标系的原点为眼球中心。5.根据权利要求1所述的近视患者眼底结构的演变识别及3d可视化系统，其特征在于，所述物理眼球模型的参数包括所述物理眼球模型的三个正交半轴的长度以及所述物理眼球模型的三个正交半轴相对于所述物理眼球模型坐标系旋转的角度。6.根据权利要求1所述的近视患者眼底结构的演变识别及3d可视化系统，其特征在于，所述测试相机模型的参数包括所述测试相机坐标系相对所述物理眼球模型坐标系x轴、y轴、z轴旋转的角度以及所述测试相机坐标系相对所述物理眼球模型坐标系x轴、y轴、z轴的平移向量。7.一种近视患者眼底结构的演变识别及3d可视化方法，其特征在于，所述方法包括：获取第一时间采集的近视患者眼底图像以及第二时间采集的近视患者眼底图像，并将所述第一时间采集的近视患者眼底图像作为参考图像，将所述第二时间采集的近视患者眼底图像作为测试图像；所述第一时间早于所述第二时间；采用关键点提取算法对所述参考图像和所述测试图像中的关键点进行提取，得到所述参考图像中提取出的关键点和所述测试图像中提取出的关键点；采用关键点匹配算法对所述参考图像中提取出的关键点和所述测试图像中提取出的关键点进行匹配，得到多对匹配的关键点；采用椭球模型对眼睛进行近似构建，得到物理眼球模型；采用参考相机的内参矩阵和外参矩阵构建参考相机模型，并采用测试相机的内参矩阵和外参矩阵构建测试相机模型；所述参考相机为采集所述参考图像的相机；所述测试相机为采集所述测试图像的相机；针对每一对匹配的关键点，将参考关键点映射至所述参考相机模型上，得到所述参考关键点在参考相机模型坐标系下的坐标，同时将测试关键点映射至所述测试相机模型上，得到所述测试关键点在测试相机模型坐标系下的坐标；所述参考关键点为所述参考图像中提取出的关键点；所述测试关键点为所述测试图像中提取出的关键点；将所述参考关键点在参考相机模型坐标系下的坐标映射至所述物理眼球模型上，得到所述参考关键点在物理眼球模型坐标系下的坐标，同时将所述测试关键点在测试相机模型坐标系下的坐标映射至所述物理眼球模型上，得到所述测试关键点在物理眼球模型坐标系下的坐标；基于粒子群优化算法对所述参考关键点在物理眼球模型坐标系下的坐标和所述测试关键点在物理眼球模型坐标系下的坐标之间的距离进行优化，通过最小化所述距离优化所述物理眼球模型的参数和所述测试相机模型的参数，得到优化后的物理眼球模型和优化后的测试相机模型；将所述测试关键点映射至所述优化后的测试相机模型上，得到所述测试关键点在优化后的测试相机模型坐标系下的坐标；将所述测试关键点在优化后的测试相机模型坐标系下的坐标映射至所述优化后的物理眼球模型上，得到所述测试关键点在优化后的物理眼球模型坐标系下的坐标；
将所述测试关键点在优化后的物理眼球模型坐标系下的坐标映射至所述参考相机模型上，得到所述测试关键点在所述参考相机模型坐标系下的坐标；将所述测试关键点在所述参考相机模型坐标系下的坐标映射至所述参考图像中，得到所述测试关键点与所述参考关键点的位置比对结果；将所有所述测试关键点与所述参考关键点的位置比对结果进行3d可视化呈现。8.根据权利要求7所述的近视患者眼底结构的演变识别及3d可视化方法，其特征在于，所述物理眼球模型坐标系为空间坐标系；所述空间坐标系的原点为眼球中心。9.根据权利要求7所述的近视患者眼底结构的演变识别及3d可视化方法，其特征在于，所述物理眼球模型的参数包括所述物理眼球模型的三个正交半轴的长度以及所述物理眼球模型的三个正交半轴相对于所述物理眼球模型坐标系旋转的角度。10.根据权利要求7所述的近视患者眼底结构的演变识别及3d可视化方法，其特征在于，所述测试相机模型的参数包括所述测试相机坐标系相对所述物理眼球模型坐标系x轴、y轴、z轴旋转的角度以及所述测试相机坐标系相对所述物理眼球模型坐标系x轴、y轴、z轴的平移向量。

技术总结
本发明公开一种近视患者眼底结构的演变识别及3D可视化系统和方法，涉及眼科学技术领域，系统包括获取模块、关键点提取模块、关键点匹配模块、物理眼球模型构建模块、相机模型构建模块、关键点第一映射模块、关键点第二映射模块、模型优化模块、测试关键点第一重映射模块、测试关键点第二重映射模块、测试关键点第三重映射模块、测试关键点第四重映射模块以及位置比对结果3D可视化呈现模块。本发明基于上述模块能够精准、高效、直观的发现近视患者眼底结构的典型、细微的演变规律改变。细微的演变规律改变。细微的演变规律改变。


技术研发人员：邹昊翰 王雁
受保护的技术使用者：天津市眼科医院
技术研发日：2023.04.20
技术公布日：2023/7/12