一种脊柱外科手术用机械臂视觉定位方法及系统与流程

1.本技术涉及视觉定位技术领域，尤其涉及一种脊柱外科手术用机械臂视觉定位方法及系统。


背景技术：

2.在脊柱外科手术用机械臂视觉定位系统中，特征点提取是用来确定脊柱结构及其位置的关键步骤。特征点提取是通过对脊柱区域图像进行分析和处理，识别出图像中具有辨识度和重要性的关键点或结构。这些特征点可以是脊柱特征点，比如椎体、椎间盘、棘突等。通过提取这些特征点，系统可以获取关于脊柱结构的信息，并且能够将其与事先建立的模型或数据库进行匹配和对齐。通过提取脊柱区域图像中的特征点，系统可以准确地确定脊柱的位置和姿态。这有助于导航机械臂在手术过程中精确地定位和操作。特征点的提取可以帮助系统识别不同的脊柱结构，如椎体、椎间盘等。这有助于医生在手术中准确地确定需要处理的区域。通过将提取的特征点与预先建立的模型匹配，系统可以生成引导信号，指示机械臂在手术过程中的路径和动作。这有助于实现准确的手术导航和操作。
3.现有技术中往往是使用orb算法对脊柱特征点进行提取和脊柱定位，其中特征点提取部分则使用fast角点检测和brief描述子的特征点提取结合算法，fast角点检测中需要人为设定阈值，阈值设置过大，会导致误检出的特征点过多，影响后续匹配定位的精度与效率，阈值设置过小，可能会导致检测出的特征点过少，存在漏检现象，导致后续匹配定位精度与效率降低。


技术实现要素：

4.为了解决以上技术问题，本技术提供了一种脊柱外科手术用机械臂视觉定位方法及系统。
5.根据本技术实施例的第一方面，提供了一种脊柱外科手术用机械臂视觉定位方法，包括：采集获得脊柱表面ct图像，并对所述脊柱表面ct图像进行图像分割，获得脊柱区域图像；使用fast角点检测算法，对所述脊柱区域图像中特征点进行初次提取，得到初步特征点；分析所述初步特征点与其邻域像素点的亮度差异特征，获得所述初步特征点的特征程度；基于所述脊柱区域图像的形状，获取所述初步特征点的相关像素点和对应的水平特征线段；分析所述水平特征线段上像素点的亮度变化，和，所述相关像素点的亮度分布差异，获得所述初步特征点的优化特征程度；通过灰度质心法获取所述脊柱区域图像中的质心，分析所述初步特征点与所述质
心之间的相对位置，获取所述初步特征点的提取效果；根据所述提取效果，对fast角点检测算法中初始设置的亮度阈值进行调整优化，获取最优亮度阈值；基于所述最优亮度阈值，通过orb算法对脊柱区域图像中的特征点进行提取与匹配，根据匹配结果进行视觉定位，机械臂根据所述视觉定位开展手术操作。
6.在本发明的一些实施例中，分析所述初步特征点与其邻域像素点的亮度差异特征，获得所述初步特征点的特征程度，包括：获取所述初步特征点圆形邻域内的像素点；计算获得所述初步特征点圆形邻域内像素点与所述初步特征点的亮度差异；统计所述亮度差异大于预设初始亮度阈值的像素点的个数；基于所述亮度差异和所述亮度差异大于预设初始亮度阈值的像素点的个数，构建所述初步特征点的特征程度。
7.在本发明的一些实施例中，所述特征程度为：初步特征点圆形邻域内所有像素点分别与初步特征点的亮度差异之和与初步特征点的亮度值的比值，然后乘以亮度差异大于预设初始亮度阈值的像素点的个数；其中，初步特征点圆形邻域内像素点与初步特征点的亮度差异为：邻域内像素点的亮度值与初步特征点的亮度值差值的绝对值。
8.在本发明的一些实施例中，基于所述脊柱区域图像的形状，获取所述初步特征点的相关像素点和对应的水平特征线段，包括：判断所述初步特征点是否为边缘像素点；若所述初步特征点为边缘像素点，以所述初步特征点为起点作一条水平射线；所述水平射线与脊柱边缘形成一交点，所述交点像素点为所述初步特征点的相关像素点，所述初步特征点与所述相关像素点之间形成的线段为水平特征线段。
9.在本发明的一些实施例中，所述优化特征程度获取公式为：所述优化特征程度获取公式为：公式中，表示优化值，表示对括号内进行向下取整函数，表示从初步特征点处起向相关像素点处的第个像素点的亮度值，表示从相关像素点处起向初步特征点处的第个像素点的亮度值，表示水平特征线段上的像素点的数量；公式中，表示优化特征程度，表示优化值，表示初始计算出的特征程度，表示初步特征点与相关像素点的特征二元组的并集个数，表示初步特征点所对应的第个像素点与初步特征点所成直线与水平线的顺时针夹角，表示初步特征点所对应的第个像素点与初步特征点的亮度差异，表示相关像素点所对应的第个像素点与相关像素点所成直线与水平线的顺时针夹角，表示相关像素点所对应的第个像素点与相关像
素点的亮度差异。
10.在本发明的一些实施例中，所述初步特征点的提取效果为：脊柱区域图像中所有初步特征点的优化特征程度之和与初步特征点的在质心两侧的分布规则度的乘积。
11.在本发明的一些实施例中，所述分布规则度的获取方法为：公式中，表示初步特征点的在质心两侧的分布规则度，表示选取其中最小值，、分别为质心左右两侧初步特征点个数，表示质心初步特征点个数较少的一侧第个特征点与质心之间的欧式距离。则表示质心初步特征点个数较少的一侧第个特征点在另一侧的对应初步特征点与质心之间的欧式距离。
12.在本发明的一些实施例中，根据所述提取效果，对fast角点检测算法中初始设置的亮度阈值进行调整优化，获取最优亮度阈值，包括：所述提取效果小于预设效果判断阈值时，对fast角点检测算法中初始设置的亮度阈值进行调整优化，获得优化亮度阈值；重复对fast角点检测算法中初始设置的亮度阈值进行调整优化，直至所述提取效果大于等于预设效果判断阈值或达到调控次数阈值为止，所述提取效果最大对应的优化亮度阈值为最优亮度阈值。
13.在本发明的一些实施例中，所述优化亮度阈值为：所述脊柱区域图像提取出的初步特征点个数大于等于500时，所述优化亮度阈值为：2减提取效果然后与初始亮度阈值的乘积；所述脊柱区域图像提取出的初步特征点个数小于500时，所述优化亮度阈值为：提取效果与初始亮度阈值的乘积。
14.根据本技术实施例的第二方面，提供了一种脊柱外科手术用机械臂视觉定位系统，系统包括存储器模块和处理器模块，其中：所述存储器模块，用于存储程序代码；所述处理器模块，用于读取所述存储器模块中存储的程序代码，并执行如本技术实施例的第一方面所述的方法；所述处理器模块包括图像采集子模块、特征点初步提取子模块、特征程度子模块、优化特征程度子模块、提取效果子模块、最优亮度阈值子模块、视觉定位模块。
15.由以上实施例可见，本技术实施例提供的一种脊柱外科手术用机械臂视觉定位方法及系统，具有的有益效果如下：本发明中通过采集获得脊柱表面ct图像，并对所述脊柱表面ct图像进行图像分割，获得脊柱区域图像；使用fast角点检测算法，对所述脊柱区域图像中特征点进行初次提取，得到初步特征点；分析所述初步特征点与其邻域像素点的亮度差异特征，获得所述初步特征点的特征程度；基于所述脊柱区域图像的形状，获取所述初步特征点的相关像素点和对应的水平特征线段；分析所述水平特征线段上像素点的亮度变化，和，所述相关像素点的亮度分布差异，获得所述初步特征点的优化特征程度；通过灰度质心法获取所述脊柱区域图像中的质心，分析所述初步特征点与所述质心之间的相对位置，获取所述初步特征点的
提取效果；根据所述提取效果，对fast角点检测算法中初始设置的亮度阈值进行调整优化，获取最优亮度阈值；基于所述最优亮度阈值，通过orb算法对脊柱区域图像中的特征点进行提取与匹配，根据匹配结果进行视觉定位，机械臂根据所述视觉定位开展手术操作。
16.本发明中通过对fast角点检测提取出的特征点的局部亮度信息差异进行分析，构建特征点所对应的特征程度，并基于脊柱的形状信息对特征点的特征程度进行优化，使得优化后的特征程度较大的特征点更能反映出脊柱表面的特征信息，同时基于特征点的分布信息以及特征点的特征程度自适应构建特征点提取效果，然后基于特征点提取效果对初始亮度阈值进行自适应优化调整，获取最优阈值，基于最优阈值完成fast角点检测以及orb匹配定位。提高了orb算法对脊柱特征点进行提取和脊柱匹配定位的精度与效率，实现了脊柱外科手术用机械臂准确的手术导航和操作。
17.应当理解的是，以上的一般描述和后文的细节描述仅是示例性和解释性的，并不能限制本发明。
附图说明
18.为了更清楚地说明本发明的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，显而易见地，对于本领域普通技术人员而言，在不付出创造性劳动性的前提下，还可以根据这些附图获得其他的附图。
19.图1为本技术实施例提供的一种脊柱外科手术用机械臂视觉定位方法基本流程示意图；图2为本技术实施例提供的一种脊柱外科手术用机械臂视觉定位系统基本组成示意图。
具体实施方式
20.为了使本技术领域的人员更好地理解本发明中的技术方案，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。
21.本发明的目的：自适应获取fast角点检测中的最优亮度阈值，提高特征点提取精度与效率，进而提高后续定位精度与效率。
22.本发明所针对的具体场景为：脊柱外科手术时，需要对脊柱的结构信息等进行识别，进而根据视觉定位结果，引导手术工具在预定的切割或植入路径上进行操作。可以提供实时的位置反馈和建议，帮助医生进行精准操作。
23.下面将结合附图，对本实施例提供的一种脊柱外科手术用机械臂视觉定位方法及系统进行详细介绍。
24.图1为本技术实施例提供的一种脊柱外科手术用机械臂视觉定位方法基本流程示意图，如图1所示，该方法具体包括如下步骤：s100：采集获得脊柱表面ct图像，并对脊柱表面ct图像进行图像分割，获得脊柱区域图像。
25.通过ct机等仪器对脊柱外科手术中患者的脊柱进行扫描，采集获得脊柱表面ct图像。然后使用大津阈值分割算法对脊柱表面ct图像进行分割，将脊柱作为前景，其余区域作为背景，完成脊柱区域的提取，得到脊柱区域图像。其中大津阈值分割算法为公知技术，不再赘述。
26.脊柱区域图像在进行定位时，往往需要对脊柱区域图像中的特征点进行提取，其中特征点的质量好坏直接影响了定位精度。当特征点的选取不佳，会导致在特征匹配时产生更多的错误匹配和局部匹配信息重复的问题。
27.传统orb算法中通过fast角点检测来获取特征点，通过设置亮度阈值t，以像素点点为中心，获取邻域圆上的16个像素点，当圆上有n个点的亮度大于像素点点的亮度与亮度阈值之和或小于像素点点的亮度与亮度阈值之差时，认为该像素点为特征点，循环该步骤，对图像中每一个像素点进行上述步骤，完成特征点提取。
28.其中亮度阈值设定的过高或过低均会影响到检测的角点数量和质量，因此获取最优的亮度阈值可以有效提高fast角点检测提取到的特征点质量。
29.然而fast特征点只计算像素点的亮度区别，虽然计算速度很快，但有局部重复、不能均匀分布、没有方向信息等缺点，且因为邻域圆取的半径固定，存在一定的尺度问题（某些点从远处和近处看，不能同时确定为角点），对噪声较为敏感，容易受到图像亮度变化的影响。
30.故本发明中对fast特征点的提取进行改进，提高fast特征点的提取精度。具体过程如下：s200：使用fast角点检测算法，对脊柱区域图像中特征点进行初次提取，得到初步特征点。
31.根据先验知识设置初步的亮度阈值t=30，根据经验值设置，实施者可进行调节。使用fast角点检测算法，对脊柱区域图像中特征点进行提取，得到初步特征点，对提取出的特征点进行分析。其中fast角点检测过程为公知技术，此处不再赘述。
32.s300：分析初步特征点与其邻域像素点的亮度差异特征，获得初步特征点的特征程度。
33.分析初步特征点与其邻域像素点的亮度差异特征，获得初步特征点的特征程度，包括以下步骤：此处以初步提取出的初步特征点为例，对初步特征点的特征程度进行自适应评估，完成特征程度的构建。将初步特征点的邻域半径设置为3个像素点单位长度，获取初步特征点圆形邻域内的16个像素点；计算获得初步特征点圆形邻域内像素点与初步特征点的亮度差异；统计亮度差异大于预设初始亮度阈值的像素点的个数；基于亮度差异和亮度差异大于预设初始亮度阈值的像素点的个数，构建初步特征点的特征程度。特征程度为：初步特征点圆形邻域内所有像素点分别与初步特征点的亮度差异之和与初步特征点的亮度值的比值，然后乘以亮度差异大于预设初始亮度阈值的像素点的个数；其中，初步特征点圆形邻域内像素点与初步特征点的亮度差异为：邻域内像素点的亮度值与初步特征点的亮度值差值的绝对值，即：
公式中，表示第个像素点与初步特征点的亮度差异，其差异越大则说明特征程度越大；表示初步特征点点的16个邻近像素点中第个像素点的亮度值；表示初步特征点点的亮度值；表示特征程度，越大说明初步特征点点与其局部像素点之间的亮度差异越大，该初步特征点点为特征点的可能性越大；为初步特征点点的16个邻近像素点与初步特征点点的亮度差异大于初始亮度阈值的像素点个数，其值越大，则说明初步特征点点的特征程度越大。
34.s400：基于脊柱区域图像的形状，获取初步特征点的相关像素点和对应的水平特征线段。
35.根据上述步骤，对初步特征点点进行了初步评估，获取了其所对应的特征程度。由于上述步骤中只考虑了像素点的局部亮度差异，提取出的特征点有局部重复、不能均匀分布、没有方向信息等缺点，故仅凭上述步骤提取出的特征点精度不高。
36.本发明中对提取出的初步特征点进行进一步分析，构建初步特征点所对应的特征方向描述子，进而通过初步特征点之间特征方向描述子的差异，来评价初步特征点的所对应的特征程度。对于每个初步特征点而言可得到个特征二元组（，），其中为初步特征点点的16个邻近像素点与初步特征点点的亮度差异大于初始亮度阈值的像素点个数，，表示个像素点中第个像素点与初步特征点点所成直线与水平线的顺时针夹角，表示个像素点中第个像素点与初步特征点点之间亮度差异。则每个初步特征点均有其对应的个特征二元组，且不同的初步特征点所对应的特征二元组个数不一定相同。则可通过初步特征点之间的特征二元组之间的差异来反映初步特征点的局部亮度信息之间的分布差异。
37.首先对初步特征点初步特征点点进行形状上相关像素点的获取。根据先验知识可知人体脊柱区域图像往往是从上至下，左右分布的形状，存在一定的对称性。本发明中获取像素点初步特征点点在水平方向上的相关像素点，与竖直方向上的相关像素点，通过它们之间的差异来获取像素点初步特征点点的异常程度，逻辑为：当脊柱出现变形时，往往是脊柱的局部出现形变，故其所对应提取到的特征点应与正常脊柱区域内的像素点的局部信息存在较大差异，若其为正常点，则其应与其相关像素点存在较大的相似性，否则异常程度越大，其所对应的特征点程度也应越大。
38.因此，基于脊柱区域图像的形状，获取初步特征点的相关像素点和对应的水平特征线段，具体包括：对于初步特征点点而言，首先初步特征点是否为边缘像素点；若初步特征点为边缘像素点，则以初步特征点为起点作一条水平射线，水平射线与脊柱的边缘形成一交点，交点像素点点；则对于初步特征点点而言，交点像素点点为初步特征点点的相关像素点，初步特征点点与相关像素点点之间形成的线段为水平特征线段。若初步特征点不为边缘像素点，则不需要后续的优化过程。
39.s500：分析水平特征线段上像素点的亮度变化，和，相关像素点的亮度分布差异，获得初步特征点的优化特征程度。
40.分析水平特征线段上像素点的亮度变化，和，相关像素点的亮度分布差异，获得初步特征点的优化特征程度。
41.优化特征程度获取公式为：优化特征程度获取公式为：公式中，表示优化值；表示对括号内进行向下取整函数，例如：=8；表示从初步特征点处起向相关像素点处的第个像素点的亮度值，表示从相关像素点处起向初步特征点处的第个像素点的亮度值，与差异越大，则说明亮度变化越大，则说明初步特征点点或相关像素点点处出现异常突起的可能性越大，则其所对应的优化值越大，优化特征程度越大；表示水平特征线段上的像素点的数量；公式中，表示优化特征程度；表示优化值；表示初始计算出的特征程度；表示初步特征点点与相关像素点点的特征二元组的并集个数，例如初步特征点点中有1,2,3三个特征二元组，相关像素点点中有2,3,4,5四个特征二元组，则=5，对应了1,2,3,4,5五个特征二元组；表示初步特征点点所对应的第个像素点与初步特征点点所成直线与水平线的顺时针夹角，表示初步特征点点所对应的第个像素点与初步特征点点的亮度差异，表示相关像素点点所对应的第个像素点与相关像素点点所成直线与水平线的顺时针夹角，表示相关像素点点所对应的第个像素点与相关像素点点的亮度差异，与、与差异越大，则说明初步特征点点或相关像素点点处出现异常突起的可能性越大，所对应的优化值越大，特征程度越大。
42.根据上述步骤得到了提取出的初步特征点所对应的优化后的特征程度，优化特征程度越大，则说明初步提取出的特征点为实际特征点的可能性越大。则对于初始亮度阈值提取出的初步特征点而言，每个初步特征点均有其所对应的优化后的特征程度。而由于正常脊柱的形状往往是规则的，异常脊柱则往往为局部突起，均具有一定的规则性，故本发明中通过提取出的初步特征点与脊柱质心的相对位置获取提取出的特征点的分布规则性，进而基于特征点所对应的特征程度以及分布规则性完成当前阈值的特征点提取效果的构建，并基于提取效果对fast角点检测的阈值进行自适应调整优化，获取最优亮度阈值，具体过程如下：s600：通过灰度质心法获取脊柱区域图像中的质心，分析初步特征点与质心之间的相对位置，获取初步特征点的提取效果。
43.本发明中通过灰度质心法获取脊柱区域图像中的质心z点，质心是以图像亮度值
为中心，灰度质心法可以获取脊柱区域图像的质心，获取过程为公知技术不在赘述。过质心z点作竖直直线，则可将脊柱区域图像中提取出的初步特征点划分成左右两侧，两侧的初步特征点个数分别记为、，则通过提取出的初步特征点与质心之间相对位置获取特征点提取效果。初步特征点的提取效果为：脊柱区域图像中所有初步特征点的优化特征程度之和与初步特征点的在质心两侧的分布规则度的乘积，即：公式中，表示初步特征点的提取效果；反映了特征点在质心两侧的分布规则度，规则度越大，则说明该阈值下特征点提取效果越好；表示脊柱区域图像提取出的初步特征点个数；表示提取出的第个初步特征点所对应的优化后的特征程度。
44.其中，分布规则度的获取方法为：公式中，表示初步特征点的在质心两侧的分布规则度，表示选取其中最小值，、分别为质心左右两侧初步特征点个数，表示质心初步特征点个数较少的一侧第个特征点与质心之间的欧式距离。则表示质心初步特征点个数较少的一侧第个特征点在另一侧的对应初步特征点与质心之间的欧式距离。此处假设，且为质心左侧，则表示质心左侧第个特征点与质心z之间的欧式距离；则表示质心左侧第个特征点在右侧的对应特征点与质心z之间的欧式距离，对应特征点获取为通过左侧第个特征点可获取到相应的水平特征线，距离该水平特征线的距离最小的右侧特征点即为其对应特征点；与差异越小，则说明初步特征点提取效果越好；分母+1是为了防止分母为0；、差异越小，说明分布越规则，提取效果越好。
45.s700：根据提取效果，对fast角点检测算法中初始设置的亮度阈值进行调整优化，获取最优亮度阈值。
46.可基于初步特征点提取效果对fast角点检测初始设置的亮度阈值进行调整优化，最终获取最优亮度阈值，包括以下步骤：提取效果小于预设效果判断阈值时，对fast角点检测算法中初始设置的亮度阈值进行调整优化，获得优化亮度阈值。优化亮度阈值为：脊柱区域图像提取出的初步特征点个数大于等于500时，优化亮度阈值为：2减提取效果然后与初始亮度阈值的乘积；脊柱区域图像提取出的初步特征点个数小于500时，优化亮度阈值为：提取效果与初始亮度阈值的乘积；即：公式中，为调整优化后的优化亮度阈值；为设置的初始亮度阈值；为初始亮
度阈值下所获取到的初步特征点的提取效果；当时，说明特征点提取数量过多且提取效果较差，此时需增大阈值，以减小误检出的特征点，提高特征点提取效果；当说明此时阈值过大，特征点提取数量过少且提取效果较差，即特征点漏检较多，应降低阈值，以增大检测出的特征点数量以及其对应的提取效果。
47.提取效果小于预设效果判断阈值0.8，使用优化亮度阈值重复以上步骤对fast角点检测算法中初始设置的亮度阈值进行调整优化，直至提取效果大于等于预设效果判断阈值0.8或达到调控次数阈值50次为止，其中，预设效果判断阈值根据经验值设置，实施者可进行调节；此时选取提取效果最大对应的优化亮度阈值为最优亮度阈值。
48.s800：基于最优亮度阈值，通过orb算法对脊柱区域图像中的特征点进行提取与匹配，根据匹配结果进行视觉定位，机械臂根据视觉定位开展手术操作。
49.根据上述步骤获取了fast角点检测中的最优亮度阈值，使用该最优亮度阈值作为fast角点检测中的亮度阈值，通过orb算法对脊柱区域图像中的特征点进行提取，将提取到的特征点与已知的脊柱特征点进行匹配，其中已知的脊柱特征点是根据先验知识获取的模版脊柱即正常脊柱所对应的脊柱特征点，可以通过人工标注等方法获取，具体过程为公知技术不在赘述。根据匹配的结果计算并确定当前脊柱所在的位置和姿态进行视觉定位，此处可以通过一些拟合算法或优化算法，如ransac或最小二乘法来估计脊柱模型的相关参数，得到脊柱的具体信息，以便于机械臂的后续操作（将机械臂移动至脊柱相应位置对脊柱进行矫正等操作）。机械臂根据视觉定位结果，引导手术工具在预定的切割或植入路径上进行操作。本发明提供的脊柱外科手术用机械臂视觉定位方法，可以提供实时的位置反馈和建议，帮助医生进行精准操作。
50.基于与上述方法同样的发明构思，本实施例还提供了一种脊柱外科手术用机械臂视觉定位系统，图2为本技术实施例提供的一种脊柱外科手术用机械臂视觉定位系统基本组成示意图，如图2所示：系统包括存储器模块10和处理器模块20，其中：存储器模块10，用于存储程序代码；处理器模块20，用于读取存储器模块10中存储的程序代码，并执行采集获得脊柱表面ct图像，并对脊柱表面ct图像进行图像分割，获得脊柱区域图像；使用fast角点检测算法，对脊柱区域图像中特征点进行初次提取，得到初步特征点；分析初步特征点与其邻域像素点的亮度差异特征，获得初步特征点的特征程度；基于脊柱区域图像的形状，获取初步特征点的相关像素点和对应的水平特征线段；分析水平特征线段上像素点的亮度变化，和，相关像素点的亮度分布差异，获得初步特征点的优化特征程度；通过灰度质心法获取脊柱区域图像中的质心，分析初步特征点与质心之间的相对位置，获取初步特征点的提取效果；根据提取效果，对fast角点检测算法中初始设置的亮度阈值进行调整优化，获取最优亮度阈值；基于最优亮度阈值，通过orb算法对脊柱区域图像中的特征点进行提取与匹配，根据匹配结果进行视觉定位，机械臂根据视觉定位开展手术操作。
51.在本发明的一些实施例中，处理器模块20，包括图像采集子模块21、特征点初步提取子模块22、特征程度子模块23、优化特征程度子模块24、提取效果子模块25、最优亮度阈值子模块26、视觉定位模块27。
52.其中，图像采集子模块21，用以采集获得脊柱表面ct图像，并对脊柱表面ct图像进行图像分割，获得脊柱区域图像。
53.特征点初步提取子模块22，用以使用fast角点检测算法，对脊柱区域图像中特征点进行初次提取，得到初步特征点。
54.特征程度子模块23，用以分析初步特征点与其邻域像素点的亮度差异特征，获得初步特征点的特征程度。
55.优化特征程度子模块24，用以基于脊柱区域图像的形状，获取初步特征点的相关像素点和对应的水平特征线段；分析水平特征线段上像素点的亮度变化，和，相关像素点的亮度分布差异，获得初步特征点的优化特征程度。
56.提取效果子模块25，用以通过灰度质心法获取脊柱区域图像中的质心，分析初步特征点与质心之间的相对位置，获取初步特征点的提取效果。
57.最优亮度阈值子模块26，用以根据提取效果，对fast角点检测算法中初始设置的亮度阈值进行调整优化，获取最优亮度阈值。
58.视觉定位模块27，用以基于最优亮度阈值，通过orb算法对脊柱区域图像中的特征点进行提取与匹配，根据匹配结果进行视觉定位，机械臂根据视觉定位开展手术操作。
59.本说明书中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。
60.需要说明的是，除非另有规定和限定，诸如术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的电路结构、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种物品或者设备所固有的要素。在没有更多限制的情况下，有语句“包括一个
……”
限定的要素，并不排除在包括所述要素的物品或者设备中还存在另外的相同要素。另外，本文使用的术语“和\或”包括一个或多个相关的所列项目的任一的和所有的组合。
61.本领域技术人员在考虑说明书及实践这里发明的发明后，将容易想到本发明的其它实施方案。本技术旨在涵盖本发明的任何变型、用途或者适应性变化，这些变型、用途或者适应性变化遵循本发明的一般性原理并包括本发明未发明的本技术领域中的公知常识或惯用技术手段。说明书和实施例仅被视为示例性的，本发明的真正范围和精神由下面的权利要求指出。
62.应当理解的是，本发明并不局限于上面已经描述并在附图中示出的精确结构，并且可以在不脱离其范围进行各种修改和改变。本发明的范围仅由所附的权利要求来限制。

技术特征：
1.一种脊柱外科手术用机械臂视觉定位方法，其特征在于，所述方法包括：采集获得脊柱表面ct图像，并对所述脊柱表面ct图像进行图像分割，获得脊柱区域图像；使用fast角点检测算法，对所述脊柱区域图像中特征点进行初次提取，得到初步特征点；分析所述初步特征点与其邻域像素点的亮度差异特征，获得所述初步特征点的特征程度；基于所述脊柱区域图像的形状，获取所述初步特征点的相关像素点和对应的水平特征线段；分析所述水平特征线段上像素点的亮度变化，和，所述相关像素点的亮度分布差异，获得所述初步特征点的优化特征程度；通过灰度质心法获取所述脊柱区域图像中的质心，分析所述初步特征点与所述质心之间的相对位置，获取所述初步特征点的提取效果；根据所述提取效果，对fast角点检测算法中初始设置的亮度阈值进行调整优化，获取最优亮度阈值；基于所述最优亮度阈值，通过orb算法对脊柱区域图像中的特征点进行提取与匹配，根据匹配结果进行视觉定位，机械臂根据所述视觉定位开展手术操作。2.根据权利要求1所述的脊柱外科手术用机械臂视觉定位方法，其特征在于，分析所述初步特征点与其邻域像素点的亮度差异特征，获得所述初步特征点的特征程度，包括：获取所述初步特征点圆形邻域内的像素点；计算获得所述初步特征点圆形邻域内像素点与所述初步特征点的亮度差异；统计所述亮度差异大于预设初始亮度阈值的像素点的个数；基于所述亮度差异和所述亮度差异大于预设初始亮度阈值的像素点的个数，构建所述初步特征点的特征程度。3.根据权利要求1或2所述的脊柱外科手术用机械臂视觉定位方法，其特征在于，所述特征程度为：初步特征点圆形邻域内所有像素点分别与初步特征点的亮度差异之和与初步特征点的亮度值的比值，然后乘以亮度差异大于预设初始亮度阈值的像素点的个数；其中，初步特征点圆形邻域内像素点与初步特征点的亮度差异为：邻域内像素点的亮度值与初步特征点的亮度值差值的绝对值。4.根据权利要求1所述的脊柱外科手术用机械臂视觉定位方法，其特征在于，基于所述脊柱区域图像的形状，获取所述初步特征点的相关像素点和对应的水平特征线段，包括：判断所述初步特征点是否为边缘像素点；若所述初步特征点为边缘像素点，以所述初步特征点为起点作一条水平射线；所述水平射线与脊柱边缘形成一交点，所述交点像素点为所述初步特征点的相关像素点，所述初步特征点与所述相关像素点之间形成的线段为水平特征线段。5.根据权利要求1所述的脊柱外科手术用机械臂视觉定位方法，其特征在于，所述优化特征程度获取公式为：
公式中，表示优化值，表示对括号内进行向下取整函数，表示从初步特征点处起向相关像素点处的第个像素点的亮度值，表示从相关像素点处起向初步特征点处的第个像素点的亮度值，表示水平特征线段上的像素点的数量；公式中，表示优化特征程度，表示优化值，表示初始计算出的特征程度，表示初步特征点与相关像素点的特征二元组的并集个数，表示初步特征点所对应的第个像素点与初步特征点所成直线与水平线的顺时针夹角，表示初步特征点所对应的第个像素点与初步特征点的亮度差异，表示相关像素点所对应的第个像素点与相关像素点所成直线与水平线的顺时针夹角，表示相关像素点所对应的第个像素点与相关像素点的亮度差异。6.根据权利要求1所述的脊柱外科手术用机械臂视觉定位方法，其特征在于，所述初步特征点的提取效果为：脊柱区域图像中所有初步特征点的优化特征程度之和与初步特征点的在质心两侧的分布规则度的乘积。7.根据权利要求6所述的脊柱外科手术用机械臂视觉定位方法，其特征在于，所述分布规则度的获取方法为：公式中，表示初步特征点的在质心两侧的分布规则度，表示选取其中最小值，、分别为质心左右两侧初步特征点个数，表示质心初步特征点个数较少的一侧第个特征点与质心之间的欧式距离；则表示质心初步特征点个数较少的一侧第个特征点在另一侧的对应初步特征点与质心之间的欧式距离。8.根据权利要求1所述的脊柱外科手术用机械臂视觉定位方法，其特征在于，根据所述提取效果，对fast角点检测算法中初始设置的亮度阈值进行调整优化，获取最优亮度阈值，包括：所述提取效果小于预设效果判断阈值时，对fast角点检测算法中初始设置的亮度阈值进行调整优化，获得优化亮度阈值；重复对fast角点检测算法中初始设置的亮度阈值进行调整优化，直至所述提取效果大于等于预设效果判断阈值或达到调控次数阈值为止，所述提取效果最大对应的优化亮度阈值为最优亮度阈值。9.根据权利要求8所述的脊柱外科手术用机械臂视觉定位方法，其特征在于，所述优化亮度阈值为：
所述脊柱区域图像提取出的初步特征点个数大于等于500时，所述优化亮度阈值为：2减提取效果然后与初始亮度阈值的乘积；所述脊柱区域图像提取出的初步特征点个数小于500时，所述优化亮度阈值为：提取效果与初始亮度阈值的乘积。10.一种脊柱外科手术用机械臂视觉定位系统，其特征在于，系统包括存储器模块（10）和处理器模块（20），其中：所述存储器模块（10），用于存储程序代码；所述处理器模块（20），用于读取所述存储器模块（10）中存储的程序代码，并执行权利要求1-9中任一项所述的方法；所述处理器模块（20）包括图像采集子模块（21）、特征点初步提取子模块（22）、特征程度子模块（23）、优化特征程度子模块（24）、提取效果子模块（25）、最优亮度阈值子模块（26）、视觉定位模块（27）。

技术总结
本申请属于视觉定位技术领域，提供了一种脊柱外科手术用机械臂视觉定位方法及系统，通过对FAST角点检测提取出的特征点的局部亮度信息差异进行分析，构建特征点所对应的特征程度；基于脊柱的形状信息对特征点的特征程度进行优化；同时基于特征点的分布信息以及特征点的特征程度自适应构建特征点提取效果；然后基于特征点提取效果对初始亮度阈值进行自适应优化调整，获取最优阈值；最后基于最优阈值完成FAST角点检测以及ORB匹配定位。提高了ORB算法对脊柱特征点进行提取和脊柱匹配定位的精度与效率，实现了脊柱外科手术用机械臂准确的手术导航和操作。手术导航和操作。手术导航和操作。


技术研发人员：曹东 范纯泉 徐晓光
受保护的技术使用者：苏州安博医疗科技有限公司
技术研发日：2023.09.01
技术公布日：2023/10/11