基于人体位姿的超声自动检测方法及系统

1.本发明涉及自动控制技术，尤其涉及一种基于人体位姿的超声自动检测方法及系统。


背景技术：

2.b超作为当代医疗诊断的重要方法，因其无痛、无创、无辐射，且可实时动态成像等优点，被广泛应用于肝脏、心脏、甲状腺等内脏器官及浅表结构的检查与诊断中。但超声检查对检测人员技术水平要求较高，医师往往需要经过长时间培训积累经验，才能较好地完成诊断过程。
3.为此现有技术曾提出过一系列关于自主超声检测的相关方案，例如现有自主超声的定位方式和超声检测路径规划，一般通过ct和mri等术前医学图像数据，或通过rgb-d等外部感知器实时感知，来规划机械臂带动超声探头的检测路径。
4.然而一个实际的问题在于，目前在没有专业医师的监督下（人为介入识别），若检测前或者检测过程中人体进行了偏转或移动，使得人体的姿态处于不合适检测的情况下，现有自动超声检测技术很难及时发现，进而将导致最终获取的超声图像效果较差，甚至检测失败。


技术实现要素：

5.因此，本发明的主要目的在于提供一种基于人体位姿的超声自动检测方法及系统，以精确的识别人体位姿，并对应调整超声探头的检测姿态，来获取质量较佳的超声检测图像。
6.为了实现上述目的，根据本发明的一个方面，提供了一种基于人体位姿的超声自动检测方法，其步骤包括：步骤s100 获取人体骨骼关节点及其旋转方向定位点的三维坐标数据，以建立人体三维骨架模型，并经旋转配准获取各关节的旋转角度，进而识别人体检测部位姿；步骤s200 当检测部符合检测位姿时，将其作为粗定位数据，以令机械臂移至检测部上方完成粗定位；步骤s300 获取检测部rgb图像以供医师划定检测区域，并绘制检测路径；获取检测部的深度图，将其与rgb图像对齐，在深度图对应检测区域上生成种子点，经区域分割算法将检测区域分割为多个待测区域并映射到点云上；使用pca主成分分析估计出对应检测路径的待测区域的点云法向量；步骤s400 调整机械臂将超声探头沿法向量贴合人体皮肤，直至第一检测反馈处于预设范围内。
7.在可能的优选实施方式中，所述第一检测反馈包括：超声探头回馈的力传感反馈、或超声检测图像质量反馈中的任一。
8.在可能的优选实施方式中，步骤s100中，各关节的旋转角度的获取步骤包括：
设骨骼关节点p的坐标信息为，其周围的骨骼长度为，骨骼关键帧坐标系转换为世界坐标系的旋转矩阵为，t为矩阵转置，则其周围的三个旋转方向定位点，，的坐标信息为：；；；将初始的三维空间坐标系{}与实际检测时的三维空间坐标系{}进行旋转配准，步骤包括计算：；其中该矩阵t为变换矩阵、为旋转矩阵、t为平移矩阵，然后通过旋转矩阵r求欧拉角（）；其中根据检测部周围的骨骼关节点、旋转方向定位点的3d坐标信息，计算得到每段骨骼长度，并利用公式，反推计算得到旋转矩阵。
9.在可能的优选实施方式中，步骤s200中，还包括：当检测部不符合检测位姿时，调整人体姿势，直至检测部的各关节的旋转角度处于预设的范围区间时，认定符合检测位姿。
10.在可能的优选实施方式中，步骤s300中，所述区域分割算法将检测区域分割为多个待测区域的步骤包括：计算各像素点的深度值与种子点的深度值的差值，当该差值满足预设阈值时，则分割为一个区域，最终将检测区域分割为多个区域。
11.为了实现上述目的，对应上述方法，根据本发明的另一个方面，还提供了一种基于人体位姿的超声自动检测系统，其包括：机械臂、超声探头、第一深度相机、第二深度相机、反馈单元、控制单元、处理单元、存储单元，其中所述超声探头及第二深度相机设置在机械臂的末端，所述机械臂与控制单元连接；其中存储单元，用于存储包括如上述中任一所述基于人体位姿的超声自动检测方法步骤的程序，以供控制单元、处理单元适时调取执行；所述控制单元，令设置在检测台上方的第一深度相机获取人体初始图像数据所述处理单元，用于将初始图像数据输入神经网络，获取人体骨骼关节点及其旋转方向定位点的三维坐标数据，以建立人体三维骨架模型；并将初始的三维空间坐标系与实际检测时的三维空间坐标系进行旋转配准，获取各关节的旋转角度，进而识别人体检测
部位姿；所述处理单元，还用于以检测部人体骨骼关节点及对应关节的旋转角度为参照，评价当前人体位姿是否符合检测位姿，若为是，则将其作为粗定位数据，通过坐标系转换变为机械臂末端位姿，以令机械臂移至检测部上方完成粗定位；所述控制单元，还用于控制机械臂带动第二深度相机获取检测部rgb图像以供医师划定检测区域，并绘制检测路径，以及获取检测部的深度图；所述处理单元，将深度图与rgb图像对齐，在深度图对应检测区域上生成种子点，经区域分割算法将检测区域分割为多个区域并映射到点云上；使用pca主成分分析估计出涉及检测路径的各区域的点云法向量；所述控制单元，还用于调整机械臂将超声探头沿法向量贴合人体皮肤，同时处理单元获取反馈单元的第一检测反馈，以适时令控制单元调整机械臂，直至第一检测反馈处于预设范围内。
12.在可能的优选实施方式中，所述反馈单元为图像反馈单元，其用于评价超声图像质量，所述第一检测反馈为超声图像质量反馈。
13.在可能的优选实施方式中，所述反馈单元为力传感反馈单元，其用于获取超声探头对人体检测部施加的压力，所述第一检测反馈为压力传感反馈。
14.为了实现上述目的，对应上述方法，根据本发明的另一个方面，还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述中任一项所述方法的步骤。
15.为了实现上述目的，对应上述方法，根据本发明的另一个方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述中任一项所述的方法的步骤。
16.通过本发明提供的该基于人体位姿的超声自动检测方法及系统，能够利用骨骼关节点和旋转方向定位点构成的三维空间坐标系，通过配准进行动态跟踪，从而解决检测过程中病人发生移动，出现检测获得的2d超声图像不连续，导致最终合成的3d超声图像质量差的问题。
17.此外本发明将待检测区域进行区域分割，通过求解局部区域点云法向量的方法来确定超声探头的轴向方向，并结合医学的超声扫描的手法，从而改善超声探头和人体待检测区域皮肤的贴合不紧密现象。
附图说明
18.构成本技术的一部分的附图用来提供对本发明的进一步理解，本发明的示意性实施例及其说明用于解释本发明，并不构成对本发明的不当限定。在附图中：图1为本发明的基于人体位姿的超声自动检测方法的步骤示意图；图2为本发明的基于人体位姿的超声自动检测方法的神经网络结构示意图；图3为本发明的基于人体位姿的超声自动检测方法的人体三维骨架模型结构示意图；图4为本发明的基于人体位姿的超声自动检测方法的骨骼关节点的旋转方向定位点结构示意图；
图5为本发明的基于人体位姿的超声自动检测方法中医师在检测区域内绘制检测路径的示意图；图6为本发明的基于人体位姿的超声自动检测方法中深度图经过分割处理后在检测路径上的待测区域示意图；图7为本发明的基于人体位姿的超声自动检测系统结构示意图。
具体实施方式
19.为了使本领域的技术人员能够更好的理解本发明的技术方案，下面将结合实施例来对本发明的具体技术方案进行清楚、完整地描述，以助于本领域的技术人员进一步理解本发明。显然，本案所描述的实施例仅仅是本发明一部分的实施例，而不是全部的实施例。应当指出的是，对本领域的普通技术人员来说，在不脱离本发明构思及相互不冲突的前提下，本技术中的实施例及实施例中的特征可以相互组合。基于本发明中的实施例，在本领域普通技术人员没有做出创造性劳动前提下所获得的所有其他实施例，都应当属于本发明的揭露及保护范围。
20.此外本发明的说明书和权利要求书及附图中的术语“第一”、“第二”、“s1”、“s2”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本发明的实施例能够以除了在这里描述的那些以外的顺序实施。同时本发明中的术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含。除非另有明确的规定和限定，术语“设置”、“布设”、“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以根据具体情况，结合现有技术来理解上述术语在本案中的具体含义。
21.本发明意图通过操控现有技术的机械臂，来替代医师手持超声探头，对人体进行检测，同时为了准确的获取人体所处空间中的位姿，以供机械臂定位检测部位，本发明示例通过深度相机，来获取计算人体位姿的图像采集工具。
22.请参阅图1至图6所示，为了精确的识别人体位姿，并对应调整超声探头的检测姿态，来获取质量较佳的超声检测图像。本发明实施例一提供了一种基于人体位姿的超声自动检测方法，其步骤包括：步骤s100 获取人体骨骼关节点及其旋转方向定位点的三维坐标数据，以建立人体三维骨架模型，并经旋转配准获取各关节的旋转角度，进而识别人体检测部位姿。
23.具体来说，初始时刻病人按要求平躺在检测平台上，机械臂位于初始设定位置，如位于检测平台上方，此时设置在检测平台上部的第一深度相机可以拍摄完整的检测平台和病人的rgb图像和深度图像。由此在开始检测后通过第一深度相机获取初始图像数据。
24.之后，将初始rgb图像数据裁剪为256*256像素尺寸的rgb图像数据，并输入预先设置的神经网络中，以得到该病人的骨骼关节点和旋转方向定位点的三维坐标数据。
25.例如：若骨骼关节点p的坐标信息为，其周围的骨骼长度为，骨骼关键帧坐标系转换为世界坐标系的旋转矩阵为，则其周围的三个旋转方向定位点，，的坐标
信息为：；；；如图2所示，其中该神经网络结构包含以下部分:首先对输入的rgb图像缩放为256*256像素大小,从而固定特征图大小，采用resnet50提取其特征，之后的回归预测头采用一个1*1的卷积核降低其特征通道数，输出通道数按照n*8进行设置，其中n为算法输出的骨骼关节点及旋转方向定位点的总数，8为自行设置的对每一个输出点较为合适的通道数。
26.接着采用5*5，padding=2
×
2的卷积核，对通道进行分组卷积，组数为n，每组输出的通道数为8。之后对每组进行一次1*1的卷积，最后使用与特征图同样大小8*8的卷积核进行卷积，输出通道为3。即可得出n组3
×1×
1大小的输出，作为n个关键点的3d信息。
27.然后将n个关键点的位置预测的误差，来作为损失函数l，其中为n个关键点的预测坐标信息，为n个关键点的真实坐标信息。通过最小化损失函数来训练模型，提高模型的鲁棒性。损失函数如下：，训练过程中，使用resnet50作为主干网络，裁剪掉其分类预测头部，并接入回归预测头部。对回归预测头部，采用合适的迭代次数进行预热训练。之后以动态调整的学习率迭代训练，批次大小可根据显卡内存大小调整。训练数据集选用mpii dataset。
28.当成功获取到病人的骨骼关节点和旋转方向定位点的坐标数据后，如图3所示，根据骨骼关节点的坐标数据建立人体三维骨架模型，方法如下：通过paf（part affinity fields）判断相邻的部位坐标间是否成功相连：；；其中dj1和dj2是指候选骨骼关节点j1和j2对应的方向向量；p(u)是指身体部位j1和j2之间插入的位置；lc表示的是沿着线段衡量位置间联系的置信度。若lc的方向与dj1和dj2方向向量平行，便可认为j1和j2是可以相连的。如若能相邻关节点之间能够成功相连，便建立人体三维骨架模型。
29.进一步的，如图4所示，对脖子、左（右）肘、左（右）腕、左（右）膝、左（右）脚的骨骼关节点，分别生成3个旋转方向定位点，故本示例的神经网络生成的关键点坐标个数n=45个。针对以上提及的9个骨骼关节点，以骨骼关节点为坐标原点，其周围的3个旋转方向定位点
与该骨骼关节点的连线分别构成x、y、z轴，形成三维空间坐标系。
30.此外本示例设置了一个初始的人体三维骨架模型（例如包含45个关键点），如图4所示，脖子、左肘、左腕、左膝、左脚处的初始三维空间坐标系；例如左轴处的三维空间坐标系，为骨骼关节点，，，分别为x、y、z轴上的旋转方向定位点。
31.将初始的三维空间坐标系{}与实际检测时的三维空间坐标系{}进行旋转配准，即可得到各个关节的旋转角度。旋转配准和求关节旋转角度的方法如下：；其中矩阵t为变换矩阵，为旋转矩阵，t为平移矩阵。
32.旋转矩阵表示如下：；通过旋转矩阵求欧拉角：；；；的公式如下：；当将病人需要检测的部位进行输入，将网络输出并计算获得的检测部位周围的骨骼关节点、旋转方向定位点的3d坐标信息，计算得到每段骨骼长度，并利用公式
，反推计算得到旋转矩阵。
33.步骤s200 当检测部符合检测位姿时，将其作为粗定位数据，以令机械臂移至检测部上方完成粗定位。
34.具体来说，在将获取的骨骼关节点、旋转方向定位点的3d坐标信息进行处理，获得待检测部位的旋转角度后（即欧拉角）。对于特定的检测部位，均有医师设定的初始合适旋转角度范围区间，当欧拉角三者均落在各自相应的范围区间，即知道病人的待检测部位的位姿是否符合允许检测的要求。若允许检测，则将这些数据发送给计算机，作为粗定位的数据。
35.通过坐标系的变换将粗定位坐标数据转换为机械臂的末端姿态，而后机械臂移动至检测部位上方，完成粗定位；若不允许，提示病人做出相应的姿势调整动作，使得待检测部位的旋转角度处于医师设定的初始合适旋转角度范围区间内，以符合允许检测的基本要求。
36.此外人体的待检测部位为曲面，因此要为超声探头选择合适的检测主轴方向,才能保证在检测过程中探头与检测部位更好的贴合，良好的贴合是保证超声探头与检测部位之间有合适接触力的前提。
37.为了给超声探头设定合适的检测主轴方向，第一步专业医师会对设定标准的人体进行一个区域预分割，从而避免本专利的生长算法在一些检测区域分割成环状，即分割效果差的情况发生。
38.步骤s300 获取检测部rgb图像以供医师划定检测区域，并绘制检测路径；获取检测部的深度图，将其与rgb图像对齐，在深度图对应检测区域上生成种子点，经区域分割算法将检测区域分割为多个待测区域并映射到点云上；使用pca主成分分析估计出对应检测路径的待测区域的点云法向量；具体来说，首先通过位于机械臂末端的第二深度相机拍摄检测部位的rgb图像和深度图像。然后在获取的rgb图像上，由专业医师选取绘制检测区域s和检测路径。并通过图像处理获得该区域的二维像素坐标信息。
39.首先将rgb图像和深度图像进行对齐；在深度图的检测区域s上生成一系列种子点（像素点），利用区域分割算法对该区域s进行分割。其中该分割规则为：计算各像素点的深度值与种子点的深度值的差值，深度差值满足差值阈值的则分割为一个区域，最终将检测区域s分割为多个区域。将深度图上分割完成的区域映射到点云上，不同区域的点云用不同颜色去显示。
40.如图5所示为rgb示意图：黑色方框为专业医师绘制的检测区域s，曲线为检测路径。
41.进一步如图6所示为深度图的示意图，其中三个小黑色框为分割好的三个区域，方格里的数字代表深度值，深度差阈值示例为5，深度值80，74，68的方格（即圈出的值）作为分割算法的种子点。
42.随后使用pca主成分分析估计不同区域的点云法向量；判断检测路径上的点属
于哪一区域，选择该区域相应的法向量，因此调整机械臂末端的姿态使得超声探头的轴向方向为，从而为合理贴合人体皮肤提供依据。
43.步骤s400 调整机械臂将超声探头沿法向量贴合人体皮肤，直至第一检测反馈处于预设范围内。
44.具体来说，当获取到法向量后，超声探头还需要分别进行矢状面扫描和横断面扫描：（1）矢状面扫描：超声探头的长轴方向与将人体分为左右两部分的中轴线方向一致，即和机械臂基座的世界坐标系的x轴方向一致；（2）横断面扫描：超声探头的长轴方向与将人体分为上下两部分的中轴线方向一致，即和机械臂基座的世界坐标系的y轴方向一致。
45.通过右手定则确定超声探头的短轴方向为，相机坐标系到检测区域（目标物体）坐标系的坐标转换为：；其中p为检测路径上的系列点在相机坐标系下的坐标向量。
46.其中第二深度相机安装在机械臂末端，故从相机坐标系到机械臂基座坐标系的坐标转换为：，,,为机械臂末端的三个轴向方向向量，为旋转矩阵。将旋转矩阵转为四元数，，，，将四元数发送给计算机，计算机接收信息后机械臂末端进行相应的旋转操作，机械臂末端带动超声探头旋转至合适的检测姿态。
47.，，为检测点在机械臂基座的世界坐标系的位置。将，，坐标数据发送给计算机，计算机接收信息后机械臂进行相应的移动操作。
48.当机械臂完成上述移动后，超声探头即可贴合皮肤，而此时，若第一检测反馈为压
力反馈时，当力传感器并未检测到力时。超声探头继续沿着方向下降轴向的高度，以使得力传感器的检测值位于预设稳定的范围内。
49.此时，通过计算机接收到的力学传感器的压力值，实时调整超声探头的轴向高度，使超声探头和检测区域的皮肤的压力一直处于合适的区间范围内。根据超声探头当前位置p所属的分割区域，实时的更新轴向方向，更新坐标变换矩阵；随后将代入求得。
50.将矩阵中更新的旋转矩阵转为四元数，，，，将四元数发送给计算机，计算机接收信息后机械臂末端进行相应的旋转操作，机械臂末端带动超声探头旋转至合适的检测姿态。将更新的，，发送给计算机，计算机接收信息后机械臂进行相应的移动操作，超声探头即可实现实时的贴合人体表面这一效果。
51.在检测过程中病人若出现了运动，超声机器人便会停止检测。将病人开始运动时刻的机械臂末端坐标信息和超声探头的姿态信息保存发送给计算机，并标记为断点（断点作为标记点），机械臂末端向上方移动，远离检测部分，使第二深度相机能够完成拍摄到检测部位的图像信息和点云信息。
52.当病人静止后，第二深度相机重新拍照，将病人发生运动前后的骨骼关节点和旋转方向定位点构成的三维空间坐标系进行配准，计算在新的三维空间坐标系下的断点位置。计算完成经过坐标转换得到所需的位置信息，并发送给机械臂末端。
53.机械臂末端移动至该断点上方，重新完成粗定位。而后重新调整机械臂末端的姿态使得超声探头的方向为，并将超声探头旋转直至与病人运动前探头的相对方向一致。将断点作为新一轮检测路径的初始点，继续进行检测。当完成检测后，对获得的二维超声图像进行筛选、合成，便可得到检测区域的三维超声图像。
54.针对病人是否发生运动的定义如下：计算检测部位附近的骨骼关键点和旋转方向定位点的坐标数据变化值，对这些点的坐标数据变化值进行权重求和，若结果大于设定的认为发生运动的距离阈值，便停止检测；否则继续检测，直至结果大于设定的认为发生运动的距离阈值。
[0055]55.，
[0056]
其中和分别为骨骼关键点和旋转方向定位点的总个数；和分别为每个骨骼关键点和旋转方向定位点的距离权重参数；，，分别为骨骼
关键点的x，y，z三个方向的距离变化值；，，分别为旋转方向定位点的x，y，z三个方向的距离变化值。
[0057]
当出现紧急状况时，病人可以按下急停装置，超声机器人停止运行，并返回初始设定的位置状态，以保证病人安全。
[0058]
另一方面，如图7所示，对应上述方法，本发明的另一个方面，还提供了一种基于人体位姿的超声自动检测系统，其包括：机械臂、超声探头、第一深度相机、第二深度相机、反馈单元、控制单元、处理单元、存储单元，其中所述超声探头及第二深度相机设置在机械臂的末端，所述机械臂与控制单元连接；其中存储单元，用于存储包括如上述中任一所述基于人体位姿的超声自动检测方法步骤的程序，以供控制单元、处理单元适时调取执行；所述控制单元，令设置在检测台上方的第一深度相机获取人体初始图像数据所述处理单元，用于将初始图像数据输入神经网络，获取人体骨骼关节点及其旋转方向定位点的三维坐标数据，以建立人体三维骨架模型；并将初始的三维空间坐标系与实际检测时的三维空间坐标系进行旋转配准，获取各关节的旋转角度，进而识别人体检测部位姿；所述处理单元，还用于以检测部人体骨骼关节点及对应关节的旋转角度为参照，评价当前人体位姿是否符合检测位姿，若为是，则将其作为粗定位数据，通过坐标系转换变为机械臂末端位姿，以令机械臂移至检测部上方完成粗定位；所述控制单元，还用于控制机械臂带动第二深度相机获取检测部rgb图像以供医师划定检测区域，并绘制检测路径，以及获取检测部的深度图；所述处理单元，将深度图与rgb图像对齐，在深度图对应检测区域上生成种子点，经区域分割算法将检测区域分割为多个区域并映射到点云上；使用pca主成分分析估计出涉及检测路径的各区域的点云法向量；所述控制单元，还用于调整机械臂将超声探头沿法向量贴合人体皮肤，同时处理单元获取反馈单元的第一检测反馈，以适时令控制单元调整机械臂，直至第一检测反馈处于预设范围内。
[0059]
其中在可能的优选实施方式中，所述反馈单元为图像反馈单元，其用于评价超声图像质量，所述第一检测反馈为超声图像质量反馈。
[0060]
其中在可能的优选实施方式中，所述反馈单元为力传感反馈单元，其用于获取超声探头对人体检测部施加的压力，所述第一检测反馈为压力传感反馈。
[0061]
进一步的，对应上述方法，根据本发明的另一个方面，还提供了一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时实现上述中任一项所述方法的步骤。
[0062]
进一步的，对应上述方法，根据本发明的另一个方面，还提供了一种计算机可读存储介质，其上存储有计算机程序，所述计算机程序被处理器执行时实现上述中任一项所述的方法的步骤。
[0063]
综上所述，通过本发明提供的该基于人体位姿的超声自动检测方法及系统，能够利用骨骼关节点和旋转方向定位点构成的三维空间坐标系，通过配准进行动态跟踪，从而
解决检测过程中病人发生移动，出现检测获得的2d超声图像不连续，导致最终合成的3d超声图像质量差的问题。
[0064]
此外本发明将待检测区域进行区域分割，通过求解局部区域点云法向量的方法来确定超声探头的轴向方向，并结合医学的超声扫描的手法，从而能够有效改善超声探头和人体待检测区域皮肤的贴合不紧密现象。
[0065]
以上公开的本发明优选实施例只是用于帮助阐述本发明。优选实施例并没有详尽叙述所有的细节，也不限制该发明仅为所述的具体实施方式。显然，根据本说明书的内容，可作很多的修改和变化。本说明书选取并具体描述这些实施例，是为了更好地解释本发明的原理和实际应用，从而使所属技术领域技术人员能很好地理解和利用本发明。本发明仅受权利要求书及其全部范围和等效物的限制，凡在本发明的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本发明的保护范围之内。
[0066]
本领域技术人员可以理解，除了以纯计算机可读程序代码方式实现本发明提供的系统、装置及其各个模块以外，完全可以通过将方法步骤进行逻辑编程来使得本发明提供的系统、装置及其各个模块以逻辑门、开关、专用集成电路、可编程逻辑控制器以及嵌入式微控制器等的形式来实现相同程序。所以，本发明提供的系统、装置及其各个模块可以被认为是一种硬件部件，而对其内包括的用于实现各种程序的模块也可以视为硬件部件内的结构；也可以将用于实现各种功能的模块视为既可以是实现方法的软件程序又可以是硬件部件内的结构。
[0067]
此外实现上述实施例方法中的全部或部分步骤是可以通过程序来指令相关的硬件来完成，该程序存储在一个存储介质中，包括若干指令用以使得单片机、芯片或处理器（processor）执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器（rom，read-only memory）、随机存取存储器（ram，random access memory）、磁碟或者光盘等各种可以存储程序代码的介质。
[0068]
此外，本发明实施例的各种不同的实施方式之间也可以进行任意组合，只要其不违背本发明实施例的思想，其同样应当视为本发明实施例所公开的内容。

技术特征：
1.一种基于人体位姿的超声自动检测方法，其特征在于步骤包括：步骤s100 获取人体骨骼关节点及其旋转方向定位点的三维坐标数据，以建立人体三维骨架模型，并经旋转配准获取各关节的旋转角度，进而识别人体检测部位姿；步骤s200 当检测部符合检测位姿时，将其作为粗定位数据，以令机械臂移至检测部上方完成粗定位；步骤s300 获取检测部rgb图像以供医师划定检测区域，并绘制检测路径；获取检测部的深度图，将其与rgb图像对齐，在深度图对应检测区域上生成种子点，经区域分割算法将检测区域分割为多个待测区域并映射到点云上；使用pca主成分分析估计出对应检测路径的待测区域的点云法向量；步骤s400 调整机械臂将超声探头沿法向量贴合人体皮肤，直至第一检测反馈处于预设范围内。2.根据权利要求1所述的基于人体位姿的超声自动检测方法，其特征在于，所述第一检测反馈包括：超声探头回馈的力传感反馈、或超声检测图像质量反馈中的任一。3.根据权利要求1所述的基于人体位姿的超声自动检测方法，其特征在于，步骤s100中，各关节的旋转角度的获取步骤包括：设骨骼关节点p的坐标信息为 ，其周围的骨骼长度为，骨骼关键帧坐标系转换为世界坐标系的旋转矩阵为，t为矩阵转置，则其周围的三个旋转方向定位点，，的坐标信息为：；；；将初始的三维空间坐标系{}与实际检测时的三维空间坐标系{}进行旋转配准，步骤包括计算：，其中该矩阵t为变换矩阵、为旋转矩阵、t为平移矩阵，然后通过旋转矩阵r求欧拉角（）；其中根据检测部周围的骨骼关节点、旋转方向定位点的3d坐标信息，计算得到每段骨骼长度，并利用公式，反推计算得到旋转矩阵。4.根据权利要求1所述的基于人体位姿的超声自动检测方法，其特征在于，步骤s200
中，还包括：当检测部不符合检测位姿时，调整人体姿势，直至检测部的各关节的旋转角度处于预设的范围区间时，认定符合检测位姿。5.根据权利要求1所述的基于人体位姿的超声自动检测方法，其特征在于，步骤s300中，所述区域分割算法将检测区域分割为多个待测区域的步骤包括：计算各像素点的深度值与种子点的深度值的差值，当该差值满足预设阈值时，则分割为一个区域，最终将检测区域分割为多个区域。6.一种基于人体位姿的超声自动检测系统，其特征在于包括：机械臂、超声探头、第一深度相机、第二深度相机、反馈单元、控制单元、处理单元、存储单元，其中所述超声探头及第二深度相机设置在机械臂的末端，所述机械臂与控制单元连接；其中存储单元，用于存储包括如权利要求1至5中任一所述基于人体位姿的超声自动检测方法步骤的程序，以供控制单元、处理单元适时调取执行；所述控制单元，令设置在检测台上方的第一深度相机获取人体初始图像数据所述处理单元，用于将初始图像数据输入神经网络，获取人体骨骼关节点及其旋转方向定位点的三维坐标数据，以建立人体三维骨架模型；并将初始的三维空间坐标系与实际检测时的三维空间坐标系进行旋转配准，获取各关节的旋转角度，进而识别人体检测部位姿；所述处理单元，还用于以检测部人体骨骼关节点及对应关节的旋转角度为参照，评价当前人体位姿是否符合检测位姿，若为是，则将其作为粗定位数据，通过坐标系转换变为机械臂末端位姿，以令机械臂移至检测部上方完成粗定位；所述控制单元，还用于控制机械臂带动第二深度相机获取检测部rgb图像以供医师划定检测区域，并绘制检测路径，以及获取检测部的深度图；所述处理单元，将深度图与rgb图像对齐，在深度图对应检测区域上生成种子点，经区域分割算法将检测区域分割为多个区域并映射到点云上；使用pca主成分分析估计出涉及检测路径的各区域的点云法向量；所述控制单元，还用于调整机械臂将超声探头沿法向量贴合人体皮肤，同时处理单元获取反馈单元的第一检测反馈，以适时令控制单元调整机械臂，直至第一检测反馈处于预设范围内。7.根据权利要求6所述的基于人体位姿的超声自动检测系统，其特征在于，所述反馈单元为图像反馈单元，其用于评价超声图像质量，所述第一检测反馈为超声图像质量反馈。8.根据权利要求6所述的基于人体位姿的超声自动检测系统，其特征在于，所述反馈单元为力传感反馈单元，其用于获取超声探头对人体检测部施加的压力，所述第一检测反馈为压力传感反馈。9.一种计算机设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至5中任一项所述方法的步骤。10.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至5中任一项所述的方法的步骤。

技术总结
本发明提供了一种基于人体位姿的超声自动检测方法及系统，该方法步骤包括：获取人体骨骼关节点及其旋转方向定位点的三维坐标数据，建立人体三维骨架模型，经旋转配准获取各关节的旋转角度；将检测部合格检测位姿作为粗定位数据，令机械臂移至检测部上方完成粗定位；获取检测部RGB图像以供医师划定检测区域，绘制检测路径；获取检测部深度图与RGB图像对齐，在深度图对应检测区域上生成种子点，经区域分割算法将检测区域分割为多个待测区域并映射到点云上，并计算出对应检测路径的待测区域的点云法向量；调整机械臂将超声探头沿法向量贴合人体皮肤，直至第一检测反馈处于预设范围内，籍此以对应人体位姿整超声探头获取高质量超声检测图像。量超声检测图像。量超声检测图像。


技术研发人员：闫江钰 迟雪仪 赵炫 潘宇真 他得安 商慧亮
受保护的技术使用者：复旦大学义乌研究院
技术研发日：2023.03.23
技术公布日：2023/7/12