超声检测方法、数字心切面网络模型的训练方法和装置与流程

1.本技术涉及超声检测技术领域，特别是涉及一种超声检测方法、数字心切面网络模型的训练方法和装置。


背景技术：

2.随着医学成像技术的发展，出现了越来越多的医学成像检测方式。其中，超声检查是一种常见的心脏检查方式，具有实时、安全、方便等特点。
3.相关技术中，由于在进行超声心动图检查过程中，为了保证检查的准确性，通常需要具有一定经验的超声专业人员使用超声检测设备。
4.可见，相关技术中的超声检测设备的使用场景比较受限。


技术实现要素：

5.基于此，有必要针对上述技术问题，提供一种可以扩展超声检测设备的使用场景的超声检测方法、数字心切面网络模型的训练方法和装置。
6.第一方面，本技术提供了一种超声检测方法，方法包括：根据超声视频帧和第一数字心切面网络模型，得到当前数字心切面的第一预测位姿信息；根据第一预测位姿信息和目标数字心切面的目标位姿信息，输出扫描提示信息，其中，扫描提示信息用于指示从当前数字心切面切换为目标数字心切面对应的超声检测设备的探头运动方式。
7.第二方面，本技术还提供了一种数字心切面网络模型的训练方法，数字心切面网络模型为第一数字心切面网络模型，方法包括：获取多个第一训练样本，其中，第一训练样本包括：超声视频帧样本和对应的数字心切面的位姿标注信息；根据多个第一训练样本对第一初始神经网络模型进行训练，得到第一数字心切面网络模型；其中，第一数字心切面网络模型用于得到超声视频帧对应的当前数字心切面的第一预测位姿信息，并根据第一预测位姿信息和目标数字心切面的目标位姿信息，输出扫描提示信息；扫描提示信息用于指示从当前数字心切面切换为目标数字心切面对应的超声检测设备的探头运动方式。
8.第三方面，本技术还提供了一种超声检测装置，装置包括：获取模块，用于根据超声视频帧和第一数字心切面网络模型，得到当前数字心切面的第一预测位姿信息；输出模块，用于根据第一预测位姿信息和目标数字心切面的目标位姿信息，输出扫描提示信息，其中，扫描提示信息用于指示从当前数字心切面切换为目标数字心切面对应的超声检测设备的探头运动方式。
9.第四方面，本技术还提供了一种数字心切面网络模型的训练装置，数字心切面网络模型为第一数字心切面网络模型，装置包括：获取模块，用于获取多个第一训练样本，其中，第一训练样本包括：超声视频帧样本和对应的数字心切面的位姿标注信息；训练模块，用于根据多个第一训练样本对第一初始神经网络模型进行训练，得到第一数字心切面网络模型；其中，第一数字心切面网络模型用于得到超声视频帧对应的当前数字心切面的第一预测位姿信息，并根据第一预测位姿信息和目标数字心切面的目标位姿信息，输出扫描提示信息；扫描提示信息用于指示从当前数字心切面切换为目标数字心切面对应的超声检测设备的探头运动方式。
10.第五方面，本技术还提供了一种电子设备，包括存储器和处理器，存储器存储有计算机程序，处理器执行计算机程序时实现上述第一方面或第二方面中任一项的方法的步骤。
11.第六方面，本技术还提供了一种数字心切面网络模型的训练系统，训练系统包括：超声检测设备、计算机设备，以及设置于超声检测设备中的探头上的多自由度传感器；其中，多自由度传感器用于检测探头的位姿信息；计算机设备用于获取超声检测设备的多个超声视频帧和多个视频帧分别对应的探头的位姿信息，并根据多个超声视频帧和分别对应的探头的位姿信息获取多个训练样本；其中，多个训练样本用于对初始神经网络模型进行训练得到数字心切面网络模型。
12.第七方面，本技术还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现上述第一方面或第二方面中任一项的方法的步骤。
13.第八方面，本技术还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现上述第一方面或第二方面中任一项的方法的步骤。
14.上述超声检测方法、数字心切面网络模型的训练方法和装置，通过根据超声视频帧和第一数字心切面网络模型，得到当前数字心切面的第一预测位姿信息；进一步地，根据第一预测位姿信息和目标数字心切面的目标位姿信息，输出扫描提示信息，其中，扫描提示信息用于指示从当前数字心切面切换为目标数字心切面对应的超声检测设备的探头运动方式。可见，本技术实施例中，通过第一数字心切面网络模型可以得到超声检测设备检测的超声视频帧对应的当前数字心切面的第一预测位姿信息，并根据第一预测位姿信息和目标数字心切面的目标位姿信息输出扫描提示信息的方式，实现了对用户使用超声检测设备的探头扫描检测过程中探头运动方式的引导提示，以便于用户可以根据扫描提示信息从当前数字心切面快速地切换为目标数字心切面，使得非超声专业人员也能准确操作超声检测设备，从而可以扩展超声检测设备的使用场景。
附图说明
15.图1为本技术实施例提供的应用环境示意图；图2为本技术一个实施例中超声检测方法的流程示意图；图3为本技术另一个实施例中超声检测方法的流程示意图；图4为本技术另一个实施例中超声检测方法的流程示意图；
图5为本技术一个实施例中第一数字心切面网络模型的训练方法的流程示意图；图6为本技术实施例中提供的第一数字心切面网络模型的结构示意图；图7为本技术另一个实施例中第一数字心切面网络模型的训练方法的流程示意图；图8为本技术一个实施例中第二数字心切面网络模型的训练方法的流程示意图；图9为本技术一个实施例中数字心切面网络模型的训练过程和应用过程的整体流程示意图；图10为本技术一个实施例中数字心切面网络模型的训练方法流程示意图；图11为本技术一个实施例中超声检测装置的结构示意图；图12为本技术一个实施例中数字心切面网络模型的训练装置的结构示意图；图13为本技术一个实施例中电子设备的结构示意图。
具体实施方式
16.为了使本技术的目的、技术方案及优点更加清楚明白，以下结合附图及实施例，对本技术进行进一步详细说明。应当理解，此处描述的具体实施例仅仅用以解释本技术，并不用于限定本技术。
17.本技术实施例提供的超声检测方法、数字心切面网络模型的训练方法、装置、计算机设备、存储介质和程序产品，可以应用于超声检测应用场景，例如可以用于超声心电图的检测应用场景；当然还可以应用于其它场景，本技术实施例中对此并不作限定。
18.随着医学成像技术的发展，心脏检查可以使用计算机断层（computed tomography，ct）、单光子发射断层（single photon emission computed tomography，spect）、正电子发射断层（positron emission tomograph，pet）、磁共振成像（magnetic resonance imaging，mri）、超声等医学成像设备。由于心脏时刻处于搏动状态，心脏在ct、spect、pet和mri这些模态中的成像会存在运动伪影，影响临床医生的判断。而超声医学成像是一种对超声波在人体内反射的信号进行实时接收和处理，以获得实时动态的成像；因此，超声检查是一种常见的心脏检查方式，通过连续的超声波对任意位置的血液和心肌组织运动速度与幅度进行实时的检查，其成像所表征的是不同心脏组织、腔室的声阻抗。
19.相关技术中，由于在进行超声心动图检查过程中，为了保证检查的准确性，通常需要具有一定经验的超声专业人员使用超声检测设备。随着超声检查在除超声科室以外场景的需求越来越大（例如基层医院、急救室，或者救护车等场景），但相关技术中的超声检测设备需要依靠超声专业人员才可以使用，无法普遍应用于除超声科室以外的其他场景，可见，相关技术中的超声检测设备的使用场景比较受限。
20.针对相关技术中的超声检测设备需要依靠超声专业人员使得使用场景比较受限的问题，本技术实施例提供的超声检测方法、数字心切面网络模型的训练方法、装置、计算机设备、存储介质和程序产品，通过第一数字心切面网络模型可以得到超声检测设备实时检测的超声视频帧对应的当前数字心切面的位姿信息，并通过参考目标数字心切面的目标位姿信息，可以输出扫描提示信息，实现了对用户使用超声检测设备的探头扫描检测过程中探头运动方式的引导提示，以便于用户可以根据扫描提示信息从当前数字心切面快速地切换为目标数字心切面，使得非超声专业人员也能准确操作超声检测设备，从而可以扩展
超声检测设备的使用场景。
21.本技术实施例提供的超声检测方法，可以应用于如图1所示的应用环境中，图1为本技术实施例提供的应用环境示意图，如图1所示，超声检测设备10可以与计算机设备11通过有线方式或者无线方式等进行通信；其中，超声检测设备10可以包括但限于探头101、主机102和显示屏103。
22.一种可能的实现方式中，超声检测设备10可以实时地采集超声检测设备检测过程中的超声视频帧，并根据本技术实施例提供的超声检测方法进行超声检测，其中，超声检测设备可以向用户输出扫描提示信息。应理解，本实现方式的应用环境中可以省略计算机设备11。
23.另一种可能的实现方式中，超声检测设备10可以实时地采集超声检测设备检测过程中的超声视频帧，并可以将采集到的超声视频帧发送给计算机设备11，使得计算机设备11根据本技术实施例提供的超声检测方法进行超声检测，其中，计算机设备11可以向超声检测设备10输出扫描提示信息，以便于超声检测设备10可以向用户输出扫描提示信息。
24.另一种可能的实现方式中，在对本技术涉及的数字心切面网络模型的训练阶段，本技术实施例的应用环境示意图中还可以包括设置于超声检测设备10的探头上的多自由度传感器，其中，多自由度传感器可以用于实时检测不同超声视频帧对应的探头的位姿信息。应理解，计算机设备11还可以获取多自由度传感器检测的探头的位姿信息，并根据获取的超声检测设备10的超声视频帧和对应的探头的位姿信息确定训练样本，以便于进行数字心切面网络模型的训练。
25.示例性地，超声检测设备10与计算机设备11之间还可以设置有数据采集装置（例如数据采集卡等），以便于计算机设备11可以实时地保存超声检测设备10的超声视频帧和对应的探头的位姿信息。
26.在一个实施例中，图2为本技术一个实施例中超声检测方法的流程示意图，本技术实施例中以该方法应用于电子设备为例进行说明，其中，电子设备可以为图1中的超声检测设备10或者计算机设备11。如图2所示，本技术实施例的方法可以包括以下步骤：步骤s201、根据超声视频帧和第一数字心切面网络模型，得到当前数字心切面的第一预测位姿信息。
27.本技术实施例中涉及的第一数字心切面网络模型可以用于指示超声视频帧与对应的数字心切面的位姿信息之间的映射关系，其中，位姿信息可以包括但不限于位置信息和姿态信息。
28.本技术实施例中涉及的任意数字心切面可以是指三维心脏数字模型（或者称之为数字心三维空间）中的切面。
29.本技术实施例中的数字心三维空间中可以包括多个数字心标准切面和多个数字心过渡切面，其中，任意数字心过渡切面可以位于相邻两个数字心标准切面之间。应理解，任意相邻两个数字心标准切面之间可以包括多个数字心过渡切面。
30.示例性地，本技术实施例中的数字心标准切面可以包括但不限于以下任一项：胸骨旁长轴左心室标准切面、胸骨旁短轴大动脉标准切面、胸骨旁短轴二尖瓣标准切面、胸骨旁短轴乳头肌标准切面、胸骨旁短轴心尖标准切面、四腔心标准切面、两腔心标准切面、三腔心标准切面。
31.需要说明的是，由于超声心动图的扫描通常情况下只需要滑动（或者称之为空间平移）、倾斜、旋转和摆动四类探头运动，因此，数字心三维空间中六个自由度参数可以表征数字心三维空间（或者简称为数字心）的任意切面，与可以用于跟踪探头位姿信息的多自由度传感器的输出类似。例如，多自由度传感器可以包括但不限于六自由度（6 degree of freedom，6dof）传感器。
32.相应地，本技术实施例中涉及的数字心三维空间中的任意数字心切面可以用六个自由度参数表示。其中，六个自由度参数中的位置参数（）可以用于指示在数字心三维空间中的位置信息，欧拉角参数可以用于指示在数字心三维空间中的姿态信息。
33.示例性地，本技术实施例中的任意探头位姿信息或者任意数字心切面的位姿信息中的姿态信息还可以通过对欧拉角参数进行第一转换处理得到对应的旋转仿射矩阵r来表示，或者还可以通过对旋转仿射矩阵r进行展开处理得到的包含9个姿态元素的一维姿态向量来表示；当然，还可以通过其他形式来表示姿态信息。
34.本步骤中，电子设备可以根据超声检测设备检测的超声视频帧和第一数字心切面网络模型，得到超声视频帧对应的当前数字心切面的第一预测位姿信息，其中，当前数字心切面的第一预设位姿信息可以包括但不限于当前数字心切面的预测位置参数和转换后的预测姿态参数，预测位置参数可以用于指示当前数字心切面在数字心三维空间中的位置信息，转换后的预测姿态参数可以用于指示当前数字心切面在数字心三维空间中的姿态信息。
35.示例性地，转换后的预测姿态参数可以为预测欧拉角参数来表示，或者可以为通过对预测欧拉角参数进行转换得到对应的预测旋转仿射矩阵来表示。
36.步骤s202、根据第一预测位姿信息和目标数字心切面的目标位姿信息，输出扫描提示信息，其中，扫描提示信息用于指示从当前数字心切面切换为目标数字心切面对应的超声检测设备的探头运动方式。
37.本技术实施例中涉及的目标数字心切面可以是指超声检测设备所需检测的数字心标准切面，其中，目标数字心切面可以包括但不限于以下任一项：胸骨旁长轴左心室标准切面、胸骨旁短轴大动脉标准切面、胸骨旁短轴二尖瓣标准切面、胸骨旁短轴乳头肌标准切面、胸骨旁短轴心尖标准切面、四腔心标准切面、两腔心标准切面、三腔心标准切面。
38.一种可能的实现方式中，若电子设备为超声检测设备，则电子设备可以根据用户输入的超声检测指令中携带的指示信息，确定目标数字心切面，其中，指示信息可以包括但不限于所需检测的数字心标准切面的标识信息或者所需检测的部位指示信息。
39.另一种可能的实现方式中，若电子设备为计算机设备，则电子设备可以接收计算机设备发送的指示信息，并根据指示信息确定目标数字心切面。
40.当然，电子设备还可以通过其他方式确定目标数字心切面。
41.本技术实施例中，电子设备中可以预设有数字心标准切面位姿信息库，其中，数字心标准切面位姿信息库中可以包括但不限于不同数字心标准切面与对应的位姿信息之间的对应关系。
42.本步骤中，电子设备可以根据当前数字心切面的第一预测位姿信息与目标数字心
切面的目标位姿信息之间的差距，输出扫描提示信息，其中，扫描提示信息可以用于指示从当前数字心切面切换为目标数字心切面对应的超声检测设备的探头运动方式，以便于用户可以根据扫描提示信息可以从当前数字心切面快速地切换为目标数字心切面。
43.示例性地，本技术实施例中的探头运动方式可以包括但不限于空间平移运动方式和/或姿态运动方式，其中，姿态运动方式可以包括但不限于以下至少一项：倾斜运动方式、旋转运动方式、摆动运动方式。
44.示例性地，本技术实施例中的目标数字心切面的目标位姿信息可以为电子设备通过查询数字心标准切面位姿信息库的方式确定的；当然，还可以为通过其他方式确定的。
45.上述超声检测方法中，通过根据超声视频帧和第一数字心切面网络模型，得到当前数字心切面的第一预测位姿信息；进一步地，根据第一预测位姿信息和目标数字心切面的目标位姿信息，输出扫描提示信息，其中，扫描提示信息用于指示从当前数字心切面切换为目标数字心切面对应的超声检测设备的探头运动方式。可见，本技术实施例中，通过第一数字心切面网络模型可以得到超声检测设备检测的超声视频帧对应的当前数字心切面的第一预测位姿信息，并根据第一预测位姿信息和目标数字心切面的目标位姿信息输出扫描提示信息的方式，实现了对用户使用超声检测设备的探头扫描检测过程中探头运动方式的引导提示，以便于用户可以根据扫描提示信息从当前数字心切面快速地切换为目标数字心切面，使得非超声专业人员也能准确操作超声检测设备，从而可以扩展超声检测设备的使用场景。
46.在一个实施例中，图3为本技术另一个实施例中超声检测方法的流程示意图，在上述实施例的基础上，本技术实施例中对上述步骤s201中如何根据超声视频帧和第一数字心切面网络模型，得到当前数字心切面的第一预测位姿信息的相关内容进行介绍说明。如图3所示，本技术实施例的上述步骤s201可以包括以下步骤：步骤s2011、将超声视频帧输入第一数字心切面网络模型，得到当前数字心切面的预测位置参数和预测姿态参数。
47.本步骤中，电子设备可以将超声检测设备检测的超声视频帧输入第一数字心切面网络模型，得到第一数字心切面网络模型输出的超声视频帧对应的当前数字心切面的预测位置参数和预测姿态参数，其中，预测位置参数可以用于指示当前数字心切面在数字心三维空间中的预测位置信息，预测姿态参数可以用于指示当前数字心切面在数字心三维空间中的预测姿态信息。
48.示例性地，本技术实施例中第一数字心切面网络模型输出的预测姿态参数可以包括但不限于包含9个姿态元素的一维预测姿态向量。
49.步骤s2012、根据预测位置参数和预测姿态参数，确定当前数字心切面的第一预测位姿信息。
50.本步骤中，电子设备可以通过对当前数字心切面的预测姿态参数进行第二转换处理（例如，重组处理和/或奇异值分解正交化处理）得到转换后的预测姿态参数，并根据当前数字心切面的预测位置参数和转换后的预测姿态参数，得到当前数字心切面的第一预测位姿信息。
51.一种可能的实现方式中，对预测姿态参数重组为预设维度的第一中间矩阵；对第一中间矩阵进行奇异值分解正交化处理，得到当前数字心切面的预测旋转仿射矩阵；将预
测位置参数和预测旋转仿射矩阵，作为当前数字心切面的第一预测位姿信息。
52.本实现方式中，电子设备可以按列方式或者按行方式将当前数字心切面的预测姿态参数重组为预设维度（例如3*3）的第一中间矩阵。例如，假设按列方式进行重组，电子设备可以将当前数字心切面的预测姿态参数中的第1个姿态元素-第3个姿态元素按序作为第一中间矩阵的第一列、将当前数字心切面的预测姿态参数中的第4个姿态元素-第6个姿态元素按序作为第一中间矩阵的第二列，以及将当前数字心切面的预测姿态参数中的第7个姿态元素-第9个姿态元素按序作为第一中间矩阵的第三列。
53.进一步地，考虑到第一中间矩阵通常为非正交矩阵，电子设备可以通过对第一中间矩阵进行奇异值分解正交化处理，得到当前数字心切面的预测旋转仿射矩阵，其中，预测旋转仿射矩阵为正交矩阵。
54.示例性地，电子设备可以通过如下公式（1）对第一中间矩阵进行奇异值分解正交化处理，得到当前数字心切面的预测旋转仿射矩阵。
55.公式（1）其中，代表第一中间矩阵；代表奇异值分解；是一个m维*m维的正交矩阵，m为大于1的整数；是一个n维*n维的正交矩阵，n为大于1的整数；是一个m维*n维的矩阵，除了主对角线上的元素以外全为0，主对角线上的每个元素称为奇异值；代表转置；代表对角矩阵；代表行列式；代表奇异值分解正交化；代表预测旋转仿射矩阵。
56.当然，电子设备还可以通过上述公式（1）的其他变形或者等效公式对第一中间矩阵进行奇异值分解正交化处理。
57.进一步地，电子设备可以将预测位置参数和预测旋转仿射矩阵，作为当前数字心切面的第一预测位姿信息，其中，预测旋转仿射矩阵为转换后的预测姿态参数。
58.应理解，若本技术实施例中转换后的预测姿态参数通过预测欧拉角参数的方式表示，则电子设备可以将预测旋转仿射矩阵进行第三转换处理，便可得到对应的预测欧拉角参数。其中，第三转换处理的具体方式可以参考下述公式（4）的处理方式。
59.综上，本实施例中通过将超声视频帧输入第一数字心切面网络模型的方式，可以预测超声视频帧对应的当前数字心切面的预测位置参数和预测姿态参数，并根据预测位置参数和预测姿态参数，可以确定当前数字心切面的第一预测位姿信息，以便于可以根据第一预测位姿信息和目标数字心切面的目标位姿信息输出扫描提示信息，从而有利于实现对用户使用超声检测设备的探头扫描检测过程中探头运动方式的引导提示。
60.在一个实施例中，图4为本技术另一个实施例中超声检测方法的流程示意图，在上述实施例的基础上，本技术实施例中对上述步骤s202中如何根据第一预测位姿信息和目标数字心切面的目标位姿信息，输出扫描提示信息的相关内容进行介绍说明。如图4所示，本技术实施例的上述步骤s202可以包括以下步骤：
步骤s2021、根据第一预测位姿信息和目标位姿信息，确定位姿偏移量。
61.本步骤中，电子设备可以根据当前数字心切面的第一预测位姿信息和目标数字心切面的目标位姿信息，确定位姿偏移量，其中，位姿偏移量可以包括但不限于空间偏移量参数和位姿偏移量参数。
62.一种可能的实现方式中，当前数字心切面的第一预测位姿信息可以包括：当前数字心切面的预测位置参数和预测旋转仿射矩阵，目标数字心切面的目标位姿信息可以包括：目标数字心切面的目标位置参数和目标旋转仿射矩阵，根据预测位置参数和目标位置参数，确定当前数字心切面相对于目标数字心切面的空间偏移量参数；根据预测旋转仿射矩阵和目标旋转仿射矩阵，确定当前数字心切面与目标数字心切面之间的切换旋转仿射矩阵，并根据切换旋转仿射矩阵，得到当前数字心切面相对于目标数字心切面的位姿偏移量参数；其中，位姿偏移量包括空间偏移量参数和位姿偏移量参数。
63.本实现方式中，电子设备根据预测位置参数和目标位置参数，可以通过如下公式（2）确定当前数字心切面相对于目标数字心切面的空间偏移量参数。
64.ꢀꢀꢀ
公式（2）其中，代表空间偏移量参数，代表目标位置参数，代表预测位置参数。
65.当然，电子设备根据预测位置参数和目标位置参数，还可以通过上述公式（2）的其他变形或等效公式确定当前数字心切面相对于目标数字心切面的空间偏移量参数。
66.进一步地，电子设备根据预测旋转仿射矩阵和目标旋转仿射矩阵，可以通过如下公式（3）确定当前数字心切面与目标数字心切面之间的切换旋转仿射矩阵。
67.ꢀꢀꢀ
公式（3）其中，代表切换旋转仿射矩阵，代表目标旋转仿射矩阵，代表预测旋转仿射矩阵。
68.当然，电子设备根据预测旋转仿射矩阵和目标旋转仿射矩阵，还可以通过上述公式（3）的其他变形或等效公式确定当前数字心切面与目标数字心切面之间的切换旋转仿射矩阵。
69.进一步地，电子设备根据切换旋转仿射矩阵，可以通过如下公式（4）进行第三转换处理得到当前数字心切面相对于目标数字心切面的位姿偏移量参数。
[0070] 公式（4）其中，代表待转换的旋转仿射矩阵的第行第列的元素；代表待转换的旋转仿射矩阵进行第三转换处理得到的位姿偏移量参数；代表反正弦函数；代表反正切函数。
[0071]
应理解，在等于切换旋转仿射矩阵的情况下，等于、等于，以及等于。
[0072]
当然，电子设备根据切换旋转仿射矩阵，还可以通过上述公式（4）的其他变形或等效公式得到当前数字心切面相对于目标数字心切面的位姿偏移量参数。
[0073]
另一种可能的实现方式中，当前数字心切面的第一预测位姿信息可以包括：当前数字心切面的预测位置参数和预测欧拉角参数，目标数字心切面的目标位姿信息可以包括：目标数字心切面的目标位置参数和目标欧拉角参数，根据预测欧拉角参数进行第一转换处理得到预测旋转仿射矩阵，并根据目标欧拉角参数进行第一转换处理得到目标旋转仿射矩阵；根据预测位置参数和目标位置参数，确定当前数字心切面相对于目标数字心切面的空间偏移量参数；根据预测旋转仿射矩阵和目标旋转仿射矩阵，确定当前数字心切面与目标数字心切面之间的切换旋转仿射矩阵，并根据切换旋转仿射矩阵，得到当前数字心切面相对于目标数字心切面的位姿偏移量参数。
[0074]
本实现方式中，电子设备根据预测欧拉角参数可以通过如下公式（5）进行第一转换处理得到预测旋转仿射矩阵，以及根据目标欧拉角参数可以通过如下公式（5）进行第一转换处理得到目标旋转仿射矩阵。
[0075]
公式（5）其中，代表z轴的欧拉角参数的旋转仿射矩阵；代表y轴的欧拉角参数的旋转仿射矩阵；代表x轴的欧拉角参数的旋转仿射矩阵。
[0076]
当然，电子设备还可以通过上述公式（5）的其他变形或等效公式进行第一转换处理。
[0077]
需要说明的是，本实现方式中的其他步骤可以参考上述实现方式中的相关内容，此处不再赘述。
[0078]
步骤s2022、根据位姿偏移量，输出扫描提示信息。
[0079]
本步骤中，电子设备根据位姿偏移量，输出扫描提示信息。其中，扫描提示信息可以包括以下至少一种：文字提示信息、视觉提示信息、语言提示信息。示例性地，视觉提示信息可以包括但不限于通过在超声检测设备的显示屏上显示多个运动指示箭头的方式。
[0080]
示例性地，本技术实施例中的扫描提示信息可以包括但不限于第一扫描提示信息和第二扫描提示信息；第一扫描提示信息可以用于指示从当前数字心切面切换为目标数字心切面对应的探头的空间平移运动方式。第二扫描提示信息可以用于指示从当前数字心切面切换为目标数字心切面对应的探头的姿态运动方式，其中，姿态运动方式可以包括但不限于以下至少一项：倾斜运动方式、旋转运动方式、摆动运动方式。
[0081]
应理解，第一扫描提示信息可以为电子设备根据空间偏移量参数确定的，第二扫描提示信息可以为电子设备根据位姿偏移量参数确定的。
[0082]
示例性地，电子设备可以根据位姿偏移量参数中的确定从当前数字心切面切换为目标数字心切面对应的探头的倾斜运动方式、根据位姿偏移量参数中的确定从当前数字心切面切换为目标数字心切面对应的探头的旋转运动方式，以及根据位姿偏移量参数中的确定从当前数字心切面切换为目标数字心切面对应的探头的摆动运动方式。
[0083]
综上，本技术实施例中，通过根据第一预测位姿信息和目标位姿信息，确定位姿偏移量，并根据位姿偏移量输出扫描提示信息的方式，以便于用户可以根据扫描提示信息可以从当前数字心切面快速地切换为目标数字心切面，使得非超声专业人员也能准确操作超声检测设备。
[0084]
在一个实施例中，图5为本技术一个实施例中第一数字心切面网络模型的训练方法的流程示意图，在上述实施例的基础上，本技术实施例中对上述第一数字心切面网络模型的训练过程的相关内容进行介绍说明。如图5所示，本技术实施例的方法可以包括以下步骤：步骤s501、获取多个第一训练样本，其中，第一训练样本可以包括：超声视频帧样本和对应的数字心切面的位姿标注信息。
[0085]
本步骤中，电子设备可以获取多个第一训练样本，其中，任意第一训练样本可以包括：超声视频帧样本和对应的数字心切面的位姿标注信息；当然，还可以包括其他样本信息，例如超声视频帧样本对应的数字心切面的切面类别标注。
[0086]
示例性地，本技术实施例中的任意超声视频帧样本对应的数字心切面的位姿标注信息可以包括但不限于位置标注信息和姿态标注信息，其中，姿态标注信息可以通过包含9
个姿态元素的一维姿态标注向量形式来表示。
[0087]
当然，姿态标注信息还可以通过标注欧拉角参数形式或者标注旋转仿射矩阵形式来表示，对应地，在步骤s502中电子设备需要先将姿态标注信息转换为包含9个姿态元素的一维姿态标注向量形式，然后对第一初始神经网络模型进行训练。
[0088]
示例性地，本技术实施例中的超声视频帧样本可以为通过从超声视频帧库中确定的超声视频帧。其中，超声视频帧库中可以存储有超声专业人员通过超声检测设备的探头预先对被采集对象进行超声心动图扫描过程中，超声检测设备实时检测的超声视频帧。需要说明的是，超声视频帧库中还可以存储有各超声视频帧对应的数字心切面的切面类别标注等信息。
[0089]
步骤s502、根据多个第一训练样本对第一初始神经网络模型进行训练，得到第一数字心切面网络模型。
[0090]
本步骤中，电子设备根据多个第一训练样本对第一初始神经网络模型进行训练，得到第一数字心切面网络模型，其中，第一初始神经网络模型可以包括但不限于深度卷积神经网络，例如动态卷积神经网络（dynamic convolutional neural network，dcnn）模型或者transformer模型。
[0091]
为了便于理解，本技术下述实施例中对第一数字心切面网络模型的结构进行介绍。
[0092]
示例性地，本技术实施例中的第一数字心切面网络模型可以包括但不限于：级联的特征提取模块、时序融合模块和位姿运动模块。其中，特征提取模块可以包括多个子特征提取模块，位姿运动模块可以包括多个子位姿运动模块，子位姿运动模块可以包括级联的切面分类头、切面平移回归头和切面旋转回归头。
[0093]
图6为本技术实施例中提供的第一数字心切面网络模型的结构示意图，如图6所示，本技术实施例的第一数字心切面网络模型可以包括但不限于级联的特征提取模块60、时序融合模块61和位姿运动模块62。
[0094]
示例性地，本技术实施例中的特征提取模块60可以包括多个子特征提取模块601，每个子特征提取模块601可以与对应的超声视频帧对应，用于对相应的超声视频帧进行特征提取处理。例如，本技术实施例中的任意子特征提取模块可以包括但不限于mobilenetv3网络，或者efficientnetv2网络。
[0095]
本技术实施例中的时序融合模块61可以用于时序融合处理。例如，本技术实施例中的时序融合模块可以包括多头注意力或者长短期记忆网络（long short-term memory，lstm）；当然，还可以包括其他时序机制。
[0096]
本技术实施例中的位姿运动模块62可以包括多个子位姿运动模块621，其中，任意子位姿运动模块可以包括级联的切面分类头、切面平移回归头和切面旋转回归头。其中，切面分类头可以用于添加切面类别标签以辅助训练；切面平移回归头可以用于回归数字心切面的位置平移等，以输出位置参数；切面旋转回归头可以用于回归数字心切面的姿态旋转等，以输出包含9个姿态元素的一维姿态向量。
[0097]
示例性地，电子设备可以将多个第一训练样本中的超声视频帧样本输入第一初始神经网络模型，得到多个第一训练样本中的超声视频帧样本分别对应的数字心切面的第三预测位姿信息。进一步地，电子设备可以根据多个第一训练样本中的超声视频帧样本分别
对应的数字心切面的位姿标注信息和多个第一训练样本中的超声视频帧样本分别对应的数字心切面的第三预测位姿信息，构建第一损失函数，其中，第一损失函数可以包括但不限于第一位置损失函数和第一姿态损失函数。应理解，第一位置损失函数可以为上述切面平移回归头对应的损失函数，第一姿态损失函数可以为上述切面旋转回归头对应的损失函数。
[0098]
本技术实施例中，电子设备还可以根据多个第一训练样本中的超声视频帧样本分别对应的数字心切面的切面类别标注和多个第一训练样本中的超声视频帧样本分别对应的数字心切面的预测切面类别，构建切面类别损失函数；其中，切面类别损失函数可以为上述切面分类头对应的损失函数。
[0099]
进一步地，电子设备可以根据第一损失函数和切面类别损失函数更新第一初始神经网络模型中的参数，以得到更新后的第一初始神经网络模型，并迭代执行上述训练过程，直到更新后的第一初始神经网络模型达到第一预设收敛条件，以得到第一数字心切面网络模型。其中，第一预设收敛条件可以包括但不限于：第一损失函数小于对应的第一预设阈值和切面类别损失函数小于对应的第二预设阈值；或者，迭代次数大于第一预设次数。
[0100]
应理解，对于任意第一训练样本，电子设备可以对超声视频帧样本对应的数字心切面的第三预测位姿信息中的第六姿态参数重组为预设维度的第三中间矩阵。进一步地，电子设备对第三中间矩阵进行奇异值分解正交化处理，得到超声视频帧样本对应的数字心切面的第五旋转仿射矩阵，并将第五旋转仿射矩阵展开为对应的第二姿态向量。
[0101]
进一步地，电子设备根据各超声视频帧样本分别对应的数字心切面的第三预测位姿信息中的第七位置参数和各超声视频帧样本分别对应的数字心切面的位姿标注信息中的第一位置参数，构建第一损失函数中的第一位置损失函数，以及根据各超声视频帧样本分别对应的数字心切面的第二姿态向量和各超声视频帧样本分别对应的数字心切面的位姿标注信息中的第一姿态向量，构建第一损失函数中的第一姿态损失函数。
[0102]
示例性地，电子设备根据各第七位置参数和各第一位置参数，可以通过如下公式（6）构建第一损失函数中的第一位置损失函数。
[0103] 公式（6）其中，代表位置l2损失函数；代表样本数量；代表第个超声视频帧样本对应的第七位置参数中的第个位置元素（或者称之为位置拟合参数）；代表第个超声视频帧样本对应的第一位置参数中的第个位置元素。
[0104]
当然，电子设备根据各第七位置参数和各第一位置参数，还可以通过上述公式（6）的其他变形或等效公式构建第一位置损失函数。
[0105]
示例性地，电子设备根据各第二姿态向量和各第一姿态向量，可以通过如下公式（7）构建第一姿态损失函数。
[0106]
ꢀꢀꢀ
公式（7）其中，代表姿态l2损失函数；代表第个超声视频帧样本对应的第二姿态向量中的第个姿态元素（或者称之为姿态拟合参数）；代表第个超声视频帧样本对应的第一姿态向量中的第个姿态元素。
[0107]
当然，电子设备根据各第二姿态向量和各第一姿态向量，还可以通过上述公式（7）的其他变形或等效公式构建第一姿态损失函数。
[0108]
另外，电子设备根据各超声视频帧样本分别对应的数字心切面的切面类别标注和各超声视频帧样本分别对应的数字心切面的预测切面类别，构建切面类别损失函数。
[0109]
示例性地，电子设备根据各超声视频帧样本分别对应的数字心切面的切面类别标注和各超声视频帧样本分别对应的数字心切面的预测切面类别，可以通过如下公式（8）构建切面类别损失函数。
[0110]
ꢀꢀ
公式（8）其中，代表切面类别交叉熵损失函数；代表切面类别的数量；代表第个超声视频帧样本对应的数字心切面的预测切面类别（或者称之为类别拟合参数）；代表第个超声视频帧样本对应的数字心切面的切面类别标注。
[0111]
当然，电子设备根据各超声视频帧样本分别对应的数字心切面的切面类别标注和各超声视频帧样本分别对应的数字心切面的预测切面类别，还可以通过上述公式（8）的其他变形或等效公式构建切面类别损失函数。
[0112]
可见，本技术实施例中，通过多个第一训练样本对第一初始神经网络模型的迭代训练，可以将超声专业人员的超声扫描经验转化成深度神经网络模型中的权重，以便于可以根据目标数字心切面作为参考，可以对下一步的探头扫描操作给予引导，从而使得非超声专业人士也能轻松地进行超声心动图的扫描。
[0113]
综上，本技术实施例中，通过根据获取的多个第一训练样本对第一初始神经网络模型进行训练，得到第一数字心切面网络模型，以便于可以通过第一数字心切面网络模型得到超声检测设备检测的任意超声视频帧对应的当前数字心切面的第一预测位姿信息，并根据第一预测位姿信息和目标数字心切面的目标位姿信息输出扫描提示信息，从而有利于实现对用户使用超声检测设备的探头扫描检测过程中探头运动方式的引导提示。
[0114]
在一个实施例中，图7为本技术另一个实施例中第一数字心切面网络模型的训练方法的流程示意图，在上述实施例的基础上，本技术实施例中对上述步骤s501中如何获取多个第一训练样本的相关内容进行介绍说明。如图7所示，本技术实施例的上述步骤s501可以包括以下步骤：步骤s5011、对于任意第一训练样本，获取第一训练样本中的超声视频帧样本和超声视频帧样本对应的数字心切面的初始位姿信息。
[0115]
本步骤中，对于任意第一训练样本，电子设备可以获取第一训练样本中的超声视频帧样本和超声视频帧样本对应的数字心切面的初始位姿信息；其中，数字心切面的初始位姿信息可以包括：数字心切面的第一位置参数和第一旋转仿射矩阵。
[0116]
一种可能的实现方式中，本技术实施例中的任意第一训练样本中的超声视频帧样本对应的数字心切面的初始位姿信息的获取方式可以包括：获取超声视频帧样本对应的探头位姿信息；根据探头位姿信息和第二数字心切面网络模型，得到探头位姿信息对应的数字心切面的第二位置参数和第一姿态参数；根据第二位置参数和第一姿态参数，确定数字心切面的初始位姿信息。
[0117]
本技术实施例中涉及的超声视频帧样本对应的探头位姿信息可以为通过对从探头位置库中确定的超声视频帧样本对应的初始探头位姿信息进行数据处理（例如第一转换处理和/或展开处理）后得到的位姿信息。其中，探头位置库中可以存储有超声专业人员通过超声检测设备的探头预先对被采集对象进行超声心动图扫描过程中，通过设置于探头上的多自由度传感器实时检测的探头的位姿信息；当然，探头位置库中还可以存储有通过其他方式检测的探头的位姿信息。
[0118]
本技术实施例中涉及的第二数字心切面网络模型可以用于指示探头位姿与对应的数字心切面的位姿信息之间的映射关系。
[0119]
本实现方式中，电子设备可以获取超声视频帧样本对应的探头位姿信息，并将超声视频帧样本对应的探头位姿信息输入第二数字心切面网络模型，得到探头位姿信息对应的数字心切面的第二位置参数和第一姿态参数，其中，第一姿态参数可以为包含9个姿态元素的一维姿态向量。进一步地，电子设备可以根据第二位置参数和第一姿态参数，确定数字心切面的初始位姿信息示例性地，电子设备可以对第一姿态参数重组为预设维度的第二中间矩阵，并对第二中间矩阵进行奇异值分解正交化处理，得到数字心切面的第二旋转仿射矩阵。进一步地，电子设备可以将第二位置参数和第二旋转仿射矩阵，作为数字心切面的初始位姿信息。例如，电子设备可以将第二位置参数作为数字心切面的初始位姿信息中的第一位置参数，以及将第二旋转仿射矩阵作为数字心切面的初始位姿信息中的第一旋转仿射矩阵。
[0120]
需要说明的是，本技术实施例中的重组方式和奇异值分解正交化处理方式可以参考上述实施例中的相关内容，此处不再赘述。
[0121]
当然，电子设备还可以通过其他方式获取超声视频帧样本对应的数字心切面的初始位姿信息。
[0122]
步骤s5012、根据数字心切面的初始位姿信息，确定数字心切面的位姿标注信息。
[0123]
本步骤中，电子设备可以根据数字心切面的初始位姿信息，确定数字心切面的位姿标注信息。
[0124]
一种可能的实现方式中，数字心切面的初始位姿信息可以包括：数字心切面的第一位置参数和第一旋转仿射矩阵，电子设备可以将第一旋转仿射矩阵展开为一维的第一姿态向量，并将第一位置参数和第一姿态向量作为数字心切面的位姿标注信息。例如，电子设备可以将第一位置参数作为数字心切面的位姿标注信息中的标注位置参数，以及将第一姿态向量作为数字心切面的位姿标注信息中的标注姿态参数。
[0125]
当然，电子设备根据数字心切面的初始位姿信息，还可以通过其他方式确定数字
心切面的位姿标注信息。
[0126]
综上，本技术实施例中，对于任意第一训练样本，获取第一训练样本中的超声视频帧样本和超声视频帧样本对应的数字心切面的初始位姿信息。进一步地，根据数字心切面的初始位姿信息，确定数字心切面的位姿标注信息，从而得到了第一训练样本中的超声视频帧样本和超声视频帧样本对应的数字心切面的位姿标注信息，以便于可以利用多个第一训练样本对第一初始神经网络模型进行训练得到第一数字心切面网络模型。
[0127]
在一个实施例中，图8为本技术一个实施例中第二数字心切面网络模型的训练方法的流程示意图，在上述实施例的基础上，本技术实施例中对上述第二数字心切面网络模型的训练过程的相关内容进行介绍说明。如图8所示，本技术实施例的方法可以包括以下步骤：步骤s801、获取多个第二训练样本，其中，任意第二训练样本可以包括：数字心标准切面对应的探头位姿样本和数字心标准切面的位姿标注信息。
[0128]
示例性地，本技术实施例中的任意数字心标准切面对应的探头位姿样本可以包括但不限于探头位置样本信息和探头姿态样本信息，其中，探头姿态样本信息可以通过包含9个姿态元素的一维探头姿态向量形式来表示。对应地，数字心标准切面的位姿标注信息可以包括但不限于位置标注信息和姿态标注信息，其中，姿态标注信息可以通过包含9个姿态元素的一维姿态标注向量形式来表示。
[0129]
示例性地，本技术实施例中的任意数字心标准切面的位姿标注信息可以为根据数字心标准切面在数字心三维空间中的位姿信息确定的，其中，数字心标准切面的位姿信息可以为超声专业人员根据扫描经验从数字心三维空间中的多个数字心切面的位姿信息中确定的。
[0130]
本技术下述实施例中对任意第二训练样本中的数字心标准切面对应的探头位姿样本的获取方式进行介绍。
[0131]
一种可能的实现方式中，电子设备可以从探头位置库中确定数字心标准切面对应的初始探头位姿信息，并对数字心标准切面对应的初始探头位姿信息进行数据处理（例如第一转换处理和/或展开处理等），得到数字心标准切面对应的探头位姿样本。
[0132]
示例性地，数字心标准切面对应的初始探头位姿信息可以包括：数字心标准切面的第五位置参数和第一欧拉角姿态参数，电子设备可以根据第一欧拉角姿态参数通过第一转换处理得到数字心标准切面的第三旋转仿射矩阵，并将第三旋转仿射矩阵展开为对应的第四姿态参数。进一步地，电子设备可以将第五位置参数和第四姿态参数作为数字心标准切面对应的探头位姿样本。
[0133]
需要说明的是，关于第一转换处理和展开处理的具体实现方式，可以参考上述实施例中的相关内容，此处不再赘述。
[0134]
本技术下述实施例中对任意第二训练样本中的数字心标准切面的位姿标注信息的获取方式进行介绍。
[0135]
一种可能的实现方式中，电子设备可以从数字心标准切面位置库中确定数字心标准切面对应的位姿信息，并对数字心标准切面对应的位姿信息进行数据处理（例如第一转换处理和/或展开处理等），得到数字心标准切面的位姿标注信息。
[0136]
本技术实施例中的数字心标准切面位置库中可以包括数字心三维空间中的所有
数字心标准切面的位姿信息，其中，任意数字心标准切面的位姿标注信息可以为根据数字心标准切面在数字心三维空间中的位姿信息确定的。
[0137]
示例性地，数字心标准切面对应的位姿信息可以包括：数字心标准切面的第六位置参数和第二欧拉角姿态参数，电子设备可以根据第二欧拉角姿态参数通过第一转换处理得到数字心标准切面的第四旋转仿射矩阵，并将第四旋转仿射矩阵展开为对应的第五姿态参数。进一步地，电子设备可以将第六位置参数和第五姿态参数作为数字心标准切面对应的位姿标注信息。
[0138]
需要说明的是，关于第一转换处理和展开处理的具体实现方式，可以参考上述实施例中的相关内容，此处不再赘述。
[0139]
步骤s802、根据多个第二训练样本对第二初始神经网络模型进行训练，得到第二数字心切面网络模型。
[0140]
本步骤中，电子设备可以根据多个第二训练样本对第二初始神经网络模型进行训练，得到第二数字心切面网络模型，其中，第二初始神经网络模型可以包括但不限于神经网络回归模型。
[0141]
本技术下述实施例中对根据多个第二训练样本对第二初始神经网络模型如何进行训练，得到第二数字心切面网络模型的过程进行介绍。
[0142]
1）电子设备可以将多个第二训练样本中的数字心标准切面对应的探头位姿样本输入第二初始神经网络模型，得到多个第二训练样本中的数字心标准切面分别对应的第二预测位姿信息。
[0143]
考虑到欧拉角在欧式空间中的表达具有不连续性的特点，使用传统神经网络直接对六个自由度参数进行训练与推理会存在一定的拟合问题，因此，本技术实施例中的任意初始神经网络模型可以包括：初始位置网络模型和初始姿态网络模型，其中，初始位置网络模型用于空间平移运动拟合，初始姿态网络模型可以用于空间姿态运动拟合。
[0144]
示例性地，若第二初始神经网络模型可以包括：初始位置网络模型和初始姿态网络模型，任意第二训练样本中的数字心标准切面对应的探头位姿样本可以包括：数字心标准切面的第三位置参数和第二姿态参数，对于任意第二训练样本，电子设备可以将第二训练样本中的数字心标准切面的第三位置参数输入初始位置网络模型，可以得到数字心标准切面的第四位置参数；以及将第二训练样本中的数字心标准切面的第二姿态参数输入初始姿态网络模型，可以得到数字心标准切面的第三姿态参数。
[0145]
应理解，第二训练样本中的数字心标准切面对应的第二预测位姿信息可以包括：第四位置参数和第三位姿参数；其中，第三姿态参数可以为包含9个姿态元素的一维预测姿态向量。
[0146]
2）电子设备可以根据多个第二训练样本中的数字心标准切面的位姿标注信息和多个第二训练样本中的数字心标准切面分别对应的第二预测位姿信息，构建损失函数。
[0147]
本步骤中，电子设备可以根据多个第二训练样本中的数字心标准切面的位姿标注信息和多个第二训练样本中的数字心标准切面分别对应的第二预测位姿信息，构建第二损失函数，其中，第二损失函数可以包括但不限于第二位置损失函数和第二姿态损失函数。
[0148]
应理解，对于任意第二训练样本，电子设备可以对标准数字心切面对应的第二预测位姿信息中的第三姿态参数重组为预设维度的第四中间矩阵。进一步地，电子设备对第
四中间矩阵进行奇异值分解正交化处理，得到标准数字心切面的第六旋转仿射矩阵，并将第六旋转仿射矩阵展开为对应的第三姿态向量。
[0149]
进一步地，电子设备根据各标准数字心切面对应的第二预测位姿信息中的第四位置参数和各数字心标准切面对应的位姿标注信息中的第六位置参数，构建第二损失函数中的第二位置损失函数，以及根据各标准数字心切面对应的第三姿态向量和各数字心标准切面对应的位姿标注信息中的第五姿态参数，构建第二损失函数中的第二姿态损失函数。
[0150]
需要说明的，本步骤中电子设备构建第二位置损失函数的具体方式可以参考上述实施例中关于构建第一位置损失函数的相关内容，以及电子设备构建第二姿态损失函数的具体方式可以参考上述实施例中关于构建第一姿态损失函数的相关内容，此处不再赘述。
[0151]
3）电子设备可以根据第二损失函数更新第二初始神经网络模型中的参数，以得到更新后的第二初始神经网络模型，并迭代执行上述训练过程，直到更新后的第二初始神经网络模型达到第二预设收敛条件，以得到第二数字心切面网络模型。其中，第二预设收敛条件可以包括但不限于：第二损失函数小于对应的第三预设阈值，或者，迭代次数大于第二预设次数。
[0152]
综上，本技术实施例中，通过根据获取的多个第二训练样本对第二初始神经网络模型进行训练，得到第二数字心切面网络模型，以便于可以通过第二初始神经网络模型得到超声检测设备检测过程中的任意探头位姿信息对应的数字心切面的位姿信息，从而可以得到超声检测设备检测过程中与上述探头位姿信息相匹配的超声视频帧所对应的数字心切面的位姿信息，有利于训练得到第一数字心切面网络模型。
[0153]
在一个实施例中，图9为本技术一个实施例中数字心切面网络模型的训练过程和应用过程的整体流程示意图，在上述实施例的基础上，本技术实施例中以电子设备为计算机设备为例，对上述第一数字心切面网络模型和第二数字心切面网络模型的训练过程，以及第一数字心切面网络模型的应用过程的相关内容进行介绍说明。如图9所示，本技术实施例的方法可以包括以下步骤：步骤s901、在训练数据采集阶段，计算机设备可以获取超声专业人员通过超声检测设备的探头对被采集对象在不同声窗的不同数字心标准切面之间多次扫描过程中，采集到的多个超声视频帧以及各超声视频帧分别对应的探头的位姿信息。
[0154]
本技术实施例中涉及的声窗是指超声检测设备的探头放置于被采集对象上以利于看清心脏特定结构的部位。
[0155]
示例性地，多个超声视频帧中可以包括多个数字心标准切面分别匹配的超声视频帧和多个数字心过渡切面分别匹配的超声视频帧，其中，与任意数字心切面匹配的超声视频帧是指超声专业人员通过超声检测设备的探头对被采集对象进行该数字心切面扫描过程中，所采集到的超声视频帧。
[0156]
应理解，为了便于后续的模型训练，本技术实施例中对于任意数字心切面对应的超声视频帧可以添加该数字心切面对应的切面类别标签等信息。
[0157]
本技术实施例中，通过将多自由度传感器与超声检测设备的探头进行绑定，以便于多自由度传感器可以采集超声专业人员通过超声检测设备的探头对被采集对象在不同声窗的不同数字心标准切面之间多次扫描过程中的探头的位姿信息。
[0158]
示例性地，超声检测设备与计算机设备之间还可以设置有数据采集装置，以便于
计算机设备可以实时地保存超声检测设备的任意超声视频帧和对应的探头的位姿信息，从而可以得到被采集对象的任意超声视频帧所对应的在数字心三维空间上的切面。需要说明的是，本技术实施例中的任意超声视频帧与对应的探头的位姿信息之间具有一对一的对应关系。
[0159]
步骤s902、在第二训练样本准备阶段，计算机设备可以从保存的所有探头的位姿信息中筛选出与各数字心标准切面对应的探头的位姿信息，并根据各数字心标准切面对应的探头的位姿信息和各数字心标准切面的位姿信息，得到多个第二训练样本。
[0160]
示例性地，考虑到计算机设备可以先从保存的所有超声视频帧中筛选出各数字心标准切面对应的超声视频帧，然后从保存的所有探头的位姿信息中筛选出与各数字心标准切面对应的超声视频帧所对应的探头的位姿信息。
[0161]
步骤s903、在模型训练阶段，计算机设备可以根据多个第二训练样本对第二初始神经网络模型进行训练，得到第二数字心切面网络模型。
[0162]
步骤s904、在第二训练样本准备阶段，计算机设备可以从保存的所有超声视频帧中筛选出多个超声视频帧，并根据多个超声视频帧和第二初始神经网络模型，得到多个第一训练样本。
[0163]
示例性地，计算机设备可以根据多个超声视频帧确定出各超声视频帧对应的探头的位姿信息，并根据各超声视频帧对应的探头的位姿信息和第二初始神经网络模型，得到多个第一训练样本。
[0164]
步骤s905、在模型训练阶段，计算机设备可以根据多个第一训练样本对第一初始神经网络模型进行训练，得到第一数字心切面网络模型。
[0165]
步骤s906、在模型应用阶段，计算机设备可以根据超声检测设备当前检测的超声视频帧和第一数字心切面网络模型得到当前数字心切面的第一预测位姿信息，并根据第一预测位姿信息和目标数字心切面的目标位姿信息，输出扫描提示信息。
[0166]
需要说明的是，本技术实施例中以第一数字心切面网络模型和第二数字心切面网络模型的训练过程，与第一数字心切面网络模型的应用过程均由计算机设备执行为例进行介绍的；当然，上述第一数字心切面网络模型和第二数字心切面网络模型的训练过程可以由其他设备侧执行，计算机设备可以直接使用其他设备训练好的第一数字心切面网络模型进行超声检测即可。
[0167]
综上，本技术实施例中，通过多自由度传感器记录不同超声视频帧对应的探头的位姿信息的方式，可以通过探头的位姿信息作为桥梁将超声检测设备检测的超声视频帧与对应的数字心切面进行关联，以便于建立第一数字心切面网络模型，其中，第一数字心切面网络模型可以用于指示超声视频帧与对应的数字心切面的位姿信息之间的映射关系。进一步地，在模型应用阶段，无需使用多自由度传感器，也不需要对超声检测设备的探头作任何改装，可以根据实时检测的超声视频帧便可预测出当前数字心切面的位姿信息，并通过参考目标数字心切面的目标位姿信息，可以对超声心动图扫描过程中的探头运动方式给予引导提示，使得非超声专业人员也能准确操作超声检测设备。
[0168]
在一个实施例中，图10为本技术一个实施例中数字心切面网络模型的训练方法流程示意图，在上述实施例的基础上，本技术实施例中以该方法应用于电子设备为例对上述第一数字心切面网络模型的训练方法的相关内容进行介绍说明；其中，电子设备可以为图1
中的计算机设备，或者可以为具有一定数据处理能力的其他设备。如图10所示，本技术实施例的方法可以包括以下步骤：步骤s1001、获取多个第一训练样本，其中，第一训练样本可以包括：超声视频帧样本和对应的数字心切面的位姿标注信息。
[0169]
步骤s1002、根据多个第一训练样本对第一初始神经网络模型进行训练，得到第一数字心切面网络模型；其中，第一数字心切面网络模型用于得到超声视频帧对应的当前数字心切面的第一预测位姿信息，并根据第一预测位姿信息和目标数字心切面的目标位姿信息，输出扫描提示信息；扫描提示信息用于指示从当前数字心切面切换为目标数字心切面对应的超声检测设备的探头运动方式。
[0170]
在一个实施例中，获取多个第一训练样本，可以包括：对于任意第一训练样本，获取第一训练样本中的超声视频帧样本和超声视频帧样本对应的数字心切面的初始位姿信息；根据数字心切面的初始位姿信息，确定数字心切面的位姿标注信息。
[0171]
在一个实施例中，数字心切面的初始位姿信息可以包括：数字心切面的第一位置参数和第一旋转仿射矩阵，根据数字心切面的初始位姿信息，确定数字心切面的位姿标注信息，可以包括：将第一旋转仿射矩阵展开为一维的第一姿态向量；将第一位置参数和第一姿态向量作为数字心切面的位姿标注信息。
[0172]
在一个实施例中，数字心切面的初始位姿信息的获取方式可以包括：获取超声视频帧样本对应的探头位姿信息；根据探头位姿信息和第二数字心切面网络模型，得到探头位姿信息对应的数字心切面的第二位置参数和第一姿态参数；根据第二位置参数和第一姿态参数，确定数字心切面的初始位姿信息。
[0173]
在一个实施例中，根据第二位置参数和第一姿态参数，确定数字心切面的初始位姿信息，可以包括：对第一姿态参数重组为预设维度的第二中间矩阵；对第二中间矩阵进行奇异值分解正交化处理，得到数字心切面的第二旋转仿射矩阵；将第二位置参数和第二旋转仿射矩阵，作为数字心切面的初始位姿信息。
[0174]
在一个实施例中，第一数字心切面网络模型可以包括：级联的特征提取模块、时序融合模块和位姿运动模块；其中，特征提取模块包括多个子特征提取模块，位姿运动模块包括多个子位姿运动模块，子位姿运动模块包括级联的切面分类头、切面平移回归头和切面旋转回归头。
[0175]
在一个实施例中，第二数字心切面网络的训练方法，可以包括：获取多个第二训练样本，其中，第二训练样本可以包括：数字心标准切面对应的探头位姿样本和数字心标准切面的位姿标注信息；根据多个第二训练样本对第二初始神经网络模型进行训练，得到第二数字心切面网络模型。
[0176]
在一个实施例中，根据多个第二训练样本对第二初始神经网络模型进行训练，得
到第二数字心切面网络模型，可以包括：将多个第二训练样本中的数字心标准切面对应的探头位姿样本输入第二初始神经网络模型，得到多个第二训练样本中的数字心标准切面分别对应的第二预测位姿信息；根据多个第二训练样本中的数字心标准切面的位姿标注信息和多个第二训练样本中的数字心标准切面分别对应的第二预测位姿信息，构建损失函数；根据损失函数更新第二初始神经网络模型中的参数，以得到更新后的第二初始神经网络模型，并迭代执行上述训练过程，直到更新后的第二初始神经网络模型达到预设收敛条件，以得到第二数字心切面网络模型。
[0177]
在一个实施例中，第二初始神经网络模型包括：初始位置网络模型和初始姿态网络模型，任意第二训练样本中的数字心标准切面对应的探头位姿样本包括：数字心标准切面的第三位置参数和第二姿态参数，将多个第二训练样本中的探头位姿样本输入第二初始神经网络模型，得到多个第二训练样本分别对应的第二预测位姿信息，可以包括：对于任意第二训练样本，将第二训练样本中的数字心标准切面的第三位置参数输入初始位置网络模型，得到数字心标准切面的第四位置参数；将第二训练样本中的数字心标准切面的第二姿态参数输入初始姿态网络模型，得到数字心标准切面的第三姿态参数；其中，第二训练样本中数字心标准切面对应的第二预测位姿信息可以包括：第四位置参数和第三位姿参数。
[0178]
在一个实施例中，第二训练样本中的数字心标准切面对应的探头位姿样本的获取方式，可以包括：从探头位置库中确定数字心标准切面对应的初始探头位姿信息；对数字心标准切面对应的初始探头位姿信息进行数据处理，得到数字心标准切面对应的探头位姿样本。
[0179]
在一个实施例中，数字心标准切面对应的初始探头位姿信息可以包括：数字心标准切面的第五位置参数和第一欧拉角姿态参数，对数字心标准切面对应的初始探头位姿信息进行数据处理，得到数字心标准切面对应的探头位姿样本，包括：根据第一欧拉角姿态参数得到数字心标准切面的第三旋转仿射矩阵；将第三旋转仿射矩阵展开为对应的第四姿态参数；将第五位置参数和第四姿态参数作为数字心标准切面对应的探头位姿样本。
[0180]
在一个实施例中，第二训练样本中的数字心标准切面的位姿标注信息的获取方式包括，可以包括：从数字心标准切面位置库中确定数字心标准切面对应的位姿信息；对数字心标准切面对应的位姿信息进行数据处理，得到数字心标准切面的位姿标注信息。
[0181]
在一个实施例中，数字心标准切面对应的位姿信息包括：数字心标准切面的第六位置参数和第二欧拉角姿态参数，对数字心标准切面对应的位姿信息进行数据处理，得到数字心标准切面的位姿标注信息，可以包括：根据第二欧拉角姿态参数得到数字心标准切面的第四旋转仿射矩阵；将第四旋转仿射矩阵展开为对应的第五姿态参数；将第六位置参数和第五姿态参数作为数字心标准切面对应的位姿标注信息。
[0182]
本技术实施例提供的数字心切面网络模型的训练方法中的具体实现方式，可以参考本技术上述关于第一数字心切面网络模型的训练方法和/或第二数字心切面网络模型的训练方法实施例中的相关内容，此处不再赘述。
[0183]
应该理解的是，虽然如上的各实施例所涉及的流程图中的各个步骤按照箭头的指示依次显示，但是这些步骤并不是必然按照箭头指示的顺序依次执行。除非本文中有明确的说明，这些步骤的执行并没有严格的顺序限制，这些步骤可以以其它的顺序执行。而且，如上的各实施例所涉及的流程图中的至少一部分步骤可以包括多个步骤或者多个阶段，这些步骤或者阶段并不必然是在同一时刻执行完成，而是可以在不同的时刻执行，这些步骤或者阶段的执行顺序也不必然是依次进行，而是可以与其它步骤或者其它步骤中的步骤或者阶段的至少一部分轮流或者交替地执行。
[0184]
基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的超声检测方法的超声检测装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个超声检测装置实施例中的具体限定可以参见上文中对于超声检测方法的限定，在此不再赘述。
[0185]
在一个实施例中，图11为本技术一个实施例中超声检测装置的结构示意图，本技术实施例提供的超声检测装置可以应用于电子设备中。如图11所示，本技术实施例的超声检测装置，可以包括：第一获取模块1101和输出模块1102。
[0186]
其中，第一获取模块1101，用于根据超声视频帧和第一数字心切面网络模型，得到当前数字心切面的第一预测位姿信息；输出模块1102，用于根据第一预测位姿信息和目标数字心切面的目标位姿信息，输出扫描提示信息，其中，扫描提示信息用于指示从当前数字心切面切换为目标数字心切面对应的超声检测设备的探头运动方式。
[0187]
在一个实施例中，第一获取模块1101，包括：第一输入单元，用于将超声视频帧输入第一数字心切面网络模型，得到当前数字心切面的预测位置参数和预测姿态参数；第一确定单元，用于根据预测位置参数和预测姿态参数，确定当前数字心切面的第一预测位姿信息。
[0188]
在一个实施例中，第一确定单元具体用于：对预测姿态参数重组为预设维度的第一中间矩阵；对第一中间矩阵进行奇异值分解正交化处理，得到当前数字心切面的预测旋转仿射矩阵；将预测位置参数和预测旋转仿射矩阵，作为当前数字心切面的第一预测位姿信息。
[0189]
在一个实施例中，输出模块1102，包括：第二确定单元，用于根据第一预测位姿信息和目标位姿信息，确定位姿偏移量；输出单元，用于根据位姿偏移量，输出扫描提示信息。
[0190]
在一个实施例中，当前数字心切面的第一预测位姿信息包括：当前数字心切面的预测位置参数和预测旋转仿射矩阵，目标数字心切面的目标位姿信息包括：目标数字心切面的目标位置参数和目标旋转仿射矩阵，第二确定单元具体用于：
根据预测位置参数和目标位置参数，确定当前数字心切面相对于目标数字心切面的空间偏移量参数；根据预测旋转仿射矩阵和目标旋转仿射矩阵，确定当前数字心切面与目标数字心切面之间的切换旋转仿射矩阵；根据切换旋转仿射矩阵，得到当前数字心切面相对于目标数字心切面的位姿偏移量参数；其中，位姿偏移量包括空间偏移量参数和位姿偏移量参数。
[0191]
在一个实施例中，扫描提示信息包括第一扫描提示信息和第二扫描提示信息；其中，第一扫描提示信息用于指示从当前数字心切面切换为目标数字心切面对应的探头的空间平移运动方式；第二扫描提示信息用于指示从当前数字心切面切换为目标数字心切面对应的探头的姿态运动方式。
[0192]
在一个实施例中，超声检测装置还包括：第二获取模块，用于获取多个第一训练样本，其中，第一训练样本包括：超声视频帧样本和对应的数字心切面的位姿标注信息；第一训练模块，用于根据多个第一训练样本对第一初始神经网络模型进行训练，得到第一数字心切面网络模型。
[0193]
在一个实施例中，第二获取模块包括：第一获取单元，用于对于任意第一训练样本，获取第一训练样本中的超声视频帧样本和超声视频帧样本对应的数字心切面的初始位姿信息；第三确定单元，用于根据数字心切面的初始位姿信息，确定数字心切面的位姿标注信息。
[0194]
在一个实施例中，数字心切面的初始位姿信息包括：数字心切面的第一位置参数和第一旋转仿射矩阵，第三确定单元具体用于：将第一旋转仿射矩阵展开为一维的第一姿态向量；将第一位置参数和第一姿态向量作为数字心切面的位姿标注信息。
[0195]
在一个实施例中，第一获取单元具体用于：获取超声视频帧样本对应的探头位姿信息；根据探头位姿信息和第二数字心切面网络模型，得到探头位姿信息对应的数字心切面的第二位置参数和第一姿态参数；根据第二位置参数和第一姿态参数，确定数字心切面的初始位姿信息。
[0196]
在一个实施例中，第一获取单元具体用于：对第一姿态参数重组为预设维度的第二中间矩阵；对第二中间矩阵进行奇异值分解正交化处理，得到数字心切面的第二旋转仿射矩阵；将第二位置参数和第二旋转仿射矩阵，作为数字心切面的初始位姿信息。
[0197]
在一个实施例中，第一数字心切面网络模型包括：级联的特征提取模块、时序融合模块和位姿运动模块；其中，特征提取模块包括多个子特征提取模块，位姿运动模块包括多个子位姿运动模块，子位姿运动模块包括级联的切面分类头、切面平移回归头和切面旋转
回归头。
[0198]
在一个实施例中，超声检测装置还包括：第三获取模块，用于获取多个第二训练样本，其中，第二训练样本包括：数字心标准切面对应的探头位姿样本和数字心标准切面的位姿标注信息；第二训练模块，用于根据多个第二训练样本对第二初始神经网络模型进行训练，得到第二数字心切面网络模型。
[0199]
在一个实施例中，第二训练模块，包括：第二输入单元，用于将多个第二训练样本中的数字心标准切面对应的探头位姿样本输入第二初始神经网络模型，得到多个第二训练样本中的数字心标准切面分别对应的第二预测位姿信息；构建单元，用于根据多个第二训练样本中的数字心标准切面的位姿标注信息和多个第二训练样本中的数字心标准切面分别对应的第二预测位姿信息，构建损失函数；更新迭代单元，用于根据损失函数更新第二初始神经网络模型中的参数，以得到更新后的第二初始神经网络模型，并迭代执行上述训练过程，直到更新后的第二初始神经网络模型达到预设收敛条件，以得到第二数字心切面网络模型。
[0200]
在一个实施例中，第二初始神经网络模型包括：初始位置网络模型和初始姿态网络模型，任意第二训练样本中的数字心标准切面对应的探头位姿样本包括：数字心标准切面的第三位置参数和第二姿态参数，第二输入单元具体用于：对于任意第二训练样本，将第二训练样本中的数字心标准切面的第三位置参数输入初始位置网络模型，得到数字心标准切面的第四位置参数；将第二训练样本中的数字心标准切面的第二姿态参数输入初始姿态网络模型，得到数字心标准切面的第三姿态参数；其中，第二训练样本中数字心标准切面对应的第二预测位姿信息包括：第四位置参数和第三位姿参数。
[0201]
在一个实施例中，第三获取模块，包括：第四确定单元，用于从探头位置库中确定数字心标准切面对应的初始探头位姿信息；第一处理单元，用于对数字心标准切面对应的初始探头位姿信息进行数据处理，得到数字心标准切面对应的探头位姿样本。
[0202]
在一个实施例中，数字心标准切面对应的初始探头位姿信息包括：数字心标准切面的第五位置参数和第一欧拉角姿态参数，第一处理单元具体用于：根据第一欧拉角姿态参数得到数字心标准切面的第三旋转仿射矩阵；将第三旋转仿射矩阵展开为对应的第四姿态参数；将第五位置参数和第四姿态参数作为数字心标准切面对应的探头位姿样本。
[0203]
在一个实施例中，第三获取模块，包括：第五确定单元，用于从数字心标准切面位置库中确定数字心标准切面对应的位姿信息；第二处理单元，用于对数字心标准切面对应的位姿信息进行数据处理，得到数字心标准切面的位姿标注信息。
[0204]
在一个实施例中，数字心标准切面对应的位姿信息包括：数字心标准切面的第六
位置参数和第二欧拉角姿态参数，第二处理单元具体用于：根据第二欧拉角姿态参数得到数字心标准切面的第四旋转仿射矩阵；将第四旋转仿射矩阵展开为对应的第五姿态参数；将第六位置参数和第五姿态参数作为数字心标准切面对应的位姿标注信息。
[0205]
本技术实施例提供的超声检测装置可以用于执行本技术上述超声检测方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0206]
上述超声检测装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0207]
基于同样的发明构思，本技术实施例还提供了一种用于实现上述所涉及的数字心切面网络模型的训练方法的训练装置。该装置所提供的解决问题的实现方案与上述方法中所记载的实现方案相似，故下面所提供的一个或多个数字心切面网络模型的训练装置实施例中的具体限定可以参见上文中对于数字心切面网络模型的训练方法的限定，在此不再赘述。
[0208]
在一个实施例中，图12为本技术一个实施例中数字心切面网络模型的训练装置的结构示意图，本技术实施例提供的数字心切面网络模型的训练装置可以应用于电子设备中。如图12所示，本技术实施例的数字心切面网络模型的训练装置，可以包括：获取模块1201和训练模块1202。
[0209]
其中，获取模块1201，用于获取多个第一训练样本，其中，第一训练样本包括：超声视频帧样本和对应的数字心切面的位姿标注信息；训练模块1202，用于根据多个第一训练样本对第一初始神经网络模型进行训练，得到第一数字心切面网络模型；其中，第一数字心切面网络模型用于得到超声视频帧对应的当前数字心切面的第一预测位姿信息，并根据第一预测位姿信息和目标数字心切面的目标位姿信息，输出扫描提示信息；扫描提示信息用于指示从当前数字心切面切换为目标数字心切面对应的超声检测设备的探头运动方式。
[0210]
本技术实施例提供的数字心切面网络模型的训练装置可以用于执行本技术上述数字心切面网络模型的训练方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0211]
上述数字心切面网络模型的训练装置中的各个模块可全部或部分通过软件、硬件及其组合来实现。上述各模块可以硬件形式内嵌于或独立于电子设备中的处理器中，也可以以软件形式存储于电子设备中的存储器中，以便于处理器调用执行以上各个模块对应的操作。
[0212]
在一个实施例中，图13为本技术一个实施例中电子设备的结构示意图，可选地，该电子设备可以是超声检测设备或者计算机设备。如图13所示，本技术实施例提供的电子设备可以包括通过系统总线连接的处理器、存储器、通信接口和显示单元。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质和内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的设备进
行有线或无线方式的通信。该计算机程序被处理器执行时以实现本技术上述超声检测方法实施例或者上述数字心切面网络模型的训练方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0213]
示例性地，电子设备的显示单元用于形成视觉可见的画面，可以是显示屏、投影装置或虚拟现实成像装置。其中，显示屏可以包括但不限于液晶显示屏或者电子墨水显示屏。
[0214]
应理解，若电子设备为超声检测设备，电子设备还可以包括但不限于探头。若电子设备为计算机设备，电子设备还可以包括但不限于输入装置，该输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外接的键盘、触控板或鼠标等。
[0215]
本领域技术人员可以理解，图13中示出的结构，仅仅是与本技术方案相关的部分结构的框图，并不构成对本技术方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
[0216]
在一个实施例中，还提供了一种电子设备，包括存储器和处理器，存储器中存储有计算机程序，该处理器执行计算机程序时实现本技术上述超声检测方法实施例或者上述数字心切面网络模型的训练方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0217]
在一个实施例中，还提供了一种数字心切面网络模型的训练系统，训练系统包括但不限于：超声检测设备、计算机设备，以及设置于超声检测设备中的探头上的多自由度传感器；其中，多自由度传感器用于检测探头的位姿信息；计算机设备用于获取超声检测设备的多个超声视频帧和多个视频帧分别对应的探头的位姿信息，并根据多个超声视频帧和分别对应的探头的位姿信息获取多个训练样本；其中，多个训练样本可以用于对初始神经网络模型进行训练得到数字心切面网络模型。
[0218]
需要说明的是，本技术实施例中的具体实现方式，可以参考本技术上述超声检测方法实施例或者上述数字心切面网络模型的训练方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0219]
在一个实施例中，还提供了一种计算机可读存储介质，其上存储有计算机程序，计算机程序被处理器执行时实现本技术上述超声检测方法实施例或者上述数字心切面网络模型的训练方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0220]
在一个实施例中，还提供了一种计算机程序产品，包括计算机程序，该计算机程序被处理器执行时实现本技术上述超声检测方法实施例或者上述数字心切面网络模型的训练方法实施例中的技术方案，其实现原理和技术效果类似，此处不再赘述。
[0221]
本领域普通技术人员可以理解实现上述实施例方法中的全部或部分流程，是可以通过计算机程序来指令相关的硬件来完成，的计算机程序可存储于一非易失性计算机可读取存储介质中，该计算机程序在执行时，可包括如上述各方法的实施例的流程。其中，本技术所提供的各实施例中所使用的对存储器、数据库或其它介质的任何引用，均可包括非易失性和易失性存储器中的至少一种。非易失性存储器可包括只读存储器（read-only memory，rom）、磁带、软盘、闪存、光存储器、高密度嵌入式非易失性存储器、阻变存储器（reram）、磁变存储器（magnetoresistive random access memory，mram）、铁电存储器
（ferroelectric random access memory，fram）、相变存储器（phase change memory，pcm）、石墨烯存储器等。易失性存储器可包括随机存取存储器（random access memory，ram）或外部高速缓冲存储器等。作为说明而非局限，ram可以是多种形式，比如静态随机存取存储器（static random accessmemory，sram）或动态随机存取存储器（dynamic random access memory，dram）等。本技术所提供的各实施例中所涉及的处理器可为通用处理器、中央处理器、图形处理器、数字信号处理器、可编程逻辑器、基于量子计算的数据处理逻辑器等，不限于此。
[0222]
以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0223]
以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。

技术特征：
1.一种超声检测方法，其特征在于，所述方法包括：根据超声视频帧和第一数字心切面网络模型，得到当前数字心切面的第一预测位姿信息；根据所述第一预测位姿信息和目标数字心切面的目标位姿信息，输出扫描提示信息，其中，所述扫描提示信息用于指示从所述当前数字心切面切换为所述目标数字心切面对应的超声检测设备的探头运动方式。2.根据权利要求1所述的方法，其特征在于，所述根据超声视频帧和第一数字心切面网络模型，得到当前数字心切面的第一预测位姿信息，包括：将所述超声视频帧输入所述第一数字心切面网络模型，得到所述当前数字心切面的预测位置参数和预测姿态参数；根据所述预测位置参数和所述预测姿态参数，确定所述当前数字心切面的第一预测位姿信息。3.根据权利要求2所述的方法，其特征在于，所述根据所述预测位置参数和所述预测姿态参数，确定所述当前数字心切面的第一预测位姿信息，包括：对所述预测姿态参数重组为预设维度的第一中间矩阵；对所述第一中间矩阵进行奇异值分解正交化处理，得到所述当前数字心切面的预测旋转仿射矩阵；将所述预测位置参数和所述预测旋转仿射矩阵，作为所述当前数字心切面的第一预测位姿信息。4.根据权利要求1-3中任一项所述的方法，其特征在于，所述根据第一预测位姿信息和目标数字心切面的目标位姿信息，输出扫描提示信息，包括：根据所述第一预测位姿信息和所述目标位姿信息，确定位姿偏移量；根据所述位姿偏移量，输出所述扫描提示信息。5.根据权利要求4所述的方法，其特征在于，所述当前数字心切面的第一预测位姿信息包括：所述当前数字心切面的预测位置参数和预测旋转仿射矩阵，所述目标数字心切面的目标位姿信息包括：所述目标数字心切面的目标位置参数和目标旋转仿射矩阵，所述根据所述第一预测位姿信息和所述目标位姿信息，确定位姿偏移量，包括：根据所述预测位置参数和所述目标位置参数，确定所述当前数字心切面相对于所述目标数字心切面的空间偏移量参数；根据所述预测旋转仿射矩阵和所述目标旋转仿射矩阵，确定所述当前数字心切面与所述目标数字心切面之间的切换旋转仿射矩阵；根据所述切换旋转仿射矩阵，得到所述当前数字心切面相对于所述目标数字心切面的位姿偏移量参数；其中，所述位姿偏移量包括所述空间偏移量参数和所述位姿偏移量参数。6.根据权利要求1-3中任一项所述的方法，其特征在于，所述扫描提示信息包括第一扫描提示信息和第二扫描提示信息；其中，所述第一扫描提示信息用于指示从所述当前数字心切面切换为所述目标数字心切面对应的所述探头的空间平移运动方式；所述第二扫描提示信息用于指示从所述当前数字心切面切换为所述目标数字心切面对应的所述探头的姿态运动方式。
7.根据权利要求1-3中任一项所述的方法，其特征在于，所述第一数字心切面网络模型的训练方法，包括：获取多个第一训练样本，其中，所述第一训练样本包括：超声视频帧样本和对应的数字心切面的位姿标注信息；根据所述多个第一训练样本对第一初始神经网络模型进行训练，得到所述第一数字心切面网络模型。8.根据权利要求7所述的方法，其特征在于，获取多个第一训练样本，包括：对于任意所述第一训练样本，获取所述第一训练样本中的超声视频帧样本和所述超声视频帧样本对应的数字心切面的初始位姿信息；根据所述数字心切面的初始位姿信息，确定所述数字心切面的位姿标注信息。9.根据权利要求8所述的方法，其特征在于，所述数字心切面的初始位姿信息包括：所述数字心切面的第一位置参数和第一旋转仿射矩阵，所述根据所述数字心切面的初始位姿信息，确定所述数字心切面的位姿标注信息，包括：将所述第一旋转仿射矩阵展开为一维的第一姿态向量；将所述第一位置参数和所述第一姿态向量作为所述数字心切面的位姿标注信息。10.根据权利要求8所述的方法，其特征在于，所述数字心切面的初始位姿信息的获取方式包括：获取所述超声视频帧样本对应的探头位姿信息；根据所述探头位姿信息和第二数字心切面网络模型，得到所述探头位姿信息对应的数字心切面的第二位置参数和第一姿态参数；根据所述第二位置参数和所述第一姿态参数，确定所述数字心切面的初始位姿信息。11.根据权利要求10所述的方法，其特征在于，所述根据所述第二位置参数和所述第一姿态参数，确定所述数字心切面的初始位姿信息，包括：对所述第一姿态参数重组为预设维度的第二中间矩阵；对所述第二中间矩阵进行奇异值分解正交化处理，得到所述数字心切面的第二旋转仿射矩阵；将所述第二位置参数和所述第二旋转仿射矩阵，作为所述数字心切面的初始位姿信息。12.根据权利要求1-3中任一项所述的方法，其特征在于，所述第一数字心切面网络模型包括：级联的特征提取模块、时序融合模块和位姿运动模块；其中，所述特征提取模块包括多个子特征提取模块，所述位姿运动模块包括多个子位姿运动模块，所述子位姿运动模块包括级联的切面分类头、切面平移回归头和切面旋转回归头。13.根据权利要求10所述的方法，其特征在于，所述第二数字心切面网络的训练方法，包括：获取多个第二训练样本，其中，所述第二训练样本包括：数字心标准切面对应的探头位姿样本和所述数字心标准切面的位姿标注信息；根据所述多个第二训练样本对第二初始神经网络模型进行训练，得到所述第二数字心切面网络模型。14.根据权利要求13所述的方法，其特征在于，所述根据所述多个第二训练样本对第二
初始神经网络模型进行训练，得到所述第二数字心切面网络模型，包括：将所述多个第二训练样本中的数字心标准切面对应的探头位姿样本输入所述第二初始神经网络模型，得到所述多个第二训练样本中的数字心标准切面分别对应的第二预测位姿信息；根据所述多个第二训练样本中的数字心标准切面的位姿标注信息和所述多个第二训练样本中的数字心标准切面分别对应的第二预测位姿信息，构建损失函数；根据所述损失函数更新所述第二初始神经网络模型中的参数，以得到更新后的第二初始神经网络模型，并迭代执行上述训练过程，直到所述更新后的第二初始神经网络模型达到预设收敛条件，以得到所述第二数字心切面网络模型。15.根据权利要求14所述的方法，其特征在于，所述第二初始神经网络模型包括：初始位置网络模型和初始姿态网络模型，任意所述第二训练样本中的数字心标准切面对应的探头位姿样本包括：所述数字心标准切面的第三位置参数和第二姿态参数，所述将所述多个第二训练样本中的探头位姿样本输入所述第二初始神经网络模型，得到所述多个第二训练样本分别对应的第二预测位姿信息，包括：对于任意所述第二训练样本，将所述第二训练样本中的数字心标准切面的第三位置参数输入所述初始位置网络模型，得到所述数字心标准切面的第四位置参数；将所述第二训练样本中的数字心标准切面的第二姿态参数输入所述初始姿态网络模型，得到所述数字心标准切面的第三姿态参数；其中，所述第二训练样本中所述数字心标准切面对应的第二预测位姿信息包括：所述第四位置参数和所述第三位姿参数。16.根据权利要求13所述的方法，其特征在于，所述第二训练样本中的数字心标准切面对应的探头位姿样本的获取方式，包括：从探头位置库中确定所述数字心标准切面对应的初始探头位姿信息；对所述数字心标准切面对应的初始探头位姿信息进行数据处理，得到所述数字心标准切面对应的探头位姿样本。17.根据权利要求16所述的方法，其特征在于，所述数字心标准切面对应的初始探头位姿信息包括：所述数字心标准切面的第五位置参数和第一欧拉角姿态参数，所述对所述数字心标准切面对应的初始探头位姿信息进行数据处理，得到所述数字心标准切面对应的探头位姿样本，包括：根据所述第一欧拉角姿态参数得到所述数字心标准切面的第三旋转仿射矩阵；将所述第三旋转仿射矩阵展开为对应的第四姿态参数；将所述第五位置参数和所述第四姿态参数作为所述数字心标准切面对应的探头位姿样本。18.根据权利要求13所述的方法，其特征在于，所述第二训练样本中的数字心标准切面的位姿标注信息的获取方式包括，包括：从数字心标准切面位置库中确定所述数字心标准切面对应的位姿信息；对所述数字心标准切面对应的位姿信息进行数据处理，得到所述数字心标准切面的位姿标注信息。19.根据权利要求18所述的方法，其特征在于，所述数字心标准切面对应的位姿信息包括：所述数字心标准切面的第六位置参数和第二欧拉角姿态参数，所述对所述数字心标准
切面对应的位姿信息进行数据处理，得到所述数字心标准切面的位姿标注信息，包括：根据所述第二欧拉角姿态参数得到所述数字心标准切面的第四旋转仿射矩阵；将所述第四旋转仿射矩阵展开为对应的第五姿态参数；将所述第六位置参数和所述第五姿态参数作为所述数字心标准切面对应的位姿标注信息。20.一种数字心切面网络模型的训练方法，其特征在于，所述数字心切面网络模型为第一数字心切面网络模型，所述方法包括：获取多个第一训练样本，其中，所述第一训练样本包括：超声视频帧样本和对应的数字心切面的位姿标注信息；根据所述多个第一训练样本对第一初始神经网络模型进行训练，得到所述第一数字心切面网络模型；其中，所述第一数字心切面网络模型用于得到超声视频帧对应的当前数字心切面的第一预测位姿信息，并根据所述第一预测位姿信息和目标数字心切面的目标位姿信息，输出扫描提示信息；所述扫描提示信息用于指示从所述当前数字心切面切换为所述目标数字心切面对应的超声检测设备的探头运动方式。21.一种超声检测装置，其特征在于，所述装置包括：获取模块，用于根据超声视频帧和第一数字心切面网络模型，得到当前数字心切面的第一预测位姿信息；输出模块，用于根据所述第一预测位姿信息和目标数字心切面的目标位姿信息，输出扫描提示信息，其中，所述扫描提示信息用于指示从所述当前数字心切面切换为所述目标数字心切面对应的超声检测设备的探头运动方式。22.一种数字心切面网络模型的训练装置，其特征在于，所述数字心切面网络模型为第一数字心切面网络模型，所述装置包括：获取模块，用于获取多个第一训练样本，其中，所述第一训练样本包括：超声视频帧样本和对应的数字心切面的位姿标注信息；训练模块，用于根据所述多个第一训练样本对第一初始神经网络模型进行训练，得到所述第一数字心切面网络模型；其中，所述第一数字心切面网络模型用于得到超声视频帧对应的当前数字心切面的第一预测位姿信息，并根据所述第一预测位姿信息和目标数字心切面的目标位姿信息，输出扫描提示信息；所述扫描提示信息用于指示从所述当前数字心切面切换为所述目标数字心切面对应的超声检测设备的探头运动方式。23.一种电子设备，包括存储器和处理器，所述存储器存储有计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至20中任一项所述的方法的步骤。24.一种数字心切面网络模型的训练系统，其特征在于，所述训练系统包括：超声检测设备、计算机设备，以及设置于所述超声检测设备中的探头上的多自由度传感器；其中，所述多自由度传感器用于检测所述探头的位姿信息；所述计算机设备用于获取所述超声检测设备的多个超声视频帧和所述多个视频帧分别对应的所述探头的位姿信息，并根据所述多个超声视频帧和分别对应的所述探头的位姿信息获取多个训练样本；其中，所述多个训练样本用于对初始神经网络模型进行训练得到
所述数字心切面网络模型。25.一种计算机可读存储介质，其上存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现权利要求1至20中任一项所述的方法的步骤。26.一种计算机程序产品，包括计算机程序，其特征在于，该计算机程序被处理器执行时实现权利要求1至20中任一项所述的方法的步骤。

技术总结
本申请涉及一种超声检测方法、数字心切面网络模型的训练方法和装置，所述方法包括：根据超声视频帧和第一数字心切面网络模型，得到当前数字心切面的第一预测位姿信息；进一步地，根据第一预测位姿信息和目标数字心切面的目标位姿信息，输出扫描提示信息，其中，扫描提示信息用于指示从当前数字心切面切换为目标数字心切面对应的超声检测设备的探头运动方式。本申请实施例中，实现了对用户使用超声检测设备的探头扫描检测过程中探头运动方式的引导提示，以便于用户可以根据扫描提示信息从当前数字心切面快速地切换为目标数字心切面，使得非超声专业人员也能准确操作超声检测设备，从而可以扩展超声检测设备的使用场景。从而可以扩展超声检测设备的使用场景。从而可以扩展超声检测设备的使用场景。


技术研发人员：陈凌 陈鹏 洪坤磊 蒋逸韬 石思远 崔晨
受保护的技术使用者：深圳微创心算子医疗科技有限公司
技术研发日：2023.07.11
技术公布日：2023/8/9