一种远程触诊方法和系统与流程

1.本说明书涉及医疗领域，特别涉及一种远程触诊方法和系统。


背景技术：

2.现实生活中，由于种种原因，患者和医生可能分隔两地，患者无法面对面接受医生的触诊。因此，目前希望提供一种远程触诊方案。


技术实现要素：

3.本说明书实施例之一提供一种远程触诊方法，所述方法由查体设备执行，其包括：获取就诊者的体征信息并将其发送给第一拓展现实设备，以便第一拓展现实设备基于所述体征信息生成所述就诊者的数字孪生人体模型；接收第一拓展现实设备发送的查体操作信息，所述查体操作信息用于表征目标查体操作；根据所述查体操作信息针对所述就诊者还原所述目标查体操作。
4.本说明书实施例之一提供一种远程触诊系统，所述系统在查体设备上实现，其包括：第一获取模块，用于获取就诊者的体征信息；第一发送模块，用于将所述体征信息发送给第一拓展现实设备，以便第一拓展现实设备基于所述体征信息生成所述患者的数字孪生人体模型；第一接收模块，用于接收第一拓展现实设备发送的查体操作信息，所述查体操作信息用于表征目标查体操作；查体模块，用于根据所述查体操作信息针对所述患者还原所述目标查体操作。
5.本说明书实施例之一提供一种远程触诊方法，所述方法由第一拓展现实设备执行，其包括：获取就诊者的体征信息；基于所述体征信息生成所述就诊者的数字孪生人体模型，并显示所述数字孪生体模型；获取表征目标查体操作的查体操作信息；将所述查体操作信息发送给查体设备，以便所述查体设备根据所述查体操作信息针对所述就诊者还原所述查体操作。
6.本说明书实施例之一提供一种远程触诊系统，所述系统在第一拓展现实设备上实现，其包括：第二获取模块，用于获取就诊者的体征信息；建模模块，用于基于所述体征信息生成所述就诊者的数字孪生人体模型；显示模块，用于显示所述数字孪生体模型；第三获取模块，用于获取目标查体操作的查体操作信息；第二发送模块，用于将所述查体操作信息发送给查体设备，以便所述查体设备根据所述查体操作信息针对所述患者还原所述目标查体操作。
7.本说明书实施例之一提供一种远程触诊装置，包括处理器和存储设备。所述存储设备用于存储指令。其中，当所述处理器执行指令时，实现如本说明书任一实施例所述的远程触诊方法。
8.本说明书实施例之一提供一种远程医疗系统，包括查体设备和第一拓展现实设备。其中，查体设备用于：获取就诊者的体征信息并将其发送给第一拓展现实设备；接收第一拓展现实设备发送的查体操作信息，所述查体操作信息用于表征目标查体操作；根据所
述查体操作信息针对所述就诊者还原所述目标查体操作。第一拓展现实设备用于：获取就诊者的体征信息；基于所述体征信息生成所述就诊者的数字孪生人体模型，并显示所述数字孪生体模型；获取表征目标查体操作的查体操作信息；将所述查体操作信息发送给查体设备。
附图说明
9.本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：
10.图1是根据本说明书一些实施例所示的远程医疗系统的示例性框图；
11.图2是根据本说明书一些实施例所示的体感衣的整体结构以及剖面结构的示意图；
12.图3a和图3b是根据本说明书一些实施例所示的不同患者姿势下机械臂的应用场景示意图；
13.图4是根据本说明书一些实施例所示的患者端的远程触诊系统的示例性模块图；
14.图5是根据本说明书一些实施例所示的医生端的远程触诊系统的示例性模块图；
15.图6是根据本说明书一些实施例所示患者端的远程触诊方法的示例性流程图；
16.图7是根据本说明书一些实施例所示医生端的远程触诊方法的示例性流程图。
具体实施方式
17.为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
18.应当理解，本文使用的“系统”、“装置”、“单元”和/或“模组”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
19.如本说明书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
20.本说明书中使用了流程图用来说明根据本说明书的实施例的系统所执行的操作。应当理解的是，前面或后面操作不一定按照顺序来精确地执行。相反，可以按照倒序或同时处理各个步骤。同时，也可以将其他操作添加到这些过程中，或从这些过程移除某一步或数步操作。
21.本说明书实施例提供一种远程触诊方法和系统。所述方法和系统依托拓展现实技术向医生展示患者的数字孪生人体模型。医生可以通过所述数字孪生人体模型全面、直观地了解患者的身体情况，并决定目标查体操作。表征目标查体操作的查体操作信息被传输
至患者端，以便针对患者还原目标查体操作。
22.可以理解，查体操作(如目标查体操作)是指通过触碰人体表面实现医学检查目的的操作，例如，查体操作可以是对小腿进行按压的操作，患者对该按压操作的反馈(如是否疼痛)可以作为医生做出诊断意见的参考或依据。另外，实施查体操作的不一定是医生，也可以是其他操作者，例如，医师、护士、理疗师等。接受查体操作的不一定是患者，也可以是其他就诊者，例如，受试者(接受试验的人)、仿真人体等。为了方便描述，本文主要以现实中常见的患者和医生为例进行说明。
23.本说明书实施例提供的远程触诊方法和系统可以应用于各种场景。仅作为示例，在一个场景中，患者当地的医生数量不足，患者可以接受外地医生的远程触诊。在另一场景中，患者行动不便或者不想出门，患者可以远程接受医生的触诊。在又一场景中，当患者和医生之间的交通被管制时，患者可以远程接受医生的触诊。
24.图1是根据本说明书一些实施例所示的远程医疗系统的示例性框图。如图1所示，系统100可以包括查体设备110、第一拓展现实设备120和网络130。查体设备110可以包括控制器和外设。查体设备110中的外设可以包括但不限于传感器、第一体感穿戴设备以及机械臂。第一拓展现实设备120可以包括控制器和外设，第一拓展现实设备120中的外设包括但不限于头戴式显示器、虚拟触觉设备和第二体感穿戴设备。
25.查体设备110可以划归患者端。患者端的至少一部分(如外设)可以位于患者接受远程触诊的场所(视为本地)。例如，患者端可以位于患者家或者患者所在社区的医疗室。第一拓展现实设备120可以划归医生端。医生端的至少一部分(如外设)可以位于医生提供远程触诊的场所。例如，医生端可以位于医院、医生家或者医生所在社区的医疗室(视为本地)。在一些实施例中，可以将患者端/医生端的至少部分处理逻辑部署于远程服务器(如公有云、私有云或混合云)。例如，可以将图5所示的建模模块520部署于远程服务器，本地的头戴式显示器可以从远程服务器接收其生成的数字孪生人体模型。
26.查体设备110可以获取患者的体征信息并将其发送给第一拓展现实设备120。患者的体征信息可以用于生成其数字孪生人体模型。数字孪生人体模型(简称数字孪生体)是计算机(如第一拓展现实设备120)生成的真实人体的虚拟映射。
27.所述体征信息可以包括一个或多个生理指标的指标值。在一些实施例中，所述体征信息可以包括人体尺寸、人体姿态、体温、心率、脉搏、血压、血氧饱和度、肤色、皮表平整度、气味等信息中的一种或多种。在一些实施例中，人体尺寸可以包括身高、臂展、腿长、肩宽、头围、胸围、腰围、臀围等中的一项或多项。
28.在一些实施例中，查体设备110可以包括传感器，所述体征信息可以通过所述传感器获取。例如，对于人体尺寸/姿态，可以通过位置传感器采集多个预设位置(如关节位置)的坐标，这些特征位置的坐标可构成人体尺寸/姿态。又例如，对于人体姿态，可以通过角速度传感器(俗称陀螺仪)采集多个人体部位(如大臂、小臂、大腿、小腿)的角度，这些部位的角度可构成人体姿态。再例如，对于体温/心率/脉搏/血压/血氧饱和度/肤色/皮表平整度/气味，可以通过专门的传感器(如体温传感器/心率传感器/脉搏传感器/血压传感器/血氧饱和度传感器/双目3d相机/气味传感器)获取其数值或标签。又例如，可以通过智能听诊器采集来自人体的各种声音(如来自心、肝、肺等器官的声音、脉搏声音、血管声音等)，智能听诊器是一种取消了人耳与听头的物理连接，采用蓝牙无线等通信手段传输音频的新型听诊
器。
29.在一些实施例中，传感器可以集成在可穿戴设备中。例如，可以将多种传感器集成在智能手表中，同时实现对体温、心率、脉搏、血压和血氧饱和度的测量。又如，可以将位置传感器、压力传感器集成在体感衣中。
30.查体设备110还可以根据医生端的第一拓展现实设备120发送的查体操作信息，针对患者还原目标查体操作。
31.在一些实施例中，查体设备110可以包括第一体感穿戴设备，第一体感穿戴设备可以用于根据所述查体操作信息针对患者还原医生的查体操作。具体地，第一体感穿戴设备的一个或多个部位可以设置有触觉模拟装置，用于模拟患者接受查体操作时的触感。所述触觉模拟装置可以包括振动装置(如振动马达)、微电流刺激装置和气囊装置等中的一种或多种。其中，微电流刺激装置的刺激强度在能保证人体安全、不危害人体健康的范围内(如0～500μa)，气囊装置通过控制气囊的面积和压力来模拟患者接受查体操作时的触感(如被手指按压皮肤的感觉)。参考前述内容，第一体感穿戴设备的一个或多个部位还可以设置有传感器，所述传感器可以用于获取患者的体征信息。在一些实施例中，第一体感穿戴设备中同一部位的触觉模拟装置和传感器可以相互集成。
32.本说明书对体感穿戴设备(如第一体感穿戴设备)的实现形式不做具体限制。在一些实施例中，体感穿戴设备可以包括体感衣，体感衣可以覆盖人体多个部位，在大范围检查(如半身检查、全身检查)中可用性高。在一些实施例中，体感穿戴设备可以专门用于局部检查，例如，头部检查、手部检查、脚部检查、膝部检查，相应地，体感穿戴设备可以被设计成仅能覆盖单个人体部位，例如，体感穿戴设备可以被设计成帽子、手套、袜子、护膝的形状。
33.在一些实施例中，第一体感穿戴设备(如体感衣)还可以用于辅助患者摆出特定的体位和/或完成特定的动作，以便达到治疗目的(例如，耳石症的治疗)。具体地，第一体感穿戴设备中的姿态传感器(如陀螺仪)可以检测患者是否摆出预期的体位，第一体感穿戴设备中的运动传感器(如加速度传感器)可以检测患者的运动模式(例如模式0表示未完成动作，模式1表示完成动作)。
34.在一些实施例中，当检测到患者的当前体位与目标体位存在偏差时，查体设备110可以根据所述偏差引导患者修正当前体位。例如，目标体位是将胳膊抬至目标高度，当检测到患者的胳膊的当前高度未达到目标高度时，查体设备110可以控制第一体感穿戴设备中胳膊位置的气囊装置输出沿胳膊抬升方向的压力，患者感受到该压力后，可以继续抬升胳膊。当查体设备110(如陀螺仪)检测到患者胳膊的高度达到目标高度时，可以控制第一体感穿戴设备中胳膊位置的振动装置或电流刺激装置输出提示信号(振动或电流形式)，以提示患者已摆至目标体位。
35.图2是根据本说明书一些实施例所示的体感衣的整体结构以及剖面结构的示意图。
36.如图2所示，体感衣200可以是多层结构，振动装置210、微电流刺激装置220、气囊装置230可以分别嵌设于3个结构层中。其中，气囊装置230位于最内层以便患者穿上体感衣后与患者体表紧贴。
37.为了确保触感的有效传递以及数据测量的准确性，体感衣可以采用高弹性材料制成，患者穿上合适尺寸的体感衣后可以达到紧身效果。
38.在一些实施例中，查体设备110可以包括机械臂，机械臂可以用于根据所述查体操作信息针对患者还原目标查体操作。在一些实施例中，机械臂的操作端可以采用人手的仿真设计，以还原出更加真实的查体操作。仅作为示例，参考图3a和图3b，查体设备110可以包括具备一定自由角度的第一机械臂310和第二机械臂320，利用这两个机械臂，可以实现对医生单手或者双手查体操作的还原。
39.根据前述内容，在一些实施例中，可以利用第一体感穿戴设备中的位置传感器对患者体表进行定位，即，第一体感穿戴设备可以具备定位功能(可将体感衣视为定位设备)。在替代性的实施例中，还可以通过超声波定位设备和/或风力定位设备对患者体表进行定位。本说明书中，对患者体表进行定位的信息可以用于生成数字孪生体、操作(如查体操作)定位、坐标转换等。超声波定位设备和/或风力定位设备可以布置在患者周围，通过向患者发射探测波(超声波/风)并接收患者体表反射(散射)的回波，可以实现对患者体表的定位。参考图3a，当患者以站立姿势接受触诊时，定位设备可以布置在患者所处空间周围的环形空间内。参考图3b，当患者躺在床上接受触诊时，定位设备可以布置在患者所处的区域的上方。
40.在一些实施例中，定位设备在使用时可以穿戴在患者身上。例如，定位设备可以集成于体感衣，其可以包括设置于体感衣的一个多个部位的位置传感器。
41.在一些实施例中，定位设备在使用时可以与患者保持一定距离。例如，定位设备可以包括超声波定位设备和/或风力定位设备。
42.第一拓展现实设备120可以获取患者的体征信息，基于所述体征信息生成患者的数字孪生体，并显示所述数字孪生体。
43.扩展现实(extended reality，xr)是虚拟现实(virtual reality，vr)、增强现实(augmented reality，ar)和混合现实(mixed reality，mr)的统称。下面对这三种技术分别进行介绍。
44.虚拟现实(vr)运用计算机技术创建一个虚拟场景，用户可以使用头戴式显示器(简称头显)可以观察虚拟场景中的虚拟对象，并且可以使用其他外设(也额可称作配件)与虚拟对象进行交互。例如，用户可以使用vr眼镜观察虚拟场景中的虚拟用户界面、虚拟角色等，并且使用vr手柄在用户界面进行输入、与虚拟角色互动等。
45.增强现实(ar)通过计算机技术对真实世界做出感应，生成虚拟信息层并将其叠加至裸眼可见的真实背景(例如，将车速和导航信息显示在车辆前挡风玻璃上)，从而完成真实与虚拟的结合。
46.混合现实(mr)运用计算机技术将现实世界和虚拟场景混合在一起，允许虚拟场景与真实世界之间产生交互，例如，虚拟角色遇到真实的障碍物会绕行。类似于vr，用户通过mr头显可以看到混合场景中的真实对象(如真实房屋)和虚拟对象(如虚拟用户界面、虚拟角色)。
47.基于第一拓展现实设备120，医生可以观察到患者的数字孪生体并与之进行交互。取决于使用的具体技术(vr/ar/mr)，数字孪生体的可视化和/或与数字孪生体的交互可以通过外设(如头显、交互手柄)实现，也可以不通过外设实现(如裸眼可见、空手实现交互)。
48.在一些实施例中，第一拓展现实设备120可以包括由手部穿戴的虚拟触觉设备，所述虚拟触觉设备可以用于模拟医生针对患者实施目标查体操作时的触感。医生可以通过所
述虚拟触觉设备对患者的数字孪生体实施目标查体操作，同时获得直观的触觉反馈。所述虚拟触觉设备可以充当医生端的第一拓展现实设备120(如vr设备、mr设备)的交互外设，医生可以通过所述虚拟触觉设备对虚拟场景中的数字孪生体实施目标查体操作，第一拓展现实设备120可以捕获所述目标查体操作并生成相应的查体操作信息。
49.所述虚拟触觉设备的一个或多个部位可以设置有触觉模拟装置(如气囊装置)以及传感器(如位置传感器、陀螺仪)。关于触觉模拟装置和传感器的更多细节，可以参考体感衣的相关描述。
50.本说明书对所述虚拟触觉设备的实现形式不做具体限制。例如，所述虚拟触觉设备可以包括虚拟触觉手套。又如，所述虚拟触觉设备可以包括仅手指部位穿戴的虚拟触觉指套。
51.在一些实施例中，远程医疗系统100还可以包括供患者使用的第二拓展现实设备140。关于第二拓展现实设备140的具体实现，可以参考前文有关第一拓展现实设备120的描述。医生端和患者端的拓展现实设备可以建立通信连接，从而，患者和医生可以通过各自的拓展现实设备进行远程交流。例如，vr设备/mr设备的头显可以具备语音输入和语音输出功能，患者和医生可以通过拓展现实设备进行语音交流。又如，医生可以在第一拓展现实设备120的用户界面输入权限请求，该请求可以由医生端的第一拓展现实设备120转发至患者端的第二拓展现实设备140。进而，患者可以在第二拓展现实设备140的用户界面查看并处理该权限请求，处理结果可以反馈至医生端的第一拓展现实设备120。
52.在一些实施例中，第一拓展现实设备120可以包括由医生穿戴的第二体感穿戴设备，例如，由医生穿戴的体感衣。第二体感穿戴设备的一个或多个部位可以设置有传感器。在一些实施例中，所述传感器可以包括位置传感器和压力传感器，用于检测目标查体位置(例如，表示为空间坐标)以及在目标查体位置施加的压力(例如，表示为压力值和压力方向)。医生穿戴第二体感穿戴设备(如体感衣)后，可以对第二体感穿戴设备实施目标查体操作(记为p1)。第二体感穿戴设备检测到目标查体操作p1对应的查体位置(记为q1)以及在该查体位置施加的压力后，医生端的控制器可以生成相应的查体操作信息，并将所述查体操作信息发送至患者端的控制器，以便：患者端的控制器根据所述查体操作信息，控制患者端的第一体感穿戴设备(如体感衣)还原医生的查体操作。第一体感穿戴设备实施的查体操作可记为p2，查体操作p2的操作位置可记为q2。值得说明的是，医生和患者的体表通常是无法对齐的，因此，需要将医生体表的操作位置q1转换成患者体表的操作位置q2，位置q1和位置q2之间的换算关系可以基于患者的人体尺寸和医生的人体尺寸确定，例如，基于两者的人体尺寸比例确定。
53.在一些实施例中，远程医疗系统100还可以包括患者端的图像采集设备150(例如，360度全景摄像机)。图像采集设备150可以拍摄患者的实时图像(平面或立体图像)并将其发送给第一拓展现实设备120，由第一拓展现实设备120显示患者的实时图像。值得说明的是，相较于患者的实时图像，患者的数字孪生体可以侧重于展示患者的不可见(仅凭肉眼不易察觉或无法看见)体征信息，例如，患者的数字孪生体可以动态标注有患者的心率、体温、心率、脉搏、血压、血氧饱和度、气味等生理指标的指标值。另外，理论上同一患者的实时图像和数字孪生体在体貌上并无差异，当医生观察到同一患者的实时图像和数字孪生体在体貌上出现较大差异时，说明系统可能出现异常(如网络波动、计算结果偏差过大)，相关人员
可以采取一定的措施来确保远程触诊的正常进行，例如，改善网络质量、重新生成数字孪生体等。
54.网络130可以用于促进患者端和医生端之间信息和/或数据的传输。例如，查体设备110可以通过网络130将患者的体征信息发送给第一拓展现实设备120，图像采集设备150可以通过网络130将患者的实时图像发送给第一拓展现实设备120。又例如，第一拓展现实设备120可以通过网络130将查体操作信息发送给查体设备110。再例如，患者端的第一拓展现实设备120和医生端的第二拓展现实设备140可以通过网络130进行通话。
55.出于保护隐私的目的，查体操作、个人信息(如体征信息)的采集、存储和使用都应当在征得患者同意的前提下进行。在一些实施例中，患者可以通过本地的第二拓展现实设备140设置隐私权限。例如，对于隐私部位，患者可以拒绝开放检查权限以及相关体征信息的采集权限。在一些实施例中，医生可以通过本地的第一拓展现实设备120向患者端的第二拓展现实设备140请求权限，相应地，患者可以通过本地的第二拓展现实设备140确认是否开放被请求的权限。例如，当需要对某个部位实施目标查体操作时，医生可以通过本地的第一拓展现实设备120向患者端的第二拓展现实设备140临时请求该部位的检查权限，相应地，患者可以通过本地的第二拓展现实设备140确认是否开放该部位的检查权限。又如，当有必要复诊时，医生可以通过本地的第一拓展现实设备120向患者端的第二拓展现实设备140请求本次诊断的相关数据(如体征信息、实时图像)的保存权限，相应地，患者可以通过本地的第二拓展现实设备140确认是否诊断数据的检查权限。
56.处于患者的人身安全考虑，系统100可以具备必要的安全机制。例如，体感穿戴设备/机械臂输出的压力的大小可以被限制为不超过符合安全要求的阈值。又例如，微电流刺激装置输出的电流的大小可以被限制为不超过符合安全要求的阈值。再例如，患者可以从最低值开始逐级体验系统100输出的压力/电流，直至患者确认当前体验的压力/电流的数值为可承受的上限值。
57.关于系统100的更多细节，可以参考图6、图7及其相关描述。
58.图4是根据本说明书一些实施例所示的患者端的远程触诊系统的示例性模块图。系统400可以在查体设备110上实现。
59.如图4所示，系统400可以包括第一获取模块410、第一发送模块420、第一接收模块430和查体模块440。
60.第一获取模块410可以用于获取患者的体征信息。
61.第一发送模块420可以用于将所述体征信息发送给第一拓展现实设备，以便第一拓展现实设备基于所述体征信息生成所述就诊者的数字孪生人体模型。
62.第一接收模块430可以用于接收第一拓展现实设备发送的查体操作信息，所述查体操作信息用于表征目标查体操作。
63.查体模块440可以用于根据所述查体操作信息针对所述患者还原所述目标查体操作。
64.关于系统400及其模块的更多细节，可以参考图6及其相关描述。
65.图5是根据本说明书一些实施例所示的医生端的远程触诊系统的示例性模块图。系统500可以在第一拓展现实设备120上实现。
66.如图5所示，系统500可以包括第二获取模块510、建模模块520、显示模块530、第三
获取模块540和第二发送模块550。
67.第二获取模块510可以用于获取患者的体征信息。
68.建模模块520可以用于基于所述体征信息生成所述患者的数字孪生人体模型。
69.显示模块530可以用于显示所述数字孪生体模型。
70.第三获取模块540可以用于获取表征目标查体操作的查体操作信息。
71.第二发送模块550可以用于将所述查体操作信息发送给查体设备，以便所述查体设备根据所述查体操作信息针对所述患者还原所述目标查体操作。
72.关于系统500及其模块的更多细节，可以参考图7及其相关描述。
73.应当理解，图4、图5所示的系统及其模块可以利用各种方式来实现。例如，在一些实施例中，系统及其模块可以通过硬件、软件或者软件和硬件的结合来实现。其中，硬件部分可以利用专用逻辑来实现；软件部分则可以存储在存储器中，由适当的指令执行系统，例如微处理器或者专用设计硬件来执行。本领域技术人员可以理解上述的方法和系统可以使用计算机可执行指令和/或包含在处理器控制代码中来实现，例如在诸如磁盘、cd或dvd-rom的载体介质、诸如只读存储器(固件)的可编程的存储器或者诸如光学或电子信号载体的数据载体上提供了这样的代码。本说明书的系统及其模块不仅可以有诸如超大规模集成电路或门阵列、诸如逻辑芯片、晶体管等的半导体、或者诸如现场可编程门阵列、可编程逻辑设备等的可编程硬件设备的硬件电路实现，也可以用例如由各种类型的处理器所执行的软件实现，还可以由上述硬件电路和软件的结合(例如，固件)来实现。
74.需要注意的是，以上对于系统及其模块的描述，仅为描述方便，并不能把本说明书限制在所举实施例范围之内。可以理解，对于本领域的技术人员来说，在了解系统的原理后，可能在不背离这一原理的情况下，对各个模块进行任意组合，或者构成子系统与其他模块连接。例如，在一些实施例中，第一获取模块410和第一发送模块420可以是一个系统中的不同模块，也可以是一个模块实现这两个模块的功能。又如，在一些实施例中，第三获取模块540和第二发送模块550可以是两个模块，也可以合并为一个模块。诸如此类的变形，均在本说明书的保护范围之内。
75.图6是根据本说明书一些实施例所示患者端的远程触诊方法的示例性流程图。在一些实施例中，流程600可以由图1所示的患者端的查体设备110执行，具体地，可以由图4所示的在查体设备110上实现的远程触诊系统400执行。如图6所示，流程600可以包括以下步骤。
76.步骤610，获取患者的体征信息并将其发送给第一拓展现实设备，以便第一拓展现实设备基于所述体征信息生成所述患者的数字孪生体。
77.关于所述体征信息的获取方式，可以参考图1的相关描述。
78.步骤620，接收拓展现实设备发送的查体操作信息，所述查体操作信息用于表征目标查体操作。
79.在一些实施例中，所述查体操作信息可以包括一个或多个查体位置以及在所述一个或多个查体位置施加的操作的类型和/或强度。在一些实施例中，查体位置可以包括人体部位的标识和/或位置点的空间坐标。例如，对于一些对位置精度要求较低的查体操作，查体操作信息中的查体位置可以是人体部位的标识。又如，对于一些对位置精度要求较高的查体操作，查体操作信息中的查体位置可以包括若干位置点的空间坐标。在一些实施例中，
操作的类型可以包括按压、抚摸、叩击等中的一种或多种。在一些实施例中，操作的强度可以划分为多个级别(如低/中/高)。在一些实施例中，操作的强度可以数值化。在一些实施例中，操作的类型可以指压力方向，操作的强度可以指压力值。
80.步骤630，根据所述查体操作信息针对所述患者还原所述目标查体操作。
81.所述还原可指在相同位置施加相同操作，例如，当查体操作信息包括膝盖(作为查体位置)和叩击(作为操作类型)时，所述还原可指对膝盖进行叩击。在一些实施例中，所述还原可指在相同位置施加相同的压力。仅作为示例，假设所述查体操作信息为(s1,l1,f1；s2,l2,f2)，其中，s1和s2均表示查体位置，l1和l2均表示压力方向，f1和f2均表示压力大小。在一些实施例中，查体设备110可以控制体感衣上s1位置的气囊装置施加方向为l1且大小为f1的压力，以及控制体感衣上s2位置的气囊装置施加方向为l2且大小为f2的压力。在一些实施例中，查体设备110可以控制机械臂在体表的s1位置施加方向为l1且大小为f1的压力。需要说明的是，查体操作信息中可以省去压力方向，例如，系统可以默认压力方向垂直指向体表。
82.在一些实施例中，超声波定位设备和/或风力定位设备还可以具备触觉模拟功能，相应地，超声波定位设备和/或风力定位设备(以下统称为定位设备)还可以用于还原所述查体操作。类似于风，超声波也可以被人体感受到。将定位设备布置于封闭环境内(如封闭的室内)后，通过控制发射波的参数，可以实现对患者的精准定位和触觉模拟。以风力定位设备为例，其可以包括风口阵列，查体设备110可以控制风口阵列上多个风口吹出的风的参数，例如，方向、风力大小(风速)、形状、持续时间等等，对患者的精准定位和触觉模拟。可以理解，由于定位设备本身就具备定位功能，其可以精准控制所述查体操作的还原位置。参考前面的例子，所述查体操作信息为(s1,l1,f1；s2,l2,f2)时，查体设备110可以控制定位设备发出的波(超声波或风)的参数，以在患者体表的s1位置施加方向为l1且大小为f1的压力，以及在患者体表的s2位置的气囊装置施加方向为l2且大小为f2的压力。
83.图7是根据本说明书一些实施例所示医生端的远程触诊方法的示例性流程图。流程700可以由图1所示的医生端的第一拓展现实设备120执行，具体地，可以由图5所示的在第一拓展现实设备120上实现的远程触诊系统500执行。如图7所示，流程700可以包括以下步骤。
84.步骤710，获取患者的体征信息。
85.在一些实施例中，医生端获取的体征信息可以全部来自于患者端。在一些实施例中，医生端获取的体征信息也可以部分来自于患者端。例如，患者复诊时，医生端可以从就诊记录中提取该患者的静态体征信息，如人体尺寸。又如，患者可以以对话形式告知医生其性别和身高。可以理解，静态体征信息是指长期(如一年内)保持不变或者至少在在某次触诊期间保持不变的体征信息，静态体征信息包括但不限于前面提到的性别和人体尺寸。
86.步骤720，基于所述体征信息生成所述患者的数字孪生体，并显示所述数字孪生体。
87.数字孪生体可以包括3d人体部分和信息标注部分。
88.3d人体部分可以基于人体尺寸重建。3d人体部分至少包括体表，体表可指人体裸露部分(如皮肤、指甲)或半裸露部分(如鼻孔)。在一些实施例中，3d人体部分还可以包括人体内部结构(如骨骼、器官、血管等)。在一些实施例中，第一拓展现实设备120可以根据患者
的人体尺寸对参考人体模型进行校准，得到患者的数字孪生体的3d人体部分。可以理解，后续的查体操作可以是针对数字孪生体的3d人体部分实施的。
89.信息标注部分可以包括患者的体征信息。例如，第一拓展现实设备120可以在心脏附近标注患者的心率。又如，第一拓展现实设备120可以针对目标皮肤区域标注所述目标皮肤区域的肤色和皮表平整度。在一些实施例中，信息标注部分还可以包括患者的历史诊断数据，例如，第一拓展现实设备120可以标注病灶位置。可以理解，信息标注部分可以为医生决定目标查体操作提供参考。
90.在一些实施例中，医生可以根据需要对3d人体部分进行放大或缩小。可以理解，这里的放大/缩小改变的是3d人体部分的体积，不会改变3d人体部分的形状。
91.在一些实施例中，第一拓展现实设备120可以集成有音频输出装置(如耳机)，其可以实时播放由患者端的智能听诊器采集的来自患者身体的声音(如心音)，以供医生参考。
92.步骤730，获取表征目标查体操作的查体操作信息。
93.在一些实施例中，响应于医生对患者的数字孪生体实施目标查体操作，相应的查体操作信息可以被获取。医生可以通过所述虚拟触觉设备(如虚拟触觉手套)触碰所述数字孪生体，进而触发第一拓展现实设备120(例如，通过视觉技术)捕获目标查体操作并生成相应的查体操作信息。参考步骤620的相关描述，所述查体操作信息可以包括一个或多个查体位置以及在所述一个或多个查体位置施加的操作的类型和/或强度(如压力方向、压力值)。
94.在一些实施例中，响应于检测到交互外设与所述数字孪生体接触(例如，交互外设上的任意位置与体表的任意位置重合)，第一拓展现实设备120(如vr设备、mr设备)可以向用户(医生)确认是否需要生成查体操作信息。响应于用户确定需要生成查体操作信息，第一拓展现实设备120可以向用户继续确认要生成的查体操作信息，例如，确认操作的类型和/或强度(查体位置可以基于前面检测到的接触位置确定)。确认查体操作信息的方式包括但不限于获取用户输入。实际应用中，用户可以通过语音方式输入查体操作信息的至少一部分(如操作类型、压力值)，或者，用户在单手实施目标查体操作时可以用另一只手输入查体操作信息的至少一部分(如操作类型、压力值)。
95.在一些实施例中，所述虚拟触觉设备(如虚拟触觉手套)可以向用户反馈大小等于其输入的压力值的压力，以便用户确认输入的压力值是否有效。当用户确认输入的压力值有效时，第一拓展现实设备120可以基于虚拟触觉手套触碰的位置以及经用户确认有效的压力值生成查体操作信息。在一些实施例中，第一拓展现实设备120还可以通过虚拟触觉手套确定所述查体操作的压力方向。例如，第一拓展现实设备120可以基于虚拟触觉手套中的陀螺仪检测到的角度确定所述查体操作的压力方向。
96.在一些实施例中，第一拓展现实设备120可以根据所述查体操作信息，通过所述虚拟触觉设备(如虚拟触觉手套)模拟对患者实施目标查体操作时医生获得的触感。具体地，所述虚拟触觉设备可以向医生反馈压力，反馈的压力的大小可以等于所述查体操作信息中的压力值相等，反馈的压力的方向可以与所述查体操作信息中的压力方向相反，反馈的位置可以与所述查体操作信息中的查体位置相同。
97.在一些实施例中，响应于检测到用户(医生)的手部与所述数字孪生体接触(例如，手部的任意位置与体表的任意位置重合)，第一拓展现实设备120(如mr设备)可以向用户确定是否需要生成查体操作信息。响应于用户确定需要生成查体操作信息，第一拓展现实设
备120可以向用户继续确认压力值。确认压力值的方式包括但不限于获取用户输入的压力值。实际应用中，用户可以通过语音方式输入压力值，或者，用户在单手实施目标查体操作时可以用另一只手输入压力值。在一些实施例中，第一拓展现实设备120还可以识别用户手部的姿态，以确定所述查体操作的压力方向。
98.在一些实施例中，响应于医生对第二体感穿戴设备(如体感衣)实施目标查体操作，相应的查体操作信息可以被获取。医生可以触碰身上的第二体感穿戴设备(如体感衣)，进而触发第二体感穿戴设备捕获目标查体操作并生成相应的查体操作信息。关于通过第二体感穿戴设备获取查体操作信息的更多细节，可以在图1的相关描述中找到。
99.在一些实施例中，无需实施所述目标查体操作，医生可以直接输入所述查体操作信息，例如，通过语音输入方式和/手动输入的方式输入所述查体操作信息。
100.步骤740，将所述查体操作信息发送给查体设备，以便查体设备根据所述查体操作信息针对所述患者还原所述目标查体操作。
101.在一些实施例中，为了方便查体操作信息的解析，医生端的第一拓展现实设备120可以对所述查体操作信息中的空间坐标进行转换，并将坐标转换后的查体操作信息发送给患者端的查体设备110。在另一些实施例中，患者端的查体设备110接收到所述查体操作信息后，可以对所述查体操作信息中的空间坐标进行转换，进而根据转换坐标后的查体操作信息还原所述查体操作。其中，空间坐标的转换关系可以基于第一拓展现实设备120和查体设备110的坐标系信息确定。进一步地，所述转换关系可以基于第一拓展现实设备120和查体设备110的坐标系信息以及(被实施目标查体操作的)数字孪生体与患者的体积比确定。
102.应当注意的是，上述有关流程的描述仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以对流程进行各种修正和改变。然而，这些修正和改变仍在本说明书的范围之内。
103.本说明书实施例可能带来的有益效果包括但不限于：(1)以患者的数字孪生体为媒介，实现了远程触诊，医生可以通过数字孪生体全面、直观地了解患者的真实身体状态；(2)通过虚拟触觉手套，医生可以体验触诊的真实触感。需要说明的是，不同实施例可能产生的有益效果不同，在不同的实施例里，可能产生的有益效果可以是以上任意一种或几种的组合，也可以是其他任何可能获得的有益效果。
104.上文已对基本概念做了描述，显然，对于本领域技术人员来说，上述详细披露仅仅作为示例，而并不构成对本说明书实施例的限定。虽然此处并没有明确说明，本领域技术人员可能会对本说明书实施例进行各种修改、改进和修正。该类修改、改进和修正在本说明书实施例中被建议，所以该类修改、改进、修正仍属于本说明书示范实施例的精神和范围。
105.同时，本说明书使用了特定词语来描述本说明书的实施例。如“一个实施例”、“一实施例”和/或“一些实施例”意指与本说明书至少一个实施例相关的某一特征、结构或特点。因此，应强调并注意的是，本说明书中在不同位置两次或多次提及的“一实施例”或“一个实施例”或“一个替代性实施例”并不一定是指同一实施例。此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。
106.此外，本领域技术人员可以理解，本说明书实施例的各方面可以通过若干具有可专利性的种类或情况进行说明和描述，包括任何新的和有用的工序、机器、产品或物质的组合，或对他们的任何新的和有用的改进。相应地，本说明书实施例的各个方面可以完全由硬
件执行、可以完全由软件(包括固件、常驻软件、微码等)执行、也可以由硬件和软件组合执行。以上硬件或软件均可被称为“数据块”、“模块”、“引擎”、“单元”、“组件”或“系统”。此外，本说明书实施例的各方面可能表现为位于一个或多个计算机可读介质中的计算机产品，该产品包括计算机可读程序编码。
107.计算机存储介质可能包含一个内含有计算机程序编码的传播数据信号，例如在基带上或作为载波的一部分。该传播信号可能有多种表现形式，包括电磁形式、光形式等，或合适的组合形式。计算机存储介质可以是除计算机可读存储介质之外的任何计算机可读介质，该介质可以通过连接至一个指令执行系统、装置或设备以实现通讯、传播或传输供使用的程序。位于计算机存储介质上的程序编码可以通过任何合适的介质进行传播，包括无线电、电缆、光纤电缆、rf、或类似介质，或任何上述介质的组合。
108.本说明书实施例各部分操作所需的计算机程序编码可以用任意一种或多种程序语言编写，包括面向对象编程语言如java、scala、smalltalk、eiffel、jade、emerald、c++、c#、vb.net、python等，常规程序化编程语言如c语言、visualbasic、fortran2003、perl、cobol2002、php、abap，动态编程语言如python、ruby和groovy，或其他编程语言等。该程序编码可以完全在用户计算机上运行、或作为独立的软件包在用户计算机上运行、或部分在用户计算机上运行部分在远程计算机运行、或完全在远程计算机或处理设备上运行。在后种情况下，远程计算机可以通过任何网络形式与用户计算机连接，比如局域网(lan)或广域网(wan)，或连接至外部计算机(例如通过因特网)，或在云计算环境中，或作为服务使用如软件即服务(saas)。
109.此外，除非权利要求中明确说明，本说明书实施例所述处理元素和序列的顺序、数字字母的使用、或其他名称的使用，并非用于限定本说明书实施例流程和方法的顺序。尽管上述披露中通过各种示例讨论了一些目前认为有用的发明实施例，但应当理解的是，该类细节仅起到说明的目的，附加的权利要求并不仅限于披露的实施例，相反，权利要求旨在覆盖所有符合本说明书实施例实质和范围的修正和等价组合。例如，虽然以上所描述的系统组件可以通过硬件设备实现，但是也可以只通过软件的解决方案得以实现，如在现有的处理设备或移动设备上安装所描述的系统。
110.同理，应当注意的是，为了简化本说明书实施例披露的表述，从而帮助对一个或多个发明实施例的理解，前文对本说明书实施例的描述中，有时会将多种特征归并至一个实施例、附图或对其的描述中。但是，这种披露方法并不意味着本说明书实施例对象所需要的特征比权利要求中提及的特征多。实际上，实施例的特征要少于上述披露的单个实施例的全部特征。
111.针对本说明书引用的每个专利、专利申请、专利申请公开物和其他材料，如文章、书籍、说明书、出版物、文档等，特此将其全部内容并入本说明书作为参考。与本说明书内容不一致或产生冲突的申请历史文件除外，对本技术权利要求最广范围有限制的文件(当前或之后附加于本技术中的)也除外。需要说明的是，如果本说明书附属材料中的描述、定义和/或术语的使用与本说明书所述内容有不一致或冲突的地方，以本说明书的描述、定义和/或术语的使用为准。
112.最后，应当理解的是，本说明书中所述实施例仅用以说明本说明书实施例的原则。其他的变形也可能属于本说明书实施例的范围。因此，作为示例而非限制，本说明书实施例
的替代配置可视为与本说明书的教导一致。相应地，本说明书的实施例不仅限于本说明书明确介绍和描述的实施例。

技术特征：
1.一种远程触诊方法，所述方法由查体设备执行，其包括：获取就诊者的体征信息并将其发送给第一拓展现实设备，以便第一拓展现实设备基于所述体征信息生成所述就诊者的数字孪生人体模型；接收第一拓展现实设备发送的查体操作信息，所述查体操作信息用于表征目标查体操作；根据所述查体操作信息针对所述就诊者还原所述目标查体操作。2.如权利要求1所述的方法，其中，所述查体设备包括传感器，所述体征信息包括一个或多个生理指标的指标值，所述体征信息通过所述传感器获取。3.如权利要求1或2所述的方法，其中，所述查体设备包括第一体感穿戴设备，所述第一体感穿戴设备用于针对所述就诊者还原所述目标查体操作；和/或，所述查体设备包括机械臂，所述机械臂用于针对所述就诊者还原所述目标查体操作。4.一种远程触诊方法，所述方法由第一拓展现实设备执行，其包括：获取就诊者的体征信息；基于所述体征信息生成所述就诊者的数字孪生人体模型，并显示所述数字孪生体模型；获取用于表征目标查体操作的查体操作信息；将所述查体操作信息发送给查体设备，以便所述查体设备根据所述查体操作信息针对所述就诊者还原所述查体操作。5.如权利要求4所述的方法，其中，所述查体操作信息包括一个或多个查体位置以及在所述一个或多个查体位置施加的操作的类型和/或强度。6.如权利要求4所述的方法，其中，所述第一拓展现实设备包括手部穿戴的虚拟触觉设备，响应于操作者对所述数字孪生人体模型实施所述目标查体操作，所述查体操作信息被获取，所述方法还包括：根据所述查体操作信息，通过所述虚拟触觉设备模拟对就诊者实施所述目标查体操作时操作者获得的触感。7.如权利要求4所述的方法，其中，所述第一拓展现实设备包括第二体感穿戴设备，响应于操作者对所述第二体感穿戴设备实施所述目标查体操作，所述查体操作信息被获取。8.一种远程触诊系统，所述系统在查体设备上实现，其包括：第一获取模块，用于获取就诊者的体征信息；第一发送模块，用于将所述体征信息发送给第一拓展现实设备，以便第一拓展现实设备基于所述体征信息生成所述就诊者的数字孪生人体模型；第一接收模块，用于接收第一拓展现实设备发送的查体操作信息，所述查体操作信息用表征目标查体操作；查体模块，用于根据所述查体操作信息针对所述就诊者还原所述目标查体操作。9.一种远程触诊系统，所述系统在第一拓展现实设备上实现，其包括：第二获取模块，用于获取就诊者的体征信息；建模模块，用于基于所述体征信息生成所述就诊者的数字孪生人体模型；显示模块，用于显示所述数字孪生体模型；
第三获取模块，用于获取表征目标查体操作的查体操作信息；第二发送模块，用于将所述查体操作信息发送给查体设备，以便所述查体设备根据所述查体操作信息针对所述就诊者还原所述目标查体操作。10.一种远程医疗系统，包括查体设备和第一拓展现实设备，其中：查体设备用于：获取就诊者的体征信息并将其发送给第一拓展现实设备；接收第一拓展现实设备发送的查体操作信息，所述查体操作信息用于表征目标查体操作；根据所述查体操作信息针对所述就诊者还原所述目标查体操作；第一拓展现实设备用于：获取就诊者的体征信息；基于所述体征信息生成所述就诊者的数字孪生人体模型，并显示所述数字孪生体模型；获取表征目标查体操作的查体操作信息；将所述查体操作信息发送给查体设备。

技术总结
本说明书实施例提供一种远程触诊方法和系统。所述方法和系统依托拓展现实技术向医生展示患者的数字孪生人体模型。医生可以通过所述数字孪生人体模型全面、直观地了解患者的身体情况，并决定目标查体操作。表征目标查体操作的信息被传输至患者端，以便针对患者还原目标查体操作。标查体操作。标查体操作。


技术研发人员：姚春江
受保护的技术使用者：上海联影医疗科技股份有限公司
技术研发日：2023.04.17
技术公布日：2023/7/21