与植入设备的视听交互的制作方法

与植入设备的视听交互


背景技术：

1.本发明总地涉及虚拟助理的领域，并且更具体地涉及与身体植入设备的视听交互。
2.近年来，数字助理的发展和具有物联网(iot)能力的设备的增长已经产生了引入新的语音接口(例如，用于智能扬声器、虚拟辅助硬件/软件等)和功能的竞争。认知分析学组合了认知计算和分析学的使用。认知计算在试图再现人脑行为的方法中组合了人工智能和机器学习算法。分析学是将数据转换成洞察力以做出更好决策的科学过程。认知分析学应用智能技术以使非结构化数据源在分析过程的范围内，以用于决策和改进的功能。
3.增强现实(ar)是现实世界环境的交互式体验，其中驻留在现实世界中的对象由计算机生成的感知信息增强，有时跨越多个感觉形态。ar可以被定义为实现三个基本特征的系统：现实和虚拟世界的组合、实时交互、以及虚拟和现实对象的准确3d配准。叠加的感觉信息可以是建设性的或破坏性的。增强现实的主要价值是数字世界的成分融合到人对真实世界的感知中的方式，不是作为数据的简单显示，而是通过沉浸式感觉的集成，沉浸式感觉被感知为环境的自然部分。
4.植入物是一种被制造用于替代、支撑和/或增强生物结构的医疗设备。有源可植入医疗设备是旨在通过外科手术或医学方式全部或部分地引入人体或通过医学介入引入自然孔口中并且旨在在手术之后保留的任何有源医疗设备。医疗设备通过帮助健康护理提供者诊断和治疗患者并且帮助患者克服疾病或病症、提高他们的生活质量来使患者受益。


技术实现要素：

5.本发明的各方面公开了一种用于用户与植入设备的视听交互以解析用户的语音命令的方法、计算机程序产品和系统。该方法包括一个或多个处理器确定与用户的语音命令相对应的用户的健康相关问题。该方法还包括一个或多个处理器识别与健康相关问题有关的用户的植入设备。该方法还包括一个或多个处理器收集植入设备的传感器数据，其中传感器数据包括植入设备的一个或多个状况以及在用户体内的植入设备的操作环境。该方法还包括一个或多个处理器至少部分地基于传感器数据来生成与用户的健康相关问题相对应的视听响应。
附图说明
6.图1是根据本发明的实施例的数据处理环境的功能框图。
7.图2是描绘根据本发明实施例的用于用户与植入设备的视听交互以解析用户的语音命令的程序的操作步骤的流程图。
8.图3是根据本发明的实施例的图1的组件的框图。
具体实施方式
9.本发明的实施例允许用户和植入设备的视听交互以解析用户的语音命令。本发明
的实施例确定用户的一个或多个植入设备的状况。本发明的实施例使得用户能够提供与一个或多个植入设备的语音交互。本发明的附加实施例基于用户的耐久性限制和/或一个或多个植入设备的参数来生成针对用户的推荐活动。本发明的另外的实施例基于一个或多个植入设备的数据馈送生成对用户的语音命令的视听响应。
10.本发明的一些实施例认识到各种植入设备易受外部电子设备和植入失效的影响。例如，植入失效是指任何医用植入物未能满足制造商或健康护理提供者在安装中所涉及的要求。植入失效可具有许多原因，例如可能发生磨损/疲劳形式的机械退化、与暴露于高压电或高强度微波相关的失效、或腐蚀形式的电化学退化。然而，不同植入物的失效速率不同。本发明的实施例通过实时识别植入设备的状况并且在植入设备的耐久性限制内生成推荐活动来帮助防止植入设备的失效。
11.本发明的各种实施例可以操作以通过利用传感器的数据来确定植入设备是否在限定的性能参数内操作来改进植入设备。另外，本发明的实施例可以识别性能不佳的根本原因。此外，本发明的实施例使得能够利用物联网(iot)连接与植入设备进行语音交互。
12.本发明的实施例的实现可以采取各种形式，并且随后参考附图讨论示例性实现细节。
13.现在将参照附图详细描述本发明。图1是示出根据本发明一个实施例的总体指定为100的分布式数据处理环境的功能框图。图1仅提供了一种实现的图示，并且不暗示对其中可实现不同实施例的环境的任何限制。本领域技术人员可以对所描述的环境进行许多修改，而不偏离权利要求所记载的本发明的范围。
14.本发明可以包含各种可访问的数据源，诸如数据库144、植入设备130或客户端设备120
1-n
，其可以包括个人数据、内容或用户希望不被处理的信息。个人数据包括个人识别信息或敏感的个人信息以及用户信息，例如跟踪或地理位置信息。处理是指任何自动化或非自动化的操作或操作集合，例如对个人数据执行的收集、记录、组织、结构化、存储、适配、更改、取得、咨询、使用、通过传输、分发进行的公开或以其他方式使其可用、组合、限制、擦除或破坏。交互程序200实现对个人数据的授权和安全处理。交互程序200提供知情同意，通知个人数据的收集，允许用户选择处理个人数据或选择退出处理个人数据。同意可以采取几种形式。选择加入同意可以强制用户在处理个人数据之前采取肯定动作。替换地，选择退出同意可以强制用户在处理个人数据之前采取肯定行动来防止处理个人数据。交互程序200提供关于个人数据和处理的性质(例如，类型、范围、目的、持续时间等)的信息。交互程序200向用户提供所存储的个人数据的副本。交互程序200允许纠正不正确或不完整的个人数据、或使其完整。交互程序200允许立即删除个人数据。
15.分布式数据处理环境100包括服务器140、植入设备130和客户端设备120
1-n
，它们都通过网络110互连。网络110可以是例如电信网络、局域网(lan)城域网(man)、诸如因特网的广域网(wan)或这三者的组合，并且可以包括有线、无线或光纤连接。网络110可以包括一个或多个能够接收和发送数据、语音和/或视频信号的有线和/或无线网络，该信号包括多媒体信号，该多媒体信号包括语音、数据和视频信息。通常，网络110可以是支持服务器140、植入设备130和客户端设备120
1-n
以及分布式数据处理环境100内的其他计算设备(未示出)之间的通信的连接和协议的任何组合。
16.客户端设备120
1-n
(即，客户端设备1201至客户端设备120n)可以是膝上型计算机、
平板计算机、智能电话、智能手表、智能扬声器、虚拟助理、增强现实(ar)眼镜、具有物联网(iot)能力的设备、或能够经由网络110与分布式数据处理环境100内的各种组件和设备通信的任何可编程电子设备中的一个或多个。通常，客户端设备120
1-n
表示能够执行机器可读程序指令并经由诸如网络110的网络与分布式数据处理环境100内的其他计算设备(未示出)通信的一个或多个可编程电子设备或可编程电子设备的组合。根据本发明的实施例，客户端设备120
1-n
可以包括关于图3进一步详细描述和说明的组件。
17.客户端设备120
1-n
可包括用户接口122
1-n
、应用124
1-n
和传感器126
1-n
的相应实例，其各自对应于客户端设备的相应实例并且在客户端设备的相应实例中执行等效功能。在本发明的各种实施例中，用户接口是提供设备的用户和驻留在客户端设备上的多个应用程序之间的接口的程序。诸如用户接口1221的用户接口涉及程序呈现给用户的信息(诸如图形、文本和声音)，以及用户用来控制程序的控制序列。存在各种类型的用户接口。在一个实施例中，用户接口1221是图形用户接口。图形用户接口(gui)是一种类型的用户接口，其允许用户通过图形图标和视觉指示符(例如辅助符号)与电子设备(例如计算机键盘和鼠标)交互，而不是基于文本的接口、键入的命令标签或文本导航。在计算中，gui的引入是为了应对命令行界面的感知的陡峭学习曲线，这些界面需要在键盘上键入命令。gui中的动作通常通过直接操纵图形元素来执行。在另一实施例中，用户接口1221是脚本或应用编程接口(api)。在一个实施例中，用户接口1221是语音用户接口。语音-用户接口(vui)使得人与计算机的口头交互成为可能，使用语音识别来理解口头命令和回答问题，并且通常使用文本到语音来播放回复。
18.应用1241是被设计成在客户端设备1201上运行的计算机程序。应用经常用于向用户提供在个人计算机上访问的类似服务(例如，web浏览器、播放音乐、电子邮件程序或其它媒体等)。在一个实施例中，应用1241是移动应用软件。例如，移动应用软件或“app”是被设计成在智能电话、平板计算机和其他移动设备上运行的计算机程序。在另一个实施例中，应用1241是web用户接口(wui)，并且可以显示文本、文档、web浏览器窗口、用户选项、应用接口和操作指令，并且包括程序向用户呈现的信息(例如图形、文本和声音)以及用户用来控制程序的控制序列。在另一实施例中，应用1241是交互程序200的客户侧应用。例如，应用1241是增强现实应用，其将虚拟现实与以利用计算机生成的图形进行了数字增强的实况视频图像形式的真实世界组合。
19.传感器1261是设备、模块、机器或子系统，其目的是检测其环境中的事件或变化，并将信息发送到其它电子设备，通常是计算机处理器。通常，传感器1261表示收集和提供各种数据(例如，接近度、图像、运动、电磁场、射频、光等)的客户端设备1201的各种传感器。在一个实施例中，客户端设备1201经由网络110传输传感器1261的数据至服务器140。例如，传感器1261可以是客户端设备1201用来捕捉用户的环境的图像的相机，这些图像被传输至远程服务器(例如，服务器140)。
20.通常，植入设备130表示能够执行机器可读程序指令并经由诸如网络110的网络与分布式数据处理环境100内的其他计算设备(未示出)通信的一个或多个可编程电子设备或可编程电子设备的组合。根据本发明的实施例，植入设备130可以包括关于图3进一步详细描绘和描述的组件。
21.植入设备130是一种医疗设备，其被制造以替代缺失的生物结构、支撑受损的生物
结构、增强现有的生物结构和/或局部药物/治疗递送。植入设备130包括传感器阵列132。在一个实施例中，植入设备130利用传感器阵列132来监测植入设备130的功能和/或植入设备130的操作环境。例如，传感器132是植入到用户体内的医疗设备(例如，关节置换)的一个或多个传感器。在该示例中，植入设备130经由wlan(例如，网络110)与便携式虚拟助理(例如，客户端设备1201)配对，以提供对用户的健康状态和植入设备130的状况的监测。另外，传感器阵列132可将传感器馈送数据提供到便携式虚拟助理和远程服务器(例如，服务器140)。
22.在本发明的各种实施例中，服务器140可以是台式计算机、计算机服务器或本领域已知的任何其它计算机系统。通常，服务器140表示能够执行计算机可读程序指令的任何电子设备或电子设备的组合。根据本发明的实施例，服务器140可以包括关于图3进一步详细描绘和描述的组件。
23.服务器140可以是独立的计算设备、管理服务器、web服务器、移动计算设备、或能够接收、发送和处理数据的任何其他电子设备或计算系统。在一个实施例中，服务器140可以表示利用多个计算机作为服务器系统的服务器计算系统，诸如在云计算环境中。在另一实施例中，服务器140可以是膝上型计算机、平板计算机、上网本计算机、个人计算机(pc)、台式计算机、个人数字助理(pda)、智能电话或能够经由网络110与客户端设备120
1-n
、植入设备130和分布式数据处理环境100内的其它计算设备(未示出)通信的任何可编程电子设备。在另一个实施例中，服务器140表示利用集群计算机和组件的计算系统(例如，数据库服务器计算机、应用服务器计算机等)，当在分布式数据处理环境100内访问时，集群计算机和组件充当单个无缝资源池。
24.服务器140包括存储设备142、数据库144和交互程序200。存储设备142可用任何类型的存储设备来实现，例如能够存储可由客户端设备120
1-n
、植入设备130和服务器140(诸如数据库服务器)访问和利用的数据的永久性存储设备305、硬盘驱动器或闪存。在一个实施例中，存储设备142可以表示服务器140内的多个存储设备。在本发明的各种实施例中，存储设备142存储可以包括数据库144的多种类型的数据。数据库144可以表示从服务器140存储和访问的一个或多个有组织的数据集合。例如，数据库144包括与用户、传感器馈送数据、医疗记录、植入设备参数等相对应的知识语料库。在一个实施例中，数据处理环境100可以包括附加服务器(未示出)，其托管可经由网络110访问的附加信息。
25.通常，交互程序200与诸如虚拟助理之类的可穿戴和iot设备通信，这些可穿戴和iot设备利用身体植入设备的传感器数据来确定用户的日常工作负荷和健康状态，并推荐替代方案以减少用户的压力。在一个实施例中，交互程序200利用传感器阵列132的数据来确定植入设备130的状况和用户的健康状态。在另一个实施例中，交互程序200利用客户端设备120
1-n
来使得用户能够与植入设备130的一个或多个实例通信。在另一个实施例中，交互程序200利用客户端设备120
1-n
向用户提供植入设备130的当前状况的视觉显示。而且，交互程序200能够利用客户端设备120
1-n
的操作环境的实况馈送，以经由ar覆盖识别和推荐关于植入设备130的性能参数和/或用户的健康状态的活动。
26.图2是示出根据本发明实施例的交互程序200的操作步骤的流程图，该程序用于用户与植入设备的视听交互以解析用户的语音命令。在一个实施例中，交互程序200响应于用户通过网络110将植入设备130与交互程序200和客户端设备120
1-n
的一个实例配对而启动。例如，交互程序200响应于用户经由wlan(例如，网络110)向交互程序200注册(例如，选择加
入)便携式虚拟助理(例如，客户端设备120
1-n
)而启动。在另一个实施例中，交互程序200是连续监测客户端设备120
1-n
的后台应用。例如，交互程序200是在引导用户的便携式虚拟助理(例如，客户端设备120
1-n
)时启动并监测便携式虚拟助理以寻找语音命令的客户端侧应用(例如，应用1241)。
27.在步骤202中，交互程序200识别用户的语音命令。本发明的各种实施例使得用户能够执行与用户的一个或多个植入设备(例如，植入设备130)的语音交互以确定一个或多个植入设备的状况。例如，便携式ai语音助理(例如，客户端设备1201)与用户的植入设备和/或植入设备的iot使能传感器配对，以允许用户执行与植入设备的语音交互(即，基于语音命令，用户可以执行与一个或多个植入设备的双向语音交互)。另外，允许用户询问与一个或多个植入设备相关的具体问题或指定用户正在经历的问题。
28.在一个实施例中，交互程序200识别来自用户的客户端设备1201的语音命令。例如，交互程序200利用自然语言处理(nlp)技术(例如，语音识别、语音分段、标记化等)来识别用户对便携式虚拟助理(例如，客户端设备1201)的语音命令的主题。在该示例中，交互程序200可以利用关于用户的音频的文本表示的词汇语义，该音频包括便携式虚拟助理接收以识别主题的语音命令。在替代示例中，交互程序200将便携式虚拟助理(例如，客户端设备1201)连接到可摄入/可注射电子设备(例如，植入设备130)以执行与可摄入/可注射电子设备的双向语音交互。
29.在另一实施例中，交互程序200在存储设备142中生成与用户相对应的知识语料库。例如，交互程序200从各种来源(例如，传感器、医疗记录等)收集历史数据以生成知识语料库(例如，数据库144)，其包括对应于用户的语音命令、传感器馈送数据、健康状况、植入设备参数等的所识别的主题。在该示例中，交互程序200将用户的便携式虚拟助理(例如，客户端设备1201)连接(例如，托管在基于云的服务器上)到知识语料库。
30.在判定步骤204中，交互程序200确定语音命令是否与用户的健康问题有关。在一个实施例中，交互程序200利用数据库144中与用户相对应的数据来确定用户的语音命令是否与植入设备130和/或用户的状况相关。例如，交互程序200利用知识语料库(例如，数据库144)来确定用户的语音命令的主题是否与用户的一个或多个植入医疗设备(例如，植入设备130)相关。此外，交互程序200利用知识语料库(例如，数据库144)来确定用户的语音命令的主题是否与用户的健康问题(例如，健康状况、药物递送、疼痛等)相关。在该示例中，交互程序200利用nlp技术(例如，术语提取、词汇语义、主题分段和识别等)来确定语音命令的主题和用户的问题之间的关系。
31.在另一个实施例中，如果交互程序200确定用户的语音命令与植入设备130和/或用户的状况不相关(判定步骤204，“否”分支)，则交互程序200继续识别来自用户的客户端设备1201的语音命令。在一种场景中，如果交互程序200确定用户的语音命令的主题与用户的身体、健康或一个或多个植入医疗设备(例如，植入设备130)的状态的问题无关，则交互程序200继续向便携式虚拟助理(例如，客户端设备1201)识别用户的语音命令的主题。
32.在另一个实施例中，如果交互程序200确定用户的语音命令与植入设备130和/或用户的状况相关(判定步骤204，“是”分支)，则交互程序200识别与用户的语音命令相关的植入设备130的实例。在一种场景中，如果交互程序200确定用户的语音命令的主题与用户的身体、健康或一个或多个植入医疗设备(例如，植入设备130)的状态的问题有关，则交互
程序200利用与用户相对应的知识语料库(例如，数据库144)来识别与该问题有关的用户的植入医疗设备。
33.在步骤206中，交互程序200识别与健康问题相对应的植入设备。在本发明的各种实施例中，可植入设备可以包括各种类型的传感器(例如，温度传感器、移动传感器、压力传感器等)。传感器的选择可以基于可植入设备的功能(例如，骨科、心血管等)。例如，交互程序200将可穿戴和可植入设备(例如，植入设备130、客户端设备120
1-n
)的传感器馈送和用户的医学报告相关联，以生成关于健康相关参数和功能(例如，植入设备故障、与植入设备的性能相关的身体参数的关联等)的知识语料库。
34.在一个实施例中，交互程序200利用数据库144来识别植入设备130的与用户的语音命令相关的实例。例如，交互程序200为用户的一个或多个植入医疗设备(例如，植入设备130)分配唯一标识符(例如，射频标识符(rfid)、一系列值等)，并将用户内的位置与该唯一标识符相关联。在该示例中，交互程序200利用用户的语音命令的主题(例如，疼痛、功能、健康问题、植入状态等)和知识语料库(例如，数据库144)来识别与语音命令的主题相对应的植入医疗设备(例如，植入设备120)。
35.在判定步骤208中，交互程序200确定植入设备是否受外部设备影响。在本发明的各种实施例中，每个植入设备产生与用户的移动性和活动以及植入设备的性能相对应的传感器馈送。此外，交互程序200可以利用每个植入设备的正常功能的传感器馈送来指定传感器的对应性能参数的值。
36.在一个实施例中，交互程序200确定客户端设备1202是否影响植入设备130的性能。例如，交互程序200监测植入医疗设备(例如，植入设备130)的一个或多个传感器(例如，传感器阵列132)，以识别与对应于植入医疗设备的传感器馈送的性能参数的预期传感器值的偏差。在该示例中，交互程序200确定偏差是否是植入医疗设备正在从植入医疗设备的操作环境(例如，用户的身体、用户身体的紧邻周围环境等)内的设备(例如，iot设备、客户端设备1202等)接收影响植入医疗设备的性能的传感器馈送的结果。在一种场景中，交互程序200利用起搏器(例如，植入设备130)的电传感器(例如，传感器阵列132)的正常性能参数来检测外部设备(例如，客户端设备1202)正在发射影响起搏器性能的电磁波。另外，交互程序200可以识别影响起搏器的用户的一个或多个植入医疗设备。
37.在另一个实施例中，如果交互程序200确定客户端设备1202影响植入设备130的性能(判定步骤208，“是”分支)，则交互程序200生成对应于植入设备130和客户端设备1202的ar对象。在一种场景中，交互程序200确定与植入医疗设备(例如，植入设备130)的传感器馈送相对应的性能参数的预期传感器值的偏差是由植入医疗设备的操作环境(例如，用户的身体、用户身体的紧邻周围环境等)内的设备(例如，iot设备、客户端设备1202等)引起的。结果，交互程序200在虚拟现实(vr)环境中生成表示植入医疗设备(例如，植入设备130)的三维(3d)对象，该虚拟现实环境经由可佩戴的vr眼镜(例如，客户端设备1203)在影响植入医疗设备的设备的方向上显示指示符。
38.在另一个实施例中，如果交互程序200确定客户端设备1202不影响植入设备130的性能(判定步骤208，“否”分支)，则交互程序200生成对来自用户的客户端设备1201的语音命令的响应。在一种场景中，如果交互程序200确定不存在与对应于植入医疗设备(例如，植入设备130)的传感器馈送的性能参数的预期传感器值的偏差，则交互程序200生成对用户
的语音命令的视听响应，如下面在步骤210中所讨论的。
39.在步骤210中，交互程序200生成与用户的语音命令相对应的响应。在一个实施例中，交互程序200生成对应于用户对客户端设备1201的语音命令的可听响应。例如，交互程序200利用自然语言生成(nlg)来将对应于在步骤206中识别的植入医疗设备(例如，植入设备130)的知识语料库(例如，数据库144)的信息转换成可读的人类语言。在该示例中，交互程序200利用文本到语音技术来创建适于传达所识别的用户或植入医疗设备的状况的原因的收集的用户数据的音频版本。另外，交互程序200使用便携式虚拟助理(例如，客户端设备1201)来向用户传输对应于对用户的语音命令的可听响应。
40.在另一示例中，交互程序200可以基于所收集的用户数据(例如，生物计量数据、传感器数据等)来识别用户的植入医疗设备(例如，植入设备130)的当前状态。在该示例中，交互程序200利用知识语料库(例如，数据库144)的植入医疗设备的耐久性限制和植入设备的传感器馈送数据(例如，性能参数)来确定植入设备是否已经超过额定工作负荷、是否在额定约束内执行、或者是否停止正常运行(即，基于与基于诸如压力、温度等的传感器的正常性能参数的偏差来确定当前状态)。另外，交互程序200可以利用植入医疗设备的一个或多个传感器(例如，传感器阵列132)的数据(例如，图像、压力读数等)来确定用户的身体在植入医疗设备的位置处的状况(例如，确定人感觉到的疼痛是由于膝盖置换物周围的炎症)。在另一个示例中，交互程序200可以通过使用性能参数估计在一段时间内的植入医疗设备(例如，植入设备130)的当前工作负荷是否会超过用户的耐久性限制来确定植入医疗设备的未来状态。
41.在步骤212中，交互程序200生成对应于该响应的增强现实模型。在一个实施例中，交互程序200利用传感器阵列132的数据来生成植入设备130的ar模型和操作环境。而且，交互程序200利用客户端设备1203向用户显示ar模型。例如，交互程序200可以利用可植入医疗设备(例如，植入设备130)的图像来生成与该植入医疗设备相对应的3d ar对象。在该示例中，交互程序200利用来自植入医疗设备的传感器馈送(例如，传感器阵列132)的图像来生成用户的操作环境(例如，植入物位于身体中的区域)的健康状况的视觉表示。另外，交互程序200可以利用来自植入医疗设备的传感器馈送来识别植入医疗设备的移动和性能信息(即，允许实时更新植入设备130的当前状况和动作)。此外，交互程序200可以响应于用户的语音命令利用一副ar眼镜(例如，客户端设备1203)来向用户显示3d ar对象和操作环境，这有助于将生成的响应信息传达给用户。
42.在另一个实施例中，交互程序200利用客户设备1203的传感器1263的数据来生成植入设备130的ar模型的模拟模型。例如，交互程序200利用来自ar眼镜(例如，客户端设备1203)和iot设备(例如，客户端设备1202)的用户的图像数据来模拟与植入医疗设备(例如，植入设备130)相对应的3d ar对象的性能。在一种场景中，如果交互程序200确定植入医疗设备受到发射电磁波的外部设备的影响，则交互程序200可以利用ar眼镜的图像数据来显示外部设备(例如，客户端设备1202)的方向的指示。
43.在步骤214，交互程序200识别与该响应相对应的用户的推荐活动。在一个实施例中，交互程序200利用客户设备1203的传感器1263的数据来基于植入设备130确定用户要执行的活动。例如，交互程序200利用ar眼镜(例如，客户端设备1203)的相机馈送和对象识别来基于植入设备的当前状况或用户的健康状态识别对植入医疗设备(例如，植入设备130)
产生不利影响的活动。在该示例中，交互程序200利用覆盖图来识别(例如，突出显示、绑定等)用户周围区域中的可能导致用户超过植入医疗设备的耐久性限制的对象。另外，交互程序200利用ar眼镜来实时显示推荐活动和禁止活动。
44.在一种场景中，交互程序200识别用户周围区域中的滑板、楼梯和电梯(例如，对象)。另外，交互程序200确定用户具有带有肿胀(例如，用户的当前健康状况)的植入膝盖(例如，植入设备130)。结果，交互程序200通过将指示批准或禁止与对象相关的活动的图像输入到与ar眼镜的馈送中的每个对象相对应的覆盖图中，经由ar眼镜(例如，客户端设备1203)向用户发送视觉推荐。因此，交互程序200基于植入膝盖的能力(例如，植入物被评定不能承受由滑板引起的压力)和用户状况(例如，膝盖肿胀)来批准用户使用电梯并禁止使用楼梯和滑板。
45.图3描述了根据本发明的说明性实施例的客户端设备120
1-n
、植入设备130和服务器140的组件的框图。应当理解，图3仅提供了一种实现的说明，而不暗示对其中可实现不同实施例的环境的任何限制。可以对所描述的环境进行许多修改。
46.图3包括处理器301、高速缓存303、存储器302、永久性存储设备305、通信单元307、输入/输出(i/o)接口306和通信结构304。通信结构304提供高速缓存303、存储器302、永久性存储设备305、通信单元307和输入/输出(i/o)接口306之间的通信。通信结构304可以用被设计用于在处理器(诸如微处理器、通信和网络处理器等)、系统存储器、外围设备和系统内的任何其它硬件组件之间传递数据和/或控制信息的任何体系结构来实现。例如，通信结构304可以用一个或多个总线或纵横开关来实现。
47.存储器302和永久性存储设备305是计算机可读存储介质。在该实施例中，存储器302包括随机存取存储器(ram)。通常，存储器302可以包括任何合适的易失性或非易失性计算机可读存储介质。高速缓存303是通过保存来自存储器302的最近访问的数据和最近访问的数据附近的数据来增强处理器301的性能的快速存储器。
48.用于实施本发明的实施例的程序指令和数据(例如，软件和数据310)可以存储在永久性存储设备305和存储器302中，以便由一个或多个相应的处理器301经由高速缓存303执行。在实施例中，永久性存储设备305包括磁硬盘驱动器。作为磁硬盘驱动器的替代或补充，永久性存储设备305可包括固态硬盘驱动器、半导体存储设备、只读存储器(rom)、可擦除可编程只读存储器(eprom)、闪存或能够存储程序指令或数字信息的任何其它计算机可读存储介质。
49.永久性存储设备305使用的介质也可以是可移动的。例如，可移动硬盘驱动器可以用于永久性存储设备305。其它示例包括光盘和磁盘、拇指驱动器和智能卡，它们被插入到驱动器中以便传送到也是永久性存储设备305的一部分的另一计算机可读存储介质上。软件和数据310可以存储在永久性存储设备305中，以便由一个或多个相应的处理器301经由高速缓存303访问和/或执行。关于客户端设备120
1-n
，软件和数据310包括用户接口122
1-n
、应用124
1-n
、传感器126
1-n
的数据。关于植入设备130，软件和数据310包括用户传感器阵列132的数据。关于服务器140，软件和数据310包括存储设备142和交互程序200的数据。
50.在这些示例中，通信单元307提供与其他数据处理系统或设备的通信。在这些示例中，通信单元307包括一个或多个网络接口卡。通信单元307可以通过使用物理和无线通信链路中的一种或两种来提供通信。用于实施本发明的实施例的程序指令和数据(例如，软件
和数据310)可以通过通信单元307下载到永久性存储设备305。
51.i/o接口306允许与可连接到每个计算机系统的其它设备输入和输出数据。例如，i/o接口306可以提供到外部设备308(例如键盘、小键盘、触摸屏和/或一些其它合适的输入设备)的连接。外部设备308还可以包括便携式计算机可读存储介质，例如拇指驱动器、便携式光盘或磁盘、以及存储卡。用于实施本发明的实施例的程序指令和数据(例如，软件和数据310)可以存储在这样的便携式计算机可读存储介质上，并且可以经由i/o接口306加载到永久性存储设备305上。i/o接口306也连接到显示器309。
52.显示器309提供向用户显示数据的机制，并且可以是例如计算机监视器。
53.这里描述的程序是基于在本发明的特定实施例中实现它们的应用来识别的。然而，应当理解，这里的任何特定程序术语仅是为了方便而使用，因此本发明不应当限于仅在由这样的术语识别和/或暗示的任何特定应用中使用。
54.本发明可以是任何可能的技术细节集成水平的系统、方法和/或计算机程序产品。计算机程序产品可以包括其上具有计算机可读程序指令的计算机可读存储介质，该计算机可读程序指令用于使处理器执行本发明的各方面。
55.计算机可读存储介质可以是能够保留和存储由指令执行设备使用的指令的有形设备。计算机可读存储介质可以是例如但不限于电子存储设备、磁存储设备、光存储设备、电磁存储设备、半导体存储设备或前述的任何合适的组合。计算机可读存储介质的更具体示例的非穷举列表包括以下：便携式计算机磁盘、硬盘、随机存取存储器(ram)、只读存储器(rom)、可擦除可编程只读存储器(eprom或闪存)、静态随机存取存储器(sram)、便携式光盘只读存储器(cd-rom)、数字多功能盘(dvd)、记忆棒、软盘、诸如上面记录有指令的打孔卡或凹槽中的凸起结构的机械编码设备，以及上述的任何适当组合。如本文所使用的计算机可读存储介质不应被解释为暂时性信号本身，诸如无线电波或其他自由传播的电磁波、通过波导或其他传输介质传播的电磁波(例如，通过光纤线缆的光脉冲)、或通过导线传输的电信号。
56.本文描述的计算机可读程序指令可以从计算机可读存储介质下载到相应的计算/处理设备，或者经由网络，例如因特网、局域网、广域网和/或无线网络，下载到外部计算机或外部存储设备。网络可以包括铜传输电缆、光传输光纤、无线传输、路由器、防火墙、交换机、网关计算机和/或边缘服务器。每个计算/处理设备中的网络适配卡或网络接口从网络接收计算机可读程序指令，并转发计算机可读程序指令以存储在相应计算/处理设备内的计算机可读存储介质中。
57.用于执行本发明的操作的计算机可读程序指令可以是汇编指令、指令集架构(isa)指令、机器指令、机器相关指令、微代码、固件指令、状态设置数据、集成电路的配置数据，或者以一种或多种编程语言(包括面向对象的编程语言，例如smalltalk、c++等)和过程编程语言(例如“c”编程语言或类似的编程语言)的任意组合编写的源代码或目标代码。计算机可读程序指令可以完全在用户的计算机上执行，部分在用户的计算机上执行，作为独立的软件包执行，部分在用户的计算机上并且部分在远程计算机上执行，或者完全在远程计算机或服务器上执行。在后一种情况下，远程计算机可以通过任何类型的网络连接到用户的计算机，包括局域网(lan)或广域网(wan)，或者可以连接到外部计算机(例如，使用因特网服务提供商通过因特网)。在一些实施例中，为了执行本发明的各方面，包括例如可编
程逻辑电路、现场可编程门阵列(fpga)或可编程逻辑阵列(pla)的电子电路可以通过利用计算机可读程序指令的状态信息来执行计算机可读程序指令以使电子电路个性化。
58.在此参考根据本发明实施例的方法、装置(系统)和计算机程序产品的流程图和/或框图描述本发明的各方面。将理解，流程图和/或框图的每个框以及流程图和/或框图中的框的组合可以由计算机可读程序指令来实现。
59.这些计算机可读程序指令可以被提供给通用计算机、专用计算机或其他可编程数据处理装置的处理器以产生机器，使得经由计算机或其他可编程数据处理装置的处理器执行的指令创建用于实现流程图和/或框图的一个或多个框中指定的功能/动作的装置。这些计算机可读程序指令还可以存储在计算机可读存储介质中，其可以引导计算机、可编程数据处理装置和/或其他设备以特定方式工作，使得其中存储有指令的计算机可读存储介质包括制品，该制品包括实现流程图和/或框图的一个或多个框中指定的功能/动作的各方面的指令。
60.计算机可读程序指令还可以被加载到计算机、其他可编程数据处理装置或其他设备上，以使得在计算机、其他可编程装置或其他设备上执行一系列操作步骤，以产生计算机实现的过程，使得在计算机、其他可编程装置或其他设备上执行的指令实现流程图和/或框图的一个或多个框中指定的功能/动作。
61.附图中的流程图和框图示出了根据本发明的各种实施例的系统、方法和计算机程序产品的可能实现的架构、功能和操作。在这点上，流程图或框图中的每个框可以表示指令的模块、段或部分，其包括用于实现指定的逻辑功能的一个或多个可执行指令。在一些替代实现中，框中所注明的功能可不按图中所注明的次序发生。例如，连续示出的两个框实际上可以基本上同时执行，或者这些框有时可以以相反的顺序执行，这取决于所涉及的功能。还将注意，框图和/或流程图图示的每个框以及框图和/或流程图图示中的框的组合可以由执行指定功能或动作或执行专用硬件和计算机指令的组合的专用的基于硬件的系统来实现。
62.已经出于说明的目的给出了本发明的各种实施例的描述，但是其不旨在是穷尽的或限于所公开的实施例。在不背离本发明范围的情况下，许多修改和变化对于本领域普通技术人员来说是显而易见的。选择本文所使用的术语是为了最好地解释实施例的原理、实际应用或对市场上存在的技术改进，或为了使本领域的其他普通技术人员能够理解本文所公开的实施例。

技术特征：
1.一种用于与植入设备进行视听交互的方法，所述方法包括：由一个或多个处理器确定与用户的语音命令相对应的所述用户的健康相关问题；由一个或多个处理器识别与所述健康相关问题有关的所述用户的植入设备；由一个或多个处理器收集所述植入设备的传感器数据，其中所述传感器数据包括所述植入设备的一个或多个状况以及在所述用户的身体中的所述植入设备的操作环境；以及由一个或多个处理器至少部分地基于所述传感器数据来生成与所述用户的所述健康相关问题相对应的视听响应。2.根据权利要求1所述的方法，还包括：由一个或多个处理器至少部分地基于所收集的传感器数据来生成与所述植入设备相对应的三维增强现实(ar)对象；以及由一个或多个处理器至少部分地基于所收集的传感器数据来生成在所述用户的身体中的所述植入设备的所述操作环境的状况的视觉表示。3.根据权利要求1所述的方法，还包括：由一个或多个处理器识别ar设备的传感器馈送内的一个或多个对象；由一个或多个处理器至少部分地基于所述植入设备的所述一个或多个状况和所述植入设备的所述操作环境来确定与所述一个或多个对象相关联的活动是否不利地影响所述用户；以及由一个或多个处理器生成与所述一个或多个对象中的每个对象相对应的覆盖图，其中所述覆盖图指示对与所述一个或多个对象相关联的一个或多个活动的批准的推荐。4.根据权利要求1所述的方法，还包括：由一个或多个处理器确定第二设备是否影响所述植入设备的性能，其中所述第二设备选自包括第二植入设备和外部设备的组。5.根据权利要求1所述的方法，其中识别与所述健康相关问题有关的所述用户的所述植入设备还包括：由一个或多个处理器使所述语音命令的一个或多个话题与所述健康相关问题的一个或多个状况相关；以及由一个或多个处理器识别具有与所述一个或多个主题相关的性能功能的一个或多个植入设备。6.根据权利要求1所述的方法，生成与所述用户的所述健康相关问题相对应的所述视听响应还包括：由一个或多个处理器基于所收集的所述植入设备的与所述用户的所述语音命令相关的传感器数据来确定所述植入设备的状态；由一个或多个处理器确定所述用户的身体在所述植入设备的所述位置处的状况；以及由一个或多个处理器生成包括与所述用户的所述语音命令相对应的信息的可听响应，其中所述信息至少部分地基于所述植入设备的所述状态和所述用户的身体的所述状况。7.根据权利要求6所述的方法，还包括：由一个或多个处理器通过一个或多个计算设备将与所述植入设备相对应的三维增强现实对象和所述可听响应传输至所述用户，其中所述一个或多个计算设备中的至少一个包括具有增强现实能力的设备。
8.一种用于与植入设备进行视听交互的计算机程序产品，所述计算机产品包括：一个或多个计算机可读存储介质和存储在所述一个或多个计算机可读存储介质上的程序指令，所述程序指令包括：用于确定与用户的语音命令相对应的所述用户的健康相关问题的程序指令；用于识别与所述健康相关问题有关的所述用户的植入设备的程序指令；用于收集所述植入设备的传感器数据的程序指令，其中所述传感器数据包括所述植入设备的一个或多个状况以及在所述用户的身体中的所述植入设备的操作环境；以及用于至少部分地基于所述传感器数据来生成与所述用户的所述健康相关问题相对应的视听响应的程序指令。9.根据权利要求8所述的计算机程序产品，还包括存储在所述一个或多个计算机可读存储介质上的程序指令，用于：至少部分地基于所收集的传感器数据来生成与所述植入设备相对应的三维增强现实(ar)对象；以及至少部分地基于所收集的传感器数据来生成在所述用户的身体中的所述植入设备的所述操作环境的状况的视觉表示。10.根据权利要求8所述的计算机程序产品，还包括存储在所述一个或多个计算机可读存储介质上的程序指令，用于：识别ar设备的传感器馈送内的一个或多个对象；至少部分地基于所述植入设备的所述一个或多个状况和所述植入设备的所述操作环境来确定与所述一个或多个对象相关联的活动是否不利地影响所述用户；以及生成与所述一个或多个对象中的每个对象相对应的覆盖图，其中所述覆盖图指示对与所述一个或多个对象相关联的一个或多个活动的批准的推荐。11.根据权利要求8所述的计算机程序产品，还包括存储在所述一个或多个计算机可读存储介质上的程序指令，用于：确定第二设备是否影响所述植入设备的性能，其中所述第二设备选自包括第二植入设备和外部设备的组。12.根据权利要求8所述的计算机程序产品，其中用于识别与所述健康相关问题有关的所述用户的所述植入设备的程序指令还包括程序指令，用于：使所述语音命令的一个或多个主题与所述健康相关问题的一个或多个状况相关；以及识别具有与所述一个或多个主题相关的性能功能的一个或多个植入设备。13.根据权利要求8所述的计算机程序产品，其中用于生成与所述用户的所述健康相关问题相对应的所述视听响应的程序指令还包括程序指令，用于：基于所收集的所述植入设备的与所述用户的所述语音命令相关的传感器数据来确定所述植入设备的状态；确定所述用户的身体在所述植入设备的所述位置处的状况；以及生成包括与所述用户的所述语音命令相对应的信息的可听响应，其中所述信息至少部分地基于所述植入设备的所述状态和所述用户的身体的所述状况。14.根据权利要求13所述的计算机程序产品，还包括存储在所述一个或多个计算机可读存储介质上的程序指令，用于：
通过一个或多个计算设备将与所述植入设备相对应的三维增强现实对象和所述可听响应传输至所述用户，其中所述一个或多个计算设备中的至少一个包括具有增强现实能力的设备。15.一种用于与植入设备进行视听交互的计算机系统，所述计算机系统包括：一个或多个计算机处理器；一个或多个计算机可读存储介质；以及存储在所述计算机可读存储介质上以供所述一个或多个处理器中的至少一个处理器执行的程序指令，所述程序指令包括：用于确定与用户的语音命令相对应的所述用户的健康相关问题的程序指令；用于识别与所述健康相关问题有关的所述用户的植入设备的程序指令；用于收集所述植入设备的传感器数据的程序指令，其中所述传感器数据包括所述植入设备的一个或多个状况以及在所述用户的身体中的所述植入设备的操作环境；以及用于至少部分地基于所述传感器数据来生成与所述用户的所述健康相关问题相对应的视听响应的程序指令。16.根据权利要求15所述的计算机系统，还包括存储在所述一个或多个计算机可读存储介质上以供所述一个或多个处理器中的至少一个处理器执行的程序指令，用于：至少部分地基于所收集的传感器数据来生成与所述植入设备相对应的三维增强现实(ar)对象；以及至少部分地基于所收集的传感器数据来生成在所述用户的身体中的所述植入设备的所述操作环境的状况的视觉表示。17.根据权利要求15所述的计算机系统，还包括存储在所述一个或多个计算机可读存储介质上以供所述一个或多个处理器中的至少一个处理器执行的程序指令，用于：识别ar设备的传感器馈送内的一个或多个对象；至少部分地基于所述植入设备的所述一个或多个状况和所述植入设备的所述操作环境来确定与所述一个或多个对象相关联的活动是否不利地影响所述用户；以及生成与所述一个或多个对象中的每个对象相对应的覆盖图，其中所述覆盖图指示对与所述一个或多个对象相关联的一个或多个活动的批准的推荐。18.根据权利要求15所述的计算机系统，还包括存储在所述一个或多个计算机可读存储介质上以供所述一个或多个处理器中的至少一个处理器执行的程序指令，用于：确定第二设备是否影响所述植入设备的性能，其中所述第二设备选自包括第二植入设备和外部设备的组。19.根据权利要求15所述的计算机系统，其中识别与所述健康相关问题有关的所述用户的所述植入设备还包括程序指令，用于：使所述语音命令的一个或多个主题与所述健康相关问题的一个或多个状况相关；以及识别具有与所述一个或多个主题相关的性能功能的一个或多个植入设备。20.根据权利要求15所述的计算机系统，其中生成对应于所述用户的所述健康相关问题的所述视听响应还包括程序指令，用于：基于所收集的所述植入设备的与所述用户的所述语音命令相关的传感器数据来确定所述植入设备的状态；
确定所述用户的身体在所述植入设备的所述位置处的状况；以及生成包括与所述用户的所述语音命令相对应的信息的可听响应，其中所述信息至少部分地基于所述植入设备的所述状态和所述用户的身体的所述状况。

技术总结
公开了一种用于用户与植入设备的视听交互以解析用户的语音命令的方法。该方法包括一个或多个处理器确定与用户的语音命令相对应的用户的健康相关问题。该方法还包括识别与健康相关问题有关的用户的植入设备。该方法还包括收集植入设备的传感器数据，其中传感器数据包括植入设备的一个或多个状况以及在用户的身体中的植入设备的操作环境。该方法还包括生成与用户的健康相关问题相对应的视听响应。成与用户的健康相关问题相对应的视听响应。成与用户的健康相关问题相对应的视听响应。


技术研发人员：S
受保护的技术使用者：国际商业机器公司
技术研发日：2021.09.16
技术公布日：2023/6/12