基于多智能体互动的个性化医疗决策方法、装置及应用与流程

1.本技术涉及智慧医疗领域，特别是涉及一种基于多智能体互动的个性化医疗决策方法、装置及应用。


背景技术：

2.现如今，医疗诊断过于依赖医生的主管判断和临床经验，容易受到个体差异和主观因素的影响，导致诊断和治疗结果的不一致性，医生的主观性可能导致误诊或漏诊从而影响病患的治疗效果。
3.人工智能是计算机科学的一个分支，它是研究、开发用于模拟、延伸、和扩展人的智能的理论、方法、技术及应用的一门新的技术科学，人工智能的应用一般分为两个部分，训练过程和推理过程，通过算法来定义整个训练过程，包括模型结构和其他的处理细节从而使得模型可以应用于各个领域，如医疗、法律、金融等，通过人工智能来辅助医生进行临床判断时，通常只使用有限的数据源，如病例记录和实验室检查结果，忽略了多模态数据的丰富信息，这限制了使用人工智能进行临床预测的全面性和准确性，并且无法捕捉病患的整体情况和病理特征，从而导致诊断和治疗的不准确性。
4.使用人工智能进行诊断时，往往只从医生角度进行出发来进行诊断，而在大多数情况下，病人症状的减轻以及康复往往是由多个角度决定的，如家人、饮食、心理情况、护理情况、复健情况等，现有的人工智能只能从医生角度并且对单一病种进行判断，且无法根据这些相关因素进行诊断从而给出一整个治疗方案，而医生也只会通过主观判断给出意见，从而限制了疾病的治疗效果以及患者的康复。
5.综上所述，需要一种可以根据多个角度来为每一患者生成个性化治疗方案的方法，从而提高患者的治疗效果，加快患者的康复。


技术实现要素：

6.本技术实施例提供了一种数据入库方法、装置、计算机程序产品和计算机程序，针对目前结构多变、复杂、相似的表格数据能够实现自动模板匹配、自动建表、自动入库的目的，实现流调数据的快速、及时、准确的入库。
7.第一方面，本技术实施例提供了一种基于多智能体互动的个性化医疗决策方法，所述方法包括：
8.构建实体模型，获取至少一病患不同医护阶段的病患信息以及每一病患的实际医护方案，所述实际医护方案包含病患在完全康复前每一医护阶段的医护手段；
9.通过马尔科夫决策过程分别使用不同医护阶段的病患信息来对所述实体模型进行训练得到与每一医护阶段对应的智能体模型，通过病患信息获取病患状态作为马尔科夫决策过程的状态空间，使用可采取的所有医护手段作为马尔科夫决策过程的行动空间，在训练过程中判断所述实体模型预测得到的预测医护手段是否与同一医护阶段的实际医护手段相符，若相符则对马尔科夫决策过程进行奖励，反之则对马尔科夫决策过程进行惩罚，
迭代上述过程得到智能体模型，所述智能体模型用来对对应医护阶段的医护手段进行预测；
10.根据马尔科夫决策过程来判断每一智能体的贡献度，根据每一智能体模型的预测结果以及贡献度来计算每一智能体模型的权重，使用对应权重对每一智能体的预测结果进行加权平均得到个性化医疗决策。
11.第二方面，本技术实施例提供了一种基于多智能体互动的个性化医疗决策装置，包括：
12.构建模块：构建实体模型，获取至少一病患不同医护阶段的病患信息以及每一病患的实际医护方案，所述实际医护方案包含病患在完全康复前每一医护阶段的医护手段；
13.迭代模块：通过马尔科夫决策过程分别使用不同医护阶段的病患信息来对所述实体模型进行训练得到与每一医护阶段对应的智能体模型，通过病患信息获取病患状态作为马尔科夫决策过程的状态空间，使用可采取的所有医护手段作为马尔科夫决策过程的行动空间，在训练过程中判断所述实体模型预测得到的预测医护手段是否与同一医护阶段的实际医护手段相符，若相符则对马尔科夫决策过程进行奖励，反之则对马尔科夫决策过程进行惩罚，迭代上述过程得到智能体模型，所述智能体模型用来对对应医护阶段的医护手段进行预测；
14.决策模块：根据马尔科夫决策过程来判断每一智能体的贡献度，根据每一智能体模型的预测结果以及贡献度来计算每一智能体模型的权重，使用对应权重对每一智能体的预测结果进行加权平均得到个性化医疗决策。
15.第三方面，本技术实施例提供了一种电子装置，包括存储器和处理器，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行一种基于多智能体互动的个性化医疗决策方法。
16.第四方面，本技术实施例提供了一种可读存储介质，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括一种基于多智能体互动的个性化医疗决策方法。
17.本发明的主要贡献和创新点如下：
18.本技术实施例通过病患的多模态数据来构建多个不同的智能体来进行跨学科分析，本方案通过马尔科夫决策过程来对实体模型进行训练得到智能体模型，并通过智能体模型来对医护方案进行预测，在训练过程中通过获取不同医护手段是否必要有效来为所述马尔科夫决策过程进行相应的奖励或惩罚，从而使得智能体预测的结果更加准确从而根据每个病患的不同情况给出个性化医疗决策；本方案充分利用多个智能体来为医护人员提供更可靠的支持和指导，从而更好的改善病患的治疗效果和健康情况。
19.本技术的一个或多个实施例的细节在以下附图和描述中提出，以使本技术的其他特征、目的和优点更加简明易懂。
附图说明
20.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
21.图1是根据本技术实施例的一种基于多智能体互动的个性化医疗决策方法的流程
图；
22.图2是根据本技术实施例的一种基于多智能体互动的个性化医疗决策装置的结构框图；
23.图3是根据本技术实施例的电子装置的硬件结构示意图。
具体实施方式
24.这里将详细地对示例性实施例进行说明，其示例表示在附图中。下面的描述涉及附图时，除非另有表示，不同附图中的相同数字表示相同或相似的要素。以下示例性实施例中所描述的实施方式并不代表与本说明书一个或多个实施例相一致的所有实施方式。相反，它们仅是与如所附权利要求书中所详述的、本说明书一个或多个实施例的一些方面相一致的装置和方法的例子。
25.需要说明的是：在其他实施例中并不一定按照本说明书示出和描述的顺序来执行相应方法的步骤。在一些其他实施例中，其方法所包括的步骤可以比本说明书所描述的更多或更少。此外，本说明书中所描述的单个步骤，在其他实施例中可能被分解为多个步骤进行描述；而本说明书中所描述的多个步骤，在其他实施例中也可能被合并为单个步骤进行描述。
26.实施例一
27.本技术实施例提供了一种基于多智能体互动的个性化医疗决策方法，具体地，参考图1，所述方法包括：
28.构建实体模型，获取至少一病患不同医护阶段的病患信息以及每一病患的实际医护方案，所述实际医护方案包含病患在完全康复前每一医护阶段的医护手段；
29.通过马尔科夫决策过程分别使用不同医护阶段的病患信息来对所述实体模型进行训练得到与每一医护阶段对应的智能体模型，通过病患信息获取病患状态作为马尔科夫决策过程的状态空间，使用可采取的所有医护手段作为马尔科夫决策过程的行动空间，在训练过程中判断所述实体模型预测得到的预测医护手段是否与同一医护阶段的实际医护手段相符，若相符则对马尔科夫决策过程进行奖励，反之则对马尔科夫决策过程进行惩罚，迭代上述过程得到智能体模型，所述智能体模型用来对对应医护阶段的医护手段进行预测；
30.根据马尔科夫决策过程来判断每一智能体的贡献度，根据每一智能体模型的预测结果以及贡献度来计算每一智能体模型的权重，使用对应权重对每一智能体的预测结果进行加权平均得到个性化医疗决策。
31.在一些实施例中，不同医护阶段指患者从患病到完全康复的所有过程，所述患病信息包括病患个人信息、疾病信息、症状信息，所述个人信息包括年龄、性别、病史、体征、饮食习惯，所述疾病信息包括病名、病因，所述症状信息包括临床反应、症状。
32.在一些具体实施例中，医护阶段分为医疗阶段、护理阶段以及复健阶段，每一阶段都对应一智能体模型来预测该阶段的医护手段。
33.在一些实施例中，在“通过病患信息获取病患状态作为马尔科夫决策过程的状态空间”步骤中，根据病患信息定义医疗实体，所述医疗实体包括病患实体、疾病实体以及症状实体，以病患信息确定对应的医疗实体的属性，并建立了带有属性的医疗实体的关联关
系作为病患状态。
34.示例性的，age(p)表示病患实体中患者p的年龄，name(d)表示疾病实体中疾病d的病名，description(s)表示症状实体中疾病s的症状。
35.具体的，在医疗领域中会存在非常复杂的关联关系，例如病患实体与疾病实体之间存在诊断关系，疾病实体和症状实体之间存在关联等，通过建立关联关系可以使得马尔科夫决策过程具有更高的准确率。
36.具体的，可以通过构建关联表来表示关联关系，例如：
37.diagnosis(p，d)表示病患p被诊断为疾病d；
38.hassymptom(d,s)表示疾病d具有症状s。
39.在一些实施例中，马尔科夫决策过程是一个四元组，在四元组中通过定义一个q值函数来衡量行动空间内的每一次行动的价值，并根据价值来进行最后决策得到预测医护手段。
40.具体的，四元组包括状态空间s、行动空间a、状态转移概率p(s'|s,a)以及奖励函数r(s,a,s')，所述状态空间包含智能体可能遇到的所有状态，所述行动空间包含智能体可以采取的所有可能行动，所述状态转移概率p(s'|s,a)表示在状态s下采取行动a并转移到另一个状态s’的概率分布，所述奖励函数r(s,a,s')表示在状态s下采取行动a并转移到s’后获得的奖励。
41.具体的，选取价值最大的预测结果作为此次预测的预测医护手段。也就是说，价值越高的预测医护手段越接近实际医护手段。
42.具体的，所述预测医护手段可以为特定的行为或操作，例如病患可以接收某种治疗方法或某种医学检验等。
43.示例性的，treatment(p,t)表示病患p接受治疗方法t。
44.具体的，所述医学检验可以为x光、ct、彩超等，所述治疗方法可以为服药、静脉注射等。
45.在一些实施例中，在“在训练过程中判断所述实体模型预测得到的预测医护手段是否与同一医护阶段的实际医护手段相符，若相符则对马尔科夫决策过程进行奖励，反之则对马尔科夫决策过程进行惩罚，迭代上述过程得到智能体模型”步骤中，所述预测医护手段为各种医疗方法、护理方法或复健方法，若同一医护阶段的预测医护手段与实际医护手段完全一致，则对马尔科夫决策过程进行正值奖励，若同一阶段的预测医护手段与实际医护手段不一致，则对马尔科夫决策过程进行负值奖励。
46.具体的，所述实际医疗方案包括一系列医学检验项目、治疗方法、护理方法以及复健方法等。
47.示例性的，若有一病患胃病，在医疗阶段经过智能体模型得到的预测护理方案为服药治疗和胃镜，若实际护理方案也同样为服药治疗和胃镜，则对该阶段的马尔科夫决策过程进行正值奖励，若实际护理方案为静脉注射加肠镜，则对该阶段马尔科夫决策过程进行负值奖励，医疗阶段为多个医护阶段的其中一个阶段。
48.在一些实施例中，若统一阶段的预测手段与实际医护手段不一致，且不一致的部分在后续医护阶段中为必要且有效的，则对马尔科夫决策过程进行正值奖励，若不一致的部分在后续医护阶段中为不必要且无效的，则对马尔科夫决策过程进行负值奖励。
49.具体的，预测医护手段中的医学检验项目在实际医疗方案中并不存在，所以需要判定预测医护手段中包含的医学检验项目是否有效从而得到预测医护手段中的医学检验项目是否为正确的。
50.示例性的，若所述预测医护手段中建议拍摄x光，且在后续的治疗中发现拍摄x光是必要且有效的，则说明预测医护手段判断正确，则对医疗马尔科夫决策过程进行正值奖励，若在后续的治疗中发现拍摄x光是不必要且无效的，则说明预测医护手段判断错误，则对马尔科夫决策过程进行负值奖励。
51.示例性的，若所述预测医护手段中建议针灸，且在后续的治疗中发现针灸是必要且有效的，则说明预测医护手段正确，则对马尔科夫决策过程进行正值奖励，若在后续的治疗中发现针灸是不必要且无效的，则说明预测医护手段错误，则对马尔科夫决策过程进行负值奖励。
52.在一些实施例中，判断所述预测医护手段的风险和副作用，若风险值高于设定阈值或存在副作用，则对所述医疗马尔科夫决策过程进行惩罚，反之则对其进行奖励。
53.具体的，存在部分医护手段都伴随着一定的风险和副作用，若预测医护手段选取了高风险或存在副作用的医护手段，则对其进行惩罚，目的是使得医疗智能体尽量选择更利于患者的治疗方式。
54.具体的，通过上述方式来对马尔科夫决策过程进行奖励和惩罚，可以保证在经历多次迭代后得到的智能体模型可以获取最佳的预测医护手段，这个最佳的预测医护手段在与实际医护手段尽可能重合的前提下，风险值最低、副作用最小。
55.在一些具体实施例中，为所述马尔科夫决策过程赋予奖励或惩罚的过程可以表示为r(s，a)＝
56.+r correct
ꢀꢀꢀꢀꢀꢀꢀꢀꢀ
if预测医护手段与实际医护手段相同；
[0057]-r incorrect
ꢀꢀꢀꢀꢀꢀꢀ
if预测医护手段与实际医护手段不同；
[0058]
+r necessary
ꢀꢀꢀꢀꢀꢀꢀ
if不相符的部分在后续医护阶段中为必要的；
[0059]-r unnecessary if不相符的部分在后续医护阶段中为不必要的；
[0060]
+r effective if不相符的部分在后续医护阶段中为有效的；
[0061]-r ineffective if不相符的部分在后续医护阶段中为无效的；
[0062]
+/-r risk根据风险和副作用进行奖励或惩罚；
[0063]
其中，s表示智能体模型的状态，a表示智能体模型采取的行动，r(s，a)表示智能体模型在状态s下采取行动a所获得的奖励。
[0064]
在一些具体实施例中，所述马尔科夫决策过程的迭代方式如下：
[0065]
1.初始化医疗马尔科夫决策过程的策略网络参数θ：
[0066]
θ＝initial_parameters
[0067]
2.初始化值函数网络参数w：
[0068]
w＝initial_parameters
[0069]
3.初始化状态s：
[0070]
s＝initial_state
[0071]
4.迭代以下步骤
[0072]
4.1根据当前状态s，使用策略网络参数θ选择一个动作a：
[0073]
a～π(a|s；θ)
[0074]
4.2执行动作a，观察环境返回的奖励r和新状态s’：
[0075]
4.3根据值函数网络参数w估计下一个状态的值函数：
[0076]
v(s')＝φ(s')^t w
[0077]
4.4更新值函数网络参数w：
[0078][0079]
4.5更新策略网络参数θ：
[0080][0081]
4.6将状态更新为新状态：
[0082]
s＝s'
[0083]
其中，θ为策略网络的参数，w为值函数网络的参数，π(a|s；θ)是根据策略网络θ生成的动作概率分布，α_θ和α_w为学习率，用来控制每次更新的权重，γ为折扣因子，用于衡量未来奖励的重要性，v(s)为值函数估计，表示状态s的值，q(s,a；w)为基于值函数网络参数w对状态-动作对(s,a)的q值估计。
[0084]
步骤4.1的作用是根据当前状态s，使用策略网络参数选择动作a，即a～π(a|s；θ)，根据概率分布从动作空间中抽样得到一个动作。
[0085]
步骤4.4的作用是根据值函数估计v(s')和折扣奖励r，更新值函数网络参数w，以优化值函数的准确性。
[0086]
步骤4.5的作用是根据策略梯度的方法，使用值函数估计q(s,a；w)对策略网络参数θ进行更新，以优化策略网络的性能。
[0087]
具体的，本方案可以根据不同的病患信息来构建不同医护阶段的智能体模型。
[0088]
在一些实施例中，在“根据马尔科夫决策过程来判断每一智能体的贡献度”步骤中，根据每一智能体在马尔科夫决策过程中的状态转移概率来获取每一智能体的贡献度。
[0089]
具体的，通过运行模拟或使用现有数据进行评估得到每一智能体在与其他智能体组合时的收益情况，计算该智能体在每种组合情况中收益情况的平均值得到该智能体的贡献度。
[0090]
具体的，每一智能体的贡献度可以由以下公式表示：
[0091][0092]
其中，n表示智能体的总数，s表示智能体的子集(不包括智能体i)，q(s)表示智能体子集s的收益，该表达式对智能体i与其他智能体的组合进行了求和，计算了智能体i在每个组合中的贡献度，并将其求平均。
[0093]
具体的，对于一组智能体合作进行诊断任务，q(s)可以表示智能体合作子集s的诊断准确性。例如，可以使用混淆矩阵或其他度量指标来衡量智能体合作在诊断准确性方面的表现。
[0094]
对于一组智能体合作进行治疗方案选择任务，q(s)可以表示智能体合作子集s选择的治疗方案的效果。例如，可以使用临床指标、患者反馈或其他相关指标来评估智能体合
作在治疗效果方面的表现。
[0095]
对于一组智能体合作进行资源分配任务，q(s)可以表示智能体合作子集s的成本效益。例如，可以考虑智能体合作所需的资源投入和获得的效益之间的平衡，来评估智能体合作在成本效益方面的表现。
[0096]
在一些实施例中，在“根据每一智能体模型的预测结果以及贡献度来计算每一智能体模型的权重”步骤中，使用每一智能体模型的贡献度以及预测结果来计算每一智能体的沙普利值，再根据每一智能体的沙普利值得到每一智能体模型的权重。具体的，计算每一智能体模型的沙普利值的公式如下所示：
[0097]
φ[i]＝φ[i]+ρ(i)*(q(s,a；w)-v(s))
[0098]
其中，ρ(i)为智能体模型i的贡献程度，q(s,a；w)为是基于值函数网络参数w对状态-动作对(s,a)的q值估计，v(s)为值函数估计，表示状态s的值。
[0099]
具体的，使用所述沙普利值计算每一智能体模型的权重的公式如下所示：
[0100]
w_i＝φ[i]/σ(φ[j])(其中j＝1到n)
[0101]
其中，σ(φ[j])表示所有智能体沙普利值的和，φ[i]表示当前智能体i的沙普利值，w_i表示当前智能体i的权重。
[0102]
在一些具体实施例中，使用每一智能体模型的权重来对对应的决策结果进行加权得到个性化医疗决策的公式如下所示：
[0103]
d＝σ(w_i*d_i)(其中i＝1到n)
[0104]
其中，i为不同的智能体模型的编号，d为个性化医疗决策，个性化医疗决策为多个智能体的决策结果，所述个性化医疗决策综合考虑了多个智能体的贡献和权重，以提供更准确、个性化的方案。
[0105]
实施例二
[0106]
基于相同的构思，参考图2，本技术还提出了一种基于多智能体互动的个性化医疗决策装置，包括：
[0107]
构建模块：构建实体模型，获取至少一病患不同医护阶段的病患信息以及每一病患的实际医护方案，所述实际医护方案包含病患在完全康复前每一医护阶段的医护手段；
[0108]
迭代模块：通过马尔科夫决策过程分别使用不同医护阶段的病患信息来对所述实体模型进行训练得到与每一医护阶段对应的智能体模型，通过病患信息获取病患状态作为马尔科夫决策过程的状态空间，使用可采取的所有医护手段作为马尔科夫决策过程的行动空间，在训练过程中判断所述实体模型预测得到的预测医护手段是否与同一医护阶段的实际医护手段相符，若相符则对马尔科夫决策过程进行奖励，反之则对马尔科夫决策过程进行惩罚，迭代上述过程得到智能体模型，所述智能体模型用来对对应医护阶段的医护手段进行预测；
[0109]
决策模块：根据马尔科夫决策过程来判断每一智能体的贡献度，根据每一智能体模型的预测结果以及贡献度来计算每一智能体模型的权重，使用对应权重对每一智能体的预测结果进行加权平均得到个性化医疗决策。
[0110]
实施例三
[0111]
本实施例还提供了一种电子装置，参考图3，包括存储器404和处理器402，该存储器404中存储有计算机程序，该处理器402被设置为运行计算机程序以执行上述任一项方法
实施例中的步骤。
[0112]
具体地，上述处理器402可以包括中央处理器(cpu)，或者特定集成电路(applicationspecificintegratedcircuit，简称为asic)，或者可以被配置成实施本技术实施例的一个或多个集成电路。
[0113]
其中，存储器404可以包括用于数据或指令的大容量存储器404。举例来说而非限制，存储器404可包括硬盘驱动器(harddiskdrive，简称为hdd)、软盘驱动器、固态驱动器(solidstatedrive，简称为ssd)、闪存、光盘、磁光盘、磁带或通用串行总线(universalserialbus，简称为usb)驱动器或者两个或更多个以上这些的组合。在合适的情况下，存储器404可包括可移除或不可移除(或固定)的介质。在合适的情况下，存储器404可在数据处理装置的内部或外部。在特定实施例中，存储器404是非易失性(non-volatile)存储器。在特定实施例中，存储器404包括只读存储器(read-onlymemory，简称为rom)和随机存取存储器(randomaccessmemory，简称为ram)。在合适的情况下，该rom可以是掩模编程的rom、可编程rom(programmableread-onlymemory，简称为prom)、可擦除prom(erasableprogrammableread-onlymemory，简称为eprom)、电可擦除prom(electricallyerasableprogrammableread-onlymemory，简称为eeprom)、电可改写rom(electricallyalterableread-onlymemory，简称为earom)或闪存(flash)或者两个或更多个以上这些的组合。在合适的情况下，该ram可以是静态随机存取存储器(staticrandom-accessmemory，简称为sram)或动态随机存取存储器(dynamicrandomaccessmemory，简称为dram)，其中，dram可以是快速页模式动态随机存取存储器404(fastpagemodedynamicrandomaccessmemory，简称为fpmdram)、扩展数据输出动态随机存取存储器(extendeddateoutdynamicrandomaccessmemory，简称为edodram)、同步动态随机存取内存(synchronousdynamicrandom-accessmemory，简称sdram)等。
[0114]
存储器404可以用来存储或者缓存需要处理和/或通信使用的各种数据文件，以及处理器402所执行的可能的计算机程序指令。
[0115]
处理器402通过读取并执行存储器404中存储的计算机程序指令，以实现上述实施例中的任意一种基于多智能体互动的个性化医疗决策方法。
[0116]
可选地，上述电子装置还可以包括传输设备406以及输入输出设备408，其中，该传输设备406和上述处理器402连接，该输入输出设备408和上述处理器402连接。
[0117]
传输设备406可以用来经由一个网络接收或者发送数据。上述的网络具体实例可包括电子装置的通信供应商提供的有线或无线网络。在一个实例中，传输设备包括一个网络适配器(network interface controller，简称为nic)，其可通过基站与其他网络设备相连从而可与互联网进行通讯。在一个实例中，传输设备406可以为射频(radio frequency，简称为rf)模块，其用于通过无线方式与互联网进行通讯。
[0118]
输入输出设备408用于输入或输出信息。在本实施例中，输入的信息可以是患者的患病信息等，输出的信息可以是不同智能体模型的预测医护手段等。
[0119]
可选地，在本实施例中，上述处理器402可以被设置为通过计算机程序执行以下步骤：
[0120]
s101、构建实体模型，获取至少一病患不同医护阶段的病患信息以及每一病患的实际医护方案，所述实际医护方案包含病患在完全康复前每一医护阶段的医护手段；
[0121]
s102、通过马尔科夫决策过程分别使用不同医护阶段的病患信息来对所述实体模型进行训练得到与每一医护阶段对应的智能体模型，通过病患信息获取病患状态作为马尔科夫决策过程的状态空间，使用可采取的所有医护手段作为马尔科夫决策过程的行动空间，在训练过程中判断所述实体模型预测得到的预测医护手段是否与同一医护阶段的实际医护手段相符，若相符则对马尔科夫决策过程进行奖励，反之则对马尔科夫决策过程进行惩罚，迭代上述过程得到智能体模型，所述智能体模型用来对对应医护阶段的医护手段进行预测；
[0122]
s103、根据马尔科夫决策过程来判断每一智能体的贡献度，根据每一智能体模型的预测结果以及贡献度来计算每一智能体模型的权重，使用对应权重对每一智能体的预测结果进行加权平均得到个性化医疗决策。
[0123]
需要说明的是，本实施例中的具体示例可以参考上述实施例及可选实施方式中所描述的示例，本实施例在此不再赘述。
[0124]
通常，各种实施例可以以硬件或专用电路、软件、逻辑或其任何组合来实现。本发明的一些方面可以以硬件来实现，而其他方面可以以可以由控制器、微处理器或其他计算设备执行的固件或软件来实现，但是本发明不限于此。尽管本发明的各个方面可以被示出和描述为框图、流程图或使用一些其他图形表示，但是应当理解，作为非限制性示例，本文中描述的这些框、装置、系统、技术或方法可以以硬件、软件、固件、专用电路或逻辑、通用硬件或控制器或其他计算设备或其某种组合来实现。
[0125]
本发明的实施例可以由计算机软件来实现，该计算机软件由移动设备的数据处理器诸如在处理器实体中可执行，或者由硬件来实现，或者由软件和硬件的组合来实现。包括软件例程、小程序和/或宏的计算机软件或程序(也称为程序产品)可以存储在任何装置可读数据存储介质中，并且它们包括用于执行特定任务的程序指令。计算机程序产品可以包括当程序运行时被配置为执行实施例的一个或多个计算机可执行组件。一个或多个计算机可执行组件可以是至少一个软件代码或其一部分。另外，在这一点上，应当注意，如图3中的逻辑流程的任何框可以表示程序步骤、或者互连的逻辑电路、框和功能、或者程序步骤和逻辑电路、框和功能的组合。软件可以存储在诸如存储器芯片或在处理器内实现的存储块等物理介质、诸如硬盘或软盘等磁性介质、以及诸如例如dvd及其数据变体、cd等光学介质上。物理介质是非瞬态介质。
[0126]
本领域的技术人员应该明白，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。
[0127]
以上实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对本技术范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术的保护范围应以所附权利要求为准。

技术特征：
1.一种基于多智能体互动的个性化医疗决策方法，其特征在于，包括以下步骤：构建实体模型，获取至少一病患不同医护阶段的病患信息以及每一病患的实际医护方案，所述实际医护方案包含病患在完全康复前每一医护阶段的医护手段；通过马尔科夫决策过程分别使用不同医护阶段的病患信息来对所述实体模型进行训练得到与每一医护阶段对应的智能体模型，通过病患信息获取病患状态作为马尔科夫决策过程的状态空间，使用可采取的所有医护手段作为马尔科夫决策过程的行动空间，在训练过程中判断所述实体模型预测得到的预测医护手段是否与同一医护阶段的实际医护手段相符，若相符则对马尔科夫决策过程进行奖励，反之则对马尔科夫决策过程进行惩罚，迭代上述过程得到智能体模型，所述智能体模型用来对对应医护阶段的医护手段进行预测；根据马尔科夫决策过程来判断每一智能体的贡献度，根据每一智能体模型的预测结果以及贡献度来计算每一智能体模型的权重，使用对应权重对每一智能体的预测结果进行加权平均得到个性化医疗决策。2.根据权利要求1所述的一种基于多智能体互动的个性化医疗决策方法，其特征在于，在“通过病患信息获取病患状态作为马尔科夫决策过程的状态空间”步骤中，根据病患信息定义医疗实体，所述医疗实体包括病患实体、疾病实体以及症状实体，以病患信息确定对应的医疗实体的属性，并建立了带有属性的医疗实体的关联关系作为病患状态。3.根据权利要求1所述的一种基于多智能体互动的个性化医疗决策方法，其特征在于，马尔科夫决策过程是一个四元组，在四元组中通过定义一个q值函数来衡量行动空间内的每一次行动的价值，并根据价值来进行最后决策得到预测医护手段。4.根据权利要求1所述的一种基于多智能体互动的个性化医疗决策方法，其特征在于，在“在训练过程中判断所述实体模型预测得到的预测医护手段是否与同一医护阶段的实际医护手段相符，若相符则对马尔科夫决策过程进行奖励，反之则对马尔科夫决策过程进行惩罚，迭代上述过程得到智能体模型”步骤中，所述预测医护手段为各种医疗方法、护理方法或复健方法，若同一医护阶段的预测医护手段与实际医护手段完全一致，则对马尔科夫决策过程进行正值奖励，若同一阶段的预测医护手段与实际医护手段不一致，则对马尔科夫决策过程进行负值奖励。5.根据权利要求4所述的一种基于多智能体互动的个性化医疗决策方法，其特征在于，若统一阶段的预测手段与实际医护手段不一致，且不一致的部分在后续医护阶段中为必要且有效的，则对马尔科夫决策过程进行正值奖励，若不一致的部分在后续医护阶段中为不必要且无效的，则对马尔科夫决策过程进行负值奖励。6.根据权利要求1所述的一种基于多智能体互动的个性化医疗决策方法，其特征在于，判断所述预测医护手段的风险和副作用，若风险值高于设定阈值或存在副作用，则对所述医疗马尔科夫决策过程进行惩罚，反之则对其进行奖励。7.根据权利要求1所述的一种基于多智能体互动的个性化医疗决策方法，其特征在于，在“根据每一智能体模型的预测结果以及贡献度来计算每一智能体模型的权重”步骤中，使用每一智能体模型的贡献度以及预测结果来计算每一智能体的沙普利值，再根据每一智能体的沙普利值得到每一智能体模型的权重。8.一种基于多智能体互动的个性化医疗决策装置，其特征在于，包括：构建模块：构建实体模型，获取至少一病患不同医护阶段的病患信息以及每一病患的
实际医护方案，所述实际医护方案包含病患在完全康复前每一医护阶段的医护手段；迭代模块：通过马尔科夫决策过程分别使用不同医护阶段的病患信息来对所述实体模型进行训练得到与每一医护阶段对应的智能体模型，通过病患信息获取病患状态作为马尔科夫决策过程的状态空间，使用可采取的所有医护手段作为马尔科夫决策过程的行动空间，在训练过程中判断所述实体模型预测得到的预测医护手段是否与同一医护阶段的实际医护手段相符，若相符则对马尔科夫决策过程进行奖励，反之则对马尔科夫决策过程进行惩罚，迭代上述过程得到智能体模型，所述智能体模型用来对对应医护阶段的医护手段进行预测；决策模块：根据马尔科夫决策过程来判断每一智能体的贡献度，根据每一智能体模型的预测结果以及贡献度来计算每一智能体模型的权重，使用对应权重对每一智能体的预测结果进行加权平均得到个性化医疗决策。9.一种电子装置，包括存储器和处理器，其特征在于，所述存储器中存储有计算机程序，所述处理器被设置为运行所述计算机程序以执行权利要求1-7任一所述的一种基于多智能体互动的个性化医疗决策方法。10.一种可读存储介质，其特征在于，所述可读存储介质中存储有计算机程序，所述计算机程序包括用于控制过程以执行过程的程序代码，所述过程包括根据权利要求1-7任一所述的一种基于多智能体互动的个性化医疗决策方法。

技术总结
本申请提出了一种基于多智能体互动的个性化医疗决策方法、装置及应用，包括以下步骤：构建实体模型，获取至少一病患不同医护阶段的病患信息以及每一病患的实际医护方案；通过马尔科夫决策过程分别使用不同医护阶段的病患信息来对所述实体模型进行训练得到与每一医护阶段对应的智能体模型；根据马尔科夫决策过程来判断每一智能体的贡献度，根据每一智能体模型的预测结果以及贡献度来计算每一智能体模型的权重，使用对应权重对每一智能体的预测结果进行加权平均得到个性化医疗决策。本方案可以根据多角度的病患信息来构建多个角度的智能体模型，并通过多个角度的不同智能体模型来进行决策从而给出个性化医疗决策。来进行决策从而给出个性化医疗决策。来进行决策从而给出个性化医疗决策。


技术研发人员：傅亦婷 张旷 周华健 邱瑛 许振影 赵宇飞
受保护的技术使用者：浙江一山智慧医疗研究有限公司
技术研发日：2023.07.03
技术公布日：2023/9/20