生成检查报告的方法、装置、存储介质及电子设备与流程

1.本公开涉及计算机技术领域，具体地，涉及一种生成检查报告的方法、装置、存储介质及电子设备。


背景技术：

2.胃癌是常见的消化系统疾病，是发病率比较高的疾病之一。常见的胃癌类型包括息肉型胃癌、凹陷型胃癌以及胃炎型胃癌。目前，主要通过内镜下活组织检查确定胃癌的类型，生成对应的检查报告。但是，在白光内镜下，内镜与病理诊断的符合率较低，针对不同的检查者，内镜下的诊断有很大的差异，导致生成的检查报告的准确率比较低。


技术实现要素：

3.为了解决上述问题，本公开提供一种生成检查报告的方法、装置、存储介质及电子设备。
4.第一方面，本公开提供一种生成检查报告的方法，包括：
5.获取用户的病历信息和包含所述用户的目标部位的目标影像；
6.根据所述目标影像，通过预先生成的第一信息确定模型，确定所述目标部位的第一识别信息；
7.根据所述病历信息，通过预先生成的第二信息确定模型，确定所述目标部位的第二识别信息；
8.根据所述第一识别信息、所述第二识别信息、所述第一信息确定模型的第一模型信息以及所述第二信息确定模型的第二模型信息，确定目标识别信息；
9.根据所述目标识别信息，生成所述目标部位对应的检查报告。
10.可选地，所述病历信息包括多个文本信息，所述第二信息确定模型包括文本处理子模型和特征处理子模型；所述根据所述病历信息，通过预先生成的第二信息确定模型，确定所述目标部位的第二识别信息包括：
11.将多个所述文本信息进行拼接处理，得到拼接文本信息；
12.将所述拼接文本信息输入所述文本处理子模型，得到所述拼接文本信息对应的拼接病历特征；
13.将多个所述文本信息输入所述文本处理子模型，得到每个所述文本信息对应的病历特征；
14.根据所述拼接病历特征和多个所述病历特征，通过所述特征处理子模型，确定所述目标部位的第二识别信息。
15.可选地，所述根据所述拼接病历特征和多个所述病历特征，通过所述特征处理子模型，确定所述目标部位的第二识别信息包括：
16.通过所述特征处理子模型确定多个所述文本信息的信息数量，并根据所述信息数量、所述拼接病历特征、多个所述病历特征以及预设信息质量权重，确定所述目标部位的第
二识别信息。
17.可选地，所述根据所述第一识别信息、所述第二识别信息、所述第一信息确定模型的第一模型信息以及所述第二信息确定模型的第二模型信息，确定目标识别信息包括：
18.根据所述第一模型信息和所述第二模型信息，确定所述第一识别信息对应的信息权重；
19.根据所述信息权重、所述第一识别信息以及所述第二识别信息，确定所述目标识别信息。
20.可选地，所述病历信息包括多个文本信息，所述第一模型信息包括所述第一信息确定模型对应的第一样本的第一样本数量，所述第二模型信息包括所述第二信息确定模型对应的第二样本的第二样本数量；所述根据所述第一模型信息和所述第二模型信息，确定所述第一识别信息对应的信息权重包括：
21.根据所述第一信息确定模型对应的预设模型权重、所述第二信息确定模型对应的预设文本权重、所述第一样本数量以及所述第二样本数量，确定所述第一识别信息对应的信息权重。
22.可选地，所述第一模型信息还包括所述第一信息确定模型的第一准确率，所述第二模型信息还包括所述第二信息确定模型的第二准确率；所述根据所述信息权重、所述第一识别信息以及所述第二识别信息，确定所述目标识别信息包括：
23.根据所述信息权重、所述第一准确率、所述第二准确率、所述第一识别信息以及所述第二识别信息，确定所述目标识别信息。
24.可选地，所述第一信息确定模型通过以下方式预先生成：
25.获取所述第一信息确定模型对应的第一样本的第一样本数量和目标神经网络模型的对应的第三样本的第三样本数量，所述目标神经网络模型包括多个子模型；
26.根据所述第一样本数量和所述第三样本数量，从多个所述子模型中确定目标子模型；
27.根据所述第一样本对所述目标神经网络模型的待定子模型进行训练，得到所述第一信息确定模型，所述待定子模型包括多个所述子模型中除所述目标子模型之外的子模型。
28.第二方面，本公开提供一种生成检查报告的装置，包括：
29.获取模块，用于获取用户的病历信息和包含所述用户的目标部位的目标影像；
30.第一确定模块，用于根据所述目标影像，通过预先生成的第一信息确定模型，确定所述目标部位的第一识别信息；
31.第二确定模块，用于根据所述病历信息，通过预先生成的第二信息确定模型，确定所述目标部位的第二识别信息；
32.第三确定模块，用于根据所述第一识别信息、所述第二识别信息、所述第一信息确定模型的第一模型信息以及所述第二信息确定模型的第二模型信息，确定目标识别信息；
33.生成模块，用于根据所述目标识别信息，生成所述目标部位对应的检查报告。
34.可选地，述病历信息包括多个文本信息，所述第二信息确定模型包括文本处理子模型和特征处理子模型；所述第二确定模块，还用于：
35.将多个所述文本信息进行拼接处理，得到拼接文本信息；
36.将所述拼接文本信息输入所述文本处理子模型，得到所述拼接文本信息对应的拼接病历特征；
37.将多个所述文本信息输入所述文本处理子模型，得到每个所述文本信息对应的病历特征；
38.根据所述拼接病历特征和多个所述病历特征，通过所述特征处理子模型，确定所述目标部位的第二识别信息。
39.可选地，所述第二确定模块，还用于：
40.通过所述特征处理子模型确定多个所述文本信息的信息数量，并根据所述信息数量、所述拼接病历特征、多个所述病历特征以及预设信息质量权重，确定所述目标部位的第二识别信息。
41.可选地，所述第三确定模块，还用于：
42.根据所述第一模型信息和所述第二模型信息，确定所述第一识别信息对应的信息权重；
43.根据所述信息权重、所述第一识别信息以及所述第二识别信息，确定所述目标识别信息。
44.可选地，所述病历信息包括多个文本信息，所述第一模型信息包括所述第一信息确定模型对应的第一样本的第一样本数量，所述第二模型信息包括所述第二信息确定模型对应的第二样本的第二样本数量；所述第三确定模块，还用于：
45.根据所述第一信息确定模型对应的预设模型权重、所述第二信息确定模型对应的预设文本权重、所述第一样本数量以及所述第二样本数量，确定所述第一识别信息对应的信息权重。
46.可选地，所述第一模型信息还包括所述第一信息确定模型的第一准确率，所述第二模型信息还包括所述第二信息确定模型的第二准确率；所述第三确定模块，还用于：
47.根据所述信息权重、所述第一准确率、所述第二准确率、所述第一识别信息以及所述第二识别信息，确定所述目标识别信息。
48.可选地，所述第一信息确定模型通过以下方式预先生成：
49.获取所述第一信息确定模型对应的第一样本的第一样本数量和目标神经网络模型的对应的第三样本的第三样本数量，所述目标神经网络模型包括多个子模型；
50.根据所述第一样本数量和所述第三样本数量，从多个所述子模型中确定目标子模型；
51.根据所述第一样本对所述目标神经网络模型的待定子模型进行训练，得到所述第一信息确定模型，所述待定子模型包括多个所述子模型中除所述目标子模型之外的子模型。
52.第三方面，本公开提供一种计算机可读存储介质，其上存储有计算机程序，该程序被处理器执行时实现本公开第一方面方法的步骤。
53.第四方面，本公开提供一种电子设备，包括：存储器，其上存储有计算机程序；处理器，用于执行存储器中的计算机程序，以实现本公开第一方面方法的步骤。
54.通过上述技术方案，获取用户的病历信息和包含所述用户的目标部位的目标影像；根据所述目标影像，通过预先生成的第一信息确定模型，确定所述目标部位的第一识别
信息；根据所述病历信息，通过预先生成的第二信息确定模型，确定所述目标部位的第二识别信息；根据所述第一识别信息、所述第二识别信息、所述第一信息确定模型的第一模型信息以及所述第二信息确定模型的第二模型信息，确定目标识别信息；根据所述目标识别信息，生成所述目标部位对应的检查报告。也就是说，通过第一信息确定模型从目标影像中提取目标部位的第一识别信息，通过第二信息确定模型从病历信息中提取目标部位的第二识别信息，根据第一信息确定模型的第一模型信息和第二信息确定模型的第二模型信息，将第一识别信息和第二识别信息融合，提取出目标部位的目标识别信息，本公开能够根据第一模型信息和第二模型信息，将第一识别信息和第二识别信息融合，确定该目标识别信息，这样，该目标识别信息不仅将病历信息与目标影像结合，还考虑到了第一信息确定模型对第一识别信息的影响和第二信息确定模型对第二识别信息的影响，因此，相比独立的第一识别信息和第二识别信息，该目标识别信息的准确率更高，从而提高了根据该目标识别信息生成的检查报告的准确率。
55.本公开的其他特征和优点将在随后的具体实施方式部分予以详细说明。
附图说明
56.附图是用来提供对本公开的进一步理解，并且构成说明书的一部分，与下面的具体实施方式一起用于解释本公开，但并不构成对本公开的限制。在附图中：
57.图1是根据本公开一示例性实施例示出的一种生成检查报告的方法的流程图；
58.图2是根据本公开一示例性实施例示出的一种第二信息确定模型的示意图；
59.图3是根据本公开一示例性实施例示出的另一种生成检查报告的方法的流程图；
60.图4是根据本公开一示例性实施例示出的另一种生成检查报告的方法的流程图；
61.图5是根据本公开一示例性实施例示出的一种模型训练方法的流程图；
62.图6是根据本公开一示例性实施例示出的一种目标神经网络模型的示意图；
63.图7是根据本公开一示例性实施例示出的一种生成检查报告的装置的框图；
64.图8是根据本公开一示例性实施例示出的一种电子设备的框图。
具体实施方式
65.以下结合附图对本公开的具体实施方式进行详细说明。应当理解的是，此处所描述的具体实施方式仅用于说明和解释本公开，并不用于限制本公开。
66.需要说明的是，本公开中所有获取信号、信息或数据的动作都是在遵照所在地国家相应的数据保护法规政策的前提下，并获得由相应装置所有者给予授权的情况下进行的。
67.在下文中的描述中，“第一”、“第二”等词汇，仅用于区分描述的目的，而不能理解为指示或暗示相对重要性，也不能理解为指示或暗示顺序。
68.下面结合附图，对本公开的具体实施方式进行详细说明。
69.图1是根据本公开一示例性实施例示出的一种生成检查报告的方法的流程图，如图1所示，该方法可以包括：
70.s101、获取用户的病历信息和包含该用户的目标部位的目标影像。
71.其中，该用户可以是患者，该病历信息可以包括患者主诉、现病史、既往史、家族
史、个人健康状况、相关病理检查的病理报告、该目标影像对应的影像报告中的一个或多个，该目标影像可以是通过医疗摄影设备拍摄的医疗影像，示例地，该目标图像可以是胃镜图像。
72.s102、根据该目标影像，通过预先生成的第一信息确定模型，确定该目标部位的第一识别信息。
73.在本步骤中，在获取该目标影像后，可以将该目标影像输入该第一信息确定模型，通过该第一信息确定模型对该目标影像进行识别，确定该目标部位的第一识别信息。示例地，该第一识别信息可以是每种预设胃癌的识别概率。
74.s103、根据该病历信息，通过预先生成的第二信息确定模型，确定该目标部位的第二识别信息。
75.在本步骤中，在获取该病历信息后，可以将该病历信息输入该第二信息确定模型，通过该第二信息确定模型对该病历信息进行信息处理，得到该目标部位的第二识别信息。示例地，该第二识别信息可以是每种预设胃癌的识别概率。
76.s104、根据该第一识别信息、该第二识别信息、该第一信息确定模型的第一模型信息以及该第二信息确定模型的第二模型信息，确定目标识别信息。
77.在本步骤中，在确定该第一识别信息和该第二识别信息后，可以根据该第一模型信息和该第二模型信息，对该第一识别信息和该第二识别信息进行融合，得到该目标识别信息。示例地，该目标识别信息可以是每种预设胃癌的识别概率。
78.s105、根据该目标识别信息，生成该目标部位对应的检查报告。
79.在本步骤中，在确定该目标识别信息后，可以根据该目标识别信息，按照预设文本格式，生成该目标部位对应的检查报告。
80.采用上述方法，通过第一信息确定模型从目标影像中提取目标部位的第一识别信息，通过第二信息确定模型从病历信息中提取目标部位的第二识别信息，根据第一信息确定模型的第一模型信息和第二信息确定模型的第二模型信息，将第一识别信息和第二识别信息融合，提取出目标部位的目标识别信息，也就是说，本公开能够根据第一模型信息和第二模型信息，将第一识别信息和第二识别信息融合，确定该目标识别信息，这样，该目标识别信息不仅将病历信息与目标影像结合，还考虑到了第一信息确定模型对第一识别信息的影响和第二信息确定模型对第二识别信息的影响，因此，相比独立的第一识别信息和第二识别信息，该目标识别信息的准确率更高，从而提高了根据该目标识别信息生成的检查报告的准确率。
81.该病历信息包括可以多个文本信息，以该病历信息包括患者主诉、现病史、既往史、家族史、个人健康状况、相关病理检查的病理报告、该目标影像对应的影像报告为例，用户主诉、现病史、既往史、家族史、个人健康状况、病理报告、该目标影像对应的影像报告中的每一个信息可以作为一个文本信息。该第二信息确定模型可以包括文本处理子模型和特征处理子模型，图2是根据本公开一示例性实施例示出的一种第二信息确定模型的示意图，如图2所示，该文本处理子模型可以是bert(bidirectional encoder representation from transformers，来自变换器的双向编码器表征量)模型，该特征处理子模型可以包括第一特征处理子模型、第二特征处理子模型以及第三特征处理子模型，该第一特征处理子模型可以基于现有技术的bilstm(bi-directional long short-term memory，双向长短时
记忆)模型训练得到，该第一特征处理子模型的训练方法可以参照现有技术的模型训练方法，此处不再赘述。该第二特征处理子模型可以是现有技术的自注意力机制，该第三特征处理子模型可以包括现有技术的全连接层。
82.图3是根据本公开一示例性实施例示出的另一种生成检查报告的方法的流程图，如图3所示，步骤s103的实现方法可以包括：
83.s1031、将多个该文本信息进行拼接处理，得到拼接文本信息。
84.在本步骤中，在获取该病历信息后，可以对该病历信息中的每个文本信息进行预处理，示例地，针对每个文本信息，可以删除该文本信息中的特殊符合和空格，之后，可以按照预设文本信息顺序，将多个文本信息进行拼接，得到该拼接文本信息。示例地，每两个文本信息之间可以通过“&”符号连接。
85.s1032、将该拼接文本信息输入该文本处理子模型，得到该拼接文本信息对应的拼接病历特征。
86.在本步骤中，在得到该拼接文本信息后，可以将该拼接文本信息输入bert模型，通过bert模型对该拼接文本信息进行信息处理，得到该拼接病历特征，该拼接病历特征能够体现多个文本信息之间的关联关系。若该拼接文本信息表示为w＝(w1,w2,w3,
……
,wn)，则该拼接病历特征可以表示为x
p
＝(x1,x2,x3,
……
,xn)。
87.s1033、将多个该文本信息输入该文本处理子模型，得到每个该文本信息对应的病历特征。
88.在本步骤中，可以将多个文本信息分别输入bert模型，通过bert模型对每个文本信息进行信息处理，得到每个文本信息对应的病历特征。
89.需要说明的是，本公开对步骤s1031～步骤s1032与步骤s1033的执行顺序不作限定，可以先执行步骤s1031～步骤s1032，再执行步骤s1033，也可以先执行步骤s1033，再执行步骤s1031～步骤s1032。
90.s1034、根据该拼接病历特征和多个该病历特征，通过该特征处理子模型，确定该目标部位的第二识别信息。
91.在一种可能的实现方式中，可以通过该特征处理子模型确定多个该文本信息的信息数量，并根据该信息数量、该拼接病历特征、多个该病历特征以及预设信息质量权重，确定该目标部位的第二识别信息。
92.示例地，可以先确定该病历信息中包含的文本信息的信息数量，并将该拼接病历特征输入该第一特征处理子模型，得到前项模块输出的特征h
li
和后项模块输出的特征h
ri
，连接h
li
和h
ri
后得到特征hi，之后，可以根据该信息数量、该拼接病历特征、多个该病历特征以及预设信息质量权重，通过以下公式确定每个文本信息对应的第一特征：
[0093][0094]
其中，zi为第i个文本信息对应的第一特征，m为该病历信息中包含的文本信息的信息数量，c0为该预设信息质量权重，取值范围为0～0.5，具体的取值可以根据该病历信息的质量确定，x
si
为第i个文本信息对应的病历特征。
[0095]
在确定每个文本信息对应的第一特征后，可以根据多个第一特征，通过自注意力机制得到每个文本信息对应的第二特征，示例地，可以通过以下公式确定该第二特征：
[0096][0097]
其中，x
ei
为第i个文本信息对应的第二特征，αi为第i个文本信息对应的预设注意力概率，αi可以通过以下公式计算得到：
[0098][0099]
wv、wh、wa、ba为该自注意力机制在模型训练过程中学习得到的参数。
[0100]
在确定每个文本信息对应的第二特征后，可以通过全连接层对该第二特征进行降维处理，以该目标图像为胃镜图像为例，对该第二特征进行降维处理后，可以得到多种预设胃癌的类别数，之后，再通过softmax进行归一化处理，得到每种胃癌的文本识别概率，该文本识别概率即为该第二识别信息。
[0101]
图4是根据本公开一示例性实施例示出的另一种生成检查报告的方法的流程图，如图4所示，步骤s104的实现方法可以包括：
[0102]
s1041、根据该第一模型信息和该第二模型信息，确定该第一识别信息对应的信息权重。
[0103]
其中，该第一模型信息包括该第一信息确定模型对应的第一样本的第一样本数量，该第一样本可以是生成该第一信息确定模型过程中使用的样本，该第二模型信息包括该第二信息确定模型对应的第二样本的第二样本数量，该第二样本可以是生成该第二信息确定模型过程中使用的样本。该信息权重用于表征该第一识别信息的占比，该信息权重越大，表示在确定该目标识别信息过程中该第一识别信息的参与度越高，该信息权重越小，表示在确定该目标识别信息过程中该第一识别信息的参与度越低。
[0104]
在本步骤中，可以根据该第一样本数量和该第二样本数量，从多个预设权重中确定该第一识别信息对应的信息权重。示例地，若该第一样本数量大于该第二样本数量，表示用于训练该第一信息确定模型的样本更多，该第一信息确定模型的准确率相对更高，根据该第一信息确定模型确定的第一识别信息的准确率也更高，则可以确定该信息权重为第一预设权重阈值；若该第一样本数量小于该第二样本数量，表示用于训练该第一信息确定模型的样本更少，该第一信息确定模型的准确率相对更低，根据该第一信息确定模型确定的第一识别信息的准确率也更低，则可以确定该信息权重为第二预设权重阈值，该第二预设权重阈值小于该第一预设权重阈值。本公开也可以根据该第一样本数量和该第二样本数量的数量差值，确定该信息权重，不同的数量差值设置不同的信息权重。
[0105]
在一种可能的实现方式中，还可以根据该第一信息确定模型对应的预设模型权重、该第二信息确定模型对应的预设文本权重、该第一样本数量以及该第二样本数量，确定该第一识别信息对应的信息权重。其中，该第二样本可以包括多个，不同第二样本包含的文本信息的类型不同。示例地，可以通过以下公式计算得到该第一识别信息对应的信息权重：
[0106][0107]
其中，q
img
为该信息权重，c1为该第一信息确定模型对应的预设影像权重，c1的取值范围为0～1，具体的取值可以根据该第一样本数量确定，示例地，可以通过预先设置的权重关联关系确定该第一样本数量对应的预设影像权重，该权重关联关系可以包括不同样本数量与权重之间的对应关系；e
img
用于表示是否存在该目标影像，若存在该目标影像，则e
img
的
取值为1，若不存在该目标影像，则e
img
的取值为0，m
img
为该第一样本数量，m
texti
为第i个第二样本的第二样本数量，c2为预设类型权重，n为预设文本信息类型的类型数量，e
texti
用于表示是否存在第i个预设文本信息类型，若存在第i个预设文本信息类型，则e
texti
的取值为1，若不存在i个预设文本信息类型，则e
texti
的取值为0。
[0108]
s1042、根据该信息权重、该第一识别信息以及该第二识别信息，确定该目标识别信息。
[0109]
其中，该第一模型信息还可以包括该第一信息确定模型的第一准确率，该第二模型信息还可以包括该第二信息确定模型的第二准确率，该第二准确率可以包括多个，不同的第二准确率对应不同的预设文本信息类型，该第一准确率和该第二准确率可以预先通过测试样本测试得到。
[0110]
在一种可能的实现方式中，可以根据该信息权重、该第一准确率、该第二准确率、该第一识别信息以及该第二识别信息，确定该目标识别信息。示例地，可以通过以下公式计算得到该目标识别信息：
[0111]
res＝max(q
imgcimg
p
img
+(1-q
img
)c
text
p
text
)
ꢀꢀ
(5)
[0112]
其中，res为该目标识别信息，c
img
为该第一准确率，p
img
为该第一识别信息的向量表示，c
text
为多个第二准确率的向量表示，p
text
为该第二识别信息的向量表示。
[0113]
图5是根据本公开一示例性实施例示出的一种模型训练方法的流程图，如图5所示，该方法可以包括：
[0114]
s1、获取该第一信息确定模型对应的第一样本的第一样本数量和目标神经网络模型的对应的第三样本的第三样本数量。
[0115]
其中，该目标神经网络模型可以包括多个子模型，图6是根据本公开一示例性实施例示出的一种目标神经网络模型的示意图，如图6所示，该目标神经网络模型可以包括两个卷积层、两个池化层以及两个全连接层，按照图5中从左到右的顺序，第一个卷积层的输出与第一个池化层的输入耦合，第一个池化层的输出与第二个卷积层的输入耦合，第二个卷积层的输出与第二个池化层的输入耦合，第二个池化层的输出与第一个全连接层的输入耦合，第一个全连接层的输出与第二个全连接层的输入耦合。该目标神经网络模型中的两个卷积层和两个池化层的模型参数可以预先通过hyperkvasir数据集训练得到。
[0116]
示例地，可以通过以下公式确定卷积层的模型参数：
[0117][0118]
其中，表示第l层卷积层的第j个模型参数，mk表示第j个模型参数的感受野，表示第l-1层卷积层的第i个模型参数，表示第l层卷积层的第j个模型参数的偏置，f()为激活函数，用于表征第l层卷积层的第j个模型参数与第l-1层卷积层的第i个模型参数之间的关系。
[0119]
可以通过以下公式确定池化层的模型参数：
[0120][0121]
其中，表示第v层池化层的第t个模型参数，为第v层池化层的第t个模型参
数的权重系数，表示第v-1层池化层的第g个模型参数，表示第v层池化层的第t个模型参数的偏置，down()为池化函数，f()为激活函数。
[0122]
以图5所示的目标神经网络模型为例，该目标神经网络模型可以包括第一子模型、第二子模型以及第三子模型，该第一子模型可以包括第一个卷积层和第一个池化层，该第二子模型可以包括第二个卷积层和第二个池化层，该第三子模型可以包括两个全连接层。
[0123]
在本步骤中，可以获取用于生成该第一信息确定模型的第一样本的第一样本数量，以及用于生成该目标神经网络模型中的两个卷积层和两个池化层的模型参数的第三样本的第三样本数量。
[0124]
s2、根据该第一样本数量和该第三样本数量，从多个该子模型中确定目标子模型。
[0125]
在本步骤中，可以通过以下公式确定子模型数量：
[0126][0127]
其中，l为该子模型数量，n
mk
为该第一样本数量，n
hk
为该第三样本数量。
[0128]
在确定该子模型数量后，可以根据该子模型数量，按照该目标神经网络模型中每个子模型的执行顺序，从多个子模型中确定该目标子模型。以图5所示的目标神经网络模型为例，若l为1，则可以将该第一子模型作为该目标子模型，若l为2，则可以将该第一子模型和该第二子模型作为该目标子模型。
[0129]
s3、根据该第一样本对该目标神经网络模型的待定子模型进行训练，得到该第一信息确定模型。
[0130]
其中，该待定子模型可以包括多个该子模型中除该目标子模型之外的子模型。
[0131]
在本步骤中，在确定该目标子模型后，可以对该目标子模型的模型参数进行冻结，即在对该目标神经网络模型训练过程中，不再更新该目标子模型的模型参数。示例地，可以参照现有技术的模型训练方法，通过该第一样本更新该目标神经网络模型中除该目标子模型的模型参数之外的模型参数。
[0132]
通过上述模型训练方法，在已生成的成熟的目标神经网络模型的基础上，结合第一样本对该目标神经网络模型进行训练，得到第一信息确定模型，该第一信息确定模型能够更好地进行特征提取，使得该第一识别信息的准确率更高，从而进一步提高了该检查报告的准确率。
[0133]
图7是根据本公开一示例性实施例示出的一种生成检查报告的装置的框图，如图7所示，该装置可以包括：
[0134]
获取模块701，用于获取用户的病历信息和包含该用户的目标部位的目标影像；
[0135]
第一确定模块702，用于根据该目标影像，通过预先生成的第一信息确定模型，确定该目标部位的第一识别信息；
[0136]
第二确定模块703，用于根据该病历信息，通过预先生成的第二信息确定模型，确定该目标部位的第二识别信息；
[0137]
第三确定模块704，用于根据该第一识别信息、该第二识别信息、该第一信息确定模型的第一模型信息以及该第二信息确定模型的第二模型信息，确定目标识别信息；
[0138]
生成模块705，用于根据该目标识别信息，生成该目标部位对应的检查报告。
[0139]
可选地，述病历信息包括多个文本信息，该第二信息确定模型包括文本处理子模型和特征处理子模型；该第二确定模块703，还用于：
[0140]
将多个该文本信息进行拼接处理，得到拼接文本信息；
[0141]
将该拼接文本信息输入该文本处理子模型，得到该拼接文本信息对应的拼接病历特征；
[0142]
将多个该文本信息输入该文本处理子模型，得到每个该文本信息对应的病历特征；
[0143]
根据该拼接病历特征和多个该病历特征，通过该特征处理子模型，确定该目标部位的第二识别信息。
[0144]
可选地，该第二确定模块703，还用于：
[0145]
通过该特征处理子模型确定多个该文本信息的信息数量，并根据该信息数量、该拼接病历特征、多个该病历特征以及预设信息质量权重，确定该目标部位的第二识别信息。
[0146]
可选地，该第三确定模块704，还用于：
[0147]
根据该第一模型信息和该第二模型信息，确定该第一识别信息对应的信息权重；
[0148]
根据该信息权重、该第一识别信息以及该第二识别信息，确定该目标识别信息。
[0149]
可选地，该病历信息包括多个文本信息，该第一模型信息包括该第一信息确定模型对应的第一样本的第一样本数量，该第二模型信息包括该第二信息确定模型对应的第二样本的第二样本数量；该第三确定模块704，还用于：
[0150]
根据该第一信息确定模型对应的预设模型权重、该第二信息确定模型对应的预设文本权重、该第一样本数量以及该第二样本数量，确定该第一识别信息对应的信息权重。
[0151]
可选地，该第一模型信息还包括该第一信息确定模型的第一准确率，该第二模型信息还包括该第二信息确定模型的第二准确率；该第三确定模块704，还用于：
[0152]
根据该信息权重、该第一准确率、该第二准确率、该第一识别信息以及该第二识别信息，确定该目标识别信息。
[0153]
可选地，该第一信息确定模型通过以下方式预先生成：
[0154]
获取该第一信息确定模型对应的第一样本的第一样本数量和目标神经网络模型的对应的第三样本的第三样本数量，该目标神经网络模型包括多个子模型；
[0155]
根据该第一样本数量和该第三样本数量，从多个该子模型中确定目标子模型；
[0156]
根据该第一样本对该目标神经网络模型的待定子模型进行训练，得到该第一信息确定模型，该待定子模型包括多个该子模型中除该目标子模型之外的子模型。
[0157]
通过上述装置，通过第一信息确定模型从目标影像中提取目标部位的第一识别信息，通过第二信息确定模型从病历信息中提取目标部位的第二识别信息，根据第一信息确定模型的第一模型信息和第二信息确定模型的第二模型信息，将第一识别信息和第二识别信息融合，提取出目标部位的目标识别信息，也就是说，本公开能够根据第一模型信息和第二模型信息，将第一识别信息和第二识别信息融合，确定该目标识别信息，这样，该目标识别信息不仅将病历信息与目标影像结合，还考虑到了第一信息确定模型对第一识别信息的影响和第二信息确定模型对第二识别信息的影响，因此，相比独立的第一识别信息和第二识别信息，该目标识别信息的准确率更高。
[0158]
关于上述实施例中的装置，其中各个模块执行操作的具体方式已经在有关该方法
的实施例中进行了详细描述，此处将不做详细阐述说明。
[0159]
图8是根据本公开一示例性实施例示出的一种电子设备800的框图。如图8所示，该电子设备800可以包括：处理器801，存储器802。该电子设备800还可以包括多媒体组件803，输入/输出接口804，以及通信组件805中的一者或多者。
[0160]
其中，处理器801用于控制该电子设备800的整体操作，以完成上述的生成检查报告的方法中的全部或部分步骤。存储器802用于存储各种类型的数据以支持在该电子设备800的操作，这些数据例如可以包括用于在该电子设备800上操作的任何应用程序或方法的指令，以及应用程序相关的数据，例如联系人数据、收发的消息、图片、音频、视频等等。该存储器802可以由任何类型的易失性或非易失性存储设备或者它们的组合实现，例如静态随机存取存储器(static random access memory，简称sram)，电可擦除可编程只读存储器(electrically erasable programmable read-only memory，简称eeprom)，可擦除可编程只读存储器(erasable programmable read-only memory，简称eprom)，可编程只读存储器(programmable read-only memory，简称prom)，只读存储器(read-only memory，简称rom)，磁存储器，快闪存储器，磁盘或光盘。多媒体组件803可以包括屏幕和音频组件。其中屏幕例如可以是触摸屏，音频组件用于输出和/或输入音频信号。例如，音频组件可以包括一个麦克风，麦克风用于接收外部音频信号。所接收的音频信号可以被进一步存储在存储器802或通过通信组件805发送。音频组件还包括至少一个扬声器，用于输出音频信号。输入/输出接口804为处理器801和其他接口模块之间提供接口，上述其他接口模块可以是键盘，鼠标，按钮等。这些按钮可以是虚拟按钮或者实体按钮。通信组件805用于该电子设备800与其他设备之间进行有线或无线通信。无线通信，例如wi-fi，蓝牙，近场通信(near field communication，简称nfc)，2g、3g、4g、nb-iot、emtc、或其他5g等等，或它们中的一种或几种的组合，在此不做限定。因此相应的该通信组件805可以包括：wi-fi模块，蓝牙模块，nfc模块等等。
[0161]
在一示例性实施例中，电子设备800可以被一个或多个应用专用集成电路(application specific integrated circuit，简称asic)、数字信号处理器(digital signal processor，简称dsp)、数字信号处理设备(digital signal processing device，简称dspd)、可编程逻辑器件(programmable logic device，简称pld)、现场可编程门阵列(field programmable gate array，简称fpga)、控制器、微控制器、微处理器或其他电子元件实现，用于执行上述的生成检查报告的方法。
[0162]
在另一示例性实施例中，还提供了一种包括程序指令的计算机可读存储介质，该程序指令被处理器执行时实现上述的生成检查报告的方法的步骤。例如，该计算机可读存储介质可以为上述包括程序指令的存储器802，上述程序指令可由电子设备800的处理器801执行以完成上述的生成检查报告的方法。
[0163]
在另一示例性实施例中，还提供一种计算机程序产品，该计算机程序产品包含能够由可编程的装置执行的计算机程序，该计算机程序具有当由该可编程的装置执行时用于执行上述的生成检查报告的方法的代码部分。
[0164]
以上结合附图详细描述了本公开的优选实施方式，但是，本公开并不限于上述实施方式中的具体细节，在本公开的技术构思范围内，可以对本公开的技术方案进行多种简单变型，这些简单变型均属于本公开的保护范围。另外需要说明的是，在上述具体实施方式
中所描述的各个具体技术特征，在不矛盾的情况下，可以通过任何合适的方式进行组合，为了避免不必要的重复，本公开对各种可能的组合方式不再另行说明。
[0165]
此外，本公开的各种不同的实施方式之间也可以进行任意组合，只要其不违背本公开的思想，其同样应当视为本公开所公开的内容。

技术特征：
1.一种生成检查报告的方法，其特征在于，包括：获取用户的病历信息和包含所述用户的目标部位的目标影像；根据所述目标影像，通过预先生成的第一信息确定模型，确定所述目标部位的第一识别信息；根据所述病历信息，通过预先生成的第二信息确定模型，确定所述目标部位的第二识别信息；根据所述第一识别信息、所述第二识别信息、所述第一信息确定模型的第一模型信息以及所述第二信息确定模型的第二模型信息，确定目标识别信息；根据所述目标识别信息，生成所述目标部位对应的检查报告。2.根据权利要求1所述的方法，其特征在于，所述病历信息包括多个文本信息，所述第二信息确定模型包括文本处理子模型和特征处理子模型；所述根据所述病历信息，通过预先生成的第二信息确定模型，确定所述目标部位的第二识别信息包括：将多个所述文本信息进行拼接处理，得到拼接文本信息；将所述拼接文本信息输入所述文本处理子模型，得到所述拼接文本信息对应的拼接病历特征；将多个所述文本信息输入所述文本处理子模型，得到每个所述文本信息对应的病历特征；根据所述拼接病历特征和多个所述病历特征，通过所述特征处理子模型，确定所述目标部位的第二识别信息。3.根据权利要求2所述的方法，其特征在于，所述根据所述拼接病历特征和多个所述病历特征，通过所述特征处理子模型，确定所述目标部位的第二识别信息包括：通过所述特征处理子模型确定多个所述文本信息的信息数量，并根据所述信息数量、所述拼接病历特征、多个所述病历特征以及预设信息质量权重，确定所述目标部位的第二识别信息。4.根据权利要求1所述的方法，其特征在于，所述根据所述第一识别信息、所述第二识别信息、所述第一信息确定模型的第一模型信息以及所述第二信息确定模型的第二模型信息，确定目标识别信息包括：根据所述第一模型信息和所述第二模型信息，确定所述第一识别信息对应的信息权重；根据所述信息权重、所述第一识别信息以及所述第二识别信息，确定所述目标识别信息。5.根据权利要求4所述的方法，其特征在于，所述病历信息包括多个文本信息，所述第一模型信息包括所述第一信息确定模型对应的第一样本的第一样本数量，所述第二模型信息包括所述第二信息确定模型对应的第二样本的第二样本数量；所述根据所述第一模型信息和所述第二模型信息，确定所述第一识别信息对应的信息权重包括：根据所述第一信息确定模型对应的预设模型权重、所述第二信息确定模型对应的预设文本权重、所述第一样本数量以及所述第二样本数量，确定所述第一识别信息对应的信息权重。6.根据权利要求5所述的方法，其特征在于，所述第一模型信息还包括所述第一信息确
定模型的第一准确率，所述第二模型信息还包括所述第二信息确定模型的第二准确率；所述根据所述信息权重、所述第一识别信息以及所述第二识别信息，确定所述目标识别信息包括：根据所述信息权重、所述第一准确率、所述第二准确率、所述第一识别信息以及所述第二识别信息，确定所述目标识别信息。7.根据权利要求1-6任一项所述的方法，其特征在于，所述第一信息确定模型通过以下方式预先生成：获取所述第一信息确定模型对应的第一样本的第一样本数量和目标神经网络模型的对应的第三样本的第三样本数量，所述目标神经网络模型包括多个子模型；根据所述第一样本数量和所述第三样本数量，从多个所述子模型中确定目标子模型；根据所述第一样本对所述目标神经网络模型的待定子模型进行训练，得到所述第一信息确定模型，所述待定子模型包括多个所述子模型中除所述目标子模型之外的子模型。8.一种生成检查报告的装置，其特征在于，包括：获取模块，用于获取用户的病历信息和包含所述用户的目标部位的目标影像；第一确定模块，用于根据所述目标影像，通过预先生成的第一信息确定模型，确定所述目标部位的第一识别信息；第二确定模块，用于根据所述病历信息，通过预先生成的第二信息确定模型，确定所述目标部位的第二识别信息；第三确定模块，用于根据所述第一识别信息、所述第二识别信息、所述第一信息确定模型的第一模型信息以及所述第二信息确定模型的第二模型信息，确定目标识别信息；生成模块，用于根据所述目标识别信息，生成所述目标部位对应的检查报告。9.一种非临时性计算机可读存储介质，其上存储有计算机程序，其特征在于，该程序被处理器执行时实现权利要求1-7中任一项所述方法的步骤。10.一种电子设备，其特征在于，包括：存储器，其上存储有计算机程序；处理器，用于执行所述存储器中的所述计算机程序，以实现权利要求1-7中任一项所述方法的步骤。

技术总结
本公开涉及一种生成检查报告的方法、装置、存储介质及电子设备，所述方法包括：获取用户的病历信息和包含用户的目标部位的目标影像；根据目标影像，通过预先生成的第一信息确定模型，确定目标部位的第一识别信息；根据病历信息，通过预先生成的第二信息确定模型，确定目标部位的第二识别信息；根据第一识别信息、第二识别信息、第一信息确定模型的第一模型信息以及第二信息确定模型的第二模型信息，确定目标识别信息；根据目标识别信息，生成目标部位对应的检查报告。也就是说，本公开是将第一识别信息和第二识别信息结合，确定目标识别信息，该目标识别信息的准确率更高，从而提高了根据该目标识别信息生成的检查报告的准确率。确率。确率。


技术研发人员：谢鹏飞 蔡巍 张霞
受保护的技术使用者：沈阳东软智能医疗科技研究院有限公司
技术研发日：2023.03.20
技术公布日：2023/7/12