一种GPT模型优化方法和装置与流程

一种gpt模型优化方法和装置
技术领域
1.本发明涉及机器学习技术领域，特别是涉及一种数据模型优化方法和装置。


背景技术：

2.当前机器学习算法在现实生活应用实例中，大多基于特定场景进行建模，基于对业务的理解搭建分类、回归模型，不断迭代减少拟合偏差。常常按照以下步骤进行：
3.步骤1，根据业务经验，与业务专家梳理与目标相关性较高的特征；
4.步骤2，获取历史数据；
5.步骤3，对样本特征进行特征工程(归一化、标准化等)，并通过p检验、t检验或机器学习算法来筛选有效特征；
6.步骤4，根据业务情况，选择匹配的模型(分类模型有：lr、svm、决策树、随机森林、xgboost、神经网络等，回归有：回归树、神经网络)；
7.步骤5，基于有效特征对业务目标进行建模，通过拟合偏差来判断模型有效性；
8.步骤6，部署模型、优化。
9.但是上述方法中，不同任务下训练的模型及训练数据不能通用，即每个任务都需要按照上述步骤从头到尾进行训练、优化。例如：预测客户产品购买概率、客户的违约概率、病人大病发生率、预测住院费用、各类疾病发生概率都属于不同模型，如果依次搭建模型，建模成本、维护成本都较高、相互之间知识不能迁移。


技术实现要素：

10.本发明所要解决的技术问题是提供一种gpt模型优化方法和装置，能够充分学习领域知识，从而使得gpt模型能够提高预测准确率且完成更多任务。
11.本发明解决其技术问题所采用的技术方案是：提供一种gpt模型优化方法，包括以下步骤：
12.收集医学领域的相关材料；
13.使用自然语言处理技术对所述相关材料进行语义分析，提取出所述相关材料中的专业术语、实体和关键词；
14.根据语义分析的结果，将所述关键词和实体构造成gpt模型能够理解的提示形式；
15.将构造好的提示形式输入至gpt模型进行训练，优化所述gpt模型。
16.所述收集医学领域的相关材料后，还包括：按照学科和类别对所述相关材料进行分类。
17.所述根据语义分析的结果，将所述关键词和实体构造成gpt模型能够理解的提示形式，具体为：将提取出的医学领域的关键词和实体整理成由问题和答案组成的信息语料。
18.所述问题包括多种不同的提问方式。
19.本发明解决其技术问题所采用的技术方案是：提供一种gpt模型优化装置，包括：
20.收集模块，用于收集医学领域的相关材料；
21.语义分析模块，用于使用自然语言处理技术对所述相关材料进行语义分析，提取出所述相关材料中的专业术语、实体和关键词；
22.构造模块，用于根据语义分析的结果，将所述关键词和实体构造成gpt模型能够理解的提示形式；
23.优化模块，用于将构造好的提示形式输入至gpt模型进行训练，优化所述gpt模型。
24.所述的gpt模型优化装置还包括分类模块，所述分类模块用于按照学科和类别对所述相关材料进行分类。
25.所述构造模块将提取出的医学领域的关键词和实体整理成由问题和答案组成的信息语料。
26.所述问题包括多种不同的提问方式。
27.有益效果
28.由于采用了上述的技术方案，本发明与现有技术相比，具有以下的优点和积极效果：本发明能够充分利用大语言模型内部的自注意力网络优势，通过上亿参数的模型作为基础模型，来充分学习领域知识，自主构建特征，从而结合不同任务训练充分学习领域内相关知识，优化后的模型可以提高模型预测和拟合效果，从而能够完成更多任务。
附图说明
29.图1是本发明第一实施方式gpt模型优化方法的流程图。
具体实施方式
30.下面结合具体实施例，进一步阐述本发明。应理解，这些实施例仅用于说明本发明而不用于限制本发明的范围。此外应理解，在阅读了本发明讲授的内容之后，本领域技术人员可以对本发明作各种改动或修改，这些等价形式同样落于本技术所附权利要求书所限定的范围。
31.本发明的第一实施方式涉及一种gpt模型优化方法，如图1所示，包括以下步骤：
32.步骤1，收集医学教材并进行整理分类。本步骤中，首先需要收集医学领域的相关教材，包括常用的医学教材、学术论文和医学指南等；然后，按照学科和类别对收集的相关教材进行分类。例如，可以将内科教材、外科教材、儿科教材等分成不同的类别，以便后续的知识整合和转化。
33.步骤2，对分类后的医学教材进行语义分析。具体地说，使用自然语言处理技术，对分类后的医学教材进行语义分析，提取其中的专业术语、实体和关键词。上述功能可以通过关键词提取、实体识别、词性标注等技术实现。本步骤的语义分析的结果将作为后续知识转化的基础。
34.步骤3，构造gpt模型能够理解的提示(prompt)形式。具体地说，根据语义分析的结果，使用模板匹配等算法，将带有医学知识的关键词和实体构造成gpt模型能够理解的prompt形式。例如，可以将医学教材中的问题描述和答案选项(如单选和多选)构造成gpt能够理解的问题和答案格式。
35.该步骤是整个方法的核心，其可以把医学等专业领域常见的语料整理成带有问题x和答案y的信息语料，概括地形式如下：
36.举例一：
37.问题x：如果有一个病人情况是*****，请问医生会开什么药？
38.答案y：**药。
39.举例二：
40.问题x：如果一个有糖尿病人，去年住院费用是多少，曾在某医院某科室治疗，并出现过某某症状，请预测她下一年的住院费？
41.答案y：**元。
42.举例三：
43.问题x：如果一个有糖尿病人，去年住院费用是多少，曾在某医院某科室治疗，并出现过某某症状，请帮她推荐一份饮食暗访？
44.答案y：推荐****，理由是***。
45.由于gpt模型的query的样式只有词汇与正常人提问会存在一定间隔，所以在构造gpt模型的输入时候需要进行prompt的提问，但一种提问方式会让gpt模型训练具有很大偏置，因此本实施方式中的问题采用多种提问方式，通过样本随机选取不同的提问方式。具体的提问方式包括但不限于：什么是+query+？、你听说过+query+吗？、query+是什么？等等。
46.举例一：
47.query：对于一名高血压患者，在服用药物的情况下，是否可以进行高强度的有氧运动？
48.prompt：一名高血压患者在服用药物的情况下是否可以进行高强度的有氧运动？(单选)
49.a.可以b.不可以c.需要咨询医生
50.answer:一名高血压患者在服用药物的情况下需要咨询医生能否进行高强度的有氧运动。
51.通过这个prompt，gpt模型就可以根据输入的关键词(高血压、药物、有氧运动)进行理解，并给出相应的答案选项。这个prompt可以用于医学领域的教育、健康管理等方面，帮助人们更好地了解高血压管理和运动健身的相关知识。
52.举例二：
53.假设有以下一段医学知识：
54."糖尿病是一种慢性代谢性疾病，患者血糖水平偏高，容易引发心血管疾病，肾脏疾病等并发症。治疗糖尿病的方法包括药物治疗、饮食控制和运动锻炼等。"
55.基于以上的医学知识，可以构造以下的prompt形式：
56.prompt：关于糖尿病的治疗，以下哪些方法是正确的？(多选)
57.a.药物治疗b.饮食控制c.运动锻炼d.饮酒
58.answer:治疗糖尿病的方法包括药物治疗、饮食控制和运动锻炼等。
59.通过这个prompt，gpt模型可以根据输入的关键词(糖尿病、治疗、方法、药物、饮食、运动、饮酒)进行理解，并给出相应的答案选项。这个prompt可以用于医学领域的教育、健康管理等方面，帮助人们更好地了解糖尿病的治疗方法。
60.上述构造gpt模型能够理解的prompt形式可以用自然语言处理技术和机器学习技术来完成。不难发现，通过以上构造的语料，可以让gpt模型充分学习领域内的知识，最终达
到理解领域知识，完成领域任务的工作。
61.步骤4，利用构造好的prompt形式进行gpt模型的训练。具体为：将构造好的prompt形式输入到gpt模型中进行训练，并对gpt模型进行优化，以提高其在医学领域的应用能力。训练gpt模型需要大量的数据和计算资源，并需要对gpt模型进行不断的调整和优化，在调整和优化时，可以使用真实的医学问题和答案，测试gpt模型的准确率和效率，并通过调整模型参数等方式优化模型。测试数据应尽可能地贴近实际医学问题，以评估gpt模型的真实应用效果。
62.本发明的第二实施方式涉及一种gpt模型优化装置，包括：
63.收集模块，用于收集医学领域的相关材料；
64.语义分析模块，用于使用自然语言处理技术对所述相关材料进行语义分析，提取出所述相关材料中的专业术语、实体和关键词；
65.构造模块，用于根据语义分析的结果，将所述关键词和实体构造成gpt模型能够理解的提示形式；
66.优化模块，用于将构造好的提示形式输入至gpt模型进行训练，优化所述gpt模型。
67.所述的gpt模型优化装置还包括分类模块，所述分类模块用于按照学科和类别对所述相关材料进行分类。
68.所述构造模块将提取出的医学领域的关键词和实体整理成由问题和答案组成的信息语料。
69.所述问题包括多种不同的提问方式。
70.不难发现，本发明能够充分利用大语言模型内部的自注意力网络优势，通过上亿参数的模型作为基础模型，来充分学习领域知识，自主构建特征，从而结合不同任务训练充分学习领域内相关知识，优化后的模型可以提高模型预测和拟合效果，从而能够完成更多任务。

技术特征：
1.一种gpt模型优化方法，其特征在于，包括以下步骤：收集医学领域的相关材料；使用自然语言处理技术对所述相关材料进行语义分析，提取出所述相关材料中的专业术语、实体和关键词；根据语义分析的结果，将所述关键词和实体构造成gpt模型能够理解的提示形式；将构造好的提示形式输入至gpt模型进行训练，优化所述gpt模型。2.根据权利要求1所述的gpt模型优化方法，其特征在于，所述收集医学领域的相关材料后，还包括：按照学科和类别对所述相关材料进行分类。3.根据权利要求1所述的gpt模型优化方法，其特征在于，所述根据语义分析的结果，将所述关键词和实体构造成gpt模型能够理解的提示形式，具体为：将提取出的医学领域的关键词和实体整理成由问题和答案组成的信息语料。4.根据权利要求3所述的所述的gpt模型优化方法，其特征在于，所述问题包括多种不同的提问方式。5.一种gpt模型优化装置，其特征在于，包括：收集模块，用于收集医学领域的相关材料；语义分析模块，用于使用自然语言处理技术对所述相关材料进行语义分析，提取出所述相关材料中的专业术语、实体和关键词；构造模块，用于根据语义分析的结果，将所述关键词和实体构造成gpt模型能够理解的提示形式；优化模块，用于将构造好的提示形式输入至gpt模型进行训练，优化所述gpt模型。6.根据权利要求5所述的所述的gpt模型优化装置，其特征在于，还包括分类模块，所述分类模块用于按照学科和类别对所述相关材料进行分类。7.根据权利要求5所述的所述的gpt模型优化装置，其特征在于，所述构造模块将提取出的医学领域的关键词和实体整理成由问题和答案组成的信息语料。8.根据权利要求7所述的所述的gpt模型优化装置，其特征在于，所述问题包括多种不同的提问方式。

技术总结
本发明涉及一种GPT模型优化方法和装置，方法包括：收集医学领域的相关材料；使用自然语言处理技术对所述相关材料进行语义分析，提取出所述相关材料中的专业术语、实体和关键词；根据语义分析的结果，将所述关键词和实体构造成GPT模型能够理解的提示形式；将构造好的提示形式输入至GPT模型进行训练，优化所述GPT模型。本发明能够充分学习领域知识，从而使得GPT模型能够提高预测准确率且完成更多任务。务。务。


技术研发人员：汤文巍
受保护的技术使用者：汤文巍
技术研发日：2023.06.07
技术公布日：2023/8/24