一种人工智能模型训练环境搭建方法及系统与流程

1.本发明涉及人工智能领域，特别涉及一种人工智能模型训练环境搭建方法及系统。


背景技术：

2.人工智能模型训练环境搭建方法是一种进行训练环境搭建的方案，随着网络和信息技术的不断发展，人工智能越来越受到关注，对人工智能领域的专业人才的需求越来越大，人工智能的人才教学需求也随之增加，在人工智能知识的教学中，理论学习通常需要辅以动手实验，学习人工智能模型后，进行人工智能模型的训练以加深了解和印象是必不可少的，随着科技的不断发展，人们对于人工智能模型训练环境搭建方法的制造工艺要求也越来越高。
3.人工智能模型从应用上看，主要分为训练和推理两大阶段，在训练阶段使用特定场景下大量已发生的历史数据对模型进行调优、训练得到符合预期的预训练模型，在生产环境中推理阶段向预训练模型输入实时发生的数据得到模型的推理结果。
4.现有的人工智能模型训练环境搭建方法在使用时存在一定的弊端，特定场景下的情景、数据也是时刻变化的，基于历史结构和数据的预训练模型也存在“保鲜期”的问题，如果模型长久不更新推理准确率势必越来越差，例如人脸识别模型，随着人年龄的增长，脸型特征也会逐渐发生变化，如果模型长久不更新则准确率会越来越低，最终可能达不到使用要求。同时，对于电信、金融等领域更会带来未验证的安全性等问题，为此，我们提出一种人工智能模型训练环境搭建方法及系统。


技术实现要素：

5.(一)解决的技术问题
6.针对现有技术的不足，本发明提供了一种人工智能模型训练环境搭建方法及系统，能适应快速变化的人工智能训练环境搭建，更加灵活，出错率低，可以有效解决背景技术中的问题。
7.(二)技术方案
8.为实现上述目的，本发明采取的技术方案为：一种人工智能模型训练环境搭建系统，包括获取模块、训练节点模块、实时资源数据模块、训练环境搭建模块与电子设备模块，所述获取模块连接训练节点模块的位置，所述训练节点模块连接实时资源数据模块的位置，所述实时资源数据模块连接训练环境搭建模块的位置，所述电子设备模块包括存储器、处理器与通信接口，所述存储器、处理器与通信接口连接有通信总线。
9.作为本技术一种优选的技术方案，所述获取模块的输出端与训练节点模块的输入端电性连接，所述训练节点模块的输出端与实时资源数据模块的输入端电性连接，所述实时资源数据模块的输出端与训练环境搭建模块的输入端电性连接，所述存储器、处理器与通信接口通过通信总线输出。
10.作为本技术一种优选的技术方案，所述获取模块获取训练环境的训练任务和训练环境搭建对应的资源需求信息，所述训练节点模块读取获取模块的梯度特征且从ai数据池中匹配出对应于人工智能模型训练时所需的训练节点，所述实时资源数据模块对训练节点模块进行评估且提供实时资源数据，所述训练环境搭建模块完成人工智能模型的训练环境搭建。
11.作为本技术一种优选的技术方案，所述存储器、处理器、通信接口相互之间直接或间接地电性连接，所述存储器可以是但不限于随机存取存储器、只读存储器、可编程只读存储器、可擦除只读存储器、电可擦除只读存储器，所述处理器可以是通用处理器，包括中央处理器、网络处理器，也可以是数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
12.一种人工智能模型训练环境搭建方法，包括以下操作步骤：
13.s100：信息获取：获取训练环境的训练任务和训练环境搭建对应的资源需求信息；
14.s110：信息配对：根据训练任务和资源需求信息的梯度特征，从ai数据池中匹配出对应于人工智能模型训练时所需的训练节点；
15.s120：信息评估：根据训练节点进行人工智能模型的训练及评估，并提供训练的实时资源数据；
16.s130：人工智能模型训练环境搭建：在训练过程中根据人工智能模型的特征和实时资源数据，动态调整所需的训练节点，完成人工智能模型的训练环境搭建。
17.作为本技术一种优选的技术方案，所述s100-s130步骤中具体包括以下操作步骤：
18.s200：信息存储：将训练环境的训练任务和训练环境搭建对应的资源需求信息数据存储至ai数据池中；
19.s210：数据分析：对训练任务和训练环境搭建对应的资源需求信息中的数据进行分析，提取出梯度特征，匹配训练节点；
20.s220：人工智能模型信息：ai数据池包括了人工智能模型对应的资源需求信息；
21.s230：信息清理：对实时资源数据清洗处理，根据ai数据池的采集策略对实时资源数据进行清洗处理并存储为实时的资源数据；
22.s240：数据处理：使用ai数据池的大数据处理能力，对已存储或实时发生的实时资源数据进行处理，得到符合人工智能模型需求的实时资源数据；
23.s250：读取序列：按照训练任务的优先级顺序获取指令序列，然后读取并执行指令序列。
24.作为本技术一种优选的技术方案，所述s220步骤中ai数据池可以提供http、rpc或本地读取等方式的服务接口，供人工智能模型读取训练集。
25.作为本技术一种优选的技术方案，所述s220-s250步骤中采用ai数据池和计算资源集群，根据训练任务和资源需求信息的梯度特征，从ai数据池中匹配出对应于人工智能模型的训练实时资源数据。
26.(三)有益效果
27.与现有技术相比，本发明提供了一种人工智能模型训练环境搭建方法及系统，具备以下有益效果：该一种人工智能模型训练环境搭建方法及系统，能适应快速变化的人工智能训练环境搭建，更加灵活，出错率低，基于训练环境描述语言进行训练环境的搭建，可
以灵活修改训练环境描述语言从而生成不同的训练环境，能适应快速变化的人工智能训练环境搭建，更加灵活，出错率低，根据同一个训练环境描述语言，批量生成多个相同的训练环境，降低了工作量，针对单个训练环境进行修改而不影响其他训练环境，更加灵活、方便的进行训练环境的变更，人工智能模型训练时所使用的数据存储在ai数据池中，以数据链接的方式链入训练环境的，通过设置访问入口和访问权限可以对源数据进行限制，物理的数据并不离开ai数据池，隐私性和安全性更高，可以防止数据的非法读取以保护用户的数据，整个人工智能模型训练环境搭建方法结构简单，操作方便，使用的效果相对于传统方式更好。
附图说明
28.图1为本发明一种人工智能模型训练环境搭建系统的模块结构示意图。
29.图2为本发明一种人工智能模型训练环境搭建方法及系统中电子设备的结构示意图。
30.图3为本发明一种人工智能模型训练环境搭建方法及系统中流程结构示意图。
31.图4为本发明一种人工智能模型训练环境搭建方法及系统中详细流程结构示意图。
32.图中：10、获取模块；20、训练节点模块；30、实时资源数据模块；40、训练环境搭建模块；101、存储器；102、处理器；103、通信接口。
具体实施方式
33.下面将结合附图和具体实施方式对本发明的技术方案进行清楚、完整地描述，但是本领域技术人员将会理解，下列所描述的实施例是本发明一部分实施例，而不是全部的实施例，仅用于说明本发明，而不应视为限制本发明的范围。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。实施例中未注明具体条件者，按照常规条件或制造商建议的条件进行。所用试剂或仪器未注明生产厂商者，均为可以通过市售购买获得的常规产品。
34.在本发明的描述中，需要说明的是，术语“中心”、“上”、“下”、“左”、“右”、“竖直”、“水平”、“内”、“外”等指示的方位或位置关系为基于附图所示的方位或位置关系，仅是为了便于描述本发明和简化描述，而不是指示或暗示所指的装置或元件必须具有特定的方位、以特定的方位构造和操作，因此不能理解为对本发明的限制。此外，术语“第一”、“第二”、“第三”仅用于描述目的，而不能理解为指示或暗示相对重要性。
35.在本发明的描述中，需要说明的是，除非另有明确的规定和限定，术语“安装”、“相连”、“连接”应做广义理解，例如，可以是固定连接，也可以是可拆卸连接，或一体地连接；可以是机械连接，也可以是电连接；可以是直接相连，也可以通过中间媒介间接相连，可以是两个元件内部的连通。对于本领域的普通技术人员而言，可以具体情况理解上述术语在本发明中的具体含义。
36.如图1-4所示，一种人工智能模型训练环境搭建系统，包括获取模块10、训练节点模块20、实时资源数据模块30、训练环境搭建模块40与电子设备模块，获取模块10连接训练节点模块20的位置，训练节点模块20连接实时资源数据模块30的位置，实时资源数据模块
30连接训练环境搭建模块40的位置，电子设备模块包括存储器101、处理器102与通信接口103，存储器101、处理器102与通信接口103连接有通信总线。
37.进一步的，获取模块10的输出端与训练节点模块20的输入端电性连接，训练节点模块20的输出端与实时资源数据模块30的输入端电性连接，实时资源数据模块30的输出端与训练环境搭建模块40的输入端电性连接，存储器101、处理器102与通信接口103通过通信总线输出。
38.进一步的，获取模块10获取训练环境的训练任务和训练环境搭建对应的资源需求信息，训练节点模块20读取获取模块10的梯度特征且从ai数据池中匹配出对应于人工智能模型训练时所需的训练节点，实时资源数据模块30对训练节点模块20进行评估且提供实时资源数据，训练环境搭建模块40完成人工智能模型的训练环境搭建。
39.进一步的，存储器101、处理器102、通信接口103相互之间直接或间接地电性连接，存储器101可以是但不限于随机存取存储器、只读存储器、可编程只读存储器、可擦除只读存储器、电可擦除只读存储器，处理器102可以是通用处理器，包括中央处理器、网络处理器，也可以是数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
40.一种人工智能模型训练环境搭建方法，包括以下操作步骤：
41.s100：信息获取：获取训练环境的训练任务和训练环境搭建对应的资源需求信息；
42.s110：信息配对：根据训练任务和资源需求信息的梯度特征，从ai数据池中匹配出对应于人工智能模型训练时所需的训练节点；
43.s120：信息评估：根据训练节点进行人工智能模型的训练及评估，并提供训练的实时资源数据；
44.s130：人工智能模型训练环境搭建：在训练过程中根据人工智能模型的特征和实时资源数据，动态调整所需的训练节点，完成人工智能模型的训练环境搭建。
45.进一步的，s100-s130步骤中具体包括以下操作步骤：
46.s200：信息存储：将训练环境的训练任务和训练环境搭建对应的资源需求信息数据存储至ai数据池中；
47.s210：数据分析：对训练任务和训练环境搭建对应的资源需求信息中的数据进行分析，提取出梯度特征，匹配训练节点；
48.s220：人工智能模型信息：ai数据池包括了人工智能模型对应的资源需求信息；
49.s230：信息清理：对实时资源数据清洗处理，根据ai数据池的采集策略对实时资源数据进行清洗处理并存储为实时的资源数据；
50.s240：数据处理：使用ai数据池的大数据处理能力，对已存储或实时发生的实时资源数据进行处理，得到符合人工智能模型需求的实时资源数据；
51.s250：读取序列：按照训练任务的优先级顺序获取指令序列，然后读取并执行指令序列。
52.进一步的，s220步骤中ai数据池可以提供http、rpc或本地读取等方式的服务接口，供人工智能模型读取训练集。
53.进一步的，s220-s250步骤中采用ai数据池和计算资源集群，根据训练任务和资源需求信息的梯度特征，从ai数据池中匹配出对应于人工智能模型的训练实时资源数据。
54.实施例1
55.请参阅图3，图3为本发明实施例提供的一种人工智能模型训练环境搭建方法步骤示意图，其如下所示：
56.步骤s100，获取训练环境的训练任务和训练环境搭建对应的资源需求信息；
57.在一些实施方式中，从ai数据池中获取训练环境的训练任务和训练环境搭建对应的资源需求信息。训练环境的训练任务和训练环境搭建对应的资源需求信息数据规模取决于模型开发的需求。其中，ai数据池可基于大数据产品进行构建，例如，非结构化的处理可以基于hadoop构建，面向olap(on-line analytical processing，联机分析处理)类型的数据可以基于greenplum构建。
58.步骤s110，根据训练任务和资源需求信息的梯度特征，从ai数据池中匹配出对应于人工智能模型训练时所需的训练节点；
59.在一些实施方式中，在ai数据池中对训练环境的训练任务和训练环境搭建对应的资源需求信息进行处理，生成训练集和验证集。ai数据池具备大数据处理能力，支持对训练环境的训练任务和训练环境搭建对应的资源需求信息进行数据清洗、补全和归一化等处理，根据模型需求生成、存储训练集和验证集。其中，数据预处理一般步骤包括：缺失值处理、特征规范化、离散与连续化及去噪。不同的大数据产品或多或少支持数据预处理方法，不支持的处理可以通过插件化或模型内部编程处理。训练集和验证集一般按8:2的比例进行分配，该分配比例可配置。
60.在一些实施方式中，梯度特征指训练任务和资源需求信息所对应人工智能模型的执行环境版本。
61.步骤s120，根据训练节点进行人工智能模型的训练及评估，并提供训练的实时资源数据；
62.步骤s130，在训练过程中根据人工智能模型的特征和实时资源数据，动态调整所需的训练节点，完成人工智能模型的训练环境搭建。
63.在一些实施方式中，通过采用ai数据池和计算资源集群，根据训练任务和资源需求信息的梯度特征，从ai数据池中匹配出对应于人工智能模型的训练实时资源数据，并根据匹配出的对应于人工智能模型训练时所需的训练节点，从计算资源集群中匹配出对应的训练节点，使得不同的人工智能模型可以在一个共享的通用系统上同时进行训练，充分利用了软、硬件资源，提升了人工智能模型训练效率，并有效降低了训练成本。
64.实施例2
65.请参阅图4，图4为本发明实施例提供的一种人工智能模型训练环境搭建方法详细步骤示意图，其如下所示：
66.步骤s200，将训练环境的训练任务和训练环境搭建对应的资源需求信息数据存储至ai数据池中。
67.步骤s210，对训练任务和训练环境搭建对应的资源需求信息中的数据进行分析，提取出训练任务和资源需求信息的梯度特征，根据提取出的梯度特征，从ai数据池中匹配出对应于人工智能模型训练时所需的训练节点。
68.步骤s220，ai数据池包括了人工智能模型对应的训练环境的训练任务和训练环境搭建对应的资源需求信息及训练任务和训练环境搭建对应的资源需求信息。
69.步骤s230，对实时资源数据清洗处理让必要存储为实时资源数据，根据ai数据池的采集策略对实时资源数据进行清洗处理并存储为实时的资源数据。
70.步骤s240，使用ai数据池的大数据处理能力，对已存储或实时发生的实时资源数据进行处理，得到符合人工智能模型需求的实时资源数据。
71.步骤s250，按照训练任务的优先级顺序获取指令序列，然后读取并执行指令序列。
72.在一些实施方式中，ai数据池可以提供http、rpc或本地读取等方式的服务接口，供人工智能模型读取训练集。对于深度学习模型，可以使用tensorflow、pytorch等计算框架，机器学习模型可以使用scikit-learn等计算框架。在使用tensorflow计算框架的情况下，将生成的目标网络实时运行数据可以通过如下3中方式加载数据：preloaded data(预加载数据)、feeding:(python产生数据，再把数据喂给后端)、reading from file(从文件中直接读取)；模型的安全性主要通过训练任务的影响结果来判断。例如：对于电信网络业务，业务中断的结果则表示为不安全，业务流量大于端口速率的情况也视为不安全。
73.ai数据池提供rpc或ftp等形式的服务接口，允许其他系统在授权的情况下向知识库中写入人工智能模型文件。训练预发系统通过推理系统提供的rpc或ftp等形式的接口，将人工智能模型写入ai数据池中。
74.实施例3
75.请参阅图1，图1为本发明实施例提供的一种人工智能模型训练环境搭建系统模块示意图，其如下所示：
76.获取模块10，用于获取训练环境的训练任务和训练环境搭建对应的资源需求信息；
77.训练节点模块20，用于根据训练任务和资源需求信息的梯度特征，从ai数据池中匹配出对应于人工智能模型训练时所需的训练节点；
78.实时资源数据模块30，用于根据训练节点进行人工智能模型的训练及评估，并提供训练的实时资源数据；
79.训练环境搭建模块40，用于在训练过程中根据人工智能模型的特征和实时资源数据，动态调整所需的训练节点，完成人工智能模型的训练环境搭建。
80.如图2所示，本技术实施例提供一种电子设备，其包括存储器101，用于存储一个或多个程序；处理器102。当一个或多个程序被处理器102执行时，实现如上述第一方面中任一项的方法。
81.还包括通信接口103，该存储器101、处理器102和通信接口103相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。存储器101可用于存储软件程序及模块，处理器102通过执行存储在存储器101内的软件程序及模块，从而执行各种功能应用以及数据处理。该通信接口103可用于与其他节点设备进行信令或数据的通信。
82.其中，存储器101可以是但不限于，随机存取存储器101random access memory，ram，只读存储器101read only memory，rom，可编程只读存储器101programmable read-only memory，prom，可擦除只读存储器101erasable programmable read-only memory，eprom，电可擦除只读存储器101electric erasable programmable read-only memory，eeprom等。
83.处理器102可以是一种集成电路芯片，具有信号处理能力。该处理器102可以是通用处理器102，包括中央处理器102central processing unit，cpu、网络处理器102network processor，np等；还可以是数字信号处理器102digital signal processing，dsp、专用集成电路application specific integrated circuit，asic、现场可编程门阵列field－programmable gate array，fpga或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
84.在本技术所提供的实施例中，应该理解到，所揭露的方法及系统，也可以通过其它的方式实现。以上所描述的方法及系统实施例仅仅是示意性的，例如，附图中的流程图和框图显示了根据本技术的多个实施例的方法及系统、方法和计算机程序产品的可能实现的体系架构、功能和操作。在这点上，流程图或框图中的每个方框可以代表一个模块、程序段或代码的一部分，模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图和/或流程图中的每个方框、以及框图和/或流程图中的方框的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
85.另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
86.另一方面，本技术实施例提供一种计算机可读存储介质，其上存储有计算机程序，该计算机程序被处理器102执行时实现如上述第一方面中任一项的方法。功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备可以是个人计算机，服务器，或者网络设备等执行本技术各个实施例方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器101rom，read-only memory、随机存取存储器101ram，random access memory、磁碟或者光盘等各种可以存储程序代码的介质。
87.综上，本技术实施例提供的一种人工智能模型训练环境搭建方法及系统，基于训练环境描述语言进行训练环境的搭建，可以灵活修改训练环境描述语言从而生成不同的训练环境，能适应快速变化的人工智能训练环境搭建，更加灵活，出错率低。根据同一个训练环境描述语言，批量生成多个相同的训练环境，降低了工作量。针对单个训练环境进行修改而不影响其他训练环境，更加灵活、方便的进行训练环境的变更，人工智能模型训练时所使用的数据存储在ai数据池中，以数据链接的方式链入训练环境的，通过设置访问入口和访问权限可以对源数据进行限制，物理的数据并不离开ai数据池，隐私性和安全性更高，可以防止数据的非法读取以保护用户的数据。
88.需要说明的是，在本文中，诸如第一和第二(一号、二号)等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包
括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
89.以上显示和描述了本发明的基本原理和主要特征和本发明的优点。本行业的技术人员应该了解，本发明不受上述实施例的限制，上述实施例和说明书中描述的只是说明本发明的原理，在不脱离本发明精神和范围的前提下，本发明还会有各种变化和改进，这些变化和改进都落入要求保护的本发明范围内。

技术特征：
1.一种人工智能模型训练环境搭建系统，包括获取模块(10)、训练节点模块(20)、实时资源数据模块(30)、训练环境搭建模块(40)与电子设备模块，其特征在于：所述获取模块(10)连接训练节点模块(20)的位置，所述训练节点模块(20)连接实时资源数据模块(30)的位置，所述实时资源数据模块(30)连接训练环境搭建模块(40)的位置，所述电子设备模块包括存储器(101)、处理器(102)与通信接口(103)，所述存储器(101)、处理器(102)与通信接口(103)连接有通信总线。2.根据权利要求1所述的一种人工智能模型训练环境搭建系统，其特征在于：所述获取模块(10)的输出端与训练节点模块(20)的输入端电性连接，所述训练节点模块(20)的输出端与实时资源数据模块(30)的输入端电性连接，所述实时资源数据模块(30)的输出端与训练环境搭建模块(40)的输入端电性连接，所述存储器(101)、处理器(102)与通信接口(103)通过通信总线输出。3.根据权利要求1所述的一种人工智能模型训练环境搭建系统，其特征在于：所述获取模块(10)获取训练环境的训练任务和训练环境搭建对应的资源需求信息，所述训练节点模块(20)读取获取模块(10)的梯度特征且从ai数据池中匹配出对应于人工智能模型训练时所需的训练节点，所述实时资源数据模块(30)对训练节点模块(20)进行评估且提供实时资源数据，所述训练环境搭建模块(40)完成人工智能模型的训练环境搭建。4.根据权利要求1所述的一种人工智能模型训练环境搭建系统，其特征在于：所述存储器(101)、处理器(102)、通信接口(103)相互之间直接或间接地电性连接，所述存储器(101)可以是但不限于随机存取存储器、只读存储器、可编程只读存储器、可擦除只读存储器、电可擦除只读存储器，所述处理器(102)可以是通用处理器，包括中央处理器、网络处理器，也可以是数字信号处理器、专用集成电路、现场可编程门阵列或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。5.一种人工智能模型训练环境搭建方法，其特征在于：包括以下操作步骤：s100：信息获取：获取训练环境的训练任务和训练环境搭建对应的资源需求信息；s110：信息配对：根据训练任务和资源需求信息的梯度特征，从ai数据池中匹配出对应于人工智能模型训练时所需的训练节点；s120：信息评估：根据训练节点进行人工智能模型的训练及评估，并提供训练的实时资源数据；s130：人工智能模型训练环境搭建：在训练过程中根据人工智能模型的特征和实时资源数据，动态调整所需的训练节点，完成人工智能模型的训练环境搭建。6.根据权利要求5所述的一种人工智能模型训练环境搭建方法，其特征在于：所述s100-s130步骤中具体包括以下操作步骤：s200：信息存储：将训练环境的训练任务和训练环境搭建对应的资源需求信息数据存储至ai数据池中；s210：数据分析：对训练任务和训练环境搭建对应的资源需求信息中的数据进行分析，提取出梯度特征，匹配训练节点；s220：人工智能模型信息：ai数据池包括了人工智能模型对应的资源需求信息；s230：信息清理：对实时资源数据清洗处理，根据ai数据池的采集策略对实时资源数据进行清洗处理并存储为实时的资源数据；
s240：数据处理：使用ai数据池的大数据处理能力，对已存储或实时发生的实时资源数据进行处理，得到符合人工智能模型需求的实时资源数据；s250：读取序列：按照训练任务的优先级顺序获取指令序列，然后读取并执行指令序列。7.根据权利要求6所述的一种人工智能模型训练环境搭建方法，其特征在于：所述s220步骤中ai数据池可以提供http、rpc或本地读取等方式的服务接口，供人工智能模型读取训练集。8.根据权利要求6所述的一种人工智能模型训练环境搭建方法，其特征在于：所述s220-s250步骤中采用ai数据池和计算资源集群，根据训练任务和资源需求信息的梯度特征，从ai数据池中匹配出对应于人工智能模型的训练实时资源数据。

技术总结
本发明公开了一种人工智能模型训练环境搭建方法及系统，包括获取模块、训练节点模块、实时资源数据模块、训练环境搭建模块与电子设备模块，所述获取模块连接训练节点模块的位置，所述训练节点模块连接实时资源数据模块的位置，所述实时资源数据模块连接训练环境搭建模块的位置，所述电子设备模块包括存储器、处理器与通信接口，所述存储器、处理器与通信接口连接有通信总线，所述获取模块的输出端与训练节点模块的输入端电性连接，所述训练节点模块的输出端与实时资源数据模块的输入端电性连接。本发明所述的一种人工智能模型训练环境搭建方法及系统，能适应快速变化的人工智能训练环境搭建，更加灵活，出错率低。出错率低。出错率低。


技术研发人员：黄茂芹
受保护的技术使用者：上海赛昉科技有限公司
技术研发日：2023.03.14
技术公布日：2023/8/24