模型部署方法、装置及电子设备与流程

1.本技术涉及人工智能技术领域，尤其涉及一种模型部署方法、装置及电子设备。


背景技术：

2.相关技术中，模型部署的过程，一般是将模型，在服务器上进行手动部署，并由工程人员封装成restful(representational state transfer，表述性状态转移)api(application programming interface，应用程序接口)接口。
3.上述方案中，需要人员编写脚本手动部署，还需要工程人员持续参与并手动封装得到api接口并配置到网关，模型部署效率低。


技术实现要素：

4.本技术旨在至少在一定程度上解决相关技术中的技术问题之一。
5.本技术提出一种模型部署方法、装置及电子设备，以实现根据部署相关信息以及预设的模型部署配置模板，自动生成待部署的模型的部署配置信息；根据待部署的模型以及待部署的模型的部署配置信息，部署模型，以通过模型对应的api接口调用模型的模型服务，进而提高模型部署的效率。
6.本技术第一方面实施例提出了一种模型部署方法，包括：
7.确定待部署的模型，以及所述模型的部署相关信息；
8.根据所述部署相关信息以及预设的模型部署配置模板，生成所述模型的部署配置信息；
9.根据所述模型以及所述模型的部署配置信息，部署所述模型，以通过所述模型对应的api接口调用所述模型的模型服务。
10.本技术实施例的模型部署方法，通过确定待部署的模型，以及模型的部署相关信息；根据部署相关信息以及预设的模型部署配置模板，生成模型的部署配置信息；根据模型以及模型的部署配置信息，部署模型，以通过模型对应的api接口调用模型的模型服务，进而提高模型部署的效率。
11.本技术第二方面实施例提出了一种模型部署装置，包括：
12.确定模块，用于确定待部署的模型，以及所述模型的部署相关信息；
13.生成模块，用于根据所述部署相关信息以及预设的模型部署配置模板，生成所述模型的部署配置信息；
14.部署模块，用于根据所述模型以及所述模型的部署配置信息，部署所述模型，以通过所述模型对应的api接口调用所述模型的模型服务。
15.本技术实施例的模型部署装置，通过确定待部署的模型，以及模型的部署相关信息；根据部署相关信息以及预设的模型部署配置模板，生成模型的部署配置信息；根据模型以及模型的部署配置信息，部署模型，以通过模型对应的api接口调用模型的模型服务，进而提高模型部署的效率。
16.本技术第三方面实施例提出了一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本技术第一方面实施例提出的模型部署方法。
17.本技术第四方面实施例提出了一种存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行本技术第一方面实施例提出的模型部署方法。
18.本技术附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本技术的实践了解到。
附图说明
19.本技术上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：
20.图1为本技术实施例一所提供的模型部署方法的流程示意图；
21.图2为模型部署的流程图；
22.图3为本技术实施例二所提供的模型部署方法的流程示意图；
23.图4为确定待部署的模型的示意图；
24.图5为本技术实施例三所提供的模型部署装置的结构示意图；
25.图6为本技术实施例四所提供的模型部署装置的结构示意图；
26.图7示出了适于用来实现本技术实施方式的示例性计算机设备的框图。
具体实施方式
27.下面详细描述本技术的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本技术，而不能理解为对本技术的限制。
28.相关技术中，模型部署的过程，一般是将模型，在服务器上进行手动部署，并由工程人员封装成restful(representational state transfer，表述性状态转移)api(application programming interface，应用程序接口)接口。
29.上述方案中，需要人员编写脚本手动部署，还需要工程人员持续参与并手动封装得到api接口并配置到网关，模型部署效率低。
30.因此，本技术主要针对相关技术中模型部署效率低的技术问题，提出一种模型部署方法、装置及电子设备。
31.本技术实施例的模型部署方法，通过确定待部署的模型，以及模型的部署相关信息；根据部署相关信息以及预设的模型部署配置模板，生成模型的部署配置信息；根据模型以及模型的部署配置信息，部署模型，以通过模型对应的api接口调用模型的模型服务，进而提高模型部署的效率。
32.下面参考附图描述本技术实施例的模型部署方法、装置及电子设备。
33.图1为本技术实施例一所提供的模型部署方法的流程示意图。
34.本技术实施例以该模型部署方法被配置于模型部署装置中来举例说明，该模型部
署装置可以应用于模型开发平台中，以使该模型开发平台可以执行模型部署功能。
35.如图1所示，该模型部署方法可以包括以下步骤：
36.步骤101，确定待部署的模型，以及模型的部署相关信息。
37.本技术实施例中，部署相关信息包括以下信息：模型标识、版本信息、服务访问地址、模型对应的预处理工程镜像的地址、预处理工程镜像的服务端口、预处理工程镜像所需资源的资源信息、模型的模型镜像的地址、模型的地址、模型镜像的服务端口、模型启动所需资源的资源信息、以及网关访问域名。
38.在本技术实施例中，待部署的模型的版本信息为初版时，部署相关信息中可以包括：模型的服务访问地址，用于生成模型对应的api接口；在版本信息为非初版时，模型的服务访问地址未发生变化，还采用初版时的服务访问地址，因此，此时部署相关信息中可以不包括模型的服务访问地址。其中，api接口用于调用模型服务。
39.步骤102，根据部署相关信息以及预设的模型部署配置模板，生成模型的部署配置信息。
40.本技术实施例中，模型部署配置模板指的是模型开发平台中发布系统提供的配置模板，模型开发平台中平台服务需要将模型的部署相关信息按照模型部署配置模板进行组装。
41.举例说明，模型部署配置模板的具体组装过程可以如下：将模型标识、版本信息、模型服务发布到的命名空间配置到模型部署配置模板的最外层，即"app_name"："${app_name}"，"version"："${version}"，"namespace"："${namespace}","chart_id"：1；将预处理工程镜像的地址("image"："${image_url}")、预处理工程镜像的服务端口("containerport"："${containerport}")、预处理工程镜像所需资源信息配置到pre_server模块中，资源配置如下："resources"：{"limit"：{"cpu"：""，"memory"：""，"nvidia".com/gpu"：""}，"requests"：{"cpu"：""，"memory"：""，"nvidia".com/gpu"：""}},其中，pre_server模块中还需配置"aras"："${command}"，imagepullpolicy":"always","env":"${env}"，"env"为环境变量，此处需要将oss(objectstorageservice,对象存储服务)的连接信息和服务访问地址以环境变量的形式进行配置，即"ingress"：{"enabled"："${enabled}"，"path"：{"${external_path}"}，"hosts"：{"${external_host}"}；将模型的模型镜像地址、模型的地址、模型镜像的服务端口、模型启动所需资源信息到model_server模块中，即"modelserver"{"image"："${image_url}"，"model_path"：${model_path}"，"containerport"："${containerport}"，"env":"${env}"，"imagepullpolicy":"always","requests"：{"limit"：{"cpu"：""，"memory"：""，"nvidia".com/gpu"：""}，"requests"：{"cpu"：""，"memory"：""，"nvidia".com/gpu"：""}},其中，模型的模型镜像地址是通过模型引擎及引擎版本找到与之对应的运行镜像，如使用tensorflowgpu引擎1.1版本，则对应的镜像为image.jd.com/tensorflow/gpu:1.1-release；将网关访问域名配置到ingress中的hosts项，将用户提交服务发布任务时填写的服务访问地址配置到ingress中的path项。
42.步骤103，根据模型以及模型的部署配置信息，部署模型，以通过模型对应的api接口调用模型的模型服务。
43.本技术实施例中，模型开发平台执行步骤103的过程例如可以为，按照编排管理工具的格式要求对部署配置信息进行格式转换，得到转换后的部署配置信息；根据转换后的
部署配置信息，启动模型的模型镜像以及预处理工程镜像，实现对模型的部署。
44.在本技术实施例中，模型开发平台中的平台服务定时通过发布系统获取模型部署状态，当检测到模型部署成功后，网关将api接口与服务访问地址的对应关系保存到数据库中。在接收到api接口调用请求时，根据服务访问地址调用模型服务。
45.在本技术实施例中，在模型镜像以及预处理工程镜像启动成功时，确定模型部署成功。若模型镜像或者预处理工程镜像启动不成功，则模型部署失败。
46.在本技术实施例中，图2为模型部署的流程图，如图2所示，部署模型的过程例如可以为，模型开发平台中的平台服务，获取模型信息(部署相关信息)，根据部署相关信息和模型部署配置模板确定部署配置(发布配置)，提交发布任务到模型开发平台的发布系统，根据发布系统获取模型发布状态(部署状态)，若模型发布状态为发布失败，则更新状态为发布失败；若模型发布状态为发布成功，则将模型服务注册到网关，获得可访问的api接口。
47.其中，发布系统接收到发布任务后，将模型部署配置模板组装后的配置格式转换成k8s(kubernetes，编排管理工具)能够识别的是configmap、service、deployment，使用k8s根据配置启动模型的预处理工程镜像和模型镜像，启动后，发布系统通过轮询预处理工程中提供的健康检查接口判断预处理工程服务和模型服务是否发布成功。
48.其中，将模型服务注册到网关的过程可以为，网关收到服务注册请求，将路由配置数据(服务访问地址与api接口的对应关系)保存到数据库，通过zuul(api网关服务器)刷新路由信息。
49.本技术实施例中，在模型的版本信息为非初版时，若模型部署成功，则下线历史版本的模型；若模型部署失败，回滚部署的模型。在模型的版本信息为初版时，若模型部署成功，不进行操作；若模型部署失败，回滚部署的模型。
50.本技术实施例中，回滚部署的模型指的是将当前模型的部署，全部撤销。回滚即往回退，一直退到模型未部署的时候。其中，回滚之后，模型可能会重复部署，例如部署了预设次数后，还未部署成功，则停止部署，其中，预设次数可以根据实际需要进行设定，此处不做限定。
51.本技术实施例的模型部署方法，通过确定待部署的模型，以及模型的部署相关信息；根据部署相关信息以及预设的模型部署配置模板，生成模型的部署配置信息；根据模型以及模型的部署配置信息，部署模型，以通过模型对应的api接口调用模型的模型服务，进而提高模型部署的效率。
52.图3为本技术实施例二所提供的模型部署方法的流程示意图。
53.如图3所示，该模型部署方法可以包括以下步骤：
54.步骤301，确定待部署的模型，以及模型的模型属性信息。
55.在本技术实施例中，模型开发平台执行步骤301的过程例如可以为，接收录入的模型以及模型的模型属性信息；或者，根据用户选择的应用场景对预设模型进行训练，得到待部署的模型；将预设模型的模型属性信息，作为模型的模型属性信息。
56.其中，模型属性信息可以包括以下信息：模型标识、版本信息、模型引擎、引擎版本、模型对应的预处理工程镜像、模型启动所需资源的资源信息、预处理工程镜像所需资源的资源信息。
57.举例说明，图4为确定待部署的模型的示意图，如图4所示，在一种示例中，用户若
选择模型开发平台内置的应用场景(默认服务场景)进行模型训练，模型开发平台内置的应用场景例如可以为图像分类、文本识别等，训练后得到的模型存储在oss(objectstorageservice,对象存储服务)上，由于模型开发平台内置的模型为已录入部署相关信息的模型，用户仅需要配置模型启动所需资源的资源信息，即可确定待部署的模型。
58.在另一种示例中，用户不使用模型开发平台默认服务场景，需上传自定义模型，完善自定义模型的配置，即可获得待部署的模型。其中，上传自定义模型的过程例如可以为，用户可以在模型开发平台中录入自定义模型，配置模型属性信息，模型属性信息包括：模型标识，版本信息，模型引擎(tensorflow、caffe、pytorch、horovod、spark等)及引擎版本，与模型对应的预处理工程镜像，还需要配置模型启动需要的资源信息和预处理工程镜像需要的资源信息。其中，模型开发平台会将自定义模型存储到oss(object storage service,对象存储服务)上。
59.步骤302，根据模型以及模型属性信息，确定模型的部署相关信息。
60.在本技术实施例中，部署相关信息包括以下信息：模型标识、版本信息、服务访问地址、模型对应的预处理工程镜像的地址、预处理工程镜像的服务端口、预处理工程镜像所需资源的资源信息、模型的模型镜像的地址、模型的地址、模型镜像的服务端口、模型启动所需资源的资源信息、以及网关访问域名。
61.其中，模型对应的预处理工程镜像的地址、预处理工程镜像的服务端口，可以根据与模型对应的预处理工程镜像确定，即可以将模型对应的预处理工程镜像存储在对应的所需资源信息中的存储资源中，进而可以确定预处理工程镜像的地址以及服务端口。
62.其中，模型的模型镜像的地址、模型的地址、模型镜像的服务端口，可以根据模型确定，即将模型存储在对应的所需资源信息中的存储资源中，进而可以确定模型的地址；对模型进行镜像处理以及存储，即可以确定模型镜像的地址以及服务端口。
63.步骤303，根据部署相关信息以及预设的模型部署配置模板，生成模型的部署配置信息。
64.步骤304，根据模型以及模型的部署配置信息，部署模型，以通过模型对应的api接口调用模型的模型服务。
65.需要说明的是，步骤303、步骤304的详细内容，可以参考图1所示实施例中的步骤102和步骤103，此处不再进行详细说明。
66.图5为本技术实施例三所提供的模型部署装置的结构示意图。
67.如图5所示，该模型部署装置500可以包括：确定模块510、生成模块520和部署模块530。
68.其中，确定模块510，用于确定待部署的模型，以及所述模型的部署相关信息；生成模块520，用于根据所述部署相关信息以及预设的模型部署配置模板，生成所述模型的部署配置信息；部署模块530，用于根据所述模型以及所述模型的部署配置信息，部署所述模型，以通过所述模型对应的api接口调用所述模型的模型服务。。
69.进一步地，在本技术实施例的一种可能的实现方式中，所述确定模块510具体用于，确定待部署的模型，以及所述模型的模型属性信息；根据所述模型以及所述模型属性信息，确定所述模型的部署相关信息。
70.进一步地，在本技术实施例的一种可能的实现方式中，所述确定模块510具体用
于，接收录入的所述模型以及所述模型的模型属性信息；或者，根据用户选择的应用场景对预设模型进行训练，得到待部署的模型；将所述预设模型的模型属性信息，作为所述模型的模型属性信息。
71.进一步地，在本技术实施例的一种可能的实现方式中，所述模型属性信息包括以下信息：模型标识、版本信息、模型引擎、引擎版本、模型对应的预处理工程镜像、模型启动所需资源的资源信息、所述预处理工程镜像所需资源的资源信息。
72.进一步地，在本技术实施例的一种可能的实现方式中，所述部署相关信息包括以下信息：模型标识、版本信息、服务访问地址、所述模型对应的预处理工程镜像的地址、所述预处理工程镜像的服务端口、所述预处理工程镜像所需资源的资源信息、所述模型的模型镜像的地址、所述模型的地址、所述模型镜像的服务端口、模型启动所需资源的资源信息、以及网关访问域名。
73.进一步地，在本技术实施例的一种可能的实现方式中，所述模型的版本信息为初版；所述部署相关信息中还包括：所述模型的服务访问地址，用于生成所述模型对应的api接口。
74.进一步地，在本技术实施例的一种可能的实现方式中，所述部署模块530具体用于，按照编排管理工具的格式要求对所述部署配置信息进行格式转换，得到转换后的部署配置信息；根据所述转换后的部署配置信息，启动所述模型的模型镜像以及预处理工程镜像，实现对所述模型的部署。
75.进一步地，在本技术实施例的一种可能的实现方式中，所述模型的版本信息为非初版；结合参考图6，在图5所示实施例的基础上，所述模型部署装置500还包括：下载模块540和回滚模块550；所述下载模块540，用于在所述模型部署成功时，下线历史版本的所述模型；所述回滚模块550，用于在所述模型部署失败时，回滚部署的所述模型。
76.需要说明的是，前述实施例一中的解释说明也适用于该实施例的模型部署装置，此处不再赘述。
77.本技术实施例的模型部署装置，通过确定待部署的模型，以及模型的部署相关信息；根据部署相关信息以及预设的模型部署配置模板，生成模型的部署配置信息；根据模型以及模型的部署配置信息，部署模型，以通过模型对应的api接口调用模型的模型服务，进而提高模型部署的效率。
78.为了实现上述实施例，本技术还提出一种电子设备，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行本技术前述实施例提出的模型部署方法。
79.为了实现上述实施例，本技术还提出存储有计算机指令的非瞬时计算机可读存储介质，所述计算机指令用于使所述计算机执行如本技术前述实施例提出的模型部署方法。
80.图7示出了适于用来实现本技术实施方式的示例性计算机设备的框图。图7显示的计算机设备12仅仅是一个示例，不应对本技术实施例的功能和使用范围带来任何限制。
81.如图7所示，计算机设备12以通用计算设备的形式表现。计算机设备12的组件可以包括但不限于：一个或者多个处理器或者处理单元16，系统存储器28，连接不同系统组件(包括系统存储器28和处理单元16)的总线18。
82.总线18表示几类总线结构中的一种或多种，包括存储器总线或者存储器控制器，外围总线，图形加速端口，处理器或者使用多种总线结构中的任意总线结构的局域总线。举例来说，这些体系结构包括但不限于工业标准体系结构(industry standard architecture；以下简称：isa)总线，微通道体系结构(micro channel architecture；以下简称：mac)总线，增强型isa总线、视频电子标准协会(video electronics standards association；以下简称：vesa)局域总线以及外围组件互连(peripheral component interconnection；以下简称：pci)总线。
83.计算机设备12典型地包括多种计算机系统可读介质。这些介质可以是任何能够被计算机设备12访问的可用介质，包括易失性和非易失性介质，可移动的和不可移动的介质。
84.存储器28可以包括易失性存储器形式的计算机系统可读介质，例如随机存取存储器(random access memory；以下简称：ram)30和/或高速缓存存储器32。计算机设备12可以进一步包括其它可移动/不可移动的、易失性/非易失性计算机系统存储介质。仅作为举例，存储系统34可以用于读写不可移动的、非易失性磁介质(图7未显示，通常称为“硬盘驱动器”)。尽管图7中未示出，可以提供用于对可移动非易失性磁盘(例如“软盘”)读写的磁盘驱动器，以及对可移动非易失性光盘(例如：光盘只读存储器(compact disc read only memory；以下简称：cd-rom)、数字多功能只读光盘(digital video disc read only memory；以下简称：dvd-rom)或者其它光介质)读写的光盘驱动器。在这些情况下，每个驱动器可以通过一个或者多个数据介质接口与总线18相连。存储器28可以包括至少一个程序产品，该程序产品具有一组(例如至少一个)程序模块，这些程序模块被配置以执行本技术各实施例的功能。
85.具有一组(至少一个)程序模块42的程序/实用工具40，可以存储在例如存储器28中，这样的程序模块42包括但不限于操作系统、一个或者多个应用程序、其它程序模块以及程序数据，这些示例中的每一个或某种组合中可能包括网络环境的实现。程序模块42通常执行本技术所描述的实施例中的功能和/或方法。
86.计算机设备12也可以与一个或多个外部设备14(例如键盘、指向设备、显示器24等)通信，还可与一个或者多个使得用户能与该计算机设备12交互的设备通信，和/或与使得该计算机设备12能与一个或多个其它计算设备进行通信的任何设备(例如网卡，调制解调器等等)通信。这种通信可以通过输入/输出(i/o)接口22进行。并且，计算机设备12还可以通过网络适配器20与一个或者多个网络(例如局域网(local area network；以下简称：lan)，广域网(wide area network；以下简称：wan)和/或公共网络，例如因特网)通信。如图所示，网络适配器20通过总线18与计算机设备12的其它模块通信。应当明白，尽管图中未示出，可以结合计算机设备12使用其它硬件和/或软件模块，包括但不限于：微代码、设备驱动器、冗余处理单元、外部磁盘驱动阵列、raid系统、磁带驱动器以及数据备份存储系统等。
87.处理单元16通过运行存储在系统存储器28中的程序，从而执行各种功能应用以及数据处理，例如实现前述实施例中提及的方法。
88.在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本技术的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任
一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。
89.此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本技术的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。
90.流程图中或在此以其他方式描述的任何过程或方法描述可以被理解为，表示包括一个或更多个用于实现定制逻辑功能或过程的步骤的可执行指令的代码的模块、片段或部分，并且本技术的优选实施方式的范围包括另外的实现，其中可以不按所示出或讨论的顺序，包括根据所涉及的功能按基本同时的方式或按相反的顺序，来执行功能，这应被本技术的实施例所属技术领域的技术人员所理解。
91.在流程图中表示或在此以其他方式描述的逻辑和/或步骤，例如，可以被认为是用于实现逻辑功能的可执行指令的定序列表，可以具体实现在任何计算机可读介质中，以供指令执行系统、装置或设备(如基于计算机的系统、包括处理器的系统或其他可以从指令执行系统、装置或设备取指令并执行指令的系统)使用，或结合这些指令执行系统、装置或设备而使用。就本说明书而言，"计算机可读介质"可以是任何可以包含、存储、通信、传播或传输程序以供指令执行系统、装置或设备或结合这些指令执行系统、装置或设备而使用的装置。计算机可读介质的更具体的示例(非穷尽性列表)包括以下：具有一个或多个布线的电连接部(电子装置)，便携式计算机盘盒(磁装置)，随机存取存储器(ram)，只读存储器(rom)，可擦除可编辑只读存储器(eprom或闪速存储器)，光纤装置，以及便携式光盘只读存储器(cdrom)。另外，计算机可读介质甚至可以是可在其上打印所述程序的纸或其他合适的介质，因为可以例如通过对纸或其他介质进行光学扫描，接着进行编辑、解译或必要时以其他合适方式进行处理来以电子方式获得所述程序，然后将其存储在计算机存储器中。
92.应当理解，本技术的各部分可以用硬件、软件、固件或它们的组合来实现。在上述实施方式中，多个步骤或方法可以用存储在存储器中且由合适的指令执行系统执行的软件或固件来实现。如，如果用硬件来实现和在另一实施方式中一样，可用本领域公知的下列技术中的任一项或他们的组合来实现：具有用于对数据信号实现逻辑功能的逻辑门电路的离散逻辑电路，具有合适的组合逻辑门电路的专用集成电路，可编程门阵列(pga)，现场可编程门阵列(fpga)等。
93.本技术领域的普通技术人员可以理解实现上述实施例方法携带的全部或部分步骤是可以通过程序来指令相关的硬件完成，所述的程序可以存储于一种计算机可读存储介质中，该程序在执行时，包括方法实施例的步骤之一或其组合。
94.此外，在本技术各个实施例中的各功能单元可以集成在一个处理模块中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个模块中。上述集成的模块既可以采用硬件的形式实现，也可以采用软件功能模块的形式实现。所述集成的模块如果以软件功能模块的形式实现并作为独立的产品销售或使用时，也可以存储在一个计算机可读取存储介质中。
95.上述提到的存储介质可以是只读存储器，磁盘或光盘等。尽管上面已经示出和描
述了本技术的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本技术的限制，本领域的普通技术人员在本技术的范围内可以对上述实施例进行变化、修改、替换和变型。

技术特征：
1.一种模型部署方法，其特征在于，包括：确定待部署的模型，以及所述模型的部署相关信息；根据所述部署相关信息以及预设的模型部署配置模板，生成所述模型的部署配置信息；根据所述模型以及所述模型的部署配置信息，部署所述模型，以通过所述模型对应的api接口调用所述模型的模型服务。2.根据权利要求1所述的方法，其特征在于，所述确定待部署的模型，以及所述模型的部署相关信息，包括：确定待部署的模型，以及所述模型的模型属性信息；根据所述模型以及所述模型属性信息，确定所述模型的部署相关信息。3.根据权利要求2所述的方法，其特征在于，所述确定待部署的模型，以及所述模型的模型属性信息，包括：接收录入的所述模型以及所述模型的模型属性信息；或者，根据用户选择的应用场景对预设模型进行训练，得到待部署的模型；将所述预设模型的模型属性信息，作为所述模型的模型属性信息。4.根据权利要求2所述的方法，其特征在于，所述模型属性信息包括以下信息：模型标识、版本信息、模型引擎、引擎版本、模型对应的预处理工程镜像、模型启动所需资源的资源信息、所述预处理工程镜像所需资源的资源信息。5.根据权利要求1或2或4所述的方法，其特征在于，所述部署相关信息包括以下信息：模型标识、版本信息、服务访问地址、所述模型对应的预处理工程镜像的地址、所述预处理工程镜像的服务端口、所述预处理工程镜像所需资源的资源信息、所述模型的模型镜像的地址、所述模型的地址、所述模型镜像的服务端口、模型启动所需资源的资源信息、以及网关访问域名。6.根据权利要求1所述的方法，其特征在于，所述模型的版本信息为初版；所述部署相关信息中还包括：所述模型的服务访问地址，用于生成所述模型对应的api接口。7.根据权利要求1所述的方法，其特征在于，所述根据所述模型以及所述模型的部署配置信息，部署所述模型，包括：按照编排管理工具的格式要求对所述部署配置信息进行格式转换，得到转换后的部署配置信息；根据所述转换后的部署配置信息，启动所述模型的模型镜像以及预处理工程镜像，实现对所述模型的部署。8.根据权利要求1或7所述的方法，其特征在于，所述模型的版本信息为非初版；所述方法还包括：在所述模型部署成功时，下线历史版本的所述模型；在所述模型部署失败时，回滚部署的所述模型。9.一种模型部署装置，其特征在于，包括：确定模块，用于确定待部署的模型，以及所述模型的部署相关信息；生成模块，用于根据所述部署相关信息以及预设的模型部署配置模板，生成所述模型
的部署配置信息；部署模块，用于根据所述模型以及所述模型的部署配置信息，部署所述模型，以通过所述模型对应的api接口调用所述模型的模型服务。10.根据权利要求9所述的装置，其特征在于，所述确定模块具体用于，确定待部署的模型，以及所述模型的模型属性信息；根据所述模型以及所述模型属性信息，确定所述模型的部署相关信息。11.根据权利要求10所述的装置，其特征在于，所述确定模块具体用于，接收录入的所述模型以及所述模型的模型属性信息；或者，根据用户选择的应用场景对预设模型进行训练，得到待部署的模型；将所述预设模型的模型属性信息，作为所述模型的模型属性信息。12.根据权利要求10所述的装置，其特征在于，所述模型属性信息包括以下信息：模型标识、版本信息、模型引擎、引擎版本、模型对应的预处理工程镜像、模型启动所需资源的资源信息、所述预处理工程镜像所需资源的资源信息。13.根据权利要求9或10或12所述的装置，其特征在于，所述部署相关信息包括以下信息：模型标识、版本信息、服务访问地址、所述模型对应的预处理工程镜像的地址、所述预处理工程镜像的服务端口、所述预处理工程镜像所需资源的资源信息、所述模型的模型镜像的地址、所述模型的地址、所述模型镜像的服务端口、模型启动所需资源的资源信息、以及网关访问域名。14.根据权利要求9所述的装置，其特征在于，所述模型的版本信息为初版；所述部署相关信息中还包括：所述模型的服务访问地址，用于生成所述模型对应的api接口。15.根据权利要求9所述的装置，其特征在于，所述部署模块具体用于，按照编排管理工具的格式要求对所述部署配置信息进行格式转换，得到转换后的部署配置信息；根据所述转换后的部署配置信息，启动所述模型的模型镜像以及预处理工程镜像，实现对所述模型的部署。16.根据权利要求9或15所述的装置，其特征在于，所述模型的版本信息为非初版；所述装置还包括：下载模块和回滚模块；所述下载模块，用于在所述模型部署成功时，下线历史版本的所述模型；所述回滚模块，用于在所述模型部署失败时，回滚部署的所述模型。17.一种电子设备，其特征在于，包括：至少一个处理器；以及与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够执行权利要求1-8中任一项所述的方法。18.一种存储有计算机指令的非瞬时计算机可读存储介质，其特征在于，所述计算机指令用于使所述计算机执行权利要求1-8中任一项所述的方法。

技术总结
本申请提出一种模型部署方法、装置及电子设备，其中方法包括：确定待部署的模型，以及模型的部署相关信息；根据部署相关信息以及预设的模型部署配置模板，生成模型的部署配置信息；根据模型以及模型的部署配置信息，部署模型，以通过模型对应的API接口调用模型的模型服务，进而提高模型部署的效率。进而提高模型部署的效率。进而提高模型部署的效率。


技术研发人员：张莹
受保护的技术使用者：京东科技信息技术有限公司
技术研发日：2022.02.07
技术公布日：2023/8/16