一种基于多流媒体节点的资源连接系统、方法及装置与流程

1.本文涉及人工智能领域，尤其是一种基于多流媒体节点的资源连接系统、方法及装置。


背景技术：

2.目前，用户通常基于一对一交互场景与基于智能问答的虚拟数字人交互，获得较好的音视频交互体验。
3.在一对一交互场景下，虚拟数字人交互系统会启动一定数量的房间，房间里是预设好的虚拟数字人。用户终端设备请求接入虚拟数字人时，系统会先给用户分配空闲的房间，用户终端根据房间号请求流媒体服务器，获取对应房间渲染出的数字人音视频流，从而确保用户与虚拟数字人能够进行实时音视频交互。由于用户与数字人的实时交互是经过中间的流媒体服务器来转发音视频流数据完成的，因此保证流媒体服务器的高可用性非常重要。
4.如果流媒体服务器崩溃或者所在节点宕机，将导致用户终端无法连接虚拟数字人。现有技术中通过每个房间向多个流媒体服务进行推流、用户通过网关路由到不同的流媒体服务进行拉流的方式应对节点宕机的情形，但这种方式造成了极大的资源浪费，每个虚拟数字人推流到流媒体服务器会消耗大量的网络带宽资源，而每个用户只会占用一路资源，如果是双节点流媒体服务集群的应用场景，每个房间使用带宽会增加一倍，资源浪费较大。


技术实现要素：

5.为解决上述现有技术中推拉流造成带宽资源浪费的问题，本文实施例提供了一种基于多流媒体节点的资源连接系统、方法及装置。
6.本文实施例提供了一种基于多流媒体节点的资源连接方法，
7.根据本文实施例的一个方面，所述匹配对应的流媒体资源空间包括：从多个流媒体资源空间中，选择处于空闲状态的流媒体资源空间作为可用流媒体资源空间。
8.根据本文实施例的一个方面，根据所述服务器连接请求，将所述用户端路由至对应的至少一个流媒体节点包括：获取服务器连接请求中包含的可用流媒体资源空间的编号；利用所述编号对所述流媒体节点总数量取余，得到余数结果；根据所述余数结果及预设路由规则，确定用户端对应的至少一个流媒体节点。
9.根据本文实施例的一个方面，根据至少一个流媒体节点发送的媒体协商信息及用户端支持的数据流编解码信息，建立用户端与对应流媒体节点的通信连接，包括：获取对应的至少一个流媒体节点的媒体协商信息，所述媒体协商信息对应该流媒体节点管理的流媒体资源的音视频编解码格式；选择媒体协商信息与用户端支持的数据流编解码信息一致的流媒体节点，作为所述对应流媒体节点；将所述对应流媒体节点发送至用户端，由所述用户端与所述对应流媒体节点建立通信。
10.根据本文实施例的一个方面，建立用户端与流媒体节点的通信连接包括：监听所述流媒体节点管理的多个udp端口的状态，确定处于可用状态的udp端口；选择所述处于可用状态的udp端口中的其中一个，作为所述媒体协商信息中的udp端口；将udp端口号发送至用户端，由用户端根据所述流媒体节点的udp端口号与所述流媒体节点建立通信连接。
11.根据本文实施例的一个方面，若多个流媒体节点中的部分流媒体节点异常，所述方法包括：控制注册在异常流媒体节点上的流媒体资源停止推流；更新停止推流的流媒体资源空间的状态为等待状态；新增流媒体节点，接管所述停止推流的流媒体资源；根据用户端的服务器连接请求，更新用户端与流媒体节点的路由关系。
12.本文实施例还提供了一种网关服务器，包括：资源连接请求接收单元，用于接收用户端发送的资源连接请求，其中，所述资源连接请求包括用户端支持的数据流编解码信息；流媒体资源连接信息形成单元，用于将所述资源连接请求发送至多个流媒体节点，以使多个流媒体节点根据所述资源连接请求识别用户知识等级并匹配对应的流媒体资源空间，形成流媒体资源连接信息；第一接收单元，用于接收所述流媒体资源连接信息，并发送至客户端；第二接收单元，用于接收所述用户端根据所述流媒体资源连接信息生成的服务器连接请求；路由单元，用于根据所述服务器连接请求，确定用户待连接的至少一个流媒体节点；通信单元，用于根据至少一个流媒体节点发送的媒体协商信息及用户端支持的数据流编解码信息，建立用户与对应流媒体节点的通信连接。
13.本文实施例提供了一种所述方法，包括：接收由网关服务器转发的资源连接请求；根据所述资源连接请求识别用户知识等级并匹配对应的流媒体资源空间，形成流媒体资源连接信息；将所述流媒体资源连接信息，发送至所述网关服务器；接收所述网关服务器返回的由用户端生成的服务器连接请求；将服务器连接请求中用户待连接的至少一个流媒体节点的媒体协商信息，发送至所述网关服务器。
14.根据本文实施例的一个方面，形成流媒体资源连接信息，包括：获取用户特征数据；根据用户特征数据，确定用户类型；根据用户类型与流媒体资源类型的预设映射关系，确定所述用户对应的流媒体资源类型。
15.本文实施例还公开了一种多流媒体节点，包括：资源连接请求接收单元，用于接收由网关服务器转发的资源连接请求；流媒体资源连接信息形成单元，用于根据所述资源连接请求识别用户知识等级并匹配对应的流媒体资源空间，形成流媒体资源连接信息；发送单元，用于将所述流媒体资源连接信息，发送至所述网关服务器；服务器连接请求生成单元，用于接收所述网关服务器返回的由用户端生成的服务器连接请求；流媒体协商信息发送单元，用于将服务器连接请求中用户待连接的至少一个流媒体节点的媒体协商信息，发送至所述网关服务器。
16.本文实施例还提供了一种基于多流媒体节点的资源连接方法，所述方法包括：获取资源连接信息中的可用流媒体资源空间的编号；将所述可用流媒体资源空间的编号加入至http请求头中，形成服务器连接请求。
17.本文实施例还提供了一种用户端，包括：获取单元，获取资源连接信息中的可用流媒体资源空间的编号；加入单元，用于将所述可用流媒体资源空间的编号加入至http请求头中，形成服务器连接请求。
18.本文实施例还提供了一种基于多流媒体节点的资源连接系统，所述系统包括：网
关服务器，用于基于用户端发送的资源连接请求识别用户知识等级并匹配对应的流媒体资源空间；根据用户端发送的服务器连接请求，将用户端路由至对应的至少一个流媒体节点；根据至少一个流媒体节点发送的媒体协商信息及用户端支持的数据流编解码信息，建立用户端与流媒体节点的通信连接；多个流媒体节点，用于根据所述资源连接请求识别用户知识等级并匹配对应的流媒体资源空间，形成流媒体资源连接信息；用户端，所述用户端与网关连接，用于向网关发送资源连接请求，并基于所述流媒体资源连接信息生成服务器连接请求。
19.本文实施例提供了一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现所述一种基于多流媒体节点的资源连接方法。
20.本文实施例还提供了一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现所述基于多流媒体节点的资源连接方法。
21.本文实施例还提供了一种计算机程序产品，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行所述基于多流媒体节点的资源连接方法。
22.本方案通过将不同流媒体资源空间注册到不同的流媒体服务器节点，只向对应的流媒体服务节点进行推流，带宽及硬件资源使用率高。在不浪费资源的情况下，能保证流媒体服务在多节点下的高可用性。
附图说明
23.为了更清楚地说明本文实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本文的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
24.图1所示为本文实施例一种基于多流媒体节点的资源连接方法的流程图；
25.图2所示为本文实施例一种确定流媒体节点的方法流程图；
26.图3所示为本文实施例一种根据媒体协商信息建立通信连接的方法流程图；
27.图4所示为本文实施例一种建立用户端与流媒体节点的通信连接的方法流程图；
28.图5所示为本文实施例一种流媒体节点异常更新方法的流程图；
29.图6所示为本文实施例一种网关服务器的示意图；
30.图7所示为本文实施例又一种基于多流媒体节点的资源连接方法的示意图；
31.图8所示为本文实施例一种确定用户知识等级的方法流程图；
32.图9为本文实施例一种多流媒体节点的示意图；
33.图10所示为本文实施例一种用户端示意图；
34.图11所示为本文实施例一种基于多流媒体节点的资源连接系统的示意图；
35.图12所示为本文实施例一种计算机设备的结构示意图。附图符号说明：601、资源连接请求接收单元；602、流媒体资源连接信息形成单元；603、第一接收单元；
36.604、第二接收单元；
37.605、路由单元；
38.606、通信连接单元；
39.901、接收单元；
40.902、流媒体资源连接信息形成单元；903、发送单元；
41.904、服务器连接请求生成单元；
42.905、流媒体协商信息发送单元；
43.1001、编号获取单元；
44.1002、加入单元；
45.1101、网关服务器；
46.1102、多个流媒体节点；
47.1103、用户端；
48.1202、计算机设备；
49.1204、处理器；
50.1206、存储器；
51.1208、驱动机构；
52.1210、输入/输出模块；
53.1212、输入设备；
54.1214、输出设备；
55.1216、呈现设备；
56.1218、图形用户接口；
57.1220、网络接口；
58.1222、通信链路；
59.1224、通信总线。
具体实施方式
60.为了使本技术领域的人员更好地理解本说明书中的技术方案，下面将结合本文实施例中的附图，对本文实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本文一部分实施例，而不是全部的实施例。基于本文中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本文保护的范围。
61.需要说明的是，本文的说明书和权利要求书及上述附图中的术语“第一”、“第二”等是用于区别类似的对象，而不必用于描述特定的顺序或先后次序。应该理解这样使用的数据在适当情况下可以互换，以便这里描述的本文的实施例能够以除了在这里图示或描述的那些以外的顺序实施。此外，术语“包括”和“具有”以及他们的任何变形，意图在于覆盖不排他的包含，例如，包含了一系列步骤或单元的过程、方法、装置、产品或设备不必限于清楚地列出的那些步骤或单元，而是可包括没有清楚地列出的或对于这些过程、方法、产品或设备固有的其它步骤或单元。
62.本说明书提供了如实施例或流程图所述的方法操作步骤，但基于常规或者无创造性的劳动可以包括更多或者更少的操作步骤。实施例中列举的步骤顺序仅仅为众多步骤执行顺序中的一种方式，不代表唯一的执行顺序。在实际中的系统或装置产品执行时，可以按照实施例或者附图所示的方法顺序执行或者并行执行。
63.需要说明的是，本文的基于多流媒体节点的资源连接方法可用于人工智能领域，也可用于流媒体技术领域、金融科技领域或计算机领域，本文对基于多流媒体节点的资源连接方法及装置的应用领域不做限定。
64.本技术中的基于多流媒体节点的资源连接方法涉及用户端、多个流媒体服务器、网关服务器。
65.图1所示为本文实施例一种基于多流媒体节点的资源连接方法的流程图，具体包括如下步骤：
66.步骤101，接收用户端发送的资源连接请求，其中，所述资源连接请求包括用户端支持的数据流媒体编解码信息。
67.本技术中，用户端具有请求由流媒体服务器管理的数字资源，用户端发起资源连接请求，资源连接请求中包括用户端信息(例如，用户端id号等)、用户请求的资源类型、请求时间、用户端所支持的数据流媒体编解码格式等。其中，流媒体服务器管理的数字资源可以根据各种业务类型划分，数字资源可以是由虚拟数字人提供的音视频数据流。进一步的，虚拟数字人可以理解为虚拟业务客服，其可以提供不同类型的业务支持，例如，回答用户端提出与业务相关的问题。另外，虚拟数字人也可以提供其他类型的信息，包括但不限于：天气、百科知识、情感分析、专业知识等。本技术对流媒体服务器管理的数字资源的类型不作限定。
68.步骤102，将所述资源连接请求发送至多个流媒体节点，以使多个流媒体节点根据所述资源连接请求识别用户知识等级并匹配对应的流媒体资源空间，形成流媒体资源连接信息。本步骤中，接收到用户端的资源连接请求之后，将资源连接请求发送至流媒体节点，由流媒体节点根据资源连接请求确定分发给用户端的流媒体资源空间。其中，流媒体资源布设在流媒体资源空间中，且一个流媒体资源单独布设在一个流媒体资源空间中。每一个流媒体资源空间具有单独的空间序号，以实现与其他流媒体资源空间的区分，同时方便不同的流媒体服务器进行管理。在通常情况下，多个流媒体服务器共同承担管理流媒体资源空间及其上布设的流媒体资源的任务。基于负载均衡考虑，每一流媒体服务器管理平均分摊所有流媒体资源空间，即为，每一流媒体服务器分别管理相同数量的流媒体资源空间。相对应的，将不同的流媒体资源空间注册到对应不同的流媒体节点，流媒体资源空间指向对应的流媒体节点推流。例如，共有一千个流媒体资源空间，且流媒体节点数量为20个，则每一流媒体节点负责50个流媒体资源空间的管理。由此，网络带宽使用一致，带宽及硬件资源使用率高。同时，在不浪费资源的情况下，仍能保证流媒体服务在多节点下的高可用性。
69.进一步的，流媒体节点可以根据用户端发送的资源连接请求，识别用户知识等级，并根据用户知识等级分配适合该用户的流媒体资源空间。基于用户端的用户具有不同的文化水平、业务办理偏好等特征，可以为用户提供对应的流媒体资源，以便更高效地帮助用户完成资源支持，提高用户体验、节省业务办理时间、提高效率。关于流媒体节点根据用户知识等级匹配流媒体资源空间的方法将在图11中描述。
70.在多个流媒体节点为用户匹配了流媒体资源空间之后，流媒体资源空间对应相关数据可以称之为流媒体资源连接信息。
71.在本技术的另外一些实施例中，可以从多个流媒体资源空间中，选择处于空闲状态的流媒体资源空间作为可用流媒体资源空间。
72.步骤103，接收所述流媒体资源连接信息，并发送至用户端。网关服务器接收多个流媒体节点发送的流媒体资源连接信息，并转发给用户端。由此，用户端获知多个流媒体节点服务器确定的适合该用户的流媒体资源空间及流媒体资源。
73.步骤104，接收所述用户端根据所述流媒体资源连接信息生成的服务器连接请求。在本步骤中，用户端根据接收到的流媒体资源连接信息，生成服务器连接请求。具体的，用户将接收到的流媒体资源连接信息以http请求的形式保存，形成服务器连接请求，并将服务器连接请求发送至网关服务器。具体的，服务器连接请求中包括步骤102中由流媒体节点发送的流媒体资源连接信息，包括：流媒体资源空间及空间编号。在获取资源连接信息中的可用流媒体资源空间的编号之后，将可用流媒体资源空间的编号加入至http请求头中，形成服务器连接请求。
74.步骤105，根据所述服务器连接请求，确定用户端待连接的至少一个流媒体节点。在本步骤中，网关服务器解析用户端发送的服务器连接请求，确定用户请求的流媒体节点。用户请求的流媒体节点的数量可以是一个，也可以是多个。这些流媒体节点为用户端待连接的流媒体节点。
75.本步骤中，根据服务器连接请求确定待连接的流媒体节点包括：根据服务器连接请求中的流媒体资源空间的空间编号。根据空间编号及当前可用的流媒体节点的数量，确定用户端发起的服务器连接请求对应的流媒体节点。
76.步骤106，根据至少一个流媒体节点发送的媒体协商信息及用户端支持的数据流编解码信息，建立用户端与对应流媒体节点的通信连接。根据步骤105中确定的待连接的流媒体节点，网关服务器根据用户端支持的数据流编解码信息，及待连接的流媒体节点提供的虚拟数字人资源，确定用户端能够匹配的流媒体节点。
77.图2所示为本文实施例一种确定流媒体节点的方法流程图，具体包括如下步骤：
78.步骤201，获取服务器连接请求中包含的可用流媒体资源空间的编号。如前文所述，服务器连接请求中包括可用的流媒体资源空间的编号。例如，图11中的网关服务器1101、多个流媒体节点1102、用户端1103等。
79.步骤202，利用所述编号对所述流媒体节点总数量取余，得到余数结果。本技术通过基于负载均衡考虑，将不同的可用流媒体资源空间均匀注册在不同的流媒体节点，实现每一个流媒体节点负载的资源压力是相同的，避免出现压力失衡的情况。因此，将可用流媒体资源空间的编号对流媒体节点的总数进行取余，得到余数结果。例如，流媒体节点的数量为2，且确定的用户端发出的服务器连接请求中只包含一个可用流媒体资源空间，且该可用流媒体空间资源空间的编号为101。将编号101除以流媒体节点数2，取余数，得到余数结果为1。
80.步骤203，根据所述余数结果及预设路由规则，确定用户端对应的至少一个流媒体节点。在本技术的一些实施例中，预设路由规则可以规定不同的余数结果应当对应哪个流媒体节点。例如，预设路由规则规定：当余数为1，将用户端路由至第一个流媒体节点；当余数为2，将用户端路由至第二个流媒体节点等。本技术中，通过在网关服务器设置路由规则，可以保证将用户的服务器连接请求均衡分配到各流媒体节点，能确保给用户端分配的流媒体资源空间注册的流媒体节点，与用户建立通信连接的流媒体节点是相同的节点，从而实现准确拉流。
81.图3所示为本文实施例一种根据媒体协商信息建立通信连接的方法流程图，具体包括如下步骤：
82.步骤301，获取对应的至少一个流媒体节点的媒体协商信息，所述媒体协商信息对应该流媒体节点管理的流媒体资源的音视频编解码格式。在本步骤中，媒体协商信息包括用户数据报协议的(udp，user datagram protocol)通信地址和端口号。在本技术的一些实施例中，用户端可以基于upi协议，根据媒体协商信息中的udp通信地址及端口号，实现与流媒体节点的通信。当用户端与流媒体节点建立通信之后，可以从流媒体节点获取注册在该流媒体节点上的流媒体资源的音视频编解码格式。
83.步骤302，选择媒体协商信息与用户端支持的数据流编解码信息一致的流媒体节点，作为所述对应流媒体节点。在本步骤中，只有当用户端支持的数据流编解码格式与流媒体节点上的流媒体资源的音视频编解码格式一致，才能确保用户与流媒体节点实现安全通信，因此，若从待连接的流媒体节点处没有匹配到与用户端支持的数据流编解码信息一致的音视频编解码格式，则用户端无法与流媒体节点进行通信。
84.步骤303，将所述对应流媒体节点发送至用户端，由所述用户端与所述对应流媒体节点建立通信。若某待连接的流媒体节点的音视频编解码格式与用户端支持的数据流编解码信息一致，则将该流媒体节点相关的信息发送至用户端，由用户端与流媒体节点进行连接。
85.图4所示为本文实施例一种建立用户端与流媒体节点的通信连接的方法流程图，具体包括如下步骤：
86.步骤401，监听所述流媒体节点管理的多个udp端口的状态，确定处于可用状态的udp端口。在本步骤中，每一个流媒体节点预先被分配有多个udp端口。例如，流媒体服务器1分配有32121-32130区间内的10个udp端口，流媒体服务器2分配有32131-32149区间内的10个udp端口。网关服务器实时监听每一流媒体服务器的所有udp端口的运行状态，udp端口的运行状态包括：可用状态(也可表示为空闲状态)、占用状态或离线状态中的至少一种。
87.步骤402，选择所述处于可用状态的udp端口中的其中一个，作为所述媒体协商信息中的udp端口。将用户端发送的服务器连接请求，发送至处于可用状态的udp端口，从而转发至对应的流媒体服务器。
88.步骤403，将所述udp端口号发送至用户端，由用户端根据所述流媒体节点的udp端口号与所述流媒体节点建立通信连接。
89.图5所示为本文实施例一种流媒体节点异常更新方法的流程图。本方法适用于多个流媒体节点中的部分流媒体节点发生异常的情况。该方法具体包括如下步骤：
90.步骤501，控制注册在异常流媒体节点上的流媒体资源停止推流。在本步骤中，如果有流媒体节点发生故障，网关服务器需要通知注册在该异常节点的流媒体资源停止推流，使得异常流媒体节点上的流媒体资源空间停止向对应的异常流媒体节点推流。因此，用户端也无法与异常流媒体节点建立通信，从而控制用户端无法从异常流媒体节点拉流。
91.步骤502，更新停止推流的流媒体资源空间的状态为等待状态。本步骤中，将步骤501中停止推流的流媒体资源所在的空间的状态从正常状态或占用状态改为等待状态。防止流媒体节点将已经停止推流的流媒体资源空间作为流媒体资源连接信息，而发送给网关。
92.步骤503，新增流媒体节点，接管所述停止推流的流媒体资源。基于前述步骤，根据异常流媒体节点的数量，新增相同数量的流媒体节点。将步骤502中设置为等待状态的停止推流的流媒体资源空间注册到新的流媒体资源上。
93.进一步的，将注册到新的流媒体资源上的流媒体资源空间的状态恢复为空闲或可用状态。
94.步骤504，根据用户端的服务器连接请求，更新用户与流媒体节点的路由关系。本步骤中，基于用户端原先发送的服务器连接请求，将新增流媒体节点上注册的流媒体资源空间的编号，重新路由至对应的新增流媒体节点，实现用户端与流媒体节点的路由更新。
95.根据图5对应描述，若一个流媒体节点因宕机等原因造成异常不可用，而通过其他新增节点仍然可以从所有房间拉流，系统可用性不变。在不浪费资源的情况下，仍能保证流媒体服务在多节点下的高可用性。
96.图6所示为本文实施例一种网关服务器的示意图，本图中描述了网关服务器的基本结构，其中的功能单元、模块可以采用软件方式实现，也可以采用通用芯片或者特定芯片实现。网关服务器包括：
97.资源连接请求接收单元601，用于接收用户端发送的资源连接请求，其中，所述资源连接请求包括用户端支持的数据流编解码信息；
98.流媒体资源连接信息形成单元602，用于将所述资源连接请求发送至多个流媒体节点，以使多个流媒体节点根据所述资源连接请求识别用户知识等级并匹配对应的流媒体资源空间，形成流媒体资源连接信息；
99.第一接收单元603，用于接收所述流媒体资源连接信息，并发送至客户端；
100.第二接收单元604，用于接收所述用户端根据所述流媒体资源连接信息生成的服务器连接请求；
101.路由单元605，用于根据所述服务器连接请求，确定用户待连接的至少一个流媒体节点；
102.通信连接单元606，用于根据至少一个流媒体节点发送的媒体协商信息及用户端支持的数据流编解码信息，建立用户与对应流媒体节点的通信连接。
103.图7所示为本文实施例又一种基于多流媒体节点的资源连接方法的示意图，具体包括如下步骤：
104.步骤701，接收由网关服务器转发的资源连接请求。本步骤中，资源连接请求由客户端发起，并由网关转发至对应的流媒体节点，获取相应的服务及流量。
105.步骤702，根据所述资源连接请求识别用户知识等级并匹配对应的流媒体资源空间，形成流媒体资源连接信息。在本技术的一些实施例中，流媒体资源节点可以与外设服务器连接，将资源连接请求发送至外设服务器，由外设服务器确认资源连接请求中涉及的用户标识。而外设服务器预先根据用户特征，确定用户知识等级，并为用户匹配了对应的流媒体资源空间。当流媒体节点解析流媒体资源连接信息，并确定用户标识后，将用户标识发送至外设服务器，由此确定流媒体资源连接信息中涉及的用户应当匹配的流媒体资源空间，由此形成流媒体资源连接信息。
106.步骤703，将所述流媒体资源连接信息，发送至所述网关服务器。本步骤由多流媒体节点将流媒体资源连接信息发送至网关服务器。
107.步骤704，接收所述网关服务器返回的由用户端生成的服务器连接请求。根据前述步骤，用户端接收流媒体资源连接信息之后，生成服务连接请求。网关服务器由此将服务连接请求发送至多流媒体节点。
108.步骤705，将服务器连接请求中用户待连接的至少一个流媒体节点的媒体协商信息，发送至所述网关服务器。根据流媒体资源连接信息，确定多流媒体节点中的其中至少一个节点为用户端待连接的节点。将至少一个这样的节点的媒体协商信息发送至网关服务器，由网关服务器转发至用户端。
109.图8所示为本文实施例一种确定用户知识等级的方法流程图，具体包括如下步骤：
110.步骤801，获取用户特征数据。在本技术中，用户特征数据可以通过采集用户人脸数据得到用户数据。例如，通过分析用户人脸图像，从数据库中匹配得到用户的特征，包括但不限于：用户学历、用户文化水平、用户性别、用户年龄、用户常住地、用户历史业务办理数据、用户历史交互资源偏好特征。
111.步骤802，根据用户特征数据，确定用户类型。在本步骤中，不同的用户特征数据构成不同用户类型。其中，用户类型包括：知识等级高的用户、知识等级中等的用户、知识等级较低的用户。本技术对用户类型的数量及具体类型并不限定。
112.在本技术的一些实施例中，可以根据每一用户特征数据及预设权重，确定用户对业务流程的熟悉分值，其中，熟悉分值可以表征用户的知识等级。例如，用户年龄越大，对业务办理越陌生，其期望的资源更趋向于语速较慢、介绍业务办理手续更详细、更完整的数字资源；又例如，用户越年轻且成人、且对办理业务熟悉，其更趋向于语速较快、介绍业务更简单、更快速的数字资源。因此，可以分别对用户特征数据设定不同的权重。进一步的，根据每一用户特征数据、预设权重，通过加权求和，得到用户对业务流程的熟悉得分，即，知识等级。
113.例如，熟悉得分高于一定范围，确定用户等级得分为一级，对应用户类型为一类用户；数字得分在一定范围内，确定用户等级得分为二级，对应用户类型为二类用户；数字得分低于一定范围，确定用户等级得分为三级，对应用户类型为三类用户，等。
114.步骤803，根据用户类型与流媒体资源类型的映射关系，确定所述用户对应的流媒体资源类型。
115.在本步骤中，流媒体资源在建立时，会携带角色标识(roleid)。每一不同类型的流媒体资源对应不同的roleid。进一步的，预先设定不同用户类型与roleid的映射关系。当确定用户类型后，即可确定应当为该用户分配什么类型的流媒体资源。进一步的，当用户与流媒体节点建立通信后，流媒体节点会将注册在该节点上的流媒体资源空间中的资源加载为对应类型的流媒体资源，向用户推流。
116.例如，用户甲为此前没有接触过虚拟数字人资源的老人，用户甲对虚拟数字人的熟悉程度比较低。用户甲当前想要通过虚拟数字客服办理存款业务，则需要对该用户分配语速较慢、能提供详细的存款业务介绍的虚拟数字客服。
117.又例如，用户乙为此前接触过虚拟数字人资源的年轻上班族，用户乙对如何与虚拟数字人连接比较熟悉。用户乙为男性，当前想要通过虚拟数字客服办理购买理财产品的业务，则可以对该用户分配语速中等、能提供简洁理财购买介绍的女性化虚拟数字客服。
118.图9为本文实施例一种多流媒体节点的示意图，具体包括：
119.接收单元901，用于接收由网关服务器转发的资源连接请求；
120.流媒体资源连接信息形成单元902，用于根据所述资源连接请求识别用户知识等级并匹配对应的流媒体资源空间，形成流媒体资源连接信息；
121.发送单元903，用于将所述流媒体资源连接信息，发送至所述网关服务器；
122.服务器连接请求生成单元904，用于接收所述网关服务器返回的由用户端生成的服务器连接请求；
123.流媒体协商信息发送单元905，用于将服务器连接请求中用户待连接的至少一个流媒体节点的媒体协商信息，发送至所述网关服务器。
124.图10所示为本文实施例一种用户端示意图，包括：
125.编号获取单元1001，获取资源连接信息中的可用流媒体资源空间的编号；
126.加入单元1002，用于将所述可用流媒体资源空间的编号加入至http请求头中，形成服务器连接请求。
127.图11所示为本文实施例一种基于多流媒体节点的资源连接系统的示意图，包括：
128.网关服务器1101，用于基于用户端发送的资源连接请求识别用户知识等级并匹配对应的流媒体资源空间；根据用户端发送的服务器连接请求，将用户端路由至对应的至少一个流媒体节点；根据至少一个流媒体节点发送的媒体协商信息及用户端支持的数据流编解码信息，建立用户端与流媒体节点的通信连接；
129.多个流媒体节点1102，用于根据所述资源连接请求识别用户知识等级并匹配对应的流媒体资源空间，形成流媒体资源连接信息；
130.用户端1103，所述用户端与网关连接，用于向网关发送资源连接请求，并基于所述流媒体资源连接信息生成服务器连接请求。
131.如图12所示，为本文实施例提供的一种计算机设备，所述计算机设备1202可以包括一个或多个处理器1204，诸如一个或多个中央处理单元(cpu)，每个处理单元可以实现一个或多个硬件线程。计算机设备1202还可以包括任何存储器1206，其用于存储诸如代码、设置、数据等之类的任何种类的信息。非限制性的，比如，存储器1206可以包括以下任一项或多种组合：任何类型的ram，任何类型的rom，闪存设备，硬盘，光盘等。更一般地，任何存储器都可以使用任何技术来存储信息。进一步地，任何存储器可以提供信息的易失性或非易失性保留。进一步地，任何存储器可以表示计算机设备1202的固定或可移除部件。在一种情况下，当处理器1204执行被存储在任何存储器或存储器的组合中的相关联的指令时，计算机设备1202可以执行相关联指令的任一操作。计算机设备1202还包括用于与任何存储器交互的一个或多个驱动机构1208，诸如硬盘驱动机构、光盘驱动机构等。
132.计算机设备1202还可以包括输入/输出模块1210(i/o)，其用于接收各种输入(经由输入设备1212)和用于提供各种输出(经由输出设备1214)。一个具体输出机构可以包括呈现设备1216和相关联的图形用户接口(gui)1218。在其他实施例中，还可以不包括输入/输出模块1210(i/o)、输入设备1212以及输出设备1214，仅作为网络中的一台计算机设备。计算机设备1202还可以包括一个或多个网络接口1220，其用于经由一个或多个通信链路1222与其他设备交换数据。一个或多个通信总线1224将上文所描述的部件耦合在一起。
133.通信链路1222可以以任何方式实现，例如，通过局域网、广域网(例如，因特网)、点对点连接等、或其任何组合。通信链路1222可以包括由任何协议或协议组合支配的硬连线
链路、无线链路、路由器、网关功能、名称服务器等的任何组合。
134.对应于图1至图5、图7、图8中的方法，本文实施例还提供了一种计算机可读存储介质，该计算机可读存储介质上存储有计算机程序，该计算机程序被处理器运行时执行上述方法的步骤。
135.本文实施例还提供一种计算机可读指令，其中当处理器执行所述指令时，其中的程序使得处理器执行如图1至图5、图7、图8中的方法。
136.本文实施例还提供一种计算机程序产品，计算机程序产品包括计算机程序，所述计算机程序被处理器执行如图1至图5、图7、图8中的方法。
137.应理解，在本文的各种实施例中，上述各过程的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本文实施例的实施过程构成任何限定。
138.还应理解，在本文实施例中，术语“和/或”仅仅是一种描述关联对象的关联关系，表示可以存在三种关系。例如，a和/或b，可以表示：单独存在a，同时存在a和b，单独存在b这三种情况。另外，本文中字符“/”，一般表示前后关联对象是一种“或”的关系。
139.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、计算机软件或者二者的结合来实现，为了清楚地说明硬件和软件的可互换性，在上述说明中已经按照功能一般性地描述了各示例的组成及步骤。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本文的范围。
140.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，上述描述的系统、装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。
141.在本文所提供的几个实施例中，应该理解到，所揭露的系统、装置和方法，可以通过其它的方式实现。例如，以上所描述的装置实施例仅仅是示意性的，例如，所述单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另外，所显示或讨论的相互之间的耦合或直接耦合或通信连接可以是通过一些接口、装置或单元的间接耦合或通信连接，也可以是电的，机械的或其它的形式连接。
142.所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本文实施例方案的目的。
143.另外，在本文各个实施例中的各功能单元可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以是两个或两个以上单元集成在一个单元中。上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。
144.所述集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本文的技术方案本质上或者说对现有技术做出贡献的部分，或者该技术方案的全部或部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设
备(可以是个人计算机，服务器，或者网络设备等)执行本文各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
145.本文中应用了具体实施例对本文的原理及实施方式进行了阐述，以上实施例的说明只是用于帮助理解本文的方法及其核心思想；同时，对于本领域的一般技术人员，依据本文的思想，在具体实施方式及应用范围上均会有改变之处，综上所述，本说明书内容不应理解为对本文的限制。

技术特征：
1.一种基于多流媒体节点的资源连接方法，其特征在于，所述方法包括：接收用户端发送的资源连接请求，其中，所述资源连接请求包括用户端支持的数据流编解码信息；将所述资源连接请求发送至多个流媒体节点，以使多个流媒体节点根据所述资源连接请求识别用户知识等级并匹配对应的流媒体资源空间，形成流媒体资源连接信息；接收所述流媒体资源连接信息，并发送至用户端；接收所述用户端根据所述流媒体资源连接信息生成的服务器连接请求；根据所述服务器连接请求，确定用户端待连接的至少一个流媒体节点；根据至少一个流媒体节点发送的媒体协商信息及用户端支持的数据流编解码信息，建立用户端与对应流媒体节点的通信连接。2.根据权利要求1根据所述的基于多流媒体节点的资源连接方法，其特征在于，所述匹配对应的流媒体资源空间包括：从多个流媒体资源空间中，选择处于空闲状态的流媒体资源空间作为可用流媒体资源空间。3.根据权利要求2所述的基于多流媒体节点的资源连接方法，其特征在于，根据所述服务器连接请求，将所述用户端路由至对应的至少一个流媒体节点包括：获取服务器连接请求中包含的可用流媒体资源空间的编号；利用所述编号对所述流媒体节点总数量取余，得到余数结果；根据所述余数结果及预设路由规则，确定用户端对应的至少一个流媒体节点。4.根据权利要求3根据所述的基于多流媒体节点的资源连接方法，其特征在于，根据至少一个流媒体节点发送的媒体协商信息及用户端支持的数据流编解码信息，建立用户端与对应流媒体节点的通信连接，包括：获取对应的至少一个流媒体节点的媒体协商信息，所述媒体协商信息对应该流媒体节点管理的流媒体资源的音视频编解码格式；选择媒体协商信息与用户端支持的数据流编解码信息一致的流媒体节点，作为所述对应流媒体节点；将所述对应流媒体节点发送至用户端，由所述用户端与所述对应流媒体节点建立通信。5.根据权利要求4所述的基于多流媒体节点的资源连接方法，其特征在于，建立用户端与流媒体节点的通信连接包括：监听所述流媒体节点管理的多个udp端口的状态，确定处于可用状态的udp端口；选择所述处于可用状态的udp端口中的其中一个，作为所述媒体协商信息中的udp端口；将udp端口号发送至用户端，由用户端根据所述流媒体节点的udp端口号与所述流媒体节点建立通信连接。6.根据权利要求5所述的基于多流媒体节点的资源连接方法，其特征在于，若多个流媒体节点中的部分流媒体节点异常，所述方法包括：控制注册在异常流媒体节点上的流媒体资源停止推流；更新停止推流的流媒体资源空间的状态为等待状态；
新增流媒体节点，接管所述停止推流的流媒体资源；根据用户端的服务器连接请求，更新用户端与流媒体节点的路由关系。7.一种网关服务器，其特征在于，包括：接收单元，用于接收用户端发送的资源连接请求，其中，所述资源连接请求包括用户端支持的数据流编解码信息；流媒体资源连接信息形成单元，用于将所述资源连接请求发送至多个流媒体节点，以使多个流媒体节点根据所述资源连接请求识别用户知识等级并匹配对应的流媒体资源空间，形成流媒体资源连接信息；第一接收单元，用于接收所述流媒体资源连接信息，并发送至客户端；第二接收单元，用于接收所述用户端根据所述流媒体资源连接信息生成的服务器连接请求；路由单元，用于根据所述服务器连接请求，确定用户待连接的至少一个流媒体节点；通信单元，用于根据至少一个流媒体节点发送的媒体协商信息及用户端支持的数据流编解码信息，建立用户与对应流媒体节点的通信连接。8.一种基于多流媒体节点的资源连接方法，其特征在于，所述方法包括：接收由网关服务器转发的资源连接请求；根据所述资源连接请求识别用户知识等级并匹配对应的流媒体资源空间，形成流媒体资源连接信息；将所述流媒体资源连接信息，发送至所述网关服务器；接收所述网关服务器返回的由用户端生成的服务器连接请求；将服务器连接请求中用户待连接的至少一个流媒体节点的媒体协商信息，发送至所述网关服务器。9.所述服务器根据权利要求8所述的基于多流媒体节点的资源连接方法，其特征在于，所述根据所述资源连接请求识别用户知识等级并匹配对应的流媒体资源空间，形成流媒体资源连接信息包括：获取用户特征数据；根据用户特征数据，确定用户类型；根据用户类型与流媒体资源类型的预设映射关系，确定所述用户对应的流媒体资源类型。10.一种多流媒体节点，其特征在于，包括：接收单元，用于接收由网关服务器转发的资源连接请求；匹配单元，用于根据所述资源连接请求识别用户知识等级并匹配对应的流媒体资源空间，形成流媒体资源连接信息；发送单元，用于将所述流媒体资源连接信息，发送至所述网关服务器；服务器连接请求生成单元，用于接收所述网关服务器返回的由用户端生成的服务器连接请求；流媒体协商信息发送单元，用于将服务器连接请求中用户待连接的至少一个流媒体节点的媒体协商信息，发送至所述网关服务器。11.一种基于多流媒体节点的资源连接方法，其特征在于，所述方法包括：
获取资源连接信息中的可用流媒体资源空间的编号；将所述可用流媒体资源空间的编号加入至http请求头中，形成服务器连接请求。12.一种用户端，其特征在于，包括：编号获取单元，获取资源连接信息中的可用流媒体资源空间的编号；加入单元，用于将所述可用流媒体资源空间的编号加入至http请求头中，形成服务器连接请求。13.一种基于多流媒体节点的资源连接系统，其特征在于，所述系统包括：网关服务器，用于基于用户端发送的资源连接请求识别用户知识等级并匹配对应的流媒体资源空间；根据用户端发送的服务器连接请求，将用户端路由至对应的至少一个流媒体节点；根据至少一个流媒体节点发送的媒体协商信息及用户端支持的数据流编解码信息，建立用户端与流媒体节点的通信连接；多个流媒体节点，用于根据所述资源连接请求识别用户知识等级并匹配对应的流媒体资源空间，形成流媒体资源连接信息；用户端，所述用户端与网关连接，用于向网关发送资源连接请求，并基于所述流媒体资源连接信息生成服务器连接请求。14.一种计算机设备，包括存储器、处理器及存储在存储器上并可在处理器上运行的计算机程序，其特征在于，所述处理器执行所述计算机程序时实现权利要求1至6、8至9、11任意一项所述的方法。15.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现权利要求1至6、8至9、11任意一项所述的方法。16.一种计算机程序产品，其特征在于，所述计算机程序产品包括计算机程序，所述计算机程序被处理器执行时实现权利要求1至6、8至9、11任意一项所述的方法。

技术总结
本文涉及人工智能领域，尤其涉及一种基于多流媒体节点的资源连接系统、方法及装置。包括：接收用户端发送的资源连接请求；将资源连接请求发送至多个流媒体节点，以使多个流媒体节点根据资源连接请求识别用户知识等级并匹配对应的流媒体资源空间，形成流媒体资源连接信息；接收流媒体资源连接信息，并发送至用户端；接收用户端根据流媒体资源连接信息生成的服务器连接请求；根据服务器连接请求，确定用户端待连接的至少一个流媒体节点；根据至少一个流媒体节点发送的媒体协商信息及用户端支持的数据流编解码信息，建立用户端与对应流媒体节点的通信连接。本方案将同流媒体资源空间向对应的流媒体服务节点进行推流，带宽及硬件资源使用率高。资源使用率高。资源使用率高。


技术研发人员：胡孙强 叶志远 秦超
受保护的技术使用者：建信金融科技有限责任公司
技术研发日：2023.04.28
技术公布日：2023/7/27