基于多屏的实时音视频传输方法、装置、终端设备及介质与流程

1.本技术适用于多屏互动技术领域，尤其涉及一种基于多屏的实时音视频传输方法、装置、终端设备及介质。


背景技术：

2.随着互联网技术的高速发展，以及4g、5g通信技术的普及应用，在中国信息化浪潮深刻影响着各行各业，其中音视频行业近年来也得到了蓬勃发展。由于网络基础设施升级、webrtc开源等因素，实时音视频技术基于多屏互联场景下广泛应用于众多领域，例如我们常见的带货直播、视频会议、视频监控、在线教育等等，同时诞生了很多实时音视频应用。
3.现有技术中，音视频在进行多屏互联时，一般购买第三方流媒体云服务，以实现屏幕数据流在公网的转发，或者搭建服务器，通过内网穿透实现屏幕数据流在内网直连传输。但第一种方案中会产生公网流量，特别当互联的设备越多，需要转发的流量就越高，导致用户使用成本很高；第二种方案中设备需要接入同一局域网，对接入网络以及内网网关有要求，需要满足穿透条件，否则无法实现内网直连传输。使用现有技术在进行音视频多屏互联时，存在用户体验较差的问题，因此，如何提高用户体验效果成为亟待解决的问题。


技术实现要素：

4.有鉴于此，本技术实施例提供了一种基于多屏的实时音视频传输方法、装置、终端设备及介质，以解决在进行音视频多屏互联时，用户体验较差的问题。
5.第一方面，本技术实施例提供一种基于多屏的实时音视频传输方法，所述实时音视频传输方法应用于第一终端，所述实时音视频传输方法包括：
6.采集待传输实时音视频；
7.获取自身的当前行为状态，将所述当前行为状态同步至第一服务端，所述第一服务端用于根据所述当前行为状态向所述第一终端返回响应结果，并向第二终端发送通知消息；
8.接收所述响应结果，若检测到所述响应结果为预设结果，则将所述待传输实时音视频发送给所述第二终端，否则将所述待传输实时音视频发送给第二服务端，所述第二服务端用于在接收到所述第二终端发送的订阅信息后，将所述待传输实时音视频发送给所述第二终端。
9.第二方面，本技术实施例提供一种基于多屏的实时音视频传输方法，所述实时音视频传输方法应用于第二终端，所述实时音视频传输方法包括：
10.在接收第一服务端发送的通知消息时，调用所述第一服务端的调用接口采集第一终端的第一网关地址信息；
11.获取自身的第二网关地址信息，若检测到所述第一网关地址信息与所述第二网关地址信息相等，则接收所述第一终端发送的待传输实时音视频，否则，向第二服务端发送订阅信息，并接收所述第二服务端发送的所述待传输实时音视频。
12.第三方面，本技术实施例提供一种基于多屏的实时音视频传输方法，所述实时音视频传输方法应用于第二服务端，所述实时音视频传输方法包括：
13.接收第一终端发送的待传输实时音视频；
14.在接收到第二终端发送的订阅信息后，将所述待传输实时音视频发送给所述第二终端。
15.第四方面，本技术实施例提供一种基于多屏的实时音视频传输装置，所述实时音视频传输装置应用于第一终端，所述实时音视频传输装置包括：
16.采集模块，用于采集待传输实时音视频；
17.同步模块，用于获取自身的当前行为状态，将所述当前行为状态同步至第一服务端，所述第一服务端用于根据所述当前行为状态向所述第一终端返回响应结果，并向第二终端发送通知消息；
18.第一发送模块，用于接收所述响应结果，若检测到所述响应结果为预设结果，则将所述待传输实时音视频发送给所述第二终端，否则将所述待传输实时音视频发送给第二服务端，所述第二服务端用于在接收到所述第二终端发送的订阅信息后，将所述待传输实时音视频发送给所述第二终端。
19.第五方面，本技术实施例提供一种基于多屏的实时音视频传输装置，所述实时音视频传输装置应用于第二终端，所述实时音视频传输装置包括：
20.调用模块，用于在接收第一服务端发送的通知消息时，调用所述第一服务端的调用接口采集第一终端的第一网关地址信息；
21.第一检测模块，用于获取自身的第二网关地址信息，若检测到所述第一网关地址信息与所述第二网关地址信息相等，则接收所述第一终端发送的待传输实时音视频，否则，向第二服务端发送订阅信息，并接收所述第二服务端发送的所述待传输实时音视频。
22.第六方面，本技术实施例提供一种基于多屏的实时音视频传输装置，所述实时音视频传输装置应用于第二服务端，所述实时音视频传输装置包括：
23.接收模块，用于接收第一终端发送的待传输实时音视频；
24.第二发送模块，用于在接收到第二终端发送的订阅信息后，将所述待传输实时音视频发送给所述第二终端。
25.第七方面，本技术实施例提供一种终端设备，所述终端设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如第一方面所述的基于多屏的实时音视频传输方法。
26.第八方面，本技术实施例提供一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，所述计算机程序被处理器执行时实现如第一方面所述的基于多屏的实时音视频传输方法。
27.本技术实施例与现有技术相比存在的有益效果是：
28.应用于第一终端中时，采集待传输实时音视频，获取自身的当前行为状态，将当前行为状态同步至第一服务端，第一服务端用于根据当前行为状态向第一终端返回响应结果，并向第二终端发送通知消息，接收响应结果，若检测到响应结果为预设结果，则将待传输实时音视频发送给第二终端，否则将待传输实时音视频发送给第二服务端，第二服务端用于在接收到第二终端发送的订阅信息后，将待传输实时音视频发送给第二终端。应用于
等仅用于区分描述，而不能理解为指示或暗示相对重要性。
43.在本技术说明书中描述的参考“一个实施例”或“一些实施例”等意味着在本技术的一个或多个实施例中包括结合该实施例描述的特定特征、结构或特点。由此，在本说明书中的不同之处出现的语句“在一个实施例中”、“在一些实施例中”、“在其他一些实施例中”、“在另外一些实施例中”等不是必然都参考相同的实施例，而是意味着“一个或多个但不是所有的实施例”，除非是以其他方式另外特别强调。术语“包括”、“包含”、“具有”及它们的变形都意味着“包括但不限于”，除非是以其他方式另外特别强调。
44.应理解，以下实施例中各步骤的序号的大小并不意味着执行顺序的先后，各过程的执行顺序应以其功能和内在逻辑确定，而不应对本技术实施例的实施过程构成任何限定。
45.为了说明本技术的技术方案，下面通过具体实施例来进行说明。
46.本技术实施例提供的一种基于多屏的实时音视频传输方法，可应用在如图1的应用环境中，其中，客户端与服务端进行通信。其中，客户端包括但不限于智能电视、掌上电脑、桌上型计算机、笔记本电脑、超级移动个人计算机(ultra-mobile personal computer，umpc)、上网本、云端终端设备、个人数字助理(personal digital assistant，pda)等设备。服务端可以用独立的服务器或者是多个服务器组成的服务器集群来实现。
47.参见图2，是本技术实施例提供的一种基于多屏的实时音视频传输方法的流程示意图，上述实时音视频传输方法应用于第一终端，采集待传输实时音视频，将待传输实时音视频发送至对应的终端或者服务端，如图2所示，该基于多屏的实时音视频传输方法可以包括以下步骤：
48.s201：采集待传输实时音视频。
49.在步骤s201中，第一终端为发送端，采集待传输实时音视频，发送给其余终端或服务端，其中，音视频数据包括第一终端采集的音频数据与视频数据，采集方式可以为多样的，不做限制，例如，通过第一终端中的摄像头采集对应的实时音视频，其中，第一终端可以为手机、平板电脑等设备，也可以为其他具备相同或相似功能的终端。
50.本实施例中，在线上会议的过程中，第一终端为发送端，采集待传输实时音视频，其中采集的待传输实时音视频包括对应的时间戳，用于反映待传输实时音视频采集的时间点，当第一终端接收到的对应的采集指令，开始采集对应的音视频，采集时，第一终端预先设置采集的焦距，采集时长，采集的模式，采集的位置与方向等。将采集到的待传输实时音视频发送到对应的终端或者服务端，可以理解的是，将采集的待传输实时音视频发送到对应的终端或者服务端之前，还需要对待传输实时音视频进行编码压缩，将编码压缩后的待传输实时音视频发送到对应的终端或者服务端。
51.需要说明的是，采集待传输实时音视频时，可以为固定采集机器进行采集，固定在桌子上或者采集支架上等。采集机器可以使用第一终端对应的摄像头进行采集，锁定对应的目标拍摄对象，其中，锁定目标拍摄对象的方式可以是通过人脸识别进行锁定，当然，也可以是通过比对衣着特征进行锁定。在锁定目标拍摄对象后，进行拍摄采集。例如，可以实时保证目标拍摄对象处于画面的中央，若目标拍摄对象远离第一终端，则需要调整对应的焦距，保证能够采集到的目标对象清晰可见。
52.需要说明的是，将采集到的待传输实时音视频进行传输之前，需要将对应的音视
频进行编码压缩，进行编码压缩时，采集到的待传输实时音视频包括音频帧与视频帧，对视频帧进行编码压缩时，视频帧是一序列活动图像，每秒有多帧图像，当前图像点或图像块与前后帧的相对位置或附近的图像点或块非常相似，相关性极强，即活动序列图像存在时间冗余。所以我们处理当前块时，可以用先前已编码的图像做参考，则零值或较小的值很多，达到编码的目的。音频帧编码压缩时，音频编码器以码本激励线性预测编码模为基础的，以帧为单位处理语音，每帧为960字节pcm码。编码器对输入的每一帧语音信号进行分析，提取其中的celp模型的参数，然后对这些参数进行编码和传输。
53.在对待传输实时音视频进行编码时，可以使用mpeg-4进行编码压缩，mpeg-4是一种基于内容的，支持多媒体信息内容访问的开放的数字音视频编码标准，其正式标准命名为“视听对象的编码”。在编码时将一幅景物分成若干在时间和空间上相联系的音视频对象，分别编码后，再经过复用传输到接收端，然后再对不同的对象分别解码，从而组合成所需要的视频和音频。使用mpeg-4进行编码压缩在编码过程中会针对不同的视频对象采取相应的编码策略。能够自动识别视频场景对于不太重要的细节比如背景可以采用比较高的压缩率而对于一些重要的场景，则适当采用较低的压缩率尽量保证图像质量。
54.s202：获取自身的当前行为状态，将当前行为状态同步至第一服务端。
55.在步骤s202中，获取自身的当前行为状态，其中当前行为状态包括开启采集音视频状态与未开启采集音视频状态，第一服务端用于根据当前行为状态向第一终端返回响应结果，并向第二终端发送通知消息。
56.本实施例中，第一终端的当前行为状态可以包括开启待传输采集音视频状态与未开启采集待传输音视频状态，可以通过第一终端的摄像头是否开启确定对应的当前行为状态，当第一终端的摄像头为开启状态，认为第一终端的当前行为状态为开启待传输采集音视频状态，当第一终端的摄像头为未开启状态，认为第一终端的当前行为状态为未开启待传输采集音视频状态。
57.当获取到自身的当前行为状态后，向第一服务端发送同步请求，第一服务端接收第一终端的同步请求，其中同步请求中包括第一终端的当前行为状态，第一服务端用于根据当前行为状态向第一终端返回响应结果，并向第二终端发送通知消息，通知第二终端接收第一终端发送的待传输实时音视频。
58.需要说明的是，第一服务端储存第一终端与第二终端的网关地址信息，以便于第二终端可以通过第一服务端获取到第一终端的网关地址信息。
59.s203：接收响应结果，若检测到响应结果为预设结果，则将待传输实时音视频发送给第二终端，否则将待传输实时音视频发送给第二服务端。
60.在步骤s203中，第一终端接收第一服务端返回的响应结果，其中，第一服务端返回的响应结果可以为多种结果，当响应结果为预设结果时，则将待传输实时音视频发送给第二终端，否则将待传输实时音视频发送给第二服务端，其中预设结果为基于第一终端网关地址与第二终端网关地址相等时确定的响应结果。
61.本实施例中，当第一服务端接收第一终端同步的当前行为状态时，向第二终端发送通知消息，通知第二终端接收第一终端发送的待传输实时音视频。当第二终端接收到对应的通知消息后，第二终端调用第一服务服务端的调用接口，获取对应第一终端的网关地址信息，并判断第一终端的网关地址信息是否与自身的网关地址信息相等，根据判断结果，
确定对应的响应结果，第一终端接收对应的响应结果，当响应结果为基于第一终端网关地址与第二终端网关地址相等时确定的结果为预设结果，这时，将待传输实时音视频发送给第二终端，当响应结果为基于第一终端网关地址与第二终端玩网关地址不相等时确定的结果时，将待传输实时音视频发送给第二服务端。
62.需要说明的是，当响应结果为预设结果时，将待传输实时音视频发送给第二终端，需要在第一终端与第二终端之间建立传输通道，该传输通道为内网直连的传输通道，建立传输通道时，第一终端与第二终端使用信令系统进行信令交换建立传输通道，第一终端向第二终端发送对应信令信息，第二终端接收到第一终端发送的信令信息后，向第二终端向第一终端发送自身的信令信息，信令信息交换后，在第一终端与第二终端之间建立了对应的传输通道，基于传输通道，第一终端则将待传输实时音视频发送给第二终端。
63.本实施例中，当响应结果为预设结果时，即第一终端与第二终端为同一局域网时，第一终端与第二终端之间直接建立传输通道，通过内网穿透实现待传输音视频在内网直连传输，不会产生公网流量费用，用户使用成本较低。当响应结果不是预设结果时，第一终端将待传输实时音视频发送至第二服务端，然后第二服务端再将待传输实时音视频发送至第二终端，不同的响应结果对应不同的传输方式，即降低了成本，又可以进行实时传输。
64.参见图3，是本技术实施例提供的一种基于多屏的实时音视频传输方法的流程示意图，上述实时音视频传输方法应用于第二终端，接收第一终端与第二服务端发送的待传输实时音视频，如图3所示，该基于多屏的实时音视频传输方法可以包括以下步骤：
65.s301：在接收第一服务端发送的通知消息时，调用第一服务端的调用接口采集第一终端的第一网关地址信息。
66.在步骤s301中，当第一服务端接收到第一终端的当前行为状态时，向第二终端发送通知信息，第二终端接收到对应的通知信息时，调用第一服务端的调用接口采集第一终端的第一网关地址信息，其中第一网关地址信息预先储存在第一服务端中。
67.本实施例中，第一服务端根据接收到的第一终端同步的当前行为状态，生成通知消息，第二服务端根据获取到的第二终端的标识信息，将通知消息与第二终端的标识信息发送至网关，网关将通知消息转发给标识信息对应的第二终端，针对该步骤，本实施例不对第一服务端根据通知消息的内容生成通知消息的方式进行限定。
68.需要说明的是，第一服务端根据第一终端的当前行为状态生成对应的通知消息，即通知消息与第一终端的当前行为状态有关，将生成的通知消息发送至第二终端。
69.第二终端接收到对应的通知消息时，调用第一服务端的调用接口，采集第一终端的网关地址信息。其中，第一终端的网关地址信息预先存储在对应的第一服务端。
70.s302：获取自身的第二网关地址信息，若检测到第一网关地址信息与第二网关地址信息相等，则接收第一终端发送的待传输实时音视频，否则，向第二服务端发送订阅信息，并接收第二服务端发送的待传输实时音视频。
71.在步骤s302中，第二终端收集自身的网关地址信息，检测收集的第二网关地址信息与第一网关地址信息是否相等，当第一网关地址信息与第二网关地址信息相等时，认为第一终端与第二终端在同一个局域网中，第一终端和第二终端可以进行直接传输信息，第二终端可以直接接收第一终端发送的待传输实时音视频，当第一网关地址信息与第二网关地址信息不相等时，认为第一终端与第二终端不在同一个局域网中，第一终端与第二终端
不能直接发送信息，需要对应的中转服务端进行间接发送，第二服务端为对应的中转服务端，向第二服务端发送订阅信息，并接收第二服务端发送的待传输实时音视频。
72.本实施例中，第二终端可以为一个，也可以为多个，例如，当进行线上会议时，线上会议的发送端为第一终端，其余的接收端为第二终端，第二终端包括除发送端外所有的终端，且每个终端的位置可能不相同，导致第二终端中的网关地址信息可能不在同一个局域网中，所以第二终端收集自身的网关地址信息，检测收集的第二网关地址信息与第一网关地址信息是否相等，若检测到第一网关地址信息与第二网关地址信息相等，则接收第一终端发送的待传输实时音视频，否则，向第二服务端发送订阅信息，并接收第二服务端发送的待传输实时音视频。
73.需要说明的是，若检测到第一网关地址信息与第二网关地址信息不相等，第二终端首先通过信令系统将第一网关地址信息与第二网关地址信息不相等的消息发送给第一终端，第一终端接收到第二终端发送的不相等的消息后，将待传输实时音视频发送给对应的第二服务端，然后接收第二服务端发送的待传输实时音视频。
74.可选地，获取自身的第二网关地址信息之后还包括：
75.监测自身的第二网关地址信息是否发生变化，当第二网关地址信息发生变化时，重新获取自身的变换后的第二网关地址信息；
76.若检测到第一网关地址信息与变换后的第二网关地址信息相等，则接收第一终端发送的待传输实时音视频，否则，向第二服务端发送订阅信息，并接收第二服务端发送的待传输实时音视频。
77.本实施例中，如果在发送的过程中，第二终端的网关地址信息发生变换，停止发送，第二终端重新收集自身变换后的第二网关地址信息，例如，当第二终端的网关地址信息与第一网关地址信息相等，第一终端将待传输实时音视频直接发送到第二终端，当第二网关地址信息发生变化时，这时，第一网关地址信息与变换后的第二网关地址信息不相等，第一终端不能直接将待传输实时音视频发送到第二终端，第二终端需要向第二服务端发送订阅消息，接收第二服务端发送的待传输实时音视频，同时释放原来的内网直连通道资源。当第二终端的网关地址信息与第一网关地址信息不相等时，第二终端向第二服务端发送订阅消息，第二服务端向第二终端发送待传输实时音视频，当第二网关地址信息发生变化时，这时，第一网关地址信息与变换后的第二网关地址信息相等，第一终端与第二终端建立一条新的内网直连路线，通过新建立的内网直连路线发送对应的待传输实时音视频，同时第二终端取消之前向第二服务端发送的订阅消息。
78.本实施例，监测第二终端的网关地址信息是否发生了变化，以防止在第一终端与第二终端从不同局域网转换到同一局域网中时，还通过第二服务端进行中转，浪费公网中转流量，或者第一终端与第二终端从同一局域网转换到不同局域网中时，第一终端与第二终端将不能直接通过内网直连进行传输。本实施例中，根据第二终端的动态网关地址信息不断转换对应的传输方式，防止了公网流量的浪费，第二终端也可以实时接收到第一终端发送的待传输实时音视频，提高了用户的体验效果。
79.另一实施例中，第一服务端还可以接收策略配置平台发送的策略数据，配置人员在配置平台配置对应的策略数据，通过第一服务端的接口，向第一服务端返回对应的策略数据，第二终端通过调用第一服务端的调用接口采集对应的策略数据，并解析策略数据，其
中策略数据为动态控制不同设备间传输待传输实时音视频的行为数据，例如，一种策略数据可以为待传输实时音视频只走公网中转传输通道，所以第一终端只能通过第二服务端向第二终端发送待传输实时音视频，它适用于内网安全设置很严格，待传输实时音视频无法走内网直连传输通道的情况。一种策略数据还可以为待传输实时音视频只走内网直连传输通道，不需要中转服务端，它适用于没有部署公网中转服务端，或者确定所有第二终端都与第一终端在同一局域网内。或者，一种策略数据还可以为设置内网直连传输通道的最高通道个数，当内网直连传输通道的个数达到最高通道个数后，不允许建立新的内网直连通道，剩余的第二终端需要通过第二服务端接收第一终端发送的待传输实时音视频，例如，可以设置内网直连传输通道的最高通道个数为3个，当内网直连传输通道的个数达到3个后，第四个第二终端需要向第二服务端发送订阅消息，接收第二服务端发送的待传输实时音视频，这种策略数据更常使用，它更加符合实际情况，由于终端设备硬件配置有上限，如果同时传输的待传输实时音视频通道路数越多，则占用cpu、内存等资源就越多，无限制增加传输通道路数，必然导致第一终端使用卡顿。需要注意的是，互联设备间如果按策略数据无法成功建立传输通道，它们间则无法进行传输音视频。
80.本实施例中，支持通过配置策略数据让设备间传输方式更加灵活，以适应更多定制化的使用场景。
81.参见图4，是本技术实施例提供的一种基于多屏的实时音视频传输方法的流程示意图，上述实时音视频传输方法应用于第二服务端，接收第一终端发送的待传输实时音视频与第二终端发送的订阅信息，并向第二终端发送待传输实时音视频，如图4所示，该基于多屏的实时音视频传输方法可以包括以下步骤：
82.s401：接收第一终端发送的待传输实时音视频。
83.在步骤s401中，第二服务端作为中转服务端，将第一终端发送的待传输实时音视频转发到第二终端，所以首先要接收第一终端发送的待传输实时音视频。
84.本实施例中，接收第一终端发送的待传输实时音视频，第一终端与第二服务端之间建立上行传输通道，第一终端通过上行传输通道发送待传输实时音视频至第二服务端。
85.s402：在接收到第二终端发送的订阅信息后，将待传输实时音视频发送给第二终端。
86.在步骤s402中，第二服务端接收第二终端的订阅消息，其中订阅消息中包括第二终端的地址信息，以便于第二服务端向第二终端发送对应待传输实时音视频。
87.本实施例中，第二服务端可以向多个第二终端发送消息，当第一终端将待传输实时音视频发送给第二服务端后，第二服务端将待传输实时音视频分别发送给对应的第二终端，第二服务端与每个第二终端建立下行传输通道，通过下行传输通道将待传输实时音视频发送至对应的第二终端。其中，下行传输通道的个数与第二终端的个数相等，当第二终端个数较多时，对第二服务端的订阅越多，第二服务端产生的下行传输通道就越多，使用的公网流量越多。
88.本实施例中，第二服务端作为中转服务端，根据接收到的第二终端的订阅信息，向第二终端分发下行传输通道，通过下行传输通道，向第二终端发送待传输实时音视频，保证了第一终端与第二终端在不同局域网中的传输。
89.应用于第一终端中时，采集待传输实时音视频，获取自身的当前行为状态，将当前
行为状态同步至第一服务端，第一服务端用于根据当前行为状态向第一终端返回响应结果，并向第二终端发送通知消息，接收响应结果，若检测到响应结果为预设结果，则将待传输实时音视频发送给第二终端，否则将待传输实时音视频发送给第二服务端，第二服务端用于在接收到第二终端发送的订阅信息后，将待传输实时音视频发送给第二终端，应用于第二终端时，在接收第一服务端发送的通知消息时，调用第一服务端的调用接口采集第一终端的第一网关地址信息，获取自身的第二网关地址信息，若检测到第一网关地址信息与第二网关地址信息相等，则接收第一终端发送的待传输实时音视频；否则，向第二服务端发送订阅信息，并接收第二服务端发送的待传输实时音视频。应用于第二服务端时，接收第一终端发送的待传输实时音视频，在接收到第二终端发送的订阅信息后，将待传输实时音视频发送给第二终端。本技术中，在终端与服务端交互的过程中，通过多通道融合传输音视频，既能满足互联设备间不同网络环境下的数据传输，又能有效降低使用成本，提高了用户体验效果。
90.对应于上文实施例的基于多屏的实时音视频传输方法，图5示出了本技术实施例提供的基于多屏的实时音视频传输装置的结构框图，上述基于多屏的实时音视频传输装置应用于第一终端，采集待传输实时音视频，将待传输实时音视频发送至对应的终端或者服务端，为了便于说明，仅示出了与本技术实施例相关的部分。
91.参见图5，该实时音视频传输装置包括：
92.采集模块51，用于采集待传输实时音视频；
93.同步模块52，用于获取自身的当前行为状态，将当前行为状态同步至第一服务端，第一服务端用于根据当前行为状态向第一终端返回响应结果，并向第二终端发送通知消息；
94.第一发送模块53，用于接收响应结果，若检测到响应结果为预设结果，则将待传输实时音视频发送给第二终端，否则将待传输实时音视频发送给第二服务端，第二服务端用于在接收到第二终端发送的订阅信息后，将待传输实时音视频发送给第二终端。
95.对应于上文实施例的基于多屏的实时音视频传输方法，图6示出了本技术实施例提供的基于多屏的实时音视频传输装置的结构框图，上述实时音视频传输方法应用于第二终端，接收第一终端与第二服务端发送的待传输实时音视频，为了便于说明，仅示出了与本技术实施例相关的部分。
96.参见图6，该实时音视频传输装置包括：
97.调用模块61，用于在接收第一服务端发送的通知消息时，调用第一服务端的调用接口采集第一终端的第一网关地址信息；
98.第一检测模块62，用于获取自身的第二网关地址信息，若检测到第一网关地址信息与第二网关地址信息相等，则接收第一终端发送的待传输实时音视频，否则，向第二服务端发送订阅信息，并接收第二服务端发送的待传输实时音视频。
99.可选地，上述实时音视频传输装置还包括：
100.监测模块，用于监测自身的第二网关地址信息是否发生变化，当第二网关地址信息发生变化时，重新获取自身的变换后的第二网关地址信息；
101.第二检测模块，用于若检测到第一网关地址信息与变换后的第二网关地址信息相等，则接收第一终端发送的待传输实时音视频，否则，向第二服务端发送订阅信息，并接收
第二服务端发送的待传输实时音视频。
102.对应于上文实施例的基于多屏的实时音视频传输方法，图7示出了本技术实施例提供的基于多屏的实时音视频传输装置的结构框图，上述实时音视频传输方法应用于第二服务端，接收第一终端发送的待传输实时音视频与第二终端发送的订阅信息，并向第二终端发送待传输实时音视频，为了便于说明，仅示出了与本技术实施例相关的部分。
103.参见图7，该实时音视频传输装置包括：
104.接收模块71，用于接收第一终端发送的待传输实时音视频；
105.第二发送模块72，用于在接收到第二终端发送的订阅信息后，将待传输实时音视频发送给第二终端。
106.需要说明的是，上述模块之间的信息交互、执行过程等内容，由于与本技术方法实施例基于同一构思，其具体功能及带来的技术效果，具体可参见方法实施例部分，此处不再赘述。
107.图8为本技术实施例四提供的一种终端设备的结构示意图。如图8所示，该实施例的终端设备包括：至少一个处理器(图8中仅示出一个)、存储器以及存储在存储器中并可在至少一个处理器上运行的计算机程序，处理器执行计算机程序时实现上述任意各个基于多屏的实时音视频传输方法实施例中的步骤。
108.该终端设备可包括，但不仅限于，处理器、存储器。本领域技术人员可以理解，图8仅仅是终端设备的举例，并不构成对终端设备的限定，终端设备可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件，例如还可以包括网络接口、显示屏和输入装置等。
109.所称处理器可以是cpu，该处理器还可以是其他通用处理器、数字信号处理器(digital signal processor，dsp)、专用集成电路(application specific integrated circuit，asic)、现成可编程门阵列(field-programmable gate array，fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件等。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。
110.存储器包括可读存储介质、内存储器等，其中，内存储器可以是终端设备的内存，内存储器为可读存储介质中的操作系统和计算机可读指令的运行提供环境。可读存储介质可以是终端设备的硬盘，在另一些实施例中也可以是终端设备的外部存储设备，例如，终端设备上配备的插接式硬盘、智能存储卡(smart media card，smc)、安全数字(secure digital，sd)卡、闪存卡(flash card)等。进一步地，存储器还可以既包括终端设备的内部存储单元也包括外部存储设备。存储器用于存储操作系统、应用程序、引导装载程序(bootloader)、数据以及其他程序等，该其他程序如计算机程序的程序代码等。存储器还可以用于暂时地存储已经输出或者将要输出的数据。
111.所属领域的技术人员可以清楚地了解到，为了描述的方便和简洁，仅以上述各功能单元、模块的划分进行举例说明，实际应用中，可以根据需要而将上述功能分配由不同的功能单元、模块完成，即将装置的内部结构划分成不同的功能单元或模块，以完成以上描述的全部或者部分功能。实施例中的各功能单元、模块可以集成在一个处理单元中，也可以是各个单元单独物理存在，也可以两个或两个以上单元集成在一个单元中，上述集成的单元既可以采用硬件的形式实现，也可以采用软件功能单元的形式实现。另外，各功能单元、模
块的具体名称也只是为了便于相互区分，并不用于限制本技术的保护范围。上述装置中单元、模块的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。集成的单元如果以软件功能单元的形式实现并作为独立的产品销售或使用时，可以存储在一个计算机可读取存储介质中。基于这样的理解，本技术实现上述实施例方法中的全部或部分流程，可以通过计算机程序来指令相关的硬件来完成，计算机程序可存储于一计算机可读存储介质中，该计算机程序在被处理器执行时，可实现上述方法实施例的步骤。其中，计算机程序包括计算机程序代码，计算机程序代码可以为源代码形式、对象代码形式、可执行文件或某些中间形式等。计算机可读介质至少可以包括：能够携带计算机程序代码的任何实体或装置、记录介质、计算机存储器、只读存储器(read-only memory，rom)、随机存取存储器(random access memory，ram)、电载波信号、电信信号以及软件分发介质。例如u盘、移动硬盘、磁碟或者光盘等。在某些司法管辖区，根据立法和专利实践，计算机可读介质不可以是电载波信号和电信信号。
112.本技术实现上述实施例方法中的全部或部分流程，也可以通过一种计算机程序产品来完成，当计算机程序产品在终端设备上运行时，使得终端设备执行时实现可实现上述方法实施例中的步骤。
113.在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述或记载的部分，可以参见其它实施例的相关描述。
114.本领域普通技术人员可以意识到，结合本文中所公开的实施例描述的各示例的单元及算法步骤，能够以电子硬件、或者计算机软件和电子硬件的结合来实现。这些功能究竟以硬件还是软件方式来执行，取决于技术方案的特定应用和设计约束条件。专业技术人员可以对每个特定的应用来使用不同方法来实现所描述的功能，但是这种实现不应认为超出本技术的范围。
115.在本技术所提供的实施例中，应该理解到，所揭露的装置/终端设备和方法，可以通过其它的方式实现。例如，以上所描述的装置/终端设备实施例仅仅是示意性的，例如，模块或单元的划分，仅仅为一种逻辑功能划分，实际实现时可以有另外的划分方式，例如多个单元或组件可以结合或者可以集成到另一个系统，或一些特征可以忽略，或不执行。另一点，所显示或讨论的相互之间的耦合或直接耦合或通讯连接可以是通过一些接口，装置或单元的间接耦合或通讯连接，可以是电性，机械或其它的形式。
116.作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部单元来实现本实施例方案的目的。
117.以上实施例仅用以说明本技术的技术方案，而非对其限制；尽管参照前述实施例对本技术进行了详细的说明，本领域的普通技术人员应当理解：其依然可以对前述各实施例所记载的技术方案进行修改，或者对其中部分技术特征进行等同替换；而这些修改或者替换，并不使相应技术方案的本质脱离本技术各实施例技术方案的精神和范围，均应包含在本技术的保护范围之内。

技术特征：
1.一种基于多屏的实时音视频传输方法，其特征在于，所述实时音视频传输方法应用于第一终端，所述实时音视频传输方法包括：采集待传输实时音视频；获取自身的当前行为状态，将所述当前行为状态同步至第一服务端，所述第一服务端用于根据所述当前行为状态向所述第一终端返回响应结果，并向第二终端发送通知消息；接收所述响应结果，若检测到所述响应结果为预设结果，则将所述待传输实时音视频发送给所述第二终端，否则将所述待传输实时音视频发送给第二服务端，所述第二服务端用于在接收到所述第二终端发送的订阅信息后，将所述待传输实时音视频发送给所述第二终端。2.一种基于多屏的实时音视频传输方法，其特征在于，所述实时音视频传输方法应用于第二终端，所述实时音视频传输方法包括：在接收第一服务端发送的通知消息时，调用所述第一服务端的调用接口采集第一终端的第一网关地址信息；获取自身的第二网关地址信息，若检测到所述第一网关地址信息与所述第二网关地址信息相等，则接收所述第一终端发送的待传输实时音视频，否则，向第二服务端发送订阅信息，并接收所述第二服务端发送的所述待传输实时音视频。3.如权利要求2所述的实时音视频传输方法，其特征在于，所述获取自身的第二网关地址信息之后还包括：监测自身的所述第二网关地址信息是否发生变化，当所述第二网关地址信息发生变化时，重新获取自身的变换后的第二网关地址信息；若检测到所述第一网关地址信息与所述变换后的第二网关地址信息相等，则接收所述第一终端发送的待传输实时音视频，否则，向所述第二服务端发送订阅信息，并接收所述第二服务端发送的所述待传输实时音视频。4.一种基于多屏的实时音视频传输方法，其特征在于，所述实时音视频传输方法应用于第二服务端，所述实时音视频传输方法包括：接收第一终端发送的待传输实时音视频；在接收到第二终端发送的订阅信息后，将所述待传输实时音视频发送给所述第二终端。5.一种基于多屏的实时音视频传输装置，其特征在于，所述实时音视频传输装置应用于第一终端，所述实时音视频传输装置包括：采集模块，用于采集待传输实时音视频；同步模块，用于获取自身的当前行为状态，将所述当前行为状态同步至第一服务端，所述第一服务端用于根据所述当前行为状态向所述第一终端返回响应结果，并向第二终端发送通知消息；第一发送模块，用于接收所述响应结果，若检测到所述响应结果为预设结果，则将所述待传输实时音视频发送给所述第二终端，否则将所述待传输实时音视频发送给第二服务端，所述第二服务端用于在接收到所述第二终端发送的订阅信息后，将所述待传输实时音视频发送给所述第二终端。6.一种基于多屏的实时音视频传输装置，其特征在于，所述实时音视频传输装置应用
于第二终端，所述实时音视频传输装置包括：调用模块，用于在接收第一服务端发送的通知消息时，调用所述第一服务端的调用接口采集第一终端的第一网关地址信息；第一检测模块，用于获取自身的第二网关地址信息，若检测到所述第一网关地址信息与所述第二网关地址信息相等，则接收所述第一终端发送的待传输实时音视频，否则，向第二服务端发送订阅信息，并接收所述第二服务端发送的所述待传输实时音视频。7.如权利要求6所述的实时音视频传输装置，其特征在于，所述实时音视频传输装置还包括：监测模块，用于监测自身的所述第二网关地址信息是否发生变化，当所述第二网关地址信息发生变化时，重新获取自身的变换后的第二网关地址信息；第二检测模块，用于若检测到所述第一网关地址信息与所述变换后的第二网关地址信息相等，则接收所述第一终端发送的待传输实时音视频，否则，向所述第二服务端发送订阅信息，并接收所述第二服务端发送的所述待传输实时音视频。8.一种基于多屏的实时音视频传输装置，其特征在于，所述实时音视频传输装置应用于第二服务端，所述实时音视频传输装置包括：接收模块，用于接收第一终端发送的待传输实时音视频；第二发送模块，用于在接收到第二终端发送的订阅信息后，将所述待传输实时音视频发送给所述第二终端。9.一种终端设备，其特征在于，所述终端设备包括处理器、存储器以及存储在所述存储器中并可在所述处理器上运行的计算机程序，所述处理器执行所述计算机程序时实现如权利要求1至4任一项所述的实时音视频传输方法。10.一种计算机可读存储介质，所述计算机可读存储介质存储有计算机程序，其特征在于，所述计算机程序被处理器执行时实现如权利要求1至4任一项所述的实时音视频传输方法。

技术总结
本申请适用于多屏互动技术领域，尤其涉及一种基于多屏的实时音视频传输方法、装置、终端设备及介质。应用于第一终端中时，若检测到响应结果为预设结果，则将待传输实时音视频发送给第二终端，否则将待传输实时音视频发送给第二服务端，应用于第二终端时，若检测到第一终端与自身的第二网关地址信息相等，则接收第一终端发送的待传输实时音视频，否则，接收第二服务端发送的待传输实时音视频，应用于第二服务端时，接收第一终端发送的待传输实时音视频，将待传输实时音视频发送给第二终端。在终端与服务端交互的过程中，通过多通道融合传输音视频，既能满足互联设备间不同网络环境下的数据传输，又能有效降低使用成本，提高了用户体验效果。体验效果。体验效果。


技术研发人员：樊彦博
受保护的技术使用者：深圳市酷开网络科技股份有限公司
技术研发日：2023.03.17
技术公布日：2023/7/25