一种移动终端扩展大屏设备为外设的方法、系统及设备与流程

1.本发明涉及远程会议技术，尤其涉及一种移动终端扩展大屏设备为外设的方法、系统及设备。


背景技术：

2.远程音视频会议已成为当前工作的一种重要方式。处于不同地理位置的人们通过音视频会议进行有效的工作沟通、协调。用于音视频会议的硬件设备有很多，其中手机等移动终端是最主要的硬件设备。但手机作为音视频会议设备其拾音距离、扬声器音量、屏幕尺寸和摄像头视角范围都非常有限，通常只适合单人使用。
3.具有大功率扬声器、麦克风阵列、大尺寸屏幕和广角摄像头的设备，比如智能电视、会议大屏、平板电脑、电脑显示屏等，更适合做为大空间多人音视频会议的设备。然而现有大屏设备要扩展为手机音视频会议外设，过程较为繁琐，通过有线投屏，需要手机和大屏设备都有特定的接口(例如type-c或hdmi接口)；如果通过无线投屏，则需要额外添设机顶盒或投屏器等转接设备。


技术实现要素：

4.本发明的目的在于提供一种移动终端扩展大屏设备为外设的方法、系统及设备，以在不额外添加硬件的情况下实现移动终端和大屏设备的互联互通。
5.以下给出一个或多个方面的简要概述以提供对这些方面的基本理解。此概述不是所有构想到的方面的详尽综览，并且既非旨在指认出所有方面的关键性或决定性要素亦非试图界定任何或所有方面的范围。其唯一的目的是要以简化形式给出一个或多个方面的一些概念以为稍后给出的更加详细的描述之序。
6.根据本发明的第一方面，提供了一种移动终端扩展大屏设备为外设的方法，包括：
7.移动终端与大屏设备通过超声信号建立连接；
8.移动终端通过扬声器把接收到的来自远端的音频信号和/或视频信号编码调制成超声信号，发送给大屏设备；
9.大屏设备通过麦克风接收到超声信号后，进行解调解码，恢复出原始音频信号和/或视频信号；
10.大屏设备将音频信号通过扬声器进行播放，将视频信号通过显示器进行显示。
11.在一些实施例中，当大屏设备配置有麦克风阵列时，该方法还包括：大屏设备通过麦克风阵列采集近端语音信号，并通过算法处理获得近端高质量语音信号，编码调制成超声信号发送给移动终端，移动终端进行解调解码，恢复成原始近端语音信号发送给远端。
12.在一些实施例中，移动终端同时也采集近端语音信号，在移动终端收到来自大屏设备采集的近端语音信号后，与移动终端的麦克风采集的语音信号进行信号融合处理，得到更为稳定、清晰的近端语音信号，然后通过网络发送给远端。
13.在一些实施例中，在全双工通话情况下，如果使用大屏设备采集的语音信号，在发
送到移动终端之前在大屏设备上做回声消除处理。
14.在一些实施例中，在全双工通话情况下，如果使用移动终端采集的语音信号，在发送到远端之前在移动终端上做回声消除处理。
15.在一些实施例中，当大屏设备配置有摄像头时，该方法还包括：大屏设备通过摄像头采集近端视频信号，编码调制成超声信号发送给移动终端，移动终端解调恢复成原始近端视频信号发送给远端。
16.在一些实施例中，该方法还包括：当大屏设备的摄像头采集近端视频信号时，移动终端关闭摄像头。
17.根据本发明的第二方面，提供了一种会议系统，包括移动终端和大屏设备，会议时，移动终端和大屏设备之间采用如第一方面所述的方法将大屏设备扩展为移动终端的外设。
18.根据本发明的第三方面，提供了一种移动终端，包括：
19.无线通信模块，用于接收来自远端的音频信号和/或视频信号；
20.调制解调模块，用于将音频和/或视频信号调制成超声信号；以及
21.扬声器，用于把超声信号发送给大屏设备；
22.根据本发明的第四方面，提供了一种大屏设备，包括：
23.麦克风，用于接收超声信号；
24.调制解调模块，用于将超声信号进行解调解码，恢复出原始音频信号和/或视频信号；以及
25.扬声器和/或显示器，用于播放音频信号和/或显示视频信号。
26.本发明实施例的有益效果是：利用超声数据传输技术，将大屏设备扩展为移动终端的超级外设，实现了移动终端和大屏设备的互联互通，无需添加额外硬件即可方便地把移动终端上的会议音视频内容转移到大屏设备上。
附图说明
27.为了更清楚地说明本发明实施例的技术方案，下面将对实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本发明的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
28.在结合以下附图阅读本公开的实施例的详细描述之后，能够更好地理解本发明的上述特征和优点。在附图中，各组件不一定是按比例绘制，并且具有类似的相关特性或特征的组件可能具有相同或相近的附图标记。
29.图1是本技术实施例的系统框架图；
30.图2是本技术实施例1的信号传递示意图；
31.图3是本技术实施例2的信号传递示意图；
32.图4是本技术实施例3的信号传递示意图；
具体实施方式
33.以下结合附图和具体实施例对本发明作详细描述。注意，以下结合附图和具体实
施例描述的诸方面仅是示例性的，而不应被理解为对本发明的保护范围进行任何限制。
34.本技术中所述的移动终端，表示手机、智能手表、平板电脑、手提电脑等可以便携移动的会议终端。本技术中所述的大屏设备，表示具有大功率扬声器、麦克风阵列、大尺寸屏幕和广角摄像头其中一种或多种的设备，比如智能电视、会议大屏、显示屏等更适合做为大空间多人音视频会议的设备。
35.当用户使用手机通过网络和远端设备进行音视频会议时，如果附近正好有一台具有麦克风的大屏设备，则用户可以采用本技术实施例所提供的的方法，触发手机-大屏互动功能，和大屏建立连接，把手机上接收到的音视频发送到大屏上。大屏接收到手机发送的音视频数据之后，通过自身的扬声器和显示屏把音频和视频分别播放出来。
36.具体而言，移动终端扩展大屏设备为外设的方法包括：
37.s100、移动终端与大屏设备通过超声信号建立连接；
38.s200、移动终端通过扬声器把接收到的来自远端的音频信号和/或视频信号编码调制成超声信号，发送给大屏设备；
39.s300、大屏设备通过麦克风接收到超声信号后，进行解调解码，恢复出原始音频信号和/或视频信号；
40.s400、大屏设备将音频信号通过扬声器进行播放，将视频信号通过显示器进行显示。
41.本方法通过超声信号来传输数据，通过设备自带扬声器和麦克风就可实现，无需增加额外硬件支持。通过超声信号传输数据的优点是人耳对超声无感，数据传输过程是隐秘的。超声数据传输可采用无线通信领域成熟技术方案，比如qam，ofdm等。此外，正常音频信号和超声信号由于被编码在两个完全不同的频带上，可通过信号处理算法分别提取，因此可以被同时发射和接收，不会影响正常的会议交流。
42.需要说明的是，移动终端既可以单独将音频信号传输给大屏设备，也可以单独将视频信号传输给大屏设备，还可以两者同时传输。
43.进一步地，当大屏设备配置有麦克风阵列时，可由大屏设备通过麦克风阵列采集近端语音信号，并通过算法处理获得近端高质量语音信号，编码调制成超声信号发送给移动终端，移动终端进行解调解码，恢复成原始近端语音信号发送给远端。
44.在此基础上，移动终端也可同时采集近端语音信号，在移动终端收到来自大屏设备采集的近端语音信号后，与移动终端的麦克风采集的语音信号进行信号融合处理，得到更为稳定、清晰的近端语音信号，然后通过网络发送给远端。
45.在全双工通话情况下，如果使用大屏设备采集的语音信号，在发送到移动终端之前在大屏设备上做回声消除处理。如果使用移动终端采集的语音信号，在发送到远端之前在移动终端上做回声消除处理。
46.在可能的实施例中，当大屏设备配置有高分辨率广角摄像头时，可由大屏设备通过摄像头采集近端视频信号，编码调制成超声信号发送给移动终端，移动终端解调恢复成原始近端视频信号发送给远端，从而提高近端视频采集质量。
47.如果手机接收来自大屏设备的视频信号，那么手机自带的摄像头可以关闭，以节省资源消耗。
48.基于上述方法，本技术实施例提供了一种会议系统，如图1所示，该系统包括移动
终端和大屏设备。
49.移动终端至少包括：无线通信模块，用于接收来自远端的音频信号和/或视频信号；调制解调模块，用于将音频和/或视频信号调制成超声信号；以及扬声器，用于把超声信号发送给大屏设备。
50.大屏设备至少包括：麦克风，用于接收超声信号；调制解调模块，用于将超声信号进行解调解码，恢复出原始音频信号和/或视频信号；以及扬声器和/或显示器，用于播放音频信号和/或显示视频信号。
51.图1中的虚线箭头表示超声载波传输发送数据，扬声器上的粗箭头表示扬声器正常播放到近端的语音信号。麦克风/麦克风阵列上粗箭头表示麦克风正常采集近端的语音信号。摄像头上的细箭头表示在近端采集图像/视频信号。显示屏上的细箭头表示通过显示屏显示图像/视频。手机通过无线通信模块/wifi模块等和远端设备进行远程通信。
52.实施例1
53.如图2所示，在此场景下，大屏设备相当于扩展了手机的扬声器和显示屏，可供更多的参会人员收听和观看。大屏设备的扬声器相比手机扬声器具有更大功率，可以使声音传播更远。在全双工通话时刻，回声消除处理在手机端完成。手机通过超声信号向大屏设备传输的是音频和图像/视频信息。
54.实施例2
55.如图3所示，在此场景下，大屏设备相当于扩展了手机的扬声器和显示屏以及麦克风，可供更多的参会人员收听和观看，同时可以通过大屏设备的麦克风阵列实现远距离拾音。在全双工通话时刻，回声消除处理在大屏设备端完成。大屏设备通过超声信号向手机传输的是经过回声消除之后的近端语音信息。手机麦克风主要接收来自大屏设备的超声信号，不采集近端语音信号。
56.实施例3
57.如图4所示，在此场景下，大屏设备相当于扩展了手机的扬声器、显示屏、麦克风和摄像头，可供更多的参会人员收听和观看，同时可以通过大屏设备的麦克风阵列实现远距离拾音，通过大屏设备摄像头实现远距离和广角摄像。在全双工通话时刻，回声消除处理在大屏设备端完成。大屏设备通过扬声器发送超声信号向手机传输的是经过回声消除之后的近端语音信息和近端采集的图像/视频信息。手机麦克风主要接收来自大屏设备的超声信号，不采集近端语音信号。
58.本说明书中各个实施例采用递进的方式描述，每个实施例重点说明的都是与其他实施例的不同之处，各个实施例之间相同相似部分互相参见即可。
59.提供对本公开的先前描述是为使得本领域任何技术人员皆能够制作或使用本公开。对本公开的各种修改对本领域技术人员来说都将是显而易见的，且本文中所定义的普适原理可被应用到其他变体而不会脱离本公开的精神或范围。由此，本公开并非旨在被限定于本文中所描述的示例和设计，而是应被授予与本文中所公开的原理和新颖性特征相一致的最广范围。
60.以上所述仅为本技术的较佳实例而已，并不用以限制本技术，凡在本技术的精神和原则之内，所做的任何修改、等同替换、改进等，均应包含在本技术保护的范围之内。

技术特征：
1.一种移动终端扩展大屏设备为外设的方法，其特征在于，包括：移动终端与大屏设备通过超声信号建立连接；移动终端通过扬声器把接收到的来自远端的音频信号和/或视频信号编码调制成超声信号，发送给大屏设备；大屏设备通过麦克风接收到超声信号后，进行解调解码，恢复出原始音频信号和/或视频信号；大屏设备将音频信号通过扬声器进行播放，将视频信号通过显示器进行显示。2.根据权利要求1所述的移动终端扩展大屏设备为外设的方法，其特征在于，当大屏设备配置有麦克风阵列时，该方法还包括：大屏设备通过麦克风阵列采集近端语音信号，并通过算法处理获得近端高质量语音信号，编码调制成超声信号发送给移动终端，移动终端进行解调解码，恢复成原始近端语音信号发送给远端。3.根据权利要求2所述的移动终端扩展大屏设备为外设的方法，其特征在于，移动终端同时也采集近端语音信号，在移动终端收到来自大屏设备采集的近端语音信号后，与移动终端的麦克风采集的语音信号进行信号融合处理，得到更为稳定、清晰的近端语音信号，然后通过网络发送给远端。4.根据权利要求2所述的移动终端扩展大屏设备为外设的方法，其特征在于，在全双工通话情况下，如果使用大屏设备采集的语音信号，在发送到移动终端之前在大屏设备上做回声消除处理。5.根据权利要求3所述的移动终端扩展大屏设备为外设的方法，其特征在于，在全双工通话情况下，如果使用移动终端采集的语音信号，在发送到远端之前在移动终端上做回声消除处理。6.根据权利要求1所述的移动终端扩展大屏设备为外设的方法，其特征在于，当大屏设备配置有摄像头时，该方法还包括：大屏设备通过摄像头采集近端视频信号，编码调制成超声信号发送给移动终端，移动终端解调恢复成原始近端视频信号发送给远端。7.根据权利要求6所述的移动终端扩展大屏设备为外设的方法，其特征在于，还包括：当大屏设备的摄像头采集近端视频信号时，移动终端关闭摄像头。8.一种会议系统，其特征在于：包括移动终端和大屏设备，会议时，移动终端和大屏设备之间采用如权利要求1～7任一项所述的方法将大屏设备扩展为移动终端的外设。9.一种移动终端，其特征在于，包括：无线通信模块，用于接收来自远端的音频信号和/或视频信号；调制解调模块，用于将音频和/或视频信号调制成超声信号；以及扬声器，用于把超声信号发送给大屏设备。10.一种大屏设备，其特征在于，包括：麦克风，用于接收超声信号；调制解调模块，用于将超声信号进行解调解码，恢复出原始音频信号和/或视频信号；以及扬声器和/或显示器，用于播放音频信号和/或显示视频信号。

技术总结
本申请提供了一种移动终端扩展大屏设备为外设的方法、系统及设备，其中方法包括：移动终端与大屏设备通过超声信号建立连接；移动终端通过扬声器把接收到的来自远端的音频信号和/或视频信号编码调制成超声信号，发送给大屏设备；大屏设备通过麦克风接收到超声信号后，进行解调解码，恢复出原始音频信号和/或视频信号；大屏设备将音频信号通过扬声器进行播放，将视频信号通过显示器进行显示。本申请利用超声数据传输技术，将大屏设备扩展为移动终端的超级外设，实现了移动终端和大屏设备的互联互通，无需添加额外硬件即可方便地把移动终端上的会议音视频内容转移到大屏设备上。端上的会议音视频内容转移到大屏设备上。端上的会议音视频内容转移到大屏设备上。


技术研发人员：张李 王欢良 唐浩元 李霄 王佳珺 代大明
受保护的技术使用者：苏州奇梦者科技有限公司
技术研发日：2023.02.08
技术公布日：2023/7/13