一种用于检测音视频同步性的方法及装置

1.本发明属于音视频同步性检测技术领域，尤其涉及一种用于检测音视频同步性的方法及装置。


背景技术：

2.所有的基于网络传输的音视频采集播放系统都会存在音视频同步的问题，因为网络对不同包的延时情况不同，所以同一时间发出的音频包和视频包不会同时到达接收端，如果接收端不进行任何处理就解码播放，便会出现音视频不同步现象，在丢包网络环境下，要通过一段时间的处理才能继续解码播放视频，这就造成了视频严重滞后于音频的现象。
3.音视频同步解决方法通常是在解码播放端增加时延，将不同时间到达的音视频包存入缓冲中，通过音视频包中携带的时间戳信息，将发送端相同时间采集的音视频同时播放，其中时间戳定义了媒体负载数据的采样时刻。传统的检测音视频同步方法都是对解码的音视频信号进行特征提取，判断播放的音视频信号是否同步。这种方法无法判断解码器音视频同步的纠正能力。


技术实现要素：

4.本发明针对现有技术中的不足，提出一种用于检测音视频同步性的方案。
5.本发明第一方面提出一种用于检测音视频同步性的方法。所述方法利用音视频同步性检测装置对待测解码器进行音视频同步性检测，所述音视频同步性检测装置包括：采集模块、原始音频存储模块、原始视频存储模块、音频编码模块、视频编码模块、数据打包模块、延时发送模块、原始音频采集模块、原始视频采集模块、音频特征提取模块、视频特征提取模块、同步检测模块和同步能力判断模块。
6.所述方法具体包括：步骤s1、所述采集模块分别从所述原始音频存储模块和所述原始视频存储模块中同时采集用于执行所述音视频同步性检测的原始音频数据和原始视频数据。
7.其中，所述原始音频数据在固定时间点处具有特殊音频特征，所述特殊音频特征为：在从所述固定时间点开始的固定时间间隔内将音频置为静音状态。
8.其中，所述原始视频数据在所述固定时间点处具有特殊视频特征，所述特殊视频特征为：在从所述固定时间点开始的所述固定时间间隔内将视频画面置为黑白。
9.步骤s2、所述音频编码模块和所述视频编码模块分别对所述原始音频数据和所述原始视频数据进行编码，所述数据打包模块分别对经压缩的音频数据和经压缩的视频数据进行打包，以分别获取音频数据包和视频数据包。
10.步骤s3、所述延时发送模块以固定发送间隔将所述音频数据包和所述视频数据包发送至所述待测解码器，所述待测解码器对所述音频数据包和所述视频数据包进行解析处理，以获取并播放所述原始音频数据和所述原始视频数据。
11.步骤s4、所述原始音频采集模块和所述原始视频采集模块分别采集经播放的原始
音频数据和经播放的原始视频数据。
12.步骤s5、所述音频特征提取模块从所述经播放的原始音频数据中提取出所述特殊音频特征，并记录采集到所述特殊音频特征的时间起点，所述视频特征提取模块从所述经播放的原始视频数据中提取出所述特殊视频特征，并记录采集到所述特殊视频特征的时间起点。
13.步骤s6、所述同步检测模块计算采集到所述特殊音频特征的时间起点和采集到所述特殊视频特征的时间起点的差值作为第一差值，所述同步能力判断模块基于所述第一差值和所述固定发送间隔的比较结果判断所述待测解码器的音视频同步能力。
14.根据本发明第一方面的方法，所述采集模块分别从所述原始音频存储模块和所述原始视频存储模块中同时采集所述原始音频数据和所述原始视频数据时，为采集到的所述原始音频数据和所述原始视频数据分别附加上第一时间戳，所述第一时间戳为同时采集所述原始音频数据和所述原始视频数据的时间。
15.根据本发明第一方面的方法，所述音频编码模块和所述视频编码模块分别对所述原始音频数据和所述原始视频数据进行编码时，将所述第一时间戳分别附加在所述经压缩的音频数据和所述经压缩的视频数据上。
16.根据本发明第一方面的方法，所述数据打包模块分别对所述经压缩的音频数据和所述经压缩的视频数据进行打包时，将所述第一时间戳分别附加在所述音频数据包和所述视频数据包的时间戳数据位上。
17.根据本发明第一方面的方法，具有相同时间戳的音频数据和视频数据为关联音视频数据。
18.根据本发明第一方面的方法，所述待测解码器对所述音频数据包和所述视频数据包进行解析处理具体包括：分别对所述音频数据包和所述视频数据包进行解码处理，以获取经解压的音频数据和经解压的视频数据；以及对所述经解压的音频数据和所述经解压的视频数据进行特征提取，基于提取到的音频特征和视频特征进行音视频同步校准。
19.根据本发明第一方面的方法，所述同步能力判断模块基于所述第一差值和所述固定发送间隔的比较结果判断所述待测解码器的音视频同步能力，具体包括：当所述第一差值小于所述固定发送间隔时，判定所述待测解码器具备所述音视频同步能力，所述第一差值越大，所述音视频同步能力越强。
20.根据本发明第一方面的方法，所述方法还包括：所述原始音频采集模块将采集所述经播放的原始音频数据的时间作为第二时间戳添加至所述经播放的原始音频数据，将采集所述经播放的原始视频数据的时间作为第三时间戳添加至所述经播放的原始视频数据；在所述音频特征提取模块从所述经播放的原始音频数据中提取出所述特殊音频特征并且所述视频特征提取模块从所述经播放的原始视频数据中提取出所述特殊视频特征后，所述同步检测模块计所述第二时间戳和所述第三时间戳的差值作为第二差值；所述同步能力判断模块基于所述第二差值和所述固定发送间隔的比较结果判断所述待测解码器的音视频同步能力。
21.本发明第二方面提出一种用于检测音视频同步性的装置。所述装置对待测解码器进行音视频同步性检测，所述装置包括：采集模块、原始音频存储模块、原始视频存储模块、音频编码模块、视频编码模块、数据打包模块、延时发送模块、原始音频采集模块、原始视频
采集模块、音频特征提取模块、视频特征提取模块、同步检测模块和同步能力判断模块。
22.其中，所述采集模块分别从所述原始音频存储模块和所述原始视频存储模块中同时采集用于执行所述音视频同步性检测的原始音频数据和原始视频数据。
23.其中，所述原始音频数据在固定时间点处具有特殊音频特征，所述特殊音频特征为：在从所述固定时间点开始的固定时间间隔内将音频置为静音状态。
24.其中，所述原始视频数据在所述固定时间点处具有特殊视频特征，所述特殊视频特征为：在从所述固定时间点开始的所述固定时间间隔内将视频画面置为黑白。
25.其中，所述音频编码模块和所述视频编码模块分别对所述原始音频数据和所述原始视频数据进行编码，所述数据打包模块分别对经压缩的音频数据和经压缩的视频数据进行打包，以分别获取音频数据包和视频数据包。
26.其中，所述延时发送模块以固定发送间隔将所述音频数据包和所述视频数据包发送至所述待测解码器，所述待测解码器对所述音频数据包和所述视频数据包进行解析处理，以获取并播放所述原始音频数据和所述原始视频数据。
27.其中，所述原始音频采集模块和所述原始视频采集模块分别采集经播放的原始音频数据和经播放的原始视频数据。
28.其中，所述音频特征提取模块从所述经播放的原始音频数据中提取出所述特殊音频特征，并记录采集到所述特殊音频特征的时间起点，所述视频特征提取模块从所述经播放的原始视频数据中提取出所述特殊视频特征，并记录采集到所述特殊视频特征的时间起点。
29.其中，所述同步检测模块计算采集到所述特殊音频特征的时间起点和采集到所述特殊视频特征的时间起点的差值作为第一差值，所述同步能力判断模块基于所述第一差值和所述固定发送间隔的比较结果判断所述待测解码器的音视频同步能力。
30.根据本发明第二方面的系统，所述采集模块分别从所述原始音频存储模块和所述原始视频存储模块中同时采集所述原始音频数据和所述原始视频数据时，为采集到的所述原始音频数据和所述原始视频数据分别附加上第一时间戳，所述第一时间戳为同时采集所述原始音频数据和所述原始视频数据的时间。
31.根据本发明第二方面的系统，所述音频编码模块和所述视频编码模块分别对所述原始音频数据和所述原始视频数据进行编码时，将所述第一时间戳分别附加在所述经压缩的音频数据和所述经压缩的视频数据上。
32.根据本发明第二方面的系统，所述数据打包模块分别对所述经压缩的音频数据和所述经压缩的视频数据进行打包时，将所述第一时间戳分别附加在所述音频数据包和所述视频数据包的时间戳数据位上。
33.根据本发明第二方面的系统，具有相同时间戳的音频数据和视频数据为关联音视频数据。
34.根据本发明第二方面的系统，所述待测解码器对所述音频数据包和所述视频数据包进行解析处理具体包括：分别对所述音频数据包和所述视频数据包进行解码处理，以获取经解压的音频数据和经解压的视频数据；以及对所述经解压的音频数据和所述经解压的视频数据进行特征提取，基于提取到的音频特征和视频特征进行音视频同步校准。
35.根据本发明第二方面的系统，所述同步能力判断模块基于所述第一差值和所述固
定发送间隔的比较结果判断所述待测解码器的音视频同步能力，具体包括：当所述第一差值小于所述固定发送间隔时，判定所述待测解码器具备所述音视频同步能力，所述第一差值越大，所述音视频同步能力越强。
36.根据本发明第二方面的系统，所述方法还包括：所述原始音频采集模块将采集所述经播放的原始音频数据的时间作为第二时间戳添加至所述经播放的原始音频数据，将采集所述经播放的原始视频数据的时间作为第三时间戳添加至所述经播放的原始视频数据；在所述音频特征提取模块从所述经播放的原始音频数据中提取出所述特殊音频特征并且所述视频特征提取模块从所述经播放的原始视频数据中提取出所述特殊视频特征后，所述同步检测模块计所述第二时间戳和所述第三时间戳的差值作为第二差值；所述同步能力判断模块基于所述第二差值和所述固定发送间隔的比较结果判断所述待测解码器的音视频同步能力。
37.本发明第三方面公开了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现本公开第一方面所述的一种用于检测音视频同步性的方法中的步骤。
38.本发明第四方面公开了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本公开第一方面所述的一种用于检测音视频同步性的方法中的步骤。
39.综上，本发明提出的技术方案针对音视频同步检测装置无法判断解码器音视频同步的纠正能力问题。对同一时刻采集的原始音视频序列进行编码，编码后的网络包打上代表采集时间的时间戳信息，并将时间戳对应的音频包和视频包以前后具有一定延时方式发送至待测设备。待测设备收到音视频数据包后，不会立刻解码播放，会根据时间戳信息，采取一定调整策略进行音视频同步后播放，本发明对播放的原始音视频进行特征提取，判断音视频不同步的延时大小，并与发包时的延时进行比较，以此判断解码器音视频同步的纠正能力。
附图说明
40.为了更清楚地说明本发明具体实施方式或现有技术中的技术方案下面将对具体实施方式或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图是本发明的一些实施方式，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。
41.图1为根据本发明实施例的对待测解码器进行音视频同步性检测的的场景示意图。
42.图2为根据本发明实施例的音视频同步性检测装置的组成示意图。
43.图3为根据本发明实施例的音视频同步性检测的流程示意图。
44.图4为根据本发明实施例的一种电子设备的结构图。
具体实施方式
45.为使本发明实施例的目的、技术方案和优点更加清楚，下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例只
是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。
46.本发明第一方面提出一种用于检测音视频同步性的方法。如图1所示，所述方法利用音视频同步性检测装置对待测解码器进行音视频同步性检测。如图2所示，所述音视频同步性检测装置包括：采集模块、原始音频存储模块、原始视频存储模块、音频编码模块、视频编码模块、数据打包模块、延时发送模块、原始音频采集模块、原始视频采集模块、音频特征提取模块、视频特征提取模块、同步检测模块和同步能力判断模块。
47.所述方法具体包括：步骤s1、所述采集模块分别从所述原始音频存储模块和所述原始视频存储模块中同时采集用于执行所述音视频同步性检测的原始音频数据和原始视频数据。
48.其中，所述原始音频数据在固定时间点处具有特殊音频特征，所述特殊音频特征为：在从所述固定时间点开始的固定时间间隔内将音频置为静音状态。
49.其中，所述原始视频数据在所述固定时间点处具有特殊视频特征，所述特殊视频特征为：在从所述固定时间点开始的所述固定时间间隔内将视频画面置为黑白。
50.步骤s2、所述音频编码模块和所述视频编码模块分别对所述原始音频数据和所述原始视频数据进行编码，所述数据打包模块分别对经压缩的音频数据和经压缩的视频数据进行打包，以分别获取音频数据包和视频数据包。
51.步骤s3、所述延时发送模块以固定发送间隔将所述音频数据包和所述视频数据包发送至所述待测解码器，所述待测解码器对所述音频数据包和所述视频数据包进行解析处理，以获取并播放所述原始音频数据和所述原始视频数据。
52.步骤s4、所述原始音频采集模块和所述原始视频采集模块分别采集经播放的原始音频数据和经播放的原始视频数据。
53.步骤s5、所述音频特征提取模块从所述经播放的原始音频数据中提取出所述特殊音频特征，并记录采集到所述特殊音频特征的时间起点，所述视频特征提取模块从所述经播放的原始视频数据中提取出所述特殊视频特征，并记录采集到所述特殊视频特征的时间起点。
54.步骤s6、所述同步检测模块计算采集到所述特殊音频特征的时间起点和采集到所述特殊视频特征的时间起点的差值作为第一差值，所述同步能力判断模块基于所述第一差值和所述固定发送间隔的比较结果判断所述待测解码器的音视频同步能力。
55.在一些实施例中，所述采集模块分别从所述原始音频存储模块和所述原始视频存储模块中同时采集所述原始音频数据和所述原始视频数据时，为采集到的所述原始音频数据和所述原始视频数据分别附加上第一时间戳，所述第一时间戳为同时采集所述原始音频数据和所述原始视频数据的时间。
56.在一些实施例中，所述音频编码模块和所述视频编码模块分别对所述原始音频数据和所述原始视频数据进行编码时，将所述第一时间戳分别附加在所述经压缩的音频数据和所述经压缩的视频数据上。
57.在一些实施例中，所述数据打包模块分别对所述经压缩的音频数据和所述经压缩的视频数据进行打包时，将所述第一时间戳分别附加在所述音频数据包和所述视频数据包的时间戳数据位上。
58.在一些实施例中，具有相同时间戳的音频数据和视频数据为关联音视频数据。
59.在一些实施例中，所述待测解码器对所述音频数据包和所述视频数据包进行解析处理具体包括：分别对所述音频数据包和所述视频数据包进行解码处理，以获取经解压的音频数据和经解压的视频数据；以及对所述经解压的音频数据和所述经解压的视频数据进行特征提取，基于提取到的音频特征和视频特征进行音视频同步校准。
60.在一些实施例中，所述同步能力判断模块基于所述第一差值和所述固定发送间隔的比较结果判断所述待测解码器的音视频同步能力，具体包括：当所述第一差值小于所述固定发送间隔时，判定所述待测解码器具备所述音视频同步能力，所述第一差值越大，所述音视频同步能力越强。
61.在一些实施例中，所述方法还包括：所述原始音频采集模块将采集所述经播放的原始音频数据的时间作为第二时间戳添加至所述经播放的原始音频数据，将采集所述经播放的原始视频数据的时间作为第三时间戳添加至所述经播放的原始视频数据；在所述音频特征提取模块从所述经播放的原始音频数据中提取出所述特殊音频特征并且所述视频特征提取模块从所述经播放的原始视频数据中提取出所述特殊视频特征后，所述同步检测模块计所述第二时间戳和所述第三时间戳的差值作为第二差值；所述同步能力判断模块基于所述第二差值和所述固定发送间隔的比较结果判断所述待测解码器的音视频同步能力。
62.具体地，所述装置包括发送端和接收端两个部分，其中，发送端用于对原始视频数据进行采集、编码、打包和传输，接收端用于接收原始视频数据，并进行特征提取和同步检测。下面对装置的组成模块进行介绍。
63.原始音频存储模块：用于存储具有特征值的原始音频数据。
64.原始视频存储模块：用于存储具有特征值的原始视频数据。
65.采集模块：用于对具有相同特征的原始音视频数据进行同时采集，并对每个数据标明采集时间。
66.音频编码模块：用于对原始音频进行编码，并将采集时间标记到编码后数据上。
67.视频编码模块：用于对原始视频进行编码，并将采集时间标记到编码后数据上。
68.数据打包模块：对编码后的音视频数据进行封包，将采集时间记录到数据包的时间戳字段。
69.延时发送模块：对相同采集时间的音视频数据包进行延时发送。
70.原始音频采集模块：用于采集原始音频数据，并对每个数据标明采集时间。
71.原始视频采集模块：用于采集原始视频数据，并对每个数据标明采集时间。
72.音频特征提取模块：用于提取原始音频数据的特征。
73.视频特征提取模块：用于提取原始视频数据的特征。
74.同步检测模块：用于对具有相同特征的原视频数据采集时间进行对比，计算时间差。
75.同步能力判断模块：用于比较发送延时与采集的相同特征数据时间差，如果时间差小于发送延时则具有音视频同步能力，小于越多，则音视频同步能力越强。
76.具体地，原始视频序列加上固定周期（5s）的特征，特征为将该帧图像置为黑白，相对时间的音频数据也加上特征，特征为将该音频静音20ms。检测装置接收到原始音频数据时检测静音音频，接收到原始视频数据时检测黑白图像。
77.具体地，音视频原始数据特征检测方法的流程如图3所示。
78.（1）采集原始音视频并在相同时刻赋予一定特征，并记录采集时间。
79.（2）对音视频数据进行编码，并将采集时间标记给编码后的音视频数据。
80.（3）对编码后的音视频数据进行封包，将采集时间记录到数据包的timestamp字段。
81.（4）对相同采集时间的音视频数据包进行延时发送。
82.（5）采集原始音视频数据，并对每个数据标明采集时间。
83.（6）提取原始音视频数据的特征。
84.（7）比较具有特征的音视频数据采集时间，比较时间差，检测是否同步。
85.（8）将（4）中的延时时间与（7）中的时间差比较，时间差小于发送延时则具有音视频同步能力，小于越多，则音视频同步能力越强。
86.可见，本发明提出的基于音视频包延迟发送和视频特征提取的音视频同步能力检测方案，其相比于其它音视频同步检测方法，不仅可判断播放的音视频是否同步，也可通过在发送端对音视频包以不同时间延迟发送，来判断解码器的音视频同步能力。
87.本发明第二方面提出一种用于检测音视频同步性的装置。所述装置对待测解码器进行音视频同步性检测，所述装置包括：采集模块、原始音频存储模块、原始视频存储模块、音频编码模块、视频编码模块、数据打包模块、延时发送模块、原始音频采集模块、原始视频采集模块、音频特征提取模块、视频特征提取模块、同步检测模块和同步能力判断模块。
88.其中，所述采集模块分别从所述原始音频存储模块和所述原始视频存储模块中同时采集用于执行所述音视频同步性检测的原始音频数据和原始视频数据。
89.其中，所述原始音频数据在固定时间点处具有特殊音频特征，所述特殊音频特征为：在从所述固定时间点开始的固定时间间隔内将音频置为静音状态。
90.其中，所述原始视频数据在所述固定时间点处具有特殊视频特征，所述特殊视频特征为：在从所述固定时间点开始的所述固定时间间隔内将视频画面置为黑白。
91.其中，所述音频编码模块和所述视频编码模块分别对所述原始音频数据和所述原始视频数据进行编码，所述数据打包模块分别对经压缩的音频数据和经压缩的视频数据进行打包，以分别获取音频数据包和视频数据包。
92.其中，所述延时发送模块以固定发送间隔将所述音频数据包和所述视频数据包发送至所述待测解码器，所述待测解码器对所述音频数据包和所述视频数据包进行解析处理，以获取并播放所述原始音频数据和所述原始视频数据。
93.其中，所述原始音频采集模块和所述原始视频采集模块分别采集经播放的原始音频数据和经播放的原始视频数据。
94.其中，所述音频特征提取模块从所述经播放的原始音频数据中提取出所述特殊音频特征，并记录采集到所述特殊音频特征的时间起点，所述视频特征提取模块从所述经播放的原始视频数据中提取出所述特殊视频特征，并记录采集到所述特殊视频特征的时间起点。
95.其中，所述同步检测模块计算采集到所述特殊音频特征的时间起点和采集到所述特殊视频特征的时间起点的差值作为第一差值，所述同步能力判断模块基于所述第一差值和所述固定发送间隔的比较结果判断所述待测解码器的音视频同步能力。
96.根据本发明第二方面的系统，所述采集模块分别从所述原始音频存储模块和所述原始视频存储模块中同时采集所述原始音频数据和所述原始视频数据时，为采集到的所述原始音频数据和所述原始视频数据分别附加上第一时间戳，所述第一时间戳为同时采集所述原始音频数据和所述原始视频数据的时间。
97.根据本发明第二方面的系统，所述音频编码模块和所述视频编码模块分别对所述原始音频数据和所述原始视频数据进行编码时，将所述第一时间戳分别附加在所述经压缩的音频数据和所述经压缩的视频数据上。
98.根据本发明第二方面的系统，所述数据打包模块分别对所述经压缩的音频数据和所述经压缩的视频数据进行打包时，将所述第一时间戳分别附加在所述音频数据包和所述视频数据包的时间戳数据位上。
99.根据本发明第二方面的系统，具有相同时间戳的音频数据和视频数据为关联音视频数据。
100.根据本发明第二方面的系统，所述待测解码器对所述音频数据包和所述视频数据包进行解析处理具体包括：分别对所述音频数据包和所述视频数据包进行解码处理，以获取经解压的音频数据和经解压的视频数据；以及对所述经解压的音频数据和所述经解压的视频数据进行特征提取，基于提取到的音频特征和视频特征进行音视频同步校准。
101.根据本发明第二方面的系统，所述同步能力判断模块基于所述第一差值和所述固定发送间隔的比较结果判断所述待测解码器的音视频同步能力，具体包括：当所述第一差值小于所述固定发送间隔时，判定所述待测解码器具备所述音视频同步能力，所述第一差值越大，所述音视频同步能力越强。
102.根据本发明第二方面的系统，所述方法还包括：所述原始音频采集模块将采集所述经播放的原始音频数据的时间作为第二时间戳添加至所述经播放的原始音频数据，将采集所述经播放的原始视频数据的时间作为第三时间戳添加至所述经播放的原始视频数据；在所述音频特征提取模块从所述经播放的原始音频数据中提取出所述特殊音频特征并且所述视频特征提取模块从所述经播放的原始视频数据中提取出所述特殊视频特征后，所述同步检测模块计所述第二时间戳和所述第三时间戳的差值作为第二差值；所述同步能力判断模块基于所述第二差值和所述固定发送间隔的比较结果判断所述待测解码器的音视频同步能力。
103.本发明第三方面公开了一种电子设备。所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现本公开第一方面所述的一种用于检测音视频同步性的方法中的步骤。
104.图4为根据本发明实施例的一种电子设备的结构图，如图4所示，电子设备包括通过系统总线连接的处理器、存储器、通信接口、显示屏和输入装置。其中，该电子设备的处理器用于提供计算和控制能力。该电子设备的存储器包括非易失性存储介质、内存储器。该非易失性存储介质存储有操作系统和计算机程序。该内存储器为非易失性存储介质中的操作系统和计算机程序的运行提供环境。该电子设备的通信接口用于与外部的终端进行有线或无线方式的通信，无线方式可通过wifi、运营商网络、近场通信（nfc）或其他技术实现。该电子设备的显示屏可以是液晶显示屏或者电子墨水显示屏，该电子设备的输入装置可以是显示屏上覆盖的触摸层，也可以是电子设备外壳上设置的按键、轨迹球或触控板，还可以是外
接的键盘、触控板或鼠标等。
105.本领域技术人员可以理解，图4中示出的结构，仅仅是与本公开的技术方案相关的部分的结构图，并不构成对本技术方案所应用于其上的电子设备的限定，具体的电子设备可以包括比图中所示更多或更少的部件，或者组合某些部件，或者具有不同的部件布置。
106.本发明第四方面公开了一种计算机可读存储介质。所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现本公开第一方面所述的一种用于检测音视频同步性的方法中的步骤。
107.综上，本发明提出的技术方案针对音视频同步检测装置无法判断解码器音视频同步的纠正能力问题。对同一时刻采集的原始音视频序列进行编码，编码后的网络包打上代表采集时间的时间戳信息，并将时间戳对应的音频包和视频包以前后具有一定延时方式发送至待测设备。待测设备收到音视频数据包后，不会立刻解码播放，会根据时间戳信息，采取一定调整策略进行音视频同步后播放，本发明对播放的原始音视频进行特征提取，判断音视频不同步的延时大小，并与发包时的延时进行比较，以此判断解码器音视频同步的纠正能力。
108.请注意，以上实施例的各技术特征可以进行任意的组合，为使描述简洁，未对上述实施例中的各个技术特征所有可能的组合都进行描述，然而，只要这些技术特征的组合不存在矛盾，都应当认为是本说明书记载的范围。以上所述实施例仅表达了本技术的几种实施方式，其描述较为具体和详细，但并不能因此而理解为对发明专利范围的限制。应当指出的是，对于本领域的普通技术人员来说，在不脱离本技术构思的前提下，还可以做出若干变形和改进，这些都属于本技术的保护范围。因此，本技术专利的保护范围应以所附权利要求为准。

技术特征：
1.一种用于检测音视频同步性的方法，其特征在于：所述方法利用音视频同步性检测装置对待测解码器进行音视频同步性检测，所述音视频同步性检测装置包括：采集模块、原始音频存储模块、原始视频存储模块、音频编码模块、视频编码模块、数据打包模块、延时发送模块、原始音频采集模块、原始视频采集模块、音频特征提取模块、视频特征提取模块、同步检测模块和同步能力判断模块；所述方法具体包括：步骤s1、所述采集模块分别从所述原始音频存储模块和所述原始视频存储模块中同时采集用于执行所述音视频同步性检测的原始音频数据和原始视频数据；其中，所述原始音频数据在固定时间点处具有特殊音频特征，所述特殊音频特征为：在从所述固定时间点开始的固定时间间隔内将音频置为静音状态；其中，所述原始视频数据在所述固定时间点处具有特殊视频特征，所述特殊视频特征为：在从所述固定时间点开始的所述固定时间间隔内将视频画面置为黑白；步骤s2、所述音频编码模块和所述视频编码模块分别对所述原始音频数据和所述原始视频数据进行编码，所述数据打包模块分别对经压缩的音频数据和经压缩的视频数据进行打包，以分别获取音频数据包和视频数据包；步骤s3、所述延时发送模块以固定发送间隔将所述音频数据包和所述视频数据包发送至所述待测解码器，所述待测解码器对所述音频数据包和所述视频数据包进行解析处理，以获取并播放所述原始音频数据和所述原始视频数据；步骤s4、所述原始音频采集模块和所述原始视频采集模块分别采集经播放的原始音频数据和经播放的原始视频数据；步骤s5、所述音频特征提取模块从所述经播放的原始音频数据中提取出所述特殊音频特征，并记录采集到所述特殊音频特征的时间起点，所述视频特征提取模块从所述经播放的原始视频数据中提取出所述特殊视频特征，并记录采集到所述特殊视频特征的时间起点；步骤s6、所述同步检测模块计算采集到所述特殊音频特征的时间起点和采集到所述特殊视频特征的时间起点的差值作为第一差值，所述同步能力判断模块基于所述第一差值和所述固定发送间隔的比较结果判断所述待测解码器的音视频同步能力。2.根据权利要求1所述的一种用于检测音视频同步性的方法，其特征在于：所述采集模块分别从所述原始音频存储模块和所述原始视频存储模块中同时采集所述原始音频数据和所述原始视频数据时，为采集到的所述原始音频数据和所述原始视频数据分别附加上第一时间戳，所述第一时间戳为同时采集所述原始音频数据和所述原始视频数据的时间；所述音频编码模块和所述视频编码模块分别对所述原始音频数据和所述原始视频数据进行编码时，将所述第一时间戳分别附加在所述经压缩的音频数据和所述经压缩的视频数据上；所述数据打包模块分别对所述经压缩的音频数据和所述经压缩的视频数据进行打包时，将所述第一时间戳分别附加在所述音频数据包和所述视频数据包的时间戳数据位上；具有相同时间戳的音频数据和视频数据为关联音视频数据。3.根据权利要求1所述的一种用于检测音视频同步性的方法，其特征在于，所述待测解
码器对所述音频数据包和所述视频数据包进行解析处理具体包括：分别对所述音频数据包和所述视频数据包进行解码处理，以获取经解压的音频数据和经解压的视频数据；以及对所述经解压的音频数据和所述经解压的视频数据进行特征提取，基于提取到的音频特征和视频特征进行音视频同步校准。4.根据权利要求1所述的一种用于检测音视频同步性的方法，其特征在于，所述同步能力判断模块基于所述第一差值和所述固定发送间隔的比较结果判断所述待测解码器的音视频同步能力，具体包括：当所述第一差值小于所述固定发送间隔时，判定所述待测解码器具备所述音视频同步能力，所述第一差值越大，所述音视频同步能力越强。5.根据权利要求4所述的一种用于检测音视频同步性的方法，其特征在于，所述方法还包括：所述原始音频采集模块将采集所述经播放的原始音频数据的时间作为第二时间戳添加至所述经播放的原始音频数据，将采集所述经播放的原始视频数据的时间作为第三时间戳添加至所述经播放的原始视频数据；在所述音频特征提取模块从所述经播放的原始音频数据中提取出所述特殊音频特征并且所述视频特征提取模块从所述经播放的原始视频数据中提取出所述特殊视频特征后，所述同步检测模块计所述第二时间戳和所述第三时间戳的差值作为第二差值；所述同步能力判断模块基于所述第二差值和所述固定发送间隔的比较结果判断所述待测解码器的音视频同步能力。6.一种用于检测音视频同步性的装置，其特征在于，所述装置对待测解码器进行音视频同步性检测，所述装置包括：采集模块、原始音频存储模块、原始视频存储模块、音频编码模块、视频编码模块、数据打包模块、延时发送模块、原始音频采集模块、原始视频采集模块、音频特征提取模块、视频特征提取模块、同步检测模块和同步能力判断模块；其中：所述采集模块分别从所述原始音频存储模块和所述原始视频存储模块中同时采集用于执行所述音视频同步性检测的原始音频数据和原始视频数据；其中，所述原始音频数据在固定时间点处具有特殊音频特征，所述特殊音频特征为：在从所述固定时间点开始的固定时间间隔内将音频置为静音状态；其中，所述原始视频数据在所述固定时间点处具有特殊视频特征，所述特殊视频特征为：在从所述固定时间点开始的所述固定时间间隔内将视频画面置为黑白；所述音频编码模块和所述视频编码模块分别对所述原始音频数据和所述原始视频数据进行编码，所述数据打包模块分别对经压缩的音频数据和经压缩的视频数据进行打包，以分别获取音频数据包和视频数据包；所述延时发送模块以固定发送间隔将所述音频数据包和所述视频数据包发送至所述待测解码器，所述待测解码器对所述音频数据包和所述视频数据包进行解析处理，以获取并播放所述原始音频数据和所述原始视频数据；所述原始音频采集模块和所述原始视频采集模块分别采集经播放的原始音频数据和经播放的原始视频数据；所述音频特征提取模块从所述经播放的原始音频数据中提取出所述特殊音频特征，并记录采集到所述特殊音频特征的时间起点，所述视频特征提取模块从所述经播放的原始视频数据中提取出所述特殊视频特征，并记录采集到所述特殊视频特征的时间起点；
所述同步检测模块计算采集到所述特殊音频特征的时间起点和采集到所述特殊视频特征的时间起点的差值作为第一差值，所述同步能力判断模块基于所述第一差值和所述固定发送间隔的比较结果判断所述待测解码器的音视频同步能力。7.根据权利要求6所述的一种用于检测音视频同步性的装置，其特征在于：所述采集模块分别从所述原始音频存储模块和所述原始视频存储模块中同时采集所述原始音频数据和所述原始视频数据时，为采集到的所述原始音频数据和所述原始视频数据分别附加上第一时间戳，所述第一时间戳为同时采集所述原始音频数据和所述原始视频数据的时间；所述音频编码模块和所述视频编码模块分别对所述原始音频数据和所述原始视频数据进行编码时，将所述第一时间戳分别附加在所述经压缩的音频数据和所述经压缩的视频数据上；所述数据打包模块分别对所述经压缩的音频数据和所述经压缩的视频数据进行打包时，将所述第一时间戳分别附加在所述音频数据包和所述视频数据包的时间戳数据位上；具有相同时间戳的音频数据和视频数据为关联音视频数据。8.根据权利要求6所述的一种用于检测音视频同步性的装置，其特征在于，所述同步能力判断模块基于所述第一差值和所述固定发送间隔的比较结果判断所述待测解码器的音视频同步能力，具体包括：当所述第一差值小于所述固定发送间隔时，判定所述待测解码器具备所述音视频同步能力，所述第一差值越大，所述音视频同步能力越强。9.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器存储有计算机程序，所述处理器执行所述计算机程序时，实现权利要求1-5任一项所述的一种用于检测音视频同步性的方法中的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有计算机程序，所述计算机程序被处理器执行时，实现权利要求1-5任一项所述的一种用于检测音视频同步性的方法中的步骤。

技术总结
本发明提出一种用于检测音视频同步性的方法及装置，属于音视频同步性检测技术领域。本发明针对音视频同步检测装置无法判断解码器音视频同步的纠正能力问题；对同一时刻采集的原始音视频序列进行编码，编码后的网络包打上代表采集时间的时间戳信息，并将时间戳对应的音频包和视频包以前后具有一定延时方式发送至待测设备。待测设备收到音视频数据包后，不会立刻解码播放，会根据时间戳信息，采取一定调整策略进行音视频同步后播放，本发明对播放的原始音视频进行特征提取，判断音视频不同步的延时大小，并与发包时的延时进行比较，以此判断解码器音视频同步的纠正能力。此判断解码器音视频同步的纠正能力。此判断解码器音视频同步的纠正能力。


技术研发人员：谢永强 李忠博 梁进君 齐锦
受保护的技术使用者：中国人民解放军军事科学院系统工程研究院
技术研发日：2023.06.13
技术公布日：2023/7/18