一种用于平板电脑的智能音视频采集方法和系统与流程

1.本说明书涉及智能音视频采集的技术领域，特别涉及一种用于平板电脑的智能音视频采集方法和系统。


背景技术：

2.近年来，随着多媒体技术的高速发展，在较多应用场景中，对音视频质量会有较高的要求，因此需要以较高的标准对音频信号和视频信号进行采集。故如何提高平板电脑的音视频采集质量是本领域亟待解决的技术问题。
3.鉴于此，在cn111050069b中，利用音视频采集设备对待采集对象进行识别并确定其与麦克风的距离，进而根据目标类型和相对麦克风的方位与距离，确定音频处理策略，包括空间增强、增益控制等。但是，其没有涉及待采集对象的特征变化对音视频采集质量的影响；因此，需要提供一种用于平板电脑的智能音视频采集方法和系统，可以通过待采集对象的不同采集特征确定不同的音视频采集方案。


技术实现要素：

4.本说明书一个或多个实施例提供一种用于平板电脑的智能音视频采集方法，由处理器执行，包括：响应于接收到采集指令时，执行下述操作：基于音视频监测数据，确定至少一个待采集对象，并获取所述待采集对象的预设采集特征；基于所述预设采集特征，确定采集方案；其中，所述采集方案包括音频采样特征和视频采样特征中的至少一种；确定实时采集特征；基于所述实时采集特征与标准采集特征之间的差异，确定更新后的采集方案；将所述更新后的采集方案发送至所述平板电脑，控制所述平板电脑进行音视频采集。
5.本说明书一个或多个实施例提供一种用于平板电脑的智能音视频采集系统，其特征在于，所述系统包括处理器，所述处理器用于：基于音视频监测数据，确定至少一个待采集对象，并获取所述待采集对象的预设采集特征；基于所述预设采集特征，确定采集方案；其中，所述采集方案包括音频采样特征和视频采样特征中的至少一种；确定实时采集特征；基于所述实时采集特征与标准采集特征之间的差异，确定更新后的采集方案；将所述更新后的采集方案发送至所述平板电脑，控制所述平板电脑进行音视频采集。
附图说明
6.本说明书将以示例性实施例的方式进一步说明，这些示例性实施例将通过附图进行详细描述。这些实施例并非限制性的，在这些实施例中，相同的编号表示相同的结构，其中：图1是根据本说明书一些实施例所示的智能音视频采集方法的示例性流程图；图2是根据本说明书一些实施例所示的采集模型的示例性示意图；图3是根据本说明书一些实施例所示的确定更新后的采集方案的示例性流程图；
图4是根据本说明书一些实施例所示的确定更新方法的示例性示意图。
实施方式
7.为了更清楚地说明本说明书实施例的技术方案，下面将对实施例描述中所需要使用的附图作简单的介绍。显而易见地，下面描述中的附图仅仅是本说明书的一些示例或实施例，对于本领域的普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图将本说明书应用于其它类似情景。除非从语言环境中显而易见或另做说明，图中相同标号代表相同结构或操作。
8.应当理解，本文使用的“系统”、“装置”、“单元”和/或“模块”是用于区分不同级别的不同组件、元件、部件、部分或装配的一种方法。然而，如果其他词语可实现相同的目的，则可通过其他表达来替换所述词语。
9.如本说明书和权利要求书中所示，除非上下文明确提示例外情形，“一”、“一个”、“一种”和/或“该”等词并非特指单数，也可包括复数。一般说来，术语“包括”与“包含”仅提示包括已明确标识的步骤和元素，而这些步骤和元素不构成一个排它性的罗列，方法或者设备也可能包含其它的步骤或元素。
10.在本说明书的实施例中按步骤说明所执行的操作时，如无特别说明，则步骤的次序均为可调换的，步骤是可以省略的，在操作过程中也可以包括其他步骤。
11.在大部分应用场景，都需要采集高质量的音视频。在cn111050069b中，根据目标类型和相对麦克风的方位与距离，确定音频处理策略；但没有涉及待采集对象的特征变化对音视频采集质量的影响。本说明书一些实施例，提供一种用于平板电脑的智能音视频采集方法和系统，可以通过待采集对象的不同采集特征确定不同的音视频采集方案。
12.在一些实施例中，智能音视频采集系统可以被设置在平板电脑上，或者与平板电脑通过有线连接、网络连接或者其他可行方式连接。在一些实施例中，智能音视频采集系统可以包括处理器，或者被集成于处理器中。
13.图1是根据本说明书一些实施例所示的智能音视频采集方法的示例性流程图。如图1所示，流程100包括下述步骤。在一些实施例中，流程100可以由处理器执行。
14.步骤110，基于音视频监测数据，确定至少一个待采集对象，并获取待采集对象的预设采集特征。
15.音视频监测数据可以是通过数据采集装置监测得到的音频及视频数据。在一些实施例中，处理器可以通过摄像头和麦克风等数据采集装置获取音视频监测数据。
16.待采集对象可以是需进行特征采集的人或物。例如，待采集对象可以是正在进行直播的人员及其手持的推荐物品。
17.在一些实施例中，待采集对象可以通过自动识别来确定。例如，可以将待采集对象的身份信息预先录入平板电脑，并对音视频监测数据中的一个或多个对象进行面部图像识别，将识别结果与预先录入的身份信息相匹配，确定待采集对象。
18.在一些实施例中，设定待采集对象人数后，可以通过音视频采集系统判断音视频监测数据中的一个或多个对象是否满足采集预设条件，若满足则确定为待采集对象。采集预设条件可以为与平板电脑相距指定距离范围、与外观特征（比如指定标记等）和/或声音特征一致等。
19.在一些实施例中，可以将待采集对象的身份信息与音频绑定，确定多个待采集对象。
20.在一些实施例中，身份信息可以是待采集对象的图像特征（例如人脸特征）。获取身份信息的方式可以包括通过获取人工输入获取、通过摄像头获取等。
21.在一些实施例中，可以通过音色提取技术对待采集对象的音频进行分析处理，提取待采集对象的音色特征，进一步将不同的音色特征与待采集对象的身份信息相关联。
22.本说明书的一些实施例，通过将待采集对象的身份信息与音频绑定，降低了仅有视频识别时的局限性，可以通过声音对待采集对象进行识别。
23.在一些实施例中，预设采集特征可以是提前设定的待采集对象的采集特征。
24.其中，采集特征至少包括待采集对象与平板电脑的身位、角度、距离、声强、平板电脑所处环境的光强、噪音中的一种。
25.处理器可以通过基于经验提前设定或者其他任意方式获取预设采集特征。在一些实施例中，可以基于待采集对象在图像中的历史变化情况获取预设采集特征。例如，历史变化情况包括待采集对象在图像中的比例变化及声强变化，则预设采集特征包括待采集对象与平板电脑的距离及声强。
26.步骤120，基于预设采集特征，确定采集方案。
27.采集方案可以是采集音视频的方案。采集方案包括音频采样特征和视频采样特征中的至少一种。
28.在一些实施例中，音频采样特征至少包括音频采集强度大小、音频采集降噪度。视频采样特征至少包括视频对焦位置、视频采样率、视频采样视角、视频分辨率调整值。
29.处理器可以通过多种方式确定采集方案。在一些实施例中，可以基于预设采集特征通过采集向量数据库确定采集方案。
30.在一些实施例中，处理器可以对待采集对象提取预设采集特征对应的一个或多个特征，并将该一个或多个特征确定为目标特征向量。在一些实施例中，可以基于目标特征向量，通过历史向量数据库确定关联特征向量。
31.在一些实施例中，采集向量数据库中的向量可以包括待采集对象对应的采集特征向量，采集特征向量包括其对应的采集方案，采集特征向量包括预设采集特征。
32.在一些实施例中，采集向量数据库中的采集特征向量可以基于历史音视频数据获取。在一些实施例中，处理器可以基于目标特征向量，通过历史向量数据库确定符合预设条件的关联特征向量，将关联特征向量对应的采集方案作为目标采集方案。预设条件可以包括目标特征向量与关联特征向量相似度大于阈值。
33.步骤130，确定实时采集特征。
34.实时采集特征可以是当前时间获取的音视频采集特征。实时采集特征至少可以包括当前时间采集的待采集对象与平板电脑的身位、角度、距离、声强、平板电脑所处环境的光强、噪音中的一种。
35.在一些实施例中，可以基于预设采集特征，通过音频采样或视频采样的方法获得待采样对象的实时采集特征。例如，预设采集特征为待采集对象的声强和距离，通过对音频采样得到的音频数据进行语音识别，或通过对视频采样得到的视频数据进行图像识别，获得包括实时声强或距离特征的待采样对象的实时采集特征。
36.步骤140，基于实时采集特征与标准采集特征之间的差异，确定更新后的采集方案。
37.标准采集特征可以包括标准图像特征、标准声音特征、标准环境特征。
38.在一些实施例中，标准采集特征可以基于经验预先设置的。
39.处理器可以通过多种方式确定更新后的采集方案。在一些实施例中，处理器可以基于实时采集特征与标准采集特征之间的差异确定采集方案的调整幅度（例如，差异越大，调整幅度越大），进而确定更新后的采集方案。
40.在一些实施例中，处理器可以响应于实时采集特征与标准特征数据库中的至少一个标准采集特征的差异不满足第一预设条件；基于差异确定更新后的采集方案。
41.在一些实施例中，标准特征数据库可以是存储有标准采集特征的数据库。标准特征数据库可以基于平板电脑的历史音视频采集数据构建。
42.在一些实施例中，标准采集特征中的标准图像特征、标准声音特征、标准环境特征基于音视频监测数据确定。例如，处理器可以基于满足监测要求的音视频监测数据通过特征提取等方法，确定标准图像特征、标准声音特征、标准环境特征。其中，监测要求可以是待采集对象与所述平板电脑的身位、角度、距离、声强、平板电脑所处环境的光强、噪音中的任意一种处于监测标准阈值范围内。监测标准阈值范围可以是预设的可以获取清晰的音视频监测数据的阈值范围。
43.本说明书的一些实施例，通过音视频监测数据得到待采集对象的标准图像特征信息、标准声音特征、标准环境特征，可以更加全面地调整更新方案。
44.第一预设条件是指当前时刻的实时采集特征与标准特征数据库中的至少一个标准采集特征的差异的最小值大于预设阈值。在一些实施例中，实时采集特征与标准特征数据库中与其最相似的标准采集特征之间的差异的数值，可以作为差异的最小值。
45.在一些实施例中，预设阈值可以通过预先设置获得。
46.本说明书的一些实施例，基于实时采集特征与标准采集特征之间的差异是否超过阈值，可以在不同场合环境对采集方案进行优化调整，例如对音频放大缩小降噪、视频对焦、放大视角等。避免突发情况带来的数据异常，使采集到待采集对象的数据更加准确。
47.步骤150，将更新后的采集方案发送至平板电脑，控制平板电脑进行音视频采集。
48.在一些实施例中，可以通过无线网络、蓝牙或者有线连接的方式，将更新后的采集方案及其相关的信息传送至平板电脑。
49.在一些实施例中，在接收到音视频采集方案后，处理器可以控制摄像头和麦克风按照采集方案进行音视频采集。
50.本说明书的一些实施例，通过基于平板电脑的智能音视频采集方法可以采集多种特征，并且基于实时采集特征与标准采集特征之间的差异，确定更新后的音视频采集方案，可以根据待采集对象不同的采集特征确定不同的音视频采集方案，提高采集方案的针对性和采集质量。
51.本说明书的实施例仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以进行各种修正和改变仍在本说明书的范围之内。
52.图2是根据本说明书一些实施例所示的采集模型的示例性示意图。
53.在一些实施例中，处理器可以获取待采集对象的图像采集数据210、声音采集数据230；基于图像采集数据210、声音采集数据230，通过采集模型240确定实时采集特征；采集模型240为机器学习模型。
54.采集模型240为确定实时采集特征的模型。在一些实施例中，采集模型240可以是机器学习模型，例如神经网络（neural networks，nn）模型等。
55.在一些实施例中，采集模型240可以包括图像判断层241、环境光强判断层243和声音判断层244。在一些实施例中，图像判断层241可以是卷积神经网络（convolutional neural networks，cnn），环境光强判断层243可以是nn，声音判断层244可以是转换器（transformer）。
56.在一些实施例中，图像判断层241的输入可以为图像或视频采集数据210，输出可以为待采集对象的图像特征242。待采集对象的图像特征242可以包括待采集对象外观的变化情况，例如，当待采集对象为人类时，待采集对象的图像特征242可以为人脸特征（人脸的比例变化）和身形服饰特征（身高、宽度和颜色）；当待采集对象为物体时，待采集对象的图像特征242可以为形状及颜色。
57.在一些实施例中，处理器可以通过图像判断层241识别待采集对象在图像中的比例变化，当变化满足阈值时，调整视角（放大缩小等），使图像中待采集对象的人物比例适当。
58.在一些实施例中，环境光强判断层243的输入可以为不同时间的待采集对象的图像特征242，输出可以为光强变化数据250。例如，当图像判断层241识别待采集对象的服装是红色时，随着光线改变，服装颜色可能由鲜红变为暗红，计算机将颜色的改变识别为rgb参数的变化。
59.在一些实施例中，声音判断层244输入可以包括声音采集数据230和标准声音强度220，输出可以为声音特征260。声音特征260可以包括待采集对象的声音强度变化情况，以及其他噪音的有无以及强度。
60.在一些实施例中，图像判断层的输出可以为环境光强判断层的输入，图像判断层和环境光强判断层可以通过带有第一标签的第一训练样本联合训练得到，声音判断层由带有第二标签的第二训练样本单独训练。
61.第一训练样本、第二训练样本可以通过大数据分析获取，例如，可以通过第三方平台、历史音视频采集信息中获取大量数据进行统计分析等处理后得到，第一标签、第二标签可以通过人工标注获取。
62.在一些实施例中，联合训练的第一训练样本包括样本图像或视频，第一标签为样本图像或视频中的样本光强变化数据。将样本图像或视频输入图像判断层，得到图像判断层输出的待采集对象的图像特征；将待采集对象的图像特征作为训练样本数据输入环境光强判断层，得到环境光强判断层输出的光强变化数据。基于样本光强变化数据和环境光强判断层输出的光强变化数据构建损失函数，同步更新图像判断层和环境光强判断层的参数。通过参数更新，得到训练好的图像判断层241和环境光强判断层243。
63.在一些实施例中，第二训练样本可以包括样本声音采集数据和样本标准声音强度，第二标签可以为样本声音特征。可以将多个带有第二标签的第二训练样本输入初始声音判断层，通过第二标签和初始声音判断层的结果构建损失函数，基于损失函数迭代更新
初始声音判断层的参数。当初始声音判断层的损失函数满足预设条件时模型训练完成，得到训练好的声音判断层244。其中，预设条件可以是损失函数收敛、迭代的次数达到阈值等。
64.本说明书一些实施例，通过采集模型240对音视频采集数据进行处理，可以从大量音视频采集数据中找到规律，获取到待采集对象的不同采集特征与音视频采集数据之间的关联关系，提高确定待采集对象的不同采集特征的准确度和效率。
65.图3是根据本说明书一些实施例所示的确定更新后的采集方案的示例性流程图。如图3所示，流程300包括下述步骤。在一些实施例中，流程300可以由处理器执行。
66.步骤310，响应于实时采集特征与标准特征数据库中的至少一个标准采集特征的差异满足第一预设条件。
67.关于实时采集特征、标准特征数据库、标准采集特征和第一预设条件的更多说明参见图1及其相关内容。
68.步骤320，生成多组候选更新方案。
69.候选更新方案可以为待确定为优选更新方案的更新方案。候选更新方案包括对采集方案中的音频采样特征、视频采样特征中的至少一个的调整。对音频采样特征的调整可以包括提高或降低音频采集强度、提高或降低音频采集降噪度等，对视频采样特征的调整可以包括变换视频对焦位置、提高或降低视频采样率、改变视频采样视角、提高或降低视频分辨率。
70.处理器可以通过多种方式生成候选更新方案。在一些实施例中，处理器可以基于历史向量数据库，根据实时采集特征、音频采样特征和视频采样特征，检索确定多组候选更新方案。
71.在一些实施例中，可以基于目标对象提取特征，确定目标特征向量。目标对象可以包括目标实时采集特征、目标音频采样特征和目标视频采样特征。在一些实施例中，可以基于目标特征向量，通过历史向量数据库确定关联特征向量。在一些实施例中，历史向量数据库中的向量可以包括候选更新方案对象对应的特征向量，候选更新方案对象包括候选更新方案，特征向量包括实时采集特征、音频采样特征和视频采样特征。在一些实施例中，历史向量数据库中的特征向量可以基于历史音视频数据获取。在一些实施例中，可以基于目标特征向量，通过历史向量数据库确定符合预设条件的关联特征向量，将关联特征向量对应的候选方案对象作为候选更新方案。预设条件是指筛选关联特征向量的条件。在一些实施例中，预设条件可以包括目标特征向量与关联特征向量相似度大于阈值。
72.在一些实施例中，若同时存在多个待采集对象，处理器可以将其中权重最大的待采集对象作为主采集对象。对于一些候选更新方案，可能并不针对主采集对象进行调整，例如某个候选更新方案只是针对主采集对象以外的待采集对象进行了视角调整，而并未改善主采集对象的清晰度问题，则该候选更新方案并非优选的候选更新方案。相比之下，优选的候选更新方案应该根据当前权重最大的待采集对象进行调整，例如在音视频采集特征中进行音频放大、音频缩小、视频对焦、调整视角等操作，以实现对主采集对象的最佳采集效果。在一些实施例中，可以基于不同时间点的不同待采集对象的采集权重，确定合适的候选更新方案。
73.采集权重是指不同待采集对象的比重。采集权重正相关于待采集对象的重要性。待采集对象的重要性可以预设（例如，指定某待采集对象重要性高，或手中持有推荐产品的
待采集对象重要性高），也可以基于连续时间点的采集特征根据预设规则确定（例如，发言人重要性高），更多相关内容可以参考图1对应的说明。如果待采集对象的重要性发生改变（例如，发言人发生变化），不同待采集对象的采集权重也随之变化。
74.在一些实施例中，处理器可以基于权重根据预设规则确定合适的候选更新方案，包括音频采样特征调整（包括音频放大、缩小、降噪）和视频采样特征调整（包括视频对焦、调整视角、改变采样率、调整分辨率）等。例如，候选更新方案可以为跟随发言人，视频自动调整对焦到采集权重最大的待采集对象上（对焦区域的视频清晰度最高）。
75.本说明书一些实施例，通过基于不同时间点的不同待采集对象的采集权重确定合适的候选更新方案，可以确保针对当前权重最大的待采集对象实施采集特征调整，从而提高音视频采集的准确性和质量。
76.步骤330，基于预估采集方案的预估采集效果，确定多组候选更新方案中每组候选更新方案的评估值。
77.预估采集方案为基于候选更新方案更新后的采集方案。
78.预估采集效果为使用预估采集方案后对采集效果的预估值。处理器可以通过多种方式获取预估采集效果。在一些实施例中，处理器可以基于预估采集方案，通过查表或者获取用户输入的方式获取预估采集效果。
79.评估值是指对候选更新方案的评估。评估值与预估采集效果正相关。
80.处理器可以通过多种方式确定评估值。在一些实施例中，处理器可以基于候选更新方案，通过查表或获取用户输入等方式获取评估值。
81.在一些实施例中，候选更新方案的评估值还相关于该候选更新方案对未来时刻预估的无线网络质量的抗干扰度。例如，候选更新方案的评估值可以正相关于无线网络质量的抗干扰度。在一些实施例中，处理器可以通过效果预测模型预测预估采集效果，基于预估采集效果确定评估值。
82.处理器可以通过多种方式获取未来时刻预估的无线网络质量。例如，通过采集无线网络的性能参数（例如，信号强度、实际速率等），并对采集到的所述性能参数进行数学分析，基于分析结果拟合出未来时刻的无线网络质量。
83.在一些实施例中，处理器可以通过当前及历史的无线网络质量，预测未来时刻的无线网络质量。
84.无线网络质量可以包括带宽、时延、抖动和丢包等。无线网络质量低时，会出现丢包掉帧、音视频卡顿、马赛克等现象。在一些实施例中，可以通过测试软件对无线网络质量进行评估。
85.在一些实施例中，用于平板电脑的音视频采集系统还包括无线网络质量判断模块。平板电脑采集音视频数据后，经无线网络将相关音视频数据传输给无线网络质量判断模块，进而判断无线网络质量。
86.在一些实施例中，无线网络质量判断模块可以通过采集模型和音视频评估模型，对无线网络质量判断模块获取的实时音视频采集数据进行分析，若分析结果跟传输前的输出结果差异在预设范围内，则判断无线网络质量较高，否则较低。其中，传输前的输出结果为基于未经无线网络传输至无线网络质量判断模块的原始采集的音视频数据，通过采集模型和音视频评估模型分析后输出的结果。关于采集模型及音视频评估模型的更多说明参见
图4及其相关描述。
87.在一些实施例中，无线网络质量低于质量阈值时，适当增大音频采集的采样频率（以保证音频不失真），以及适当降低视频采样分辨率等；此时候选更新方案的调整幅度跟无线网络质量等级相关（例如正相关，无线网络质量等级越低，候选更新方案的调整幅度越大）。
88.在一些实施例中，处理器可以基于当前及历史的无线网络质量，通过时间序列预测算法预测未来时刻的无线网络质量。时间序列算法可以是针对无线网络质量时间序列数据进行分析和预测的算法。无线网络质量时间序列数据是按时间顺序排序的一系列无线网络质量数据。
89.本说明书一些实施例，通过当前及历史的无线网络质量，预测未来时刻的无线网络质量，有利于后续针对无线网络质量作出采集特征上的调整，保证音视频采集的流畅性和清晰度。
90.无线网络质量的抗干扰度可以是音视频采集在较差的无线网络质量下仍能保障良好采样的能力。
91.处理器可以通过多种方式获取无线网络质量的抗干扰度。在一些实施例中，可以通过抗干扰度模型确定抗干扰度。抗干扰度模型可以是机器学习模型，例如，卷积神经网络模型、自定义模型或者其他任意可行的模型。
92.抗干扰度模型的输入可以包括当前的音视频采集方案、候选更新方案、待采集对象当前时刻（或多个时刻）的实时采集特征，输出可以为抗干扰度。
93.在一些实施例中，抗干扰度模型可以通过多个带有第三标签的第三训练样本训练得到。抗干扰度模型的训练内容可以参见声音判断层的训练过程。
94.在一些实施例中，第三训练样本可以包括为样本音视频采集方案、样本候选更新方案、样本待采集对象多个时刻的采集特征，第三标签可以包括样本抗干扰度。在一些实施例中，第三训练样本可以通过大数据分析获取，例如，可以通过多个音视频采集数据等中获取大量数据进行统计分析等处理后得到，第三标签可以通过人工标注获取。
95.效果预测模型可以基于上文获得的抗干扰度确定预估采集效果。在一些实施例中，效果预测模型可以是机器学习模型，例如神经网络模型等。
96.在一些实施例中，效果预测模型的输入可以包括当前的音视频采集方案、候选更新方案、待采集对象当前时刻（或多个时刻）的实时采集特征和抗干扰度，输出可以为预估采集效果。
97.在一些实施例中，效果预测模型可以通过多个带有第四标签的第四训练样本得到。其他训练内容与前文相同，此处不再赘述。
98.在一些实施例中，第四训练样本可以包括样本当前的音视频采集方案、样本更新方案、样本待采集对象多个时刻的采集特征和样本抗干扰度，标签可以为样本采集效果。在一些实施例中，第四训练样本可以通过大数据分析获取，例如，可以通过多个音视频采集数据等中获取大量数据进行统计分析等处理后得到，第四标签可以通过人工标注获取，例如，根据历史数据实际对应的采集效果（基于平板电脑采样并传输到远端后的图像清晰度、噪声程度、待采集对象是否清晰且是否合理位于画面中）等来标注。
99.本说明书一些实施例，通过效果预测模型对当前的音视频采集方案、候选更新方
案、待采集对象多个时刻的采集特征和抗干扰度进行处理从大量音视频采集数据中找到规律，获取到预估采集效果与候选更新方案之间的关联关系，提高确定预估采集效果的准确度和效率。
100.步骤340，基于评估值，确定优选更新方案。
101.优选更新方案是指在多个候选更新方案中效果较好的更新方案。
102.处理器可以通过多种方式确定优选更新方案。在一些实施例中，处理器可以将评估值最大的候选更新方案确定为优选更新方案，如果存在多个评估值最大的候选更新方案，则随机选择一个作为优选更新方案。
103.步骤340，基于优选更新方案，确定更新后的采集方案。
104.处理器可以通过多种方式确定更新后的采集方案。在一些实施例中，处理器可以基于当前的音视频采集方案，经过优选更新方案中的采集特征更新，确定更新后的采集方案。
105.本说明书一些实施例，通过响应于实时采集特征与标准采集特征的差异大于预设阈值，生成多组候选更新方案并筛选确定更新后的采集方案，避免因不合适的采集方案导致的采集质量下降，在实际采集前预估采集效果，可以节省采集时间和成本。
106.本说明书的实施例仅仅是为了示例和说明，而不限定本说明书的适用范围。对于本领域技术人员来说，在本说明书的指导下可以进行各种修正和改变仍在本说明书的范围之内。
107.图4是根据本说明书一些实施例所示的确定更新方法的示例性示意图。
108.在一些实施例中，处理器可以确定采集方案的质量评估分420以及变化趋势数据430；判断质量评估分420、变化趋势数据430是否满足第二预设条件450；响应于实时采集特征与标准特征数据库中的至少一个标准采集特征的差异410满足第一预设条件440，以及质量评估分420、变化趋势数据430满足第二预设条件450，基于差异410、质量评估分420以及变化趋势数据430确定更新方法460；其中，更新方法460用于更新采集方案。
109.变化趋势数据可以是质量评估分在最近一段时间内的数值变化情况。例如，质量评估分在最近一段时间内的增长或降低的速率及幅度。
110.关于实时采集特征与标准特征数据库中的至少一个标准采集特征的差异满足第一预设条件的相关说明可以参见图1对应的描述。
111.质量评估分420是指反映平板电脑在采集音视频中，随时间变化的采集质量情况的评分。质量评估分420可以包括视频评估分和音频评估分。例如，质量评估分420越高，音视频采集质量越好。待采集对象走远或转身、声音变小、环境噪音增加、环境光强变小等会导致质量评估分420降低。
112.第二预设条件450是指用于根据质量评估分及其变化趋势判断是否对采集方案更新的条件。在一些实施例中，第二预设条件450可以包括质量评估分降低及其变化趋势呈明显下降的趋势。例如，待采集对象转身时质量评估分420较低；但待采集对象转身后加大了说话声音，则继续评估后，质量评估分420可能会上升到正常水平；此时不必调整采集方案。又例如，获取连续多个时间点的质量评估分420，若质量评估分420没有上升到正常水平（比如持续下降或下降后保持不动），则确定音视频采集调整方案（比如适当增大音频放大功率）。
113.处理器可以通过多种方式确定质量评估分420。例如，质量评估分420可以通过获取用户输入获得。
114.在一些实施例中，处理器可以响应于采集特征改变，获取采集方案的至少一组时间点的质量评估分420；基于至少一组时间点的质量评估分420，确定质量评估分420的变化趋势数据。
115.时间点的数量分布是指在一定时间范围内，采样的时间点的分布情况。
116.在一些实施例中，至少一组时间点的数量分布可以为均匀分布。
117.在一些实施例中，至少一组时间点的数量分布，可以基于采集特征是否变化以及变化频率调整。例如，采集特征变化越频繁，时间点越多，分布越密集；不同类型的采集特征同时发生变化，各自对应的时间点也不同（例如，重要性越高的采集特征，其对应的时间点越多）。又例如，当采集特征不发生变化时，时间点的数量为0。
118.本说明书一些实施例，质量评估分420的采集时间点基于采集特征是否变化以及变化频率调整，有利于获得更能准确反映音视频采集质量的质量评估分420及其变化趋势数据430，便于更精确地调整采集方案。
119.在一些实施例中，处理器可以基于音视频评估模型，获取质量评估分420。
120.音视频评估模型为确定质量评估分420的模型。在一些实施例中，音视频评估模型可以是机器学习模型，例如神经网络模型等。
121.在一些实施例中，音视频评估模型的输入可以包括待采集对象的图像特征、光强变化数据和声音特征，输出可以为质量评估分420。关于图像特征、光强变化数据和声音特征的相关内容可以参见图2对应的说明。
122.在一些实施例中，音视频评估模型可以通过多个第五有标签的第五训练样本训练得到。音视频评估模型训练内容可以参见声音判断层的训练过程。
123.在一些实施例中，第五训练样本可以包括样本待采集对象的图像特征、样本光强变化数据、样本声音特征，第五标签可以为样本待采集对象的音视频数据是否出现质量问题（以0或1的形式表示），质量问题包括图像分辨率低、视频卡顿模糊、音频失真等反映音视频数据质量较低的问题。在一些实施例中，第五训练样本可以通过大数据分析获取，例如，可以通过多个音视频采集数据等中获取大量数据进行统计分析等处理后得到，第五标签可以通过人工标注获取。
124.在一些实施例中，采集模型的输出可以为音视频评估模型的输入，采集模型和音视频模型可以通过带有第六标签的第六训练样本联合训练得到。
125.在一些实施例中，第六训练样本包括样本图像或视频、样本声音采集数据和样本标准声音强度，第六标签为样本是否出现质量问题。将样本图像或视频、样本声音采集数据和样本标准声音强度输入采集模型，得到采集模型输出的待采集对象的图像特征、光强变化数据和声音特征；将待采集对象的图像特征、光强变化数据和声音特征作为训练样本数据输入音视频评估模型，得到音视频评估模型输出的是否出现质量问题。基于样本是否出现质量问题和音视频评估模型输出的是否出现质量问题构建损失函数，同步更新音视频评估模型和采集模型的参数。通过参数更新，得到训练好的音视频评估模型和采集模型。
126.通过上述训练方式获得音视频评估模型的参数，在一些情况下有利于解决单独训练音视频评估模型时难以获得训练样本的问题，还可以使音视频评估模型能较好地得到反
映音视频随时间变化的采集质量的质量评估分。
127.本说明书一些实施例通过音视频评估模型对待采集对象的特征进行处理，可以从大量音视频采集数据中找到规律，获取到质量评估分与音视频采集数据之间的关联关系，提高确定质量评估分的准确度和效率。
128.本说明书一些实施例，响应于采集特征改变，获取音视频采集方案的至少一组时间点的质量评估分420和对应的变化趋势数据430，对音视频采集的质量实时监测和分析，以便及时发现和纠正采集质量下降的问题，进一步提高音视频采集的效率和准确性。
129.更新方法460是指更新音视频采集方案的方法。
130.处理器可以通过多种方式确定更新方法460。在一些实施例中，处理器获取连续多个时间点的质量评估分，若质量评估分没有上升到预设最低阈值水平（例如持续下降或下降后保持不动），则确定更新方法。在一些实施例中，基于差异410、质量评估分420以及变化趋势数据430生成更新方法460的方式与生成候选更新方案的方式类似，如何生成候选更新方案可以参见图3相关内容。其中，更新方法中的调整幅度跟质量评估分420的数值大小有关（例如负相关，质量评估分越低，调整幅度越大）。
131.本说明书一些实施例，响应于实时采集特征与标准采集特征的差异410小于预设阈值，以及音视频采集方案的质量持续降低，处理器基于差异410、质量评估分420以及变化趋势数据430确定更新方法，避免因为单一指标评估不准确导致盲目更新采集方案导致的采集效果下降，可以更全面地了解采集效果，从而更好地优化采集方案，提高音视频采集的效率和准确性。
132.此外，本说明书的一个或多个实施例中的某些特征、结构或特点可以进行适当的组合。

技术特征：
1.一种用于平板电脑的智能音视频采集方法，由处理器执行，包括：响应于接收到采集指令时，执行下述操作：基于音视频监测数据，确定至少一个待采集对象，并获取所述待采集对象的预设采集特征；基于所述预设采集特征，确定采集方案；其中，所述采集方案包括音频采样特征和视频采样特征中的至少一种；确定实时采集特征；基于所述实时采集特征与标准采集特征之间的差异，确定更新后的采集方案；将所述更新后的采集方案发送至所述平板电脑，控制所述平板电脑进行音视频采集。2.根据权利要求1所述的方法，其特征在于，所述确定实时采集特征包括：获取所述待采集对象的图像采集数据、声音采集数据；基于所述图像采集数据、所述声音采集数据，通过采集模型确定所述实时采集特征；所述采集模型为机器学习模型。3.根据权利要求1所述的方法，其特征在于，所述基于所述实时采集特征与标准采集特征之间的差异，确定更新后的采集方案，包括：响应于所述实时采集特征与标准特征数据库中的至少一个标准采集特征的差异不满足第一预设条件，基于所述差异确定所述更新后的采集方案。4.根据权利要求1所述的方法，其特征在于，所述基于所述实时采集特征与标准采集特征之间的差异，确定更新后的采集方案，包括：响应于所述实时采集特征与标准特征数据库中的至少一个标准采集特征的差异满足第一预设条件；生成多组候选更新方案；其中，所述候选更新方案包括对所述采集方案中的所述音频采样特征、所述视频采样特征中的至少一个的调整；基于预估采集方案的预估采集效果，确定所述多组候选更新方案中每组候选更新方案的评估值；其中，所述预估采集方案为基于所述候选更新方案更新后的采集方案；基于所述评估值，确定优选更新方案；基于所述优选更新方案，确定所述更新后的采集方案。5.根据权利要求1所述的方法，其特征在于，所述方法还包括：确定所述采集方案的质量评估分以及变化趋势数据；判断所述质量评估分、所述变化趋势数据是否满足第二预设条件；响应于所述实时采集特征与标准特征数据库中的至少一个标准采集特征的差异满足第一预设条件，以及所述质量评估分、变化趋势数据满足所述第二预设条件，基于所述差异、所述质量评估分以及所述变化趋势数据确定更新方法；其中，所述更新方法用于更新所述采集方案。6.一种用于平板电脑的智能音视频采集系统，其特征在于，所述系统包括处理器，所述处理器用于：基于音视频监测数据，确定至少一个待采集对象，并获取所述待采集对象的预设采集特征；
基于所述预设采集特征，确定采集方案；其中，所述采集方案包括音频采样特征和视频采样特征中的至少一种；确定实时采集特征；基于所述实时采集特征与标准采集特征之间的差异，确定更新后的采集方案；将所述更新后的采集方案发送至所述平板电脑，控制所述平板电脑进行音视频采集。7.根据权利要求6所述的系统，其特征在于，所述处理器还用于：获取所述待采集对象的图像采集数据、声音采集数据；基于所述图像采集数据、所述声音采集数据，通过采集模型确定所述实时采集特征；所述采集模型为机器学习模型。8.根据权利要求6所述的系统，其特征在于，所述处理器还用于：响应于所述实时采集特征与标准特征数据库中的至少一个标准采集特征的差异不满足第一预设条件，基于所述差异确定所述更新后的采集方案。9.根据权利要求6所述的系统，其特征在于，所述处理器还用于：响应于所述实时采集特征与标准特征数据库中的至少一个标准采集特征的差异满足第一预设条件；生成多组候选更新方案；其中，所述候选更新方案包括对所述采集方案中的所述音频采样特征、所述视频采样特征中的至少一个的调整；基于预估采集方案的预估采集效果，确定所述多组候选更新方案中每组候选更新方案的评估值；其中，所述预估采集方案为基于所述候选更新方案更新后的采集方案；基于所述评估值，确定优选更新方案；基于所述优选更新方案，确定所述更新后的采集方案。10.根据权利要求6所述的系统，其特征在于，所述处理器还用于：确定所述采集方案的质量评估分以及变化趋势数据；判断所述质量评估分、所述变化趋势数据是否满足第二预设条件；响应于所述实时采集特征与标准特征数据库中的至少一个标准采集特征的差异满足第一预设条件，以及所述质量评估分、变化趋势数据满足所述第二预设条件，基于所述差异、所述质量评估分以及所述变化趋势数据确定更新方法；其中，所述更新方法用于更新所述采集方案。

技术总结
本说明书实施例提供一种用于平板电脑的智能音视频采集方法，所述方法包括基于音视频监测数据，确定至少一个待采集对象，并获取待采集对象的预设采集特征；基于预设采集特征，确定采集方案；其中，采集方案包括音频采样特征和视频采样特征中的至少一种；确定实时采集特征；基于实时采集特征与标准采集特征之间的差异，确定更新后的采集方案；将更新后的采集方案发送至平板电脑，控制平板电脑进行音视频采集。采集。采集。


技术研发人员：安朝霞 曾海利 万华付 罗宵 尹雪松 黄志旭 刘新文
受保护的技术使用者：深圳市华卓智能科技有限公司
技术研发日：2023.06.08
技术公布日：2023/7/12