波束形成方法、装置、设备及计算机可读存储介质与流程

1.本发明涉及音频处理技术领域，尤其涉及一种波束形成方法、装置、设备及计算机可读存储介质。


背景技术：

2.随着声音信号处理技术发展，单通道语音处理技术以及传统滤波降噪法已经不能满足当前语音增强、语音降噪的要求。麦克风阵列技术因其在复杂声学环境中适应能力强，对声源以及拾音相关器件限制少、对阵列指向性控制强、空间层面的滤波效果强以及时空域转换灵活，被广泛研究运用于声音信号处理中。
3.基于麦克风阵列的自适应波束形成算法被广泛应用于语音通话增强等领域，噪声协方差矩阵是自适应波束形成过程中的重要参数，由于实际的声学场景中可能产生声波反射以及混响等现象，导致自适应波束形成过程中无法准确地估计出噪声协方差矩阵，从而影响自适应波束形成的处理效果。


技术实现要素：

4.本发明的主要目的在于提供一种波束形成方法、装置、设备及计算机可读存储介质，旨在提高复杂声音环境中噪声协方差矩阵的准确度，提高自适应波束形成的处理效果。
5.为实现上述目的，本发明提供一种波束形成方法，所述波束形成方法包括以下步骤：
6.对目标帧声音信号的前一帧声音信号进行无迹卡尔曼滤波得到所述目标帧声音信号对应的状态噪声协方差矩阵；
7.将所述状态噪声协方差矩阵确定为对所述目标帧声音信号进行波束形成时所述目标帧声音信号对应的目标噪声协方差矩阵；
8.根据所述目标噪声协方差矩阵计算波束形成的目标权重矩阵，并按照所述目标权重矩阵对所述目标帧声音信号进行波束形成得到输出波束。
9.可选地，所述对目标帧声音信号的前一帧声音信号进行无迹卡尔曼滤波得到所述目标帧声音信号对应的状态噪声协方差矩阵的步骤包括：
10.按照无迹变换采样原则对目标帧声音信号的前一帧声音信号进行采样得到多个采样点；
11.对各个所述采样点进行迭代更新得到预测点，并确定各个所述预测点各自对应的预测点权重，其中，所述预测点权重包括预测点均值权重和预测点协方差权重；
12.根据各个所述预测点和各个所述预测点各自对应的预测点权重，计算所述目标帧声音信号对应的预测状态均值和预测协方差矩阵；
13.根据所述预测状态均值和所述预测协方差矩阵，计算得到所述目标帧声音信号对应的误差协方差矩阵和观测协方差矩阵；
14.通过所述误差协方差矩阵和所述观测协方差矩阵对所述预测协方差矩阵进行校
正，得到所述目标帧声音信号对应的状态噪声协方差矩阵。
15.可选地，所述根据所述误差协方差矩阵和所述观测协方差矩阵对所述预测协方差矩阵进行校正，得到所述目标帧声音信号对应的状态噪声协方差矩阵的步骤包括：
16.通过各个所述预测点各自对应的预测点均值权重对各个所述预测点进行加权求和，得到所述目标帧声音信号对应的预测状态均值；
17.根据所述预测状态均值、各个所述预测点和各个所述预测点各自对应的预测点协方差权重，计算得到所述目标帧声音信号对应的预测协方差矩阵。
18.可选地，所述根据所述预测状态均值、各个所述预测点和各个所述预测点各自对应的预测点协方差权重，计算得到所述目标帧声音信号对应的预测协方差矩阵的步骤包括：
19.分别通过各个所述预测点减去所述预测状态均值，得到各个差值组成差值矩阵，计算所述差值矩阵和所述差值矩阵的转置矩阵的乘积得到乘积矩阵；
20.通过各个所述预测点各自对应的预测点协方差权重组成的协方差权重矩阵，对所述乘积矩阵进行加权得到中间协方差矩阵；
21.计算所述前一帧声音信号中的高斯白噪声对应的高斯白噪声协方差矩阵；
22.计算所述中间协方差矩阵与所述高斯白噪声协方差矩阵的和，得到所述目标声音信号对应的预测协方差矩阵。
23.可选地，所述根据所述误差协方差矩阵和所述观测协方差矩阵对所述预测协方差矩阵进行校正，得到所述目标帧声音信号对应的状态噪声协方差矩阵的步骤包括：
24.对所述预测状态均值和所述预测协方差矩阵进行无迹变换得到多个变换点，通过无迹卡尔曼滤波中观测方程对各个所述变换点进行非线性变换得到多个观测点，并确定各个所述观测点各自对应的观测点权重，其中，所述观测点权重包括观测点均值权重和观测点协方差权重；
25.使用各个所述观测点各自对应的观测点均值权重对各个所述观测点进行加权求和，得到所述目标帧声音信号对应的观测状态均值；
26.根据所述观测状态均值、各个所述观测点、各个所述预测点、所述预测状态均值和各个所述观测点各自对应的观测点协方差权重，计算得到所述目标帧声音信号对应的误差协方差矩阵；
27.根据所述观测状态均值、各个所述观测点和各个所述观测点各自对应的观测点协方差权重，计算得到所述目标帧声音信号对应的观测协方差矩阵。
28.可选地，所述通过所述误差协方差矩阵和所述观测协方差矩阵对所述预测协方差矩阵进行校正，得到所述目标帧声音信号对应的状态噪声协方差矩阵的步骤包括：
29.根据所述误差协方差矩阵和所述观测协方差矩阵计算所述目标帧声音信号对应的滤波增益矩阵；
30.计算所述观测协方差矩阵、所述滤波增益矩阵和所述滤波增益矩阵的转置矩阵的乘积得到校正参考矩阵；
31.通过所述预测协方差矩阵减去所述校正参考矩阵对所述预测协方差矩阵进行校正，得到所述目标帧声音信号对应的状态噪声协方差矩阵。
32.可选地，所述根据所述目标噪声协方差矩阵计算波束形成的目标权重矩阵的步骤
包括：
33.根据波束形成的约束条件，通过波束形成的代价函数计算得到以噪声协防差矩阵为自变量的权重计算式，其中，所述约束条件为波束形成后噪声协方差矩阵最小，并且声音信号无失真；
34.将所述目标噪声协方差矩阵作为所述权重计算式的自变量，计算得到波束形成的目标权重矩阵。
35.为实现上述目的，本发明还提供一种波束形成装置，所述波束形成装置包括：
36.滤波模块，用于对目标帧声音信号的前一帧声音信号进行无迹卡尔曼滤波得到所述目标帧声音信号对应的状态噪声协方差矩阵；
37.确定模块，用于将所述状态噪声协方差矩阵确定为对所述目标帧声音信号进行波束形成时所述目标帧声音信号对应的目标噪声协方差矩阵；
38.波束形成模块，用于根据所述目标噪声协方差矩阵计算波束形成的目标权重矩阵，并按照所述目标权重矩阵对所述目标帧声音信号进行波束形成得到输出波束。
39.为实现上述目的，本发明还提供一种波束形成设备，所述波束形成设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的波束形成程序，所述波束形成程序被所述处理器执行时实现如上所述的波束形成方法的步骤。
40.此外，为实现上述目的，本发明还提出一种计算机可读存储介质，所述计算机可读存储介质上存储有波束形成程序，所述波束形成程序被处理器执行时实现如上所述的波束形成方法的步骤。
41.本发明中，对目标帧声音信号的前一帧声音信号进行无迹卡尔曼滤波得到所述目标帧声音信号对应的状态噪声协方差矩阵；将状态噪声协方差矩阵确定为对目标帧声音信号进行波束形成时目标帧声音信号对应的目标噪声协方差矩阵；根据目标噪声协方差矩阵计算波束形成的目标权重矩阵，并按照目标权重矩阵对目标帧声音信号进行波束形成得到输出波束。
42.目前自适应波束形成算法通常是基于噪声信号彼此不相关的假设计算噪声协方差矩阵，然而在复杂的声音环境中，由于声波反射以及混响等现象，导致噪声信号的相关性较高，从而使得在复杂的声学环境下自适应波束形成算法很难准确估计出噪声协方差矩阵。
43.无迹卡尔曼滤波是根据上一时刻的信号状态估计当前时刻的信号状态，并通过对当前时刻的信号状态进行观测，以对估计的信号状态进行更新得到准确的当前时刻的信号状态，无迹卡尔曼滤波在对信号状态进行估计的同时也会对干扰信号进行估计和更新以得到当前时刻真实的干扰信号的协方差矩阵。本发明中，将噪声信号作为声音信号中的干扰信号，通过无迹卡尔曼滤波对声音信号进行处理得到声音信号中的噪声信号的协方差矩阵，可以避免在计算噪声协方差矩阵时讨论噪声信号之间的相关性，使得在复杂声音环境中可以稳定、准确地计算得到噪声协方差矩阵，从而提高复杂声音环境中噪声协方差矩阵的准确度，提升波束形成的效果。
附图说明
44.图1为本发明实施例方案涉及的硬件运行环境的结构示意图；
45.图2为本发明波束形成方法第一实施例的流程示意图；
46.图3为本发明一实施方式涉及的波束形成前和波束形成后的效果对比图；
47.图4为本发明波束形成装置较佳实施例的功能模块示意图。
48.本发明目的的实现、功能特点及优点将结合实施例，参照附图做进一步说明。
具体实施方式
49.应当理解，此处所描述的具体实施例仅仅用以解释本发明，并不用于限定本发明。
50.如图1所示，图1是本发明实施例方案涉及的硬件运行环境的设备结构示意图。
51.需要说明的是，本发明实施例波束形成设备，所述波束形成设备可以是设置有麦克风阵列的设备，例如耳机、音响等设备，也可以是与设置有麦克风阵列的设备建立通信连接的设备，例如智能手机、个人计算机、服务器等设备，在此不做具体限制。
52.如图1所示，该波束形成设备可以包括：处理器1001，例如cpu，网络接口1004，用户接口1003，存储器1005，通信总线1002。其中，通信总线1002用于实现这些组件之间的连接通信。用户接口1003可以包括显示屏(display)、输入单元比如键盘(keyboard)，可选用户接口1003还可以包括标准的有线接口、无线接口。网络接口1004可选的可以包括标准的有线接口、无线接口(如wi-fi接口)。存储器1005可以是高速ram存储器，也可以是稳定的存储器(non-volatile memory)，例如磁盘存储器。存储器1005可选的还可以是独立于前述处理器1001的存储装置。
53.本领域技术人员可以理解，图1中示出的设备结构并不构成对波束形成设备的限定，可以包括比图示更多或更少的部件，或者组合某些部件，或者不同的部件布置。
54.如图1所示，作为一种计算机存储介质的存储器1005中可以包括操作系统、网络通信模块、用户接口模块以及波束形成程序。操作系统是管理和控制设备硬件和软件资源的程序，支持波束形成程序以及其它软件或程序的运行。在图1所示的设备中，用户接口1003主要用于与客户端进行数据通信；网络接口1004主要用于与服务器建立通信连接；而处理器1001可以用于调用存储器1005中存储的波束形成程序，并执行以下操作：
55.对目标帧声音信号的前一帧声音信号进行无迹卡尔曼滤波得到所述目标帧声音信号对应的状态噪声协方差矩阵；
56.将所述状态噪声协方差矩阵确定为对所述目标帧声音信号进行波束形成时所述目标帧声音信号对应的目标噪声协方差矩阵；
57.根据所述目标噪声协方差矩阵计算波束形成的目标权重矩阵，并按照所述目标权重矩阵对所述目标帧声音信号进行波束形成得到输出波束。
58.进一步地，所述对目标帧声音信号的前一帧声音信号进行无迹卡尔曼滤波得到所述目标帧声音信号对应的状态噪声协方差矩阵的操作包括：
59.按照无迹变换采样原则对目标帧声音信号的前一帧声音信号进行采样得到多个采样点；
60.对各个所述采样点进行迭代更新得到预测点，并确定各个所述预测点各自对应的预测点权重，其中，所述预测点权重包括预测点均值权重和预测点协方差权重；
61.根据各个所述预测点和各个所述预测点各自对应的预测点权重，计算所述目标帧声音信号对应的预测状态均值和预测协方差矩阵；
62.根据所述预测状态均值和所述预测协方差矩阵，计算得到所述目标帧声音信号对应的误差协方差矩阵和观测协方差矩阵；
63.通过所述误差协方差矩阵和所述观测协方差矩阵对所述预测协方差矩阵进行校正，得到所述目标帧声音信号对应的状态噪声协方差矩阵。
64.进一步地，所述根据所述误差协方差矩阵和所述观测协方差矩阵对所述预测协方差矩阵进行校正，得到所述目标帧声音信号对应的状态噪声协方差矩阵的操作包括：
65.通过各个所述预测点各自对应的预测点均值权重对各个所述预测点进行加权求和，得到所述目标帧声音信号对应的预测状态均值；
66.根据所述预测状态均值、各个所述预测点和各个所述预测点各自对应的预测点协方差权重，计算得到所述目标帧声音信号对应的预测协方差矩阵。
67.进一步地，所述根据所述预测状态均值、各个所述预测点和各个所述预测点各自对应的预测点协方差权重，计算得到所述目标帧声音信号对应的预测协方差矩阵的操作包括：
68.分别通过各个所述预测点减去所述预测状态均值，得到各个差值组成差值矩阵，计算所述差值矩阵和所述差值矩阵的转置矩阵的乘积得到乘积矩阵；
69.通过各个所述预测点各自对应的预测点协方差权重组成的协方差权重矩阵，对所述乘积矩阵进行加权得到中间协方差矩阵；
70.计算所述前一帧声音信号中的高斯白噪声对应的高斯白噪声协方差矩阵；
71.计算所述中间协方差矩阵与所述高斯白噪声协方差矩阵的和，得到所述目标声音信号对应的预测协方差矩阵。
72.进一步地，所述根据所述误差协方差矩阵和所述观测协方差矩阵对所述预测协方差矩阵进行校正，得到所述目标帧声音信号对应的状态噪声协方差矩阵的操作包括：
73.对所述预测状态均值和所述预测协方差矩阵进行无迹变换得到多个变换点，通过无迹卡尔曼滤波中观测方程对各个所述变换点进行非线性变换得到多个观测点，并确定各个所述观测点各自对应的观测点权重，其中，所述观测点权重包括观测点均值权重和观测点协方差权重；
74.使用各个所述观测点各自对应的观测点均值权重对各个所述观测点进行加权求和，得到所述目标帧声音信号对应的观测状态均值；
75.根据所述观测状态均值、各个所述观测点、各个所述预测点、所述预测状态均值和各个所述观测点各自对应的观测点协方差权重，计算得到所述目标帧声音信号对应的误差协方差矩阵；
76.根据所述观测状态均值、各个所述观测点和各个所述观测点各自对应的观测点协方差权重，计算得到所述目标帧声音信号对应的观测协方差矩阵。
77.进一步地，所述通过所述误差协方差矩阵和所述观测协方差矩阵对所述预测协方差矩阵进行校正，得到所述目标帧声音信号对应的状态噪声协方差矩阵的操作包括：
78.根据所述误差协方差矩阵和所述观测协方差矩阵计算所述目标帧声音信号对应的滤波增益矩阵；
79.计算所述观测协方差矩阵、所述滤波增益矩阵和所述滤波增益矩阵的转置矩阵的乘积得到校正参考矩阵；
80.通过所述预测协方差矩阵减去所述校正参考矩阵对所述预测协方差矩阵进行校正，得到所述目标帧声音信号对应的状态噪声协方差矩阵。
81.进一步地，所述根据所述目标噪声协方差矩阵计算波束形成的目标权重矩阵的操作包括：
82.根据波束形成的约束条件，通过波束形成的代价函数计算得到以噪声协防差矩阵为自变量的权重计算式，其中，所述约束条件为波束形成后噪声协方差矩阵最小，并且声音信号无失真；
83.将所述目标噪声协方差矩作为所述权重计算式的自变量，计算得到波束形成的目标权重矩阵。
84.基于上述的结构，提出波束形成方法的各个实施例。
85.参照图2，图2为本发明波束形成方法第一实施例的流程示意图。
86.本发明实施例提供了波束形成方法的实施例，需要说明的是，虽然在流程图中示出了逻辑顺序，但是在某些情况下，可以以不同于此处的顺序执行所示出或描述的步骤。在本实施例中，波束形成方法的执行主体可以是耳机、个人电脑、智能手机等设备，在本实施例中并不做限制，以下为便于描述，省略执行主体进行各实施例的阐述。在本实施例中，所述波束形成方法包括：
87.步骤s10，对目标帧声音信号的前一帧声音信号进行无迹卡尔曼滤波得到所述目标帧声音信号对应的状态噪声协方差矩阵；
88.本实施例中，将需要进行波束形成的声音信号称为目标帧声音信号，将在目标帧声音信号之前一帧的声音信号称为前一帧声音信号。
89.具体地，对目标帧声音信号的前一帧声音信号进行无迹卡尔曼滤波得到目标帧声音信号对应的后验状态估计协方差矩阵，也即，状态噪声协方差矩阵。无迹卡尔曼滤波基于前一帧声音信号估计目标帧声音信号的先验状态估计协方差矩阵；对目标帧声音信号进行观测得到观测状态估计协方差矩阵；通过观测状态估计协方差矩阵对先验状态估计协方差矩阵进行校正，得到目标帧声音信号对应的准确的后验状态估计协方差矩阵，也即，状态噪声协方差矩阵。
90.进一步地，在一可行实施方式中，当初次使用无迹卡尔曼滤波器时，可以对状态噪声协方差矩阵进行初始化，也即：
[0091][0092]
其中，x0为初始的采样点，为初始的状态均值。
[0093]
步骤s20，将所述状态噪声协方差矩阵确定为对所述目标帧声音信号进行波束形成时所述目标帧声音信号对应的目标噪声协方差矩阵；
[0094]
本实施例中，将状态噪声协方差矩阵确定为对目标帧声音信号进行波束形成时，目标帧声音信号对应的噪声协方差矩阵(以下称为目标噪声协方差矩阵以示区分)，以根据目标噪声协方差矩阵对目标帧声音信号进行波束形成。
[0095]
步骤s30，根据所述目标噪声协方差矩阵计算波束形成的目标权重矩阵，并按照所述目标权重矩阵对所述目标帧声音信号进行波束形成得到输出波束。
[0096]
本实施例中，根据目标噪声协方差矩阵计算波束形成的权重矩阵(以下称为目标
权重矩阵以示区分)，按照目标权重矩阵对目标帧声音信号进行波束形成得到输出波束。具体地，目标权重矩阵中的各个权重分别对应分麦克风阵列中的各个麦克风阵元，通过权重矩阵对各个麦克风阵元在目标时刻各自采集的声音信号进行加权求和，得到输出波束。
[0097]
具体地，在一可行实施方式中，可以预先设置计算权重的以协方差矩阵作为自变量的公式，将目标噪声协方差矩阵作为公式中的自变量计算得到目标权重矩阵；在另一可行实施方式中，也可以是根据波束形成的约束条件，使用目标噪声协方差矩阵计算目标权重矩阵，在此不做限制。
[0098]
进一步地，在一可行的实施方式中，所述步骤s30包括：
[0099]
步骤s301，根据波束形成的约束条件，通过波束形成的代价函数计算得到以噪声协防差矩阵为自变量的权重计算式，其中，所述约束条件为波束形成后噪声协方差矩阵最小，并且声音信号无失真；
[0100]
本实施方式中，根据波束形成的约束条件，使用目标噪声协方差矩阵计算波束形成的目标权重矩阵。
[0101]
具体地，约束条件为波束形成后噪声协方差矩阵最小，并且声音信号无失真。其中，噪声协方差矩阵最小的约束条件表示为：
[0102][0103]
ωh表示权重矩阵的转置共轭矩阵，ω表示权重矩阵，rn表示噪声协方差矩阵。
[0104]
具体地，本实施方式中，对波束形成的代价函数进行求导，令导数等于0得到噪声协方差矩阵最小时权重矩阵的表达式。具体地，波束形成的代价函数：
[0105][0106]
噪声协方差矩阵最小时权重矩阵的表达式为：
[0107][0108]
将权重矩阵的表达式代入声音信号无失真的约束条件可以得到：
[0109][0110]
联立上述公式(1)和(2)得到以噪声协防差矩阵为自变量的权重矩阵的计算公式(以下称为权重计算式以示区分)：
[0111][0112]
步骤s302，将所述目标噪声协方差矩作为自变量输入所述权重计算式，得到波束形成的目标权重矩阵。
[0113]
将目标噪声协方差矩作为自变量输入权重计算式，得到波束形成的目标权重矩阵。
[0114]
本实施例中，对目标帧声音信号的前一帧声音信号进行无迹卡尔曼滤波得到目标帧声音信号对应的状态噪声协方差矩阵；将状态噪声协方差矩阵确定为对目标帧声音信号进行波束形成时目标帧声音信号对应的目标噪声协方差矩阵；根据目标噪声协方差矩阵计算波束形成的目标权重矩阵，并按照目标权重矩阵对目标帧声音信号进行波束形成得到输
出波束。
[0115]
本实施例中，将噪声信号作为声音信号中的干扰信号，通过无迹卡尔曼滤波对声音信号进行处理得到声音信号中的噪声信号的协方差矩阵，可以避免在计算噪声协方差矩阵时讨论噪声信号之间的相关性，使得在复杂声音环境中可以稳定、准确地计算得到噪声协方差矩阵，从而提高复杂声音环境中噪声协方差矩阵的准确度，提升波束形成的效果。
[0116]
示例性地，在一可行实施方式中，参照图3，图3为本发明一实施方式涉及的波束形成的效果对比图，其中，图3(1)为波束形成前的输入声音信号，图3(2)为本发明一实施方式涉及的波束形成后的输出声音信号，对比图3(1)和图3(2)的信号可以看出，相对于波束形成前的输入声音信号，本实施方式的波束形成后的输出声音信号噪声减小，信噪比明显升高。
[0117]
进一步地，基于上述第一实施例，提出本发明第二实施例，本实施例中，步骤s10包括：
[0118]
步骤s101，按照无迹变换采样原则对目标帧声音信号的前一帧声音信号进行采样得到多个采样点；
[0119]
本实施例中，通过无迹卡尔曼滤波得到目标帧声音信号对应的状态噪声协方差矩阵。
[0120]
具体地，按照无迹变换采样原则对前一时刻采集的前一帧声音信号进行采样得到多个采样点。在具体实施方式中，采样策略遵循无迹变换的采样策略，具体可以是比例采样或者比例间隔采样，在此不做限制。
[0121]
步骤s102，对各个所述采样点进行迭代更新得到预测点，并确定各个所述预测点各自对应的预测点权重，其中，所述预测点权重包括预测点均值权重和预测点协方差权重；
[0122]
本实施例中，通过无迹卡尔曼滤波的状态方程，对各个采样点进行迭代更新，得到新的样本点(以下称为预测点以示区分)。
[0123]
具体地，迭代公式可以为：
[0124][0125]
其中，表示预测点，表示采样点，q表示噪声状态的非零均值。
[0126]
本实施例中，确定各个预测点各自对应的权重，以下称为预测点权重，其中，预测点权重包括用于计算状态均值的预测点均值权重和用于计算估计协方差矩阵的预测点协方差权重。具体地，预测点均值权重和预测点协方差权重的计算方式可以相同，具体可以是：
[0127][0128]
其中，w
i(m)
为预测点均值权重，w
i(c)
为预测点协方差权重，n表示预测点的序号。
[0129]
步骤s103，根据各个所述预测点和各个所述预测点各自对应的预测点权重，计算所述目标帧声音信号对应的预测状态均值和预测协方差矩阵；
[0130]
根据各个预测点和各个预测点各自对应的预测点权重，计算目标帧声音信号对应的先验状态均值，也即预测状态均值和先验协方差矩阵，也即预测协方差矩阵。
[0131]
步骤s104，根据所述预测状态均值和所述预测协方差矩阵，计算得到所述目标帧
声音信号对应的误差协方差矩阵和观测协方差矩阵；
[0132]
根据预测状态均值和预测协方差矩阵进行无迹变换，得到目标帧声音信号对应的，用于校正预测协方差矩阵的误差协方差矩阵和观测协方差矩阵。
[0133]
步骤s105，通过所述误差协方差矩阵和所述观测协方差矩阵对所述预测协方差矩阵进行校正，得到所述目标帧声音信号对应的状态噪声协方差矩阵；
[0134]
本实施例中，根据误差协方差矩阵和观测协方差矩阵对预测协方差矩阵进行校正，得到目标帧声音信号对应的状态噪声协方差矩阵。具体校正过程可以是：根据误差协方差矩阵和观测协方差矩阵计算目标帧声音信号对应的滤波增益矩阵；通过滤波增益矩阵和观测协方差矩阵对预测协方差矩阵进行校正，得到目标帧声音信号对应的状态噪声协方差矩阵。
[0135]
进一步地，在一可行实施方式中，所述步骤s103包括：
[0136]
步骤s1031，通过各个所述预测点各自对应的预测点均值权重对各个所述预测点进行加权求和，得到所述目标帧声音信号对应的预测状态均值；
[0137]
本实施方式中，计算预测状态均值和预测协方差矩阵。具体地，使用各个预测点各自对应的预测点均值权重对各个预测点进行加权求和，得到目标帧声音信号对应的预测状态均值。计算公式可以是：
[0138][0139]
其中，w
i(m)
为预测点均值权重，为预测点。
[0140]
步骤s1032，根据所述预测状态均值、各个所述预测点和各个所述预测点各自对应的预测点协方差权重，计算得到所述目标帧声音信号对应的预测协方差矩阵。
[0141]
根据预测状态均值、各个预测点和各个预测点各自对应的预测点协方差权重，计算得到目标帧声音信号对应的预测协方差矩阵。在具体实施方式中，计算预测协方差矩阵时还可以考虑高斯白噪声。
[0142]
进一步地，在一可行实施方式中，所述步骤s1032包括：
[0143]
步骤s10321，分别通过各个所述预测点减去所述预测状态均值，得到各个差值组成差值矩阵，计算所述差值矩阵和所述差值矩阵的转置矩阵的乘积得到乘积矩阵，并通过各个所述预测点各自对应的预测点协方差权重组成的协方差权重矩阵，对所述乘积矩阵进行加权得到中间协方差矩阵；
[0144]
本实施方式中，在计算预测协方差矩阵时考虑高斯白噪声。对于各个预测点中的任一目标点，分别通过各个预测点减去预测状态均值，得到各个差值组成差值矩阵，计算差值矩阵和差值矩阵的转置矩阵的乘积得到乘积矩阵，并通过各个预测点各自对应的预测点协方差权重组成的协方差权重矩阵，对乘积矩阵进行加权得到中间协方差矩阵，具体计算公式可以是：
[0145][0146]
其中，为预测点，为预测状态均值，w
i(c)
为预测点协方差权重。
[0147]
步骤s10323，计算所述前一帧声音信号中的高斯白噪声对应的高斯白噪声协方差矩阵；
[0148]
计算前一帧声音信号中的高斯白噪声对应的高斯白噪声协方差矩阵。
[0149]
步骤s10323，计算所述中间协方差矩阵与所述高斯白噪声协方差矩阵的和，得到所述目标声音信号对应的预测协方差矩阵。
[0150]
计算中间协方差矩阵与高斯白噪声协方差矩阵的和，得到目标帧声音信号对应的预测协方差矩阵。具体计算公式为：
[0151]
p
k|k-1
＝p
′
k|k-1
+qk[0152]
其中，qk表示高斯白噪声协方差矩阵。
[0153]
进一步地，在一可行实施方式中，所述步骤s104包括：
[0154]
步骤s1041，对所述预测状态均值和所述预测协方差矩阵进行无迹变换得到多个变换点，通过无迹卡尔曼滤波中观测方程对各个所述变换点进行非线性变换得到多个观测点，并确定各个所述观测点各自对应的观测点权重，其中，所述观测点权重包括观测点均值权重和观测点协方差权重；；
[0155]
本实施方式中，对预测状态均值和预测协方差矩阵进行无迹变换得到多个非线性变换后的样本点(以下称为变换点以示区分)，通过无迹卡尔曼滤波中观测方程对各个变换点进行非线性变换得到多个观测点，并确定各个观测点各自对应的观测点权重，其中，观测点权重包括观测点均值权重和观测点协方差权重。
[0156]
具体地，在一可行实施方式中，对预测状态均值和预测协方差矩阵进行无迹变换得到多个变换点的具体计算公式可以是：
[0157]
其中，为预测状态均值，也即第0个观测点为预测状态均值；
[0158]
其中，i＝1，2，3，4，...，n，也即上述公式用于计算前n个预测点。
[0159]
其中，i＝n+1，n+2，n+3，n+4，...，2n，也即上述公式用于计算第n+1到2n个预测点。
[0160]
通过无迹卡尔曼滤波中观测方程对各个变换点进行非线性变换得到多个观测点的具体计算公式可以是：
[0161][0162]
其中，vk表示高斯观测噪声。
[0163]
步骤s1042，使用各个所述观测点各自对应的观测点均值权重对各个所述观测点进行加权求和，得到所述目标帧声音信号对应的观测状态均值；
[0164]
使用各个观测点各自对应的观测点均值权重对各个观测点进行加权求和，得到目标帧声音信号对应的观测状态均值，具体计算公式可以是：
[0165][0166]
其中，为观测点，w
i(m)
为观测点均值权重。
[0167]
步骤s1043，根据所述观测状态均值、各个所述观测点、各个所述预测点、所述预测状态均值和各个所述观测点各自对应的观测点协方差权重，计算得到所述目标帧声音信号对应的误差协方差矩阵；
[0168]
根据观测状态均值、各个观测点、各个预测点、预测状态均值和各个观测点各自对应的观测点协方差权重，计算得到目标帧声音信号对应的误差协方差矩阵，具体计算公式可以是：
[0169][0170]
其中，为观测点协方差权重。
[0171]
步骤s1044，根根据所述观测状态均值、各个所述观测点和各个所述观测点各自对应的观测点协方差权重，计算得到所述目标帧声音信号对应的观测协方差矩阵。
[0172]
根据观测状态均值、各个观测点和各个观测点各自对应的观测点协方差权重，计算得到目标帧声音信号对应的观测协方差矩阵。本实施方式中，在计算观测协方差矩阵时，可以考虑高斯白噪声也可以不考虑高斯白噪声。
[0173]
在一可行实施方式中，考虑高斯白噪声进行计算，以提高状态噪声协方差矩阵的准确度，具体计算过程可以是：先计算中间观测矩阵，计算中间观测矩阵和高斯白噪声观测协方差矩阵的和得到观测协方差矩阵。其中，中间观测矩阵的计算公式为：
[0174][0175]
观测协方差矩阵的计算公式为：
[0176]
p
zz，k
＝p
′
zz，k
+rk[0177]
其中，rk为高斯白噪声观测协方差矩阵。
[0178]
进一步地，在一可行实施方式中，所述步骤s106包括：
[0179]
步骤s1051，根据所述误差协方差矩阵和所述观测协方差矩阵计算所述目标帧声音信号对应的滤波增益矩阵；
[0180]
本实施方式中，根据误差协方差矩阵和观测协方差矩阵计算目标帧声音信号对应的滤波增益矩阵。
[0181]
具体地，滤波增益矩阵的计算公式可以是：
[0182]kk
＝p
xz，k
/p
zz，k
[0183]
其中，p
xz，k
为误差协方差矩阵，p
zz，k
为观测协方差矩阵。
[0184]
步骤s1052，计算所述观测协方差矩阵、所述滤波增益矩阵和所述滤波增益矩阵的转置矩阵的乘积得到校正参考矩阵；
[0185]
本实施方式中，计算观测协方差矩阵、滤波增益矩阵和滤波增益矩阵的转置矩阵的乘积，得到校正参考矩阵。
[0186]
步骤s1053，通过所述预测协方差矩阵减去所述校正参考矩阵对所述预测协方差矩阵进行校正，得到所述目标帧声音信号对应的状态噪声协方差矩阵。
[0187]
通过预测协方差矩阵减去校正参考矩阵对预测协方差矩阵进行校正，得到目标帧声音信号对应的状态噪声协方差矩阵。具体计算公式可以是：
[0188][0189]
其中，为校正参考矩阵。
[0190]
本实施例中，按照无迹变换采样原则对目标帧声音信号的前一帧声音信号进行采样得到多个采样点；对各个采样点进行迭代更新得到预测点，并确定各个预测点各自对应的预测点权重，其中，预测点权重包括预测点均值权重和预测点协方差权重；根据各个预测点和各个预测点各自对应的预测点权重，计算目标帧声音信号对应的预测状态均值和预测协方差矩阵；根据预测状态均值和预测协方差矩阵，计算得到目标帧声音信号对应的误差协方差矩阵和观测协方差矩阵；通过误差协方差矩阵和观测协方差矩阵对预测协方差矩阵进行校正，得到目标帧声音信号对应的状态噪声协方差矩阵。本实施例控制噪声协方差矩阵的误差，从而提高噪声协方差矩阵的准确度，提升波束形成的效果。
[0191]
此外，本发明实施例还提出一种波束形成装置，参照图4，所述波束形成装置包括：
[0192]
滤波模块10，用于对目标帧声音信号的前一帧声音信号进行无迹卡尔曼滤波得到所述目标帧声音信号对应的状态噪声协方差矩阵；
[0193]
确定模块20，用于将所述状态噪声协方差矩阵确定为对所述目标帧声音信号进行波束形成时所述目标帧声音信号对应的目标噪声协方差矩阵；
[0194]
波束形成模块30，用于根据所述目标噪声协方差矩阵计算波束形成的目标权重矩阵，并按照所述目标权重矩阵对所述目标帧声音信号进行波束形成得到输出波束。
[0195]
进一步地，所述滤波模块10还用于：
[0196]
按照无迹变换采样原则对目标帧声音信号的前一帧声音信号进行采样得到多个采样点；
[0197]
对各个所述采样点进行迭代更新得到预测点，并确定各个所述预测点各自对应的预测点权重，其中，所述预测点权重包括预测点均值权重和预测点协方差权重；
[0198]
根据各个所述预测点和各个所述预测点各自对应的预测点权重，计算所述目标帧声音信号对应的预测状态均值和预测协方差矩阵；
[0199]
根据所述预测状态均值和所述预测协方差矩阵，计算得到所述目标帧声音信号对应的误差协方差矩阵和观测协方差矩阵；
[0200]
通过所述误差协方差矩阵和所述观测协方差矩阵对所述预测协方差矩阵进行校正，得到所述目标帧声音信号对应的状态噪声协方差矩阵。
[0201]
进一步地，所述滤波模块10还用于：
[0202]
通过各个所述预测点各自对应的预测点均值权重对各个所述预测点进行加权求和，得到所述目标帧声音信号对应的预测状态均值；
[0203]
根据所述预测状态均值、各个所述预测点和各个所述预测点各自对应的预测点协方差权重，计算得到所述目标帧声音信号对应的预测协方差矩阵。
[0204]
进一步地，所述滤波模块10还用于：
[0205]
分别通过各个所述预测点减去所述预测状态均值，得到各个差值组成差值矩阵，计算所述差值矩阵和所述差值矩阵的转置矩阵的乘积得到乘积矩阵；
[0206]
通过各个所述预测点各自对应的预测点协方差权重组成的协方差权重矩阵，对所述乘积矩阵进行加权得到中间协方差矩阵；
[0207]
计算所述前一帧声音信号中的高斯白噪声对应的高斯白噪声协方差矩阵；
[0208]
计算所述中间协方差矩阵与所述高斯白噪声协方差矩阵的和，得到所述目标声音信号对应的预测协方差矩阵。
[0209]
进一步地，所述滤波模块10还用于：
[0210]
对所述预测状态均值和所述预测协方差矩阵进行无迹变换得到多个变换点，通过无迹卡尔曼滤波中观测方程对各个所述变换点进行非线性变换得到多个观测点，并确定各个所述观测点各自对应的观测点权重，其中，所述观测点权重包括观测点均值权重和观测点协方差权重；
[0211]
使用各个所述观测点各自对应的观测点均值权重对各个所述观测点进行加权求和，得到所述目标帧声音信号对应的观测状态均值；
[0212]
根据所述观测状态均值、各个所述观测点、各个所述预测点、所述预测状态均值和各个所述观测点各自对应的观测点协方差权重，计算得到所述目标帧声音信号对应的误差协方差矩阵；
[0213]
根据所述观测状态均值、各个所述观测点和各个所述观测点各自对应的观测点协方差权重，计算得到所述目标帧声音信号对应的观测协方差矩阵。
[0214]
进一步地，所述滤波模块10还用于：
[0215]
根据所述误差协方差矩阵和所述观测协方差矩阵计算所述目标帧声音信号对应的滤波增益矩阵；
[0216]
计算所述观测协方差矩阵、所述滤波增益矩阵和所述滤波增益矩阵的转置矩阵的乘积得到校正参考矩阵；
[0217]
通过所述预测协方差矩阵减去所述校正参考矩阵对所述预测协方差矩阵进行校正，得到所述目标帧声音信号对应的状态噪声协方差矩阵。
[0218]
进一步地，所述波束形成模块30还用于：
[0219]
根据波束形成的约束条件，通过波束形成的代价函数计算得到以噪声协防差矩阵为自变量的权重计算式，其中，所述约束条件为波束形成后噪声协方差矩阵最小，并且声音信号无失真；
[0220]
将所述目标噪声协方差矩作为所述权重计算式的自变量，计算得到波束形成的目标权重矩阵。
[0221]
本发明波束形成装置各实施例，均可参照本发明波束形成方法各个实施例，此处不再赘述。
[0222]
此外，本发明实施例还提出一种计算机可读存储介质，所述存储介质上存储有波束形成程序，所述波束形成程序被处理器执行时实现如下所述的波束形成方法的步骤。
[0223]
本发明波束形成设备和计算机可读存储介质各实施例，均可参照本发明波束形成方法各个实施例，此处不再赘述。
[0224]
需要说明的是，在本文中，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者装置不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者装置所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括该要素的过程、方法、物品或者装置中还存在另外的相同要素。
[0225]
上述本发明实施例序号仅仅为了描述，不代表实施例的优劣。
[0226]
通过以上的实施方式的描述，本领域的技术人员可以清楚地了解到上述实施例方法可借助软件加必需的通用硬件平台的方式来实现，当然也可以通过硬件，但很多情况下前者是更佳的实施方式。基于这样的理解，本发明的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质(如rom/ram、磁碟、光盘)中，包括若干指令用以使得一台终端设备(可以是手机，计算机，服务器，空调器，或者网络设备等)执行本发明各个实施例所述的方法。
[0227]
以上仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构或等效流程变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。

技术特征：
1.一种波束形成方法，其特征在于，所述波束形成方法包括以下步骤：对目标帧声音信号的前一帧声音信号进行无迹卡尔曼滤波得到所述目标帧声音信号对应的状态噪声协方差矩阵；将所述状态噪声协方差矩阵确定为对所述目标帧声音信号进行波束形成时所述目标帧声音信号对应的目标噪声协方差矩阵；根据所述目标噪声协方差矩阵计算波束形成的目标权重矩阵，并按照所述目标权重矩阵对所述目标帧声音信号进行波束形成得到输出波束。2.如权利要求1所述的波束形成方法，其特征在于，所述对目标帧声音信号的前一帧声音信号进行无迹卡尔曼滤波得到所述目标帧声音信号对应的状态噪声协方差矩阵的步骤包括：按照无迹变换采样原则对目标帧声音信号的前一帧声音信号进行采样得到多个采样点；对各个所述采样点进行迭代更新得到预测点，并确定各个所述预测点各自对应的预测点权重，其中，所述预测点权重包括预测点均值权重和预测点协方差权重；根据各个所述预测点和各个所述预测点各自对应的预测点权重，计算所述目标帧声音信号对应的预测状态均值和预测协方差矩阵；根据所述预测状态均值和所述预测协方差矩阵，计算得到所述目标帧声音信号对应的误差协方差矩阵和观测协方差矩阵；通过所述误差协方差矩阵和所述观测协方差矩阵对所述预测协方差矩阵进行校正，得到所述目标帧声音信号对应的状态噪声协方差矩阵。3.如权利要求2所述的波束形成方法，其特征在于，所述根据所述误差协方差矩阵和所述观测协方差矩阵对所述预测协方差矩阵进行校正，得到所述目标帧声音信号对应的状态噪声协方差矩阵的步骤包括：通过各个所述预测点各自对应的预测点均值权重对各个所述预测点进行加权求和，得到所述目标帧声音信号对应的预测状态均值；根据所述预测状态均值、各个所述预测点和各个所述预测点各自对应的预测点协方差权重，计算得到所述目标帧声音信号对应的预测协方差矩阵。4.如权利要求3所述的波束形成方法，其特征在于，所述根据所述预测状态均值、各个所述预测点和各个所述预测点各自对应的预测点协方差权重，计算得到所述目标帧声音信号对应的预测协方差矩阵的步骤包括：分别通过各个所述预测点减去所述预测状态均值，得到各个差值组成差值矩阵，计算所述差值矩阵和所述差值矩阵的转置矩阵的乘积得到乘积矩阵，并通过各个所述预测点各自对应的预测点协方差权重组成的协方差权重矩阵，对所述乘积矩阵进行加权得到中间协方差矩阵；计算所述前一帧声音信号中的高斯白噪声对应的高斯白噪声协方差矩阵；计算所述中间协方差矩阵与所述高斯白噪声协方差矩阵的和，得到所述目标声音信号对应的预测协方差矩阵。5.如权利要求2所述的波束形成方法，其特征在于，所述根据所述误差协方差矩阵和所述观测协方差矩阵对所述预测协方差矩阵进行校正，得到所述目标帧声音信号对应的状态
噪声协方差矩阵的步骤包括：对所述预测状态均值和所述预测协方差矩阵进行无迹变换得到多个变换点，通过无迹卡尔曼滤波中观测方程对各个所述变换点进行非线性变换得到多个观测点，并确定各个所述观测点各自对应的观测点权重，其中，所述观测点权重包括观测点均值权重和观测点协方差权重；使用各个所述观测点各自对应的观测点均值权重对各个所述观测点进行加权求和，得到所述目标帧声音信号对应的观测状态均值；根据所述观测状态均值、各个所述观测点、各个所述预测点、所述预测状态均值和各个所述观测点各自对应的观测点协方差权重，计算得到所述目标帧声音信号对应的误差协方差矩阵；根据所述观测状态均值、各个所述观测点和各个所述观测点各自对应的观测点协方差权重，计算得到所述目标帧声音信号对应的观测协方差矩阵。6.如权利要求2所述的波束形成方法，其特征在于，所述通过所述误差协方差矩阵和所述观测协方差矩阵对所述预测协方差矩阵进行校正，得到所述目标帧声音信号对应的状态噪声协方差矩阵的步骤包括：根据所述误差协方差矩阵和所述观测协方差矩阵计算所述目标帧声音信号对应的滤波增益矩阵；计算所述观测协方差矩阵、所述滤波增益矩阵和所述滤波增益矩阵的转置矩阵的乘积得到校正参考矩阵；通过所述预测协方差矩阵减去所述校正参考矩阵对所述预测协方差矩阵进行校正，得到所述目标帧声音信号对应的状态噪声协方差矩阵。7.如权利要求1至6任一项所述的波束形成方法，其特征在于，所述根据所述目标噪声协方差矩阵计算波束形成的目标权重矩阵的步骤包括：根据波束形成的约束条件，通过波束形成的代价函数计算得到以噪声协防差矩阵为自变量的权重计算式，其中，所述约束条件为波束形成后噪声协方差矩阵最小，并且声音信号无失真；将所述目标噪声协方差矩阵作为所述权重计算式的自变量，计算得到波束形成的目标权重矩阵。8.一种波束形成装置，其特征在于，所述波束形成装置包括：滤波模块，用于对目标帧声音信号的前一帧声音信号进行无迹卡尔曼滤波得到所述目标帧声音信号对应的状态噪声协方差矩阵；确定模块，用于将所述状态噪声协方差矩阵确定为对所述目标帧声音信号进行波束形成时所述目标帧声音信号对应的目标噪声协方差矩阵；波束形成模块，用于根据所述目标噪声协方差矩阵计算波束形成的目标权重矩阵，并按照所述目标权重矩阵对所述目标帧声音信号进行波束形成得到输出波束。9.一种波束形成设备，其特征在于，所述波束形成设备包括：存储器、处理器及存储在所述存储器上并可在所述处理器上运行的波束形成程序，所述波束形成程序被所述处理器执行时实现如权利要求1至7中任一项所述的波束形成方法的步骤。10.一种计算机可读存储介质，其特征在于，所述计算机可读存储介质上存储有波束形
成程序，所述波束形成程序被处理器执行时实现如权利要求1至7中任一项所述的波束形成方法的步骤。

技术总结
本发明公开了一种波束形成方法、装置、设备及计算机可读存储介质，方法包括：对目标帧声音信号的前一帧声音信号进行无迹卡尔曼滤波得到目标帧声音信号对应的状态噪声协方差矩阵；将状态噪声协方差矩阵确定为对目标帧声音信号进行波束形成时目标帧声音信号对应的目标噪声协方差矩阵；根据目标噪声协方差矩阵计算波束形成的目标权重矩阵，并按照目标权重矩阵对目标帧声音信号进行波束形成得到输出波束。本发明实现了提高复杂环境中计算噪声协方差矩阵的准确度，从而提高自适应波束形成效果。果。果。


技术研发人员：毛婷婷
受保护的技术使用者：歌尔股份有限公司
技术研发日：2023.04.28
技术公布日：2023/7/27