用于监视和检测听力仪器是否被正确安装的方法与流程

1.本技术涉及配置成佩戴在用户的一只或两只耳朵处的听力装置如助听器或耳机/耳麦领域。本技术具体涉及用于检测听力装置是否被正确地安装在用户耳朵处的方案。


背景技术：

2.为提供最佳的可能听力损失补偿和降噪，不仅仅耳模必须被正确安装，而且助听器的耳后(bte)部分也应正确地位于耳朵(耳廓)处或后面。这在图1中示出，其中双耳助听器系统的听力仪器之一吊在耳朵上，而不是正确地位于耳后。
3.us2013188796a1公开了在当前反馈通路不同于参考反馈通路时，可在助听器中检测到泄漏。藉此，检测到助听器的耳模未被正确安装。ep3370435a1涉及使用加速计优化安装助听器装置。


技术实现要素：

4.助听器
5.在本技术的一方面，提供一种双耳助听器系统，其包括适于分别位于用户的左和右耳处或者左和右耳中的左和右听力仪器。左和右听力仪器中的每一个包括：
[0006]-配置成位于用户的外耳处或者外耳后面的bte部分，该bte部分包括壳体；
[0007]-加速度传感器，配置成测量在相对于bte部分的壳体的至少两个方向的加速度并提供标示该加速度的加速度数据。
[0008]
左和右听力仪器中至少第一听力仪器可包括发射器，配置成使能将来自加速度传感器的加速度数据传到左和右听力仪器中的第二听力仪器。左和右听力仪器中至少第二听力仪器可包括接收器，配置成使能从左和右听力仪器中的第一听力仪器接收来自加速度传感器的加速度数据。左和右听力仪器中至少第二听力仪器可包括控制器，配置成根据左和右听力仪器提供的加速度数据之间的相似性度量(例如相关度量)检测左和右听力仪器是否被正确安装。
[0009]
左和右听力仪器是否被正确安装的检测例如可基于左和右听力仪器之间的运动(例如加速度)图的相似性的评估。
[0010]
从而可提供改进的双耳助听器系统。
[0011]
外耳通常称为“耳廓”。
[0012]“适于分别位于左和右耳处或者左和右耳中的左和右听力仪器”可包括：左和右听力仪器中的每一个包括指明其计划分配为“左”或“右”听力仪器的信息。助听器系统可配置成使控制器能访问指明左和右听力仪器中的给定听力仪器计划分配为“左”或“右”听力仪器的信息。
[0013]
控制器可配置成比较左和右听力仪器的加速度数据。控制器可配置成根据左和右听力仪器的加速度数据的比较而检测左和右听力仪器是否被正确安装。
[0014]
左和右听力仪器中的每一个可包括二维(2d)或三维(3d)加速度传感器，配置成提
供在相对于bte部分的壳体的两个方向(2d传感器)或三个方向(3d传感器)的加速度的相应度量。加速度数据可由分别来自左和右听力仪器的2d向量或3d向量(a
l
＝[x
l
,y
l
]和ar＝[xr,yr]；或者a
l
＝[x
l
,y
l
,z
l
]和ar＝[xr,yr,zr])表示。加速度向量(例如a
l
)的元素(例如x
l
,y
l
,z
l
)可指加速度信号(例如x
l
,y
l
,z
l
)，每一加速度信号表示来自给定(例如2d或3d)加速度传感器的、在给定方向的加速度数据。在2d情形下，重力方向以及与头直交的方向例如可构成(加速度的)优选方向。这例如可在仅具有两个方向的加速度数据的情形下用于确定应沿哪些轴测量加速度(例如在将听力仪器正确放在用户耳朵处期间)。
[0015]
为节约计算(因而节能)，省略处理来自最频繁与重力方向平行的轴的加速度数据将有利。在该情形下，互协方差可直接从加速度信号(a
l
,ar)进行计算(因为两个其它轴的平均值将为零)。
[0016]
左和右听力仪器中的每一个可配置成使能在左和右听力仪器之间交换从加速度传感器到相应的左和右听力仪器的加速度数据。加速度数据可在左和右听力仪器之间交换之前进行预处理。预处理例如可包括低通滤波和/或下采样。
[0017]
用于检测左和右听力仪器是否被正确安装的判据可基于左和右听力仪器的加速度图的比较(例如其之间的差)。如果例如跨预定时间的差大(例如高于阈值)，表明听力仪器未被正确安装。
[0018]
相似性度量可由相关度量构成或者可包括相关度量。
[0019]
左和右听力仪器中的每一个可包括控制器，配置成根据相关度量例如左和右听力仪器提供的、在相对于bte部分的壳体的两个方向(2d传感器，例如x、y)或三个方向(3d传感器，例如x、y、z)的加速度的相应度量之间的相关而检测左和右听力仪器是否被正确安装。
[0020]
双耳助听器系统的左和右听力仪器中的每一个可包括正向音频信号通路，配置成处理表示声音(例如用户周围环境中的声音)的电输入信号从而提供处理后的信号以及根据处理后的信号分别在用户的左和右耳处提供输出刺激。正向音频信号通路可包括处理器，配置成将处理算法应用于电输入信号或源自其的信号并提供处理后的信号。
[0021]
正向音频信号通路可包括用于提供表示声音的至少一电输入信号的输入单元。输入单元可包括用于提供至少一电输入信号的输入变换器。输入变换器可包括传声器、振动传感器、或音频接收器。输入单元可包括模数转换器，用于将模拟输入音频信号转换为数字音频样本流。输入单元可包括分析滤波器组，用于将时域输入信号转换为在(时-)频域表示该(时域)电输入信号的、多个子频带信号。
[0022]
正向音频信号通路可包括输出单元，用于将输出信号(例如处理后的信号)转换为可由用户感知为声音的刺激。输出单元可包括输出变换器。输出变换器可包括扬声器、振动器、多电极、或音频发射器。
[0023]
相关度量可以是或者可包括协方差。控制器可配置成通过监视左和右听力仪器处测得的加速度数据之间的协方差例如左和右听力仪器之间的互协方差即r＝e[a
lart
]检测左和右听力仪器是否对齐，其中e[
·
]为预期算子，a
l
和ar为(可能处理后的)加速度向量，
t
指转置。
[0024]
左和右听力仪器中的每一个的加速度数据可包括表示至少两个方向的加速度数据。
[0025]
控制器可配置成确定加速度数据例如来自至少两个方向(如来自三个方向)中的
每一方向的加速度数据中包括的不同信号怎样或是否相关。(左和右听力仪器中的每一个的)加速度数据可包括表示三个(例如直交)方向(例如直交坐标系的x、y、z轴)的加速度数据。
[0026]
控制器可配置成使左和右听力仪器是否被正确安装的判定基于从分别来自左和右听力仪器的加速度信号的(例如平均的)外积获得的、估计的互协方差矩阵。加速度信号可由分别来自左和右听力仪器的2d或3d向量(a
l
＝[x
l
,y
l
]和ar＝[xr,yr]；或者a
l
＝[x
l
,y
l
,z
l
]和ar＝[xr,yr,zr])表示。对于提供表示三个(例如正交)方向(例如x、y、z)的加速度数据的三维(3d)加速度传感器，源自左和右听力仪器的加速度数据(由向量[x
l
,y
l
,z
l
],[xr,yr,zr]表示)的外积的矩阵c
lr
可表达为：
[0027][0028]
即具有对角线值[x
l
xr,y
l
yr,z
l
zr]和非对角线值[x
l
yr,x
l
zr,y
l
zr,y
l
xr,z
l
xr,z
l
yr]的矩阵。在该记法中，互协方差矩阵r为r
lr
＝《c
lr
》，其中《
·
》指跨时间求平均。
[0029]
控制器可配置成检测左和右运动(例如加速度)图之间的差异从而判定听力仪器是否被正确安装。
[0030]
控制器可配置成在互协方差矩阵的对角线元素的量值相当高例如大于阈值时判定听力仪器被正确安装。对角线元素的高值可或因重力引起，或因运动引起(重力成分可在估计互协方差矩阵之前去除)。如果未被去除，加速度向量将受到重力方向的影响。例如，重力可指向z
l
和zr的方向。因此，z
l
zr将为高值。
[0031]
控制器可配置成在非对角线元素中的至少一个或者至少两个相当高例如大于阈值且同时对角线元素具有相当低的值例如小于阈值时判定听力仪器被错误安装。控制器检测左和右听力仪器的错误安装可基于非对角线元素的量值有多频繁地高于对角线元素的量值的估计(例如通过计数器提供)。
[0032]
控制器检测左和右听力仪器的错误安装可基于互协方差矩阵r的对角线元素与非对角线元素之间的比值(d-od-r)：
[0033][0034]
其中|
·
|表示互协方差矩阵r的各个元素的量值(或平方量值)。
[0035]
用于检测正确安装的听力仪器的判据因而可以是：
[0036]-如果d-od-r≥th1，则听力仪器被正确安装；及
[0037]-如果d-od-r《th2，则听力仪器被错误安装。
[0038]
th1可大于或等于th2。th1例如可大于或等于1，例如大于或等于2，例如大于或等于2.5。th2例如可小于或等于1.5，例如小于或等于1，例如小于或等于0.5。
[0039]
用于计算互协方差矩阵的时间常数例如可大于1秒，例如大于10秒或大于60秒或大于10分钟。
[0040]
控制器可包括配置成检测听力仪器的错误安装的神经网络。
[0041]
术语“神经网络”或者“人工神经网络”可覆盖任何类型的人工神经网络，例如前
馈、卷积、循环如长/短期记忆、门控循环单元(gru)等。
[0042]
神经网络的大小和/或类型可适应(例如电池驱动的)便携设备如听力装置例如助听器或者头戴式耳机的一对听筒的功率能力和大小。
[0043]
神经网络例如可配置成根据左和右听力仪器提供的加速度数据之间的相似性度量检测左和右听力仪器是否被正确安装。
[0044]
神经网络可配置成将来自左和/或右听力仪器的加速度数据接收为输入特征或者左和右听力仪器的加速度数据的互协方差矩阵的元素。神经网络可基于听力仪器正确安装时获得的加速度图的例子以及听力仪器错误安装的情形下获得的加速度图的例子进行训练。
[0045]
神经网络的输入数据(例如输入特征向量)例如可包括来自一个或多个运动传感器如加速计(和/或陀螺仪和/或磁力计等)的数据或者由该数据构成。运动传感器可位于听力装置或听力系统的用户的耳朵中或耳朵处。然而，另外或作为备选，输入数据可包括来自运动传感器的数据的处理后版本，例如滤波版本或下采样版本，或者为指明来自用户左和右耳处的运动传感器(即来自双耳听力系统例如双耳助听器系统或包括左和右耳件如听筒的头戴式耳机的相应装置)的数据之间的相似性的相似性度量形式。
[0046]
神经网络的输入数据(例如输入特征向量)可由给定时刻(n，例如“现在”)的数据构成或者包括该数据。输入数据例如可由给定时刻(n)以及多个(n个)先前时刻的数据构成或者包括这些数据。根据所使用的神经网络类型，后者可能有利(尤其对于前馈型或卷积型神经网络)。由(n个)先前时刻表示的数据的“历史”可被包括在神经网络中，例如循环型神经网络中，例如包括gru的神经网络中。作为备选，数据的(时间)历史可通过在数据输入神经网络之前对数据进行低通滤波而包括(即，在给定时刻(n)，输入特征向量可包括来自用户的一只或两只耳朵处的加速计的x、y和z方向的、低通滤波的加速度数据)。从而，可减少神经网络执行的计算次数。
[0047]
神经网络的输出例如可包括基于来自用户头部两侧的输入数据(即来自双耳听力系统如双耳助听器系统的两个听力仪器的加速计数据)的相似性度量。神经网络的输出例如可包括给定耳朵处的听力仪器是否被正确安装的指示(例如基于双耳助听器系统的一个或两个听力仪器的加速计数据)。神经网络的输出例如可包括给定听力仪器是否被正确安装的指示(例如基于双耳助听器系统的两个听力仪器的加速计数据)。
[0048]
神经网络可包括多层，例如输入层、输出层和其间的多层(称为“隐藏”层)。根据隐藏层的数量，神经网络可被称为“深度”神经网络。隐藏层的数量例如可小于或等于10，例如小于或等于5。
[0049]
不同的层可表示不同的神经网络类型，例如一层或多层实施为循环神经网络(例如gru)以及一层或多层实施为前馈或卷积神经网络。
[0050]
表征神经网络的节点的功能的参数(例如它们的权重、偏差和/或非线性)的数量可限于所涉及的应用。参数数量例如可小于1000000，例如小于500000，例如小于100000，例如小于25000。在典型的(目前技术发展水平的)助听器应用中，表征神经网络的参数数量例如可以是500-5000级。
[0051]
神经网络的输入节点的数量例如可小于或等于100，例如小于或等于50。
[0052]
基于左和右(或者简单地，单耳)运动图的例子作为神经网络的标注输入训练例
子，网络参数(例如权重和/或偏差)可朝向将加速度图分类为与听力仪器被正确安装或听力仪器被错误安装对应进行优化。二元交叉熵可被应用为损失函数。训练例子可从针对不同用户记录的加速度图的数据库获得，其中加速度图或被标注为“正确安装的”听力仪器，或被标注为“错误安装的”听力仪器(例如图6a、6b中所示的例子)。分类器也可包含两个以上的类。例如，可基于加速度测量结果检测听力仪器是否被安装在助听器电池充电器中(使得安装在充电器中可与安装在用户耳朵处区分开，非必须地，用于在位于充电器中的同时控制听力装置，例如关闭或启动听力装置的某些部分)。神经网络可仅基于训练数据的子集进行训练，例如与助听器安装在特定助听器用户处对应的子集(例如与使用期间类似重力方向对应的加速度图)。另一子集可取决于年龄，因为，小孩的加速度图可能非常不同于成人的加速度图。
[0053]
参与神经网络的优化(训练)的参数可包括神经网络的权重参数、偏差参数和非线性函数参数中的一个或多个。
[0054]
在训练阶段，神经网络可随机初始化，其后可迭代地进行更新。每一节点的优化的神经网络参数(例如权重和偏差值)可使用标准的迭代随机梯度根据神经网络输出和与训练数据相关联的“标注数据”值找到，例如最速下降法或最速上升法，例如使用使价值函数如均方误差最小化的向后传播实施。价值函数(例如均方误差或(二元)交叉熵损失)例如可跨输入信号的许多训练对(即输入数据及相关联的(预期)输出)进行计算。
[0055]
一组优化的参数设置为使所选价值函数最大化(或最小化)的参数设置。当已确定优化的参数设置时，它们被存储，用于自动或手动传给听力仪器如助听器或头戴式耳机的听筒。
[0056]
优化的一组参数可依赖于助听器类型(例如bte或ite)。其可依赖于用户的活动水平(例如先前记录的加速度图)、用户年龄或性别等。最佳的一组参数可从一组有限的预训练的参数选择。预训练的参数组的选择可取决于用户分类为具有类似运动图的特定组(例如取决于听力仪器的佩戴角度、年龄、头部大小、用户身高和/或活动水平)。
[0057]
双耳助听器系统可配置成根据左和右听力仪器是否被正确安装而控制左和右听力仪器中的至少一个的处理。处理的控制例如可包括控制处理算法的一个或多个处理参数，例如降噪/方向性。处理的控制例如可包括就左和右听力仪器的当前安装状态发出警报(例如与助听器系统的功能有关)(例如在检测到左和右听力仪器未被正确安装时)。
[0058]
双耳助听器系统可配置成在检测到左和右听力仪器未被正确安装时触发用户警报。在两个听力仪器的相对方向中的至少一方向未对准时，可推断检测到左和右听力仪器未被正确安装。该警报(例如说出的警报消息)可经左和右听力仪器中的至少一个的输出变换器或者经单独的设备如遥控器(或者实施为智能电话的app)呈现给用户。警报例如可以是从听力仪器发送到看护者的电话(或类似设备)的警告消息，例如目标在于招致看护者检查左和右听力仪器的当前安装。双耳助听器系统可包括存储表示一个或多个警报的数据的存储器，例如与左和右听力仪器是否被正确安装有关的警报。这些记录的数据对于听觉护理专家是有用的信息，可用于监测听力仪器是否被正确地使用。
[0059]
双耳助听器系统可配置成禁用左和右听力仪器的定向降噪算法。从而可防止定向降噪(无意地)衰减来自目标方向的音频。左和右听力仪器可被设定为全向模式，直到检测到问题已解决为止(即，当已验证(例如检测到)左和右听力仪器被正确安装时)。这可自动
或手动进行检测，例如经电话、遥控器或者连接到听力仪器的单独的便携处理设备。
[0060]
双耳助听器系统可配置成使得左和右听力仪器是否被正确安装的检测(例如还)依赖于不同于加速度数据的其它输入特征。左和右听力仪器是否被正确安装的检测例如可依赖于变化的反馈通路估计量的检测。左和右听力仪器可包括反馈控制系统，配置成提供相应听力仪器的、从(电-声)输出变换器到(声-电)输入变换器的反馈的估计量。
[0061]
双耳助听器系统可配置成使得左和右听力仪器提供的加速度数据之间的相关在相对于相应的左和右听力仪器的bte部分的壳体的至少一方向平行时最大。双耳助听器系统可配置成使得左和右听力仪器提供的加速度数据之间的相关在3d加速度传感器的左和右x轴、左和右y轴以及左和右z轴平行时最大。
[0062]
双耳助听器系统可配置成跨时间平均左和右听力仪器提供的加速度数据之间的协方差。双耳助听器系统(例如控制器)可配置成使得求平均基于移动平均或者基于iir滤波器例如一阶iir滤波器的平均。
[0063]
双耳助听器系统可配置成仅基于其中已检测到加速度高于某一阈值的样本跨时间对左和右听力仪器提供的加速度数据之间的协方差求平均。如果左和右听力仪器很好地对准，预期对角线元素将包含最高值。高的非对角线值将指明听力仪器未被对准。
[0064]
双耳助听器系统可配置成从加速度数据去除dc值以使对准评估基于头部运动。在实施例中，dc值未从加速度数据去除以使对准评估基于重力方向。
[0065]
双耳助听器系统可配置成使得左和右听力仪器中的至少一个包括表示正确安装的听力仪器的预定参考位置。
[0066]
双耳助听器系统可配置成使得左和右听力仪器是否被正确安装的检测依赖于所述参考位置。该评估可分为两个不同部分：每一听力仪器的倾斜可基于每一听力仪器的角度与参考重力方向之间的角度进行测量。这样，测量不揭示听力仪器是否指向水平面中的参考方向(其与重力方向正交)，另外的关于听力仪器是否被平行地安装的评估可揭示一个或两个听力仪器是否指向两侧而不是朝向前面。
[0067]
双耳助听器系统(例如控制器)可配置成使得加速度传感器的重力分量已从加速度数据去除。从而，可提供二维或三维运动检测器。
[0068]
双耳助听器系统(例如控制器)可配置成使得加速度数据被带通滤波。
[0069]
双耳助听器系统可配置成使得左和右听力仪器中的至少一个(或两个)由空气传导型助听器、骨导型助听器、耳蜗植入型助听器或其组合构成或者包括空气传导型助听器、骨导型助听器、耳蜗植入型助听器或其组合。
[0070]
助听器可适于提供随频率而变的增益和/或随电平而变的压缩和/或一个或多个频率范围到一个或多个其它频率范围的移频(具有或没有频率压缩)以补偿用户的听力受损。助听器可包括用于增强输入信号并提供处理后的输出信号的信号处理器。
[0071]
助听器可包括输出单元，用于基于处理后的电信号提供由用户感知为声学信号的刺激。输出单元可包括耳蜗植入物的多个电极(对于ci型助听器而言)或者骨导助听器的振动器。输出单元可包括输出变换器。输出变换器可包括用于将刺激作为声信号提供给用户的接收器(扬声器)(例如在声学(基于空气传导的)助听器中)。输出变换器可包括用于将刺激作为颅骨的机械振动提供给用户的振动器(例如在附着到骨头的或骨锚式助听器中)。输出单元可(另外或作为备选)包括用于将助听器拾取的声音(例如经网络，例如在电话运行
模式下，或在耳机配置中)传给另一装置如远端通信伙伴的发射器。
[0072]
助听器可包括用于提供表示声音的电输入信号的输入单元。输入单元可包括用于将输入声音转换为电输入信号的输入变换器如传声器。输入单元可包括无线接收器，用于接收包括或表示声音的无线信号并提供表示所述声音的电输入信号。
[0073]
无线接收器和/或发射器例如可配置成接收和/或发射在无线电频率范围(3khz到300ghz)的电磁信号。无线接收器和/或发射器例如可配置成接收和/或发射在光频率范围(例如红外光300ghz到430thz或者可见光如430thz到770thz)的电磁信号。
[0074]
助听器可包括定向传声器系统，其适于对来自环境的声音进行空间滤波从而增强佩戴助听器的用户的局部环境中的多个声源之中的目标声源。定向系统可适于检测(如自适应检测)传声器信号的特定部分源自哪一方向。这可以例如现有技术中描述的多种不同方式实现。在助听器中，传声器阵列波束形成器通常用于空间上衰减背景噪声源。波束形成器可包括线性约束最小方差(lcmv)波束形成器。许多波束形成器变型可在文献中找到。最小方差无失真响应(mvdr)波束形成器广泛用在传声器阵列信号处理中。理想地，mvdr波束形成器保持来自目标方向(也称为视向)的信号不变，而最大程度地衰减来自其它方向的声音信号。广义旁瓣抵消器(gsc)结构是mvdr波束形成器的等同表示，其相较原始形式的直接实施提供计算和数字表示优点。
[0075]
助听器可包括天线和收发器电路，其使能建立到娱乐设备(例如电视机)、通信装置(如电话)、无线传声器或另一助听器等的无线链路。助听器因而可配置成从另一装置无线接收直接电输入信号。类似地，助听器可配置成将直接电输入信号无线传给另一装置。直接电输入信号可表示或包括音频信号和/或控制信号和/或信息信号。
[0076]
一般地，助听器的天线及收发器电路建立的无线链路可以是任何类型。无线链路可以是基于近场通信的链路，例如基于发射器部分和接收器部分的天线线圈之间的感应耦合的感应链路。无线链路可基于远场电磁辐射。优选地，用于在助听器和另一装置之间建立通信链路的频率低于70ghz，例如位于从50mhz到70ghz的范围中，例如高于300mhz，例如在高于300mhz的ism范围中，例如在900mhz范围中或在2.4ghz范围中或在5.8ghz范围中或在60ghz范围中(ism＝工业、科学和医学，这样的标准化范围例如由国际电信联盟itu定义)。无线链路可基于标准化或专用技术。无线链路可基于蓝牙技术(如低功耗蓝牙技术)或超宽带(uwb)技术。
[0077]
助听器可以是或可形成便携式(即配置成可穿戴的)设备的一部分，例如包括本地能源如电池例如可再充电电池的设备。助听器例如可以是低重量、容易穿戴的设备，例如具有小于100g如小于20g例如小于5g的总重量。
[0078]
助听器可包括助听器的输入和输出单元之间的、用于处理音频信号的“正向”(或“信号”)通路。信号处理器可位于该正向通路中。信号处理器可适于根据用户的特定需要(例如听力受损)提供随频率而变的增益。助听器可包括具有用于分析信号和/或控制正向通路的处理的功能件的“分析”通路。分析通路和/或正向通路的部分或所有信号处理可在频域进行，在该情形下，助听器包括适当的分析和合成滤波器组。分析通路和/或正向通路的部分或所有信号处理可在时域进行。
[0079]
表示声信号的模拟电信号可在模数(ad)转换过程中转换为数字音频信号，其中模拟信号以预定采样频率或采样速率fs进行采样，fs例如在从8khz到48khz的范围中(适应应
用的特定需要)以在离散的时间点tn(或n)提供数字样本xn(或x[n])，每一音频样本通过预定的nb比特表示声信号在tn时的值，nb例如在从1到48比特的范围中如24比特。每一音频样本因此使用nb比特量化(导致音频样本的2
nb
个不同的可能的值)。数字样本x具有1/fs的时间长度，如50μs，对于fs＝20khz。多个音频样本可按时间帧安排。一时间帧可包括64个或128个音频数据样本。根据实际应用可使用其它帧长度。
[0080]
助听器可包括模数(ad)转换器以按预定的采样速率如20khz对模拟输入(例如来自输入变换器如传声器)进行数字化。助听器可包括数模(da)转换器以将数字信号转换为模拟输出信号，例如用于经输出变换器呈现给用户。
[0081]
助听器如输入单元和/或天线及收发器电路可包括变换单元，用于将时域信号转换为变换域(例如频域或拉普拉斯(laplace)域等)中的信号。变换单元可由时频(tf)转换单元构成或包括时频转换单元，其用于提供输入信号的时频表示。时频表示可包括所涉及信号在特定时间和频率范围的相应复值或实值的阵列或映射。tf转换单元可包括用于对(时变)输入信号进行滤波并提供多个(时变)输出信号的滤波器组，每一输出信号包括截然不同的输入信号频率范围。tf转换单元可包括用于将时变输入信号转换为(时-)频域中的(时变)信号的傅里叶变换单元(例如离散傅里叶变换(dft)算法、短时傅里叶变换(stft)算法、或类似算法)。助听器考虑的、从最小频率f
min
到最大频率f
max
的频率范围可包括从20hz到20khz的典型人听频范围的一部分，例如从20hz到12khz的范围的一部分。通常，采样率fs大于或等于最大频率f
max
的两倍，即fs≥2f
max
。助听器的正向通路和/或分析通路的信号可拆分为ni个(例如均匀宽度的)频带，其中ni例如大于5，如大于10，如大于50，如大于100，如大于500，至少其部分个别进行处理。助听器可适于在np个不同频道处理正向和/或分析通路的信号(np≤ni)。频道可以宽度一致或不一致(如宽度随频率增加)、重叠或不重叠。
[0082]
助听器可配置成在不同模式下运行，如正常模式及一个或多个特定模式，例如可由用户选择或者可自动选择。运行模式可针对特定声学情形或环境如通信模式例如电话模式进行优化。运行模式可包括低功率模式，其中助听器的功能被减少(例如以便节能)，例如禁用无线通信和/或禁用助听器的特定特征。运行模式可包括配置成确定助听器或者助听器系统是否被正确地安装在用户耳朵处的安装模式。
[0083]
助听器可包括多个检测器，其配置成提供与助听器的当前网络环境(如当前声环境)有关、和/或与佩戴助听器的用户的当前状态有关、和/或与助听器的当前状态或运行模式有关的状态信号。作为备选或另外，一个或多个检测器可形成与助听器(如无线)通信的外部装置的一部分。外部装置例如可包括另一助听器、遥控器、音频传输装置、电话(如智能电话)、外部传感器等。
[0084]
多个检测器中的一个或多个可对全带信号起作用(时域)。多个检测器中的一个或多个可对频带拆分的信号起作用((时-)频域)，例如在有限的多个频带中。
[0085]
多个检测器可包括用于估计正向通路的信号的当前电平的电平检测器。检测器可配置成判定正向通路的信号的当前电平是否高于或低于给定(电平-)阈值。电平检测器作用于全频带信号(时域)。电平检测器作用于频带拆分信号((时-)频域)。
[0086]
助听器可包括话音活动检测器(vad)，用于估计输入信号(在特定时间点)是否(或者以何种概率)包括话音信号。在本说明书中，话音信号可包括来自人类的语音信号。其还可包括由人类语音系统产生的其它形式的发声(如唱歌)。话音活动检测器单元可适于将用
户当前的声环境分类为“话音”或“无话音”环境。这具有下述优点：包括用户环境中的人发声(如语音)的电传声器信号的时间段可被识别，因而与仅(或主要)包括其它声源(如人工产生的噪声)的时间段分离。话音活动检测器可适于将用户自己的话音也检测为“话音”。作为备选，话音活动检测器可适于从“话音”的检测排除用户自己的话音。
[0087]
助听器可包括自我话音检测器，用于估计特定输入声音(如话音，如语音)是否(或以何种概率)源自系统用户的话音。助听器的传声器系统可适于能够在用户自己的话音及另一人的话音之间进行区分及可能与无话音声音区分。
[0088]
多个检测器可包括运动检测器，例如加速度传感器。运动检测器可配置成检测用户面部肌肉和/或骨头的例如因语音或咀嚼(如颌部运动)引起的运动并提供标示该运动的检测器信号。
[0089]
助听器可包括分类单元，配置成基于来自(至少部分)检测器的输入信号及可能其它输入对当前情形进行分类。在本说明书中，“当前情形”可由下面的一个或多个定义：
[0090]
a)物理环境(如包括当前电磁环境，例如出现计划或未计划由助听器接收的电磁信号(包括音频和/或控制信号)，或者当前环境不同于声学的其它性质)；
[0091]
b)当前声学情形(输入电平、反馈等)；
[0092]
c)用户的当前模式或状态(运动、温度、认知负荷等)；
[0093]
d)助听器和/或与助听器通信的另一装置的当前模式或状态(所选程序、自上次用户交互之后消逝的时间等)。
[0094]
分类单元可基于或包括神经网络例如经训练的神经网络。
[0095]
助听器可包括声(和/或机械)反馈控制(如抑制)或者回声消除系统。自适应反馈抵消有能力跟踪反馈通路随时间的变化。其通常基于估计反馈通路的线性时不变滤波器，但滤波器权重随时间更新。滤波器更新可使用随机梯度算法进行计算，包括某一形式的最小均方(lms)或归一化lms(nlms)算法。它们均具有在均方方面使误差信号最小化的性质，nlms另外使滤波器更新关于某一参考信号的欧几里得范数的平方归一化。
[0096]
助听器还可包括用于所涉及应用的其它适宜功能，如压缩、降噪等。
[0097]
助听器可包括听力仪器，例如适于位于用户耳朵处或者完全或部分位于耳道中的听力仪器、头戴式耳机、耳麦、耳朵保护装置或其组合。听力系统可包括喇叭扩音器(包含多个输入变换器和多个输出变换器，例如用在音频会议情形)，例如包括波束形成器滤波单元，例如提供多个波束形成能力。
[0098]
应用
[0099]
一方面，提供如上所述的、“具体实施方式”部分中详细描述的和权利要求中限定的助听器的应用。可提供在包括一个或多个助听器(如听力仪器)、耳机、耳麦、主动耳朵保护系统等的系统中的应用，例如免提电话系统、远程会议系统(例如包括喇叭扩音器)、广播系统、卡拉ok系统、教室放大系统等。
[0100]
方法
[0101]
一方面，提供一种双耳助听器系统的运行方法，双耳助听器系统包括适于分别位于用户的左和右耳处或者左和右耳中的左和右听力仪器。左和右听力仪器中的每一个包括：
[0102]-配置成位于用户的外耳处或者外耳后面的bte部分，该bte部分包括：
[0103]
‑‑
壳体；及
[0104]
‑‑
加速度传感器，配置成测量在相对于bte部分的壳体的至少两个方向的加速度。
[0105]
所述方法包括：
[0106]-通过所述加速度传感器提供标示所述至少两个方向的当前加速度的加速度数据；
[0107]-通过左和右听力仪器中的至少第一听力仪器将来自加速度传感器的加速度数据传到左和右听力仪器中的第二听力仪器；
[0108]-通过左和右听力仪器中的至少第二听力仪器接收由左和右听力仪器中的第一听力仪器传输的、来自加速度传感器的加速度数据。
[0109]
所述方法还可包括：
[0110]-确定左和右听力仪器提供的加速度数据之间的相关度量；及
[0111]-通过左和右听力仪器中的至少第二听力仪器根据所述相关度量检测左和右听力仪器是否被正确安装。
[0112]
当由对应的过程适当代替时，上面描述的、“具体实施方式”中详细描述的或权利要求中限定的装置的部分或所有结构特征可与本发明方法的实施结合，反之亦然。方法的实施具有与对应装置一样的优点。
[0113]
计算机可读介质或数据载体
[0114]
本发明进一步提供保存包括程序代码(指令)的计算机程序的有形计算机可读介质(数据载体)，当计算机程序在数据处理系统(计算机)上运行时，使得数据处理系统执行(实现)上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法的至少部分(如大部分或所有)步骤。
[0115]
作为例子但非限制，前述有形计算机可读介质可包括ram、rom、eeprom、cd-rom或其他光盘存储器、磁盘存储器或其他磁性存储装置，或者可用于执行或保存指令或数据结构形式的所需程序代码并可由计算机访问的任何其他介质。如在此使用的，盘包括压缩磁盘(cd)、激光盘、光盘、数字多用途盘(dvd)、软盘及蓝光盘，其中这些盘通常磁性地复制数据，同时这些盘可用激光光学地复制数据。其它存储介质包括存储在dna中(例如合成的dna链中)。上述盘的组合也应包括在计算机可读介质的范围内。除保存在有形介质上之外，计算机程序也可经传输介质如有线或无线链路或网络如因特网进行传输并载入数据处理系统从而在不同于有形介质的位置处运行。
[0116]
计算机程序
[0117]
此外，本技术提供包括指令的计算机程序(产品)，当该程序由计算机运行时，导致计算机执行上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法(的步骤)。
[0118]
数据处理系统
[0119]
一方面，本发明进一步提供数据处理系统，包括处理器和程序代码，程序代码使得处理器执行上面描述的、“具体实施方式”中详细描述的及权利要求中限定的方法的至少部分(如大部分或所有)步骤。
[0120]
听力系统
[0121]
另一方面，提供包括上面描述的、“具体实施方式”中详细描述的及权利要求中限
定的助听器及包括辅助装置的听力系统。
[0122]
听力系统可适于在助听器与辅助装置之间建立通信链路以使得信息(如控制和状态信号，可能音频信号)可进行交换或者从一装置转发给另一装置。
[0123]
辅助装置可包括遥控器、智能电话或者其它便携或可穿戴电子装置智能手表等。
[0124]
辅助装置可由遥控器构成或者包括遥控器，其用于控制助听器的功能和运行。遥控器的功能可实施在智能电话中，该智能电话可能运行使能经智能电话控制音频处理装置的功能的app(助听器包括适当的、到智能电话的无线接口，例如基于蓝牙或一些其它标准化或专有方案)。
[0125]
辅助装置可由音频网关设备构成或者包括音频网关设备，其适于(例如从娱乐装置如tv或音乐播放器、从电话设备如移动电话或者从计算机如pc)接收多个音频信号并适于选择和/或组合所接收的音频信号中的适当信号(或信号组合)以传给助听器。
[0126]
辅助装置可由另一助听器构成或者包括另一助听器。听力系统可包括适于实施双耳听力系统例如双耳助听器系统的两个助听器。
[0127]
app
[0128]
另一方面，本发明还提供称为app的非短暂应用。app包括可执行指令，其配置成在辅助装置上运行以实施用于上面描述的、“具体实施方式”中详细描述的及权利要求中限定的助听器或听力系统的用户接口。该app可配置成在移动电话如智能电话或另一使能与所述助听器或听力系统通信的便携装置上运行。
附图说明
[0129]
本发明的各个方面将从下面结合附图进行的详细描述得以最佳地理解。为清晰起见，这些附图均为示意性及简化的图，它们只给出了对于理解本发明所必要的细节，而省略其他细节。在整个说明书中，同样的附图标记用于同样或对应的部分。每一方面的各个特征可与其他方面的任何或所有特征组合。这些及其他方面、特征和/或技术效果将从下面的图示明显看出并结合其阐明，其中：
[0130]
图1示意性地示出了两个听力仪器安装在小孩的耳朵处，其中一听力仪器被正确地定位在小孩左耳上，但另一听力仪器被错误地定位在小孩右耳上；
[0131]
图2a示出了两个听力仪器平行安装时的侧视图(上图)和俯视图(下图)，它们将具有高度相关的加速度图，使得左和右x向加速度图将高度相关，对于在y和z向测得的加速度，同样如此；
[0132]
图2b示出了听力仪器未平行(或未按计划)安装时的侧视图(上图)和俯视图(下图)，其中可检测到因运动引起的加速度将以不同的方式相关(在两个听力仪器中，x和y加速度不平行)；
[0133]
图3a示出了针对两个正确安装的听力仪器，分别在左和右听力仪器中测得的左和右加速度图；
[0134]
图3b示出了在右听力仪器错误安装的情形下，分别在左和右听力仪器中测得的左和右加速度图；
[0135]
图4示出了根据本发明的双耳助听器系统的第一实施例；
[0136]
图5示出了根据本发明的双耳助听器系统的第二实施例；
[0137]
图6a示出了根据本发明的双耳助听器系统的左和右正确安装的听力仪器之间的加速度数据的互协方差的例子；
[0138]
图6b示出了根据本发明的双耳助听器系统的左和右错误安装的听力仪器之间的加速度数据的互协方差的例子；
[0139]
图7a示出了根据本发明第一实施例的、包括神经网络的控制器；
[0140]
图7b示出了根据本发明第二实施例的、包括神经网络的控制器；
[0141]
图7c示出了根据本发明第三实施例的、包括神经网络的控制器；
[0142]
图7d示出了根据本发明第四实施例的、包括神经网络的控制器；
[0143]
图7e示出了根据本发明第五实施例的、包括神经网络的控制器；
[0144]
图7f示出了根据本发明第六实施例的、包括神经网络的控制器。
[0145]
通过下面给出的详细描述，本发明进一步的适用范围将显而易见。然而，应当理解，在详细描述和具体例子表明本发明优选实施例的同时，它们仅为说明目的给出。对于本领域技术人员来说，基于下面的详细描述，本发明的其它实施方式将显而易见。
具体实施方式
[0146]
下面结合附图提出的具体描述用作多种不同配置的描述。具体描述包括用于提供多个不同概念的彻底理解的具体细节。然而，对本领域技术人员显而易见的是，这些概念可在没有这些具体细节的情形下实施。装置和方法的几个方面通过多个不同的块、功能单元、模块、元件、电路、步骤、处理、算法等(统称为“元素”)进行描述。根据特定应用、设计限制或其他原因，这些元素可使用电子硬件、计算机程序或其任何组合实施。
[0147]
电子硬件可包括微机电系统(mems)、(例如专用)集成电路、微处理器、微控制器、数字信号处理器(dsp)、现场可编程门阵列(fpga)、可编程逻辑器件(pld)、选通逻辑、分立硬件电路、印刷电路板(pcb)(例如柔性pcb)、及配置成执行本说明书中描述的多个不同功能的其它适当硬件，例如用于感测和/或记录环境、设备、用户等的物理性质的传感器。计算机程序应广义地解释为指令、指令集、代码、代码段、程序代码、程序、子程序、软件模块、应用、软件应用、软件包、例程、子例程、对象、可执行、执行线程、程序、函数等，无论是称为软件、固件、中间件、微码、硬件描述语言还是其他名称。
[0148]
本发明涉及配置成佩戴在用户的一只或两只耳朵处的听力装置如助听器领域。本发明具体涉及用于检测听力装置是否被正确地安装在用户耳朵处的方案。本发明也可适用于无线头戴式耳机，例如耳塞或可听戴产品的形式，例如用于控制特定特征将处于单耳模式还是双耳模式。
[0149]
在双耳设置下，可有利地利用在听力仪器佩戴在两只耳朵处时两个听力仪器之间的加速度图将高度相关的事实。如果听力仪器均指向同一方向(或者校准成使得左和右加速计的轴对准)，预期沿佩戴在一只耳朵处的听力仪器的x轴的加速度将主要与沿佩戴在对侧耳朵处的听力仪器的x轴测得的加速度相关(关联)。类似地，沿听力仪器y轴测得的加速度也将相关，沿z轴的加速度同样将相关。
[0150]
通过比较两个听力仪器的加速度图，可能检测两个听力仪器是指向同一方向还是不同方向，如图1中所示。
[0151]
图1示意性地示出了两个听力仪器安装在小孩的耳朵处，其中一听力仪器被正确
地定位在小孩左耳上，但另一听力仪器被错误地定位在小孩右耳上。即使两个耳模均被正确地安装在耳道中，听力仪器的bte部分也不必然正确地位于耳后。
[0152]
如果双耳助听器系统的听力仪器未被正确定位，可能影响呈现给听者的信号的质量。例如，定向降噪可能假定目标在相较于听力仪器的特定方向，例如在听力仪器前面。如果听力仪器未被正确安装，降噪可能使音频信号降级而不是改善它。此外，如果放置错误，所应用的增益不正确，使得声音的可听度或者语音可懂度降级。因而，检测听力仪器是否被错误安装很重要。这对于未意识到听力仪器未按计划工作的人(例如小孩)尤其重要。
[0153]
在检测到两个听力仪器的方向未对准的情形下，可触发警报。这例如可以是从听力仪器发送到看护者的电话(或类似设备)的警告消息。
[0154]
检测到非计划的听力仪器位置的另一后果可以是禁用定向降噪，藉此防止定向降噪衰减来自目标方向的音频。听力仪器因而应被设定为全向模式，直到检测到问题已解决为止。这也可自动或手动进行检测，例如经连接到听力仪器的电话。
[0155]
该检测可与其它输入特征结合，例如变化的反馈通路估计量的检测。
[0156]
检测左和右听力仪器是否未对准的一种方法是监测左和右听力仪器处测得的加速度之间的协方差(例如确定互协方差矩阵)。
[0157]
如果左和右听力仪器按计划安装，假定在左耳上测得的x、y和z加速度图以某一方式与在右耳上测得的对应加速度图相关。这在图2a、2b中示出。图2a示出了计划的安装，其中左和右听力仪器的加速度方向平行(为简单起见，我们将计划的方向示为平行，因为我们可始终旋转加速度图使得它们在听力仪器按计划使用时平行)。
[0158]
图2a示出了两个听力仪器平行安装时的侧视图(上图)和俯视图(下图)，它们将具有高度相关的加速度图，使得左和右x向加速度图将高度相关，对于在y和z向测得的加速度，同样如此。
[0159]
图2b示出了听力仪器未平行(或未按计划)安装时的侧视图(上图)和俯视图(下图)，其中可检测到因运动引起的加速度将以不同的方式相关(在两个听力仪器中，x和y加速度不平行)。或者，更一般地讲，可检测到两个听力仪器中的加速度坐标系(每一坐标系由x、y和z加速度跨越)未对准。
[0160]
当左和右加速度图平行时，可能在左和右x轴之间、左和右y轴之间、以及左和右z轴之间观察到最高相关。图2b示出了在听力仪器未按计划安装的情形下的左和右加速计轴(在该例子中，右听力仪器稍微指向右边)。
[0161]
图3a示出了针对两个正确安装的听力仪器，分别在左和右听力仪器中测得的左和右加速度图。
[0162]
图3b示出了在右听力仪器错误安装的情形下，分别在左和右听力仪器中测得的左和右加速度图。
[0163]
图3a和3b中的每一个示出了x、y和z方向的加速度图的测量结果。图3a示出了听力仪器被平行地安装(例如听力仪器被正确安装)时的加速度图。在本说明书中，术语“平行”指相应听力仪器的三个加速度方向所跨的坐标系具有指向同样方向的平行轴。
[0164]
图3b示出了在听力仪器未被正确安装时测得的加速度图。平均数已被去除，以聚焦于运动有关的图而不是重力有关的加速度。我们注意到，在听力仪器正确安装时，左和右加速度轴高度相关，而在听力仪器错误安装时，左和右听力仪器之间的加速度图不太对准。
应注意，即使听力仪器被正确安装，沿y轴(指向侧面)的加速度可能负相关。这是因为，在头部从一侧转向另一侧时，来自左和右听力仪器的y加速度指向相反方向。类似地，如图3b中所示，不同轴之间的强的、非预期的相关也可指明听力仪器之一被错误安装。
[0165]
在实施例中，对准基于左和右加速度图之间的相关。相关度量例如可基于左和右加速度图之间的协方差，即
[0166][0167]
其中r(在本技术中的别处也记为r
lr
)为互协方差矩阵，a
l
＝[x
l
,y
l
,z
l
]
t
为左听力仪器的加速度向量，ar＝[xr,yr,zr]
t
为右听力仪器在给定时间的加速度向量，
t
指转置，〈
·
〉指预期算子。预期算子指跨时间求平均(例如低通滤波)。跨时间求平均可基于移动平均或者基于iir滤波器例如一阶iir滤波器的平均。在实施例中，求平均仅基于其中已检测到加速度高于某一阈值的样本。如果听力仪器很好地对准，预期对角线元素将包含最高值。高的非对角线值将指明听力仪器未被对准。
[0168]
在实施例中，互协方差矩阵被归一化，其中，归一化基于至少一对角线元素。
[0169]
在实施例中，dc值已从加速度数据去除以使对准评估基于头部运动(如互协方差暗示的)。
[0170]
在实施例中，dc值未从加速度数据去除以使对准评估基于重力方向。
[0171]
基于重力方向进行评估(以检查两个听力仪器是否对重力方向达成一致)以及基于重力已被消除的情形进行评估(以检查听力仪器是否对运动图达成一致)均有利。
[0172]
在实施例中，听力仪器之间的对准评估基于左和右加速度向量之间例如由下式给出的角度：
[0173][0174]
或者类似的单调函数，例如：
[0175][0176]
在该情形下，我们需要重力方向(即平均加速度值不应从加速度数据去除)。
[0177]
在另一实施例中，对准评估程序用于检测一套听力仪器相较于参考位置多好地安装。该评估可分为两个不同部分：每一听力仪器的倾斜可基于每一听力仪器的角度与参考重力方向之间的角度进行测量。这样，测量不揭示听力仪器是否指向水平面中的参考方向(其与重力方向正交)，另外的关于听力仪器是否被平行地安装的评估可揭示一个或两个听力仪器是否指向两侧而不是朝向前面。藉此，在验配期间，可考虑个体之间的解剖学差异。
[0178]
图4示出了根据本发明的双耳助听器系统的第一实施例。图4示出了一种双耳助听器系统，其包括适于分别位于用户的左和右耳处或者左和右耳中的左和右听力仪器(ha
l
,har)。左和右听力仪器中的每一个包括配置成位于用户的外耳(耳廓)处或者外耳(耳廓)后面的bte部分。bte部分包括壳体(例如包围bte部分的元件如电子元件的机械壳)。左和右听力仪器中的每一个还包括加速度传感器(acs
l
,acsr)，配置成测量在相对于bte部分的壳体的至少两个方向的加速度并提供标示该加速度的加速度数据(acd
l
,acdr)。左和右听力仪器
中的每一个的加速度传感器(acs
l
,acsr)可包括二维(2d)或三维(3d)加速度传感器，配置成提供在相对于bte部分的壳体的两个方向(2d传感器)或三个方向(3d传感器)的加速度的相应度量。
[0179]
应注意，从单一维度的加速度(简单的运动检测器)，我们可检测听力仪器是否具有类似的运动图。基于类似的运动图，可指明两个听力仪器均位于人耳朵上(或者未位于人耳朵上)。然而，为确定听力仪器是否被正确安装，我们需要至少两个加速度方向。
[0180]
双耳助听器系统配置成使得左和右听力仪器中至少第一听力仪器(例如两个听力仪器)包括发射器(tx
l
,txr)，其配置成使能将来自加速度传感器的加速度数据传到左和右听力仪器中的第二听力仪器(或者传到单独的外部设备)。双耳助听器系统还配置成使得左和右听力仪器中至少第二听力仪器(例如两个听力仪器)包括接收器(rxr,rx
l
)，其配置成使能接收来自左和右听力仪器中的第一听力仪器的加速度传感器的加速度数据(acd
l
,acdr)。换言之，左和右听力仪器中的每一个可配置成使能在左和右听力仪器之间交换来自相应加速度传感器的加速度数据，例如参见图4中的无线链路wl和数据(acd
l
,acdr)。加速度数据可在左和右听力仪器之间交换之前进行预处理。预处理例如可包括低通滤波和/或下采样(例如为了限制无线链路的带宽(因而功耗))。
[0181]
双耳助听器系统还配置成使得左和右听力仪器中至少第二听力仪器(或者两个听力仪器)包括控制器(ctr
l
,ctrr)，其配置成根据左和右听力仪器提供的加速度数据(acd
l
,acdr)之间的相关度量检测左和右听力仪器(ha
l
,har)是否被正确安装。
[0182]
在图4的实施例中，双耳助听器系统的左和右听力仪器(ha
l
,har)中的每一个包括正向音频信号通路，配置成处理表示声音(例如用户周围环境中的声音)的电输入信号(in
l
,inr)从而提供处理后的信号(ou
l
,our)以及根据处理后的信号分别在用户的左和右耳处提供输出刺激。正向音频信号通路包括信号处理器(sp
l
,spr)，配置成将处理算法应用于电输入信号(in
l
,inr)或源自其的信号并提供处理后的信号(ou
l
,our)。
[0183]
在图4的实施例中，左和右听力仪器(ha
l
,har)中的每一个的正向音频信号通路包括用于提供表示声音的至少一电输入信号(in
l
,inr)的输入单元(iu
l
,iur)。输入单元(iu
l
,iur)可包括用于提供至少一电输入信号(in
l
,inr)的输入变换器。输入变换器可包括传声器、振动传感器、或音频接收器。输入单元(iu
l
,iur)可包括模数转换器，用于将模拟输入音频信号转换为数字音频样本流。输入单元可包括分析滤波器组，用于将时域输入信号转换为在(时-)频域表示该(时域)电输入信号的、多个子频带信号。
[0184]
在图4的实施例中，左和右听力仪器(ha
l
,har)中的每一个的正向音频信号通路包括输出单元(ou
l
,our)，用于将输出信号(ou
l
,our)(例如处理后的信号)转换为可由用户感知为声音的刺激。输出单元(ou
l
,our)可包括输出变换器(ot
l
,otr)(例如参见图5)。输出变换器(ot
l
,otr)可包括扬声器、振动器、多电极、或音频发射器。
[0185]
控制器(ctr
l
,ctrr)可配置成确定加速度数据(acd
l
,acdr)例如来自至少两个方向(如来自三个方向)中的每一方向的加速度数据中包括的不同信号怎样或是否相关。(左和右听力仪器中的每一个的)加速度数据可包括表示三个(例如直交)方向(例如x、y、z)的加速度数据。
[0186]
图5示出了根据本发明的双耳助听器系统的第二实施例。除下面讨论的差别之外，图5中所示的双耳助听器系统实施例与图4的实施例类似。在图5中，左和右听力仪器(ha
l
；
har)的每一输入单元(图4中的iu
l
；iur)包括两个传声器(分别为in1
l
,in2
l
和in1r,in2r)，每一传声器提供表示所涉及传声器位置处的环境中的声音的电输入信号。左和右听力仪器(ha
l
；har)中的每一个还包括波束形成器(bf
l
；bfr)，配置成根据相应的输入信号(分别为in1
l
,in2
l
和in1r,in2r)以及固定或自适应确定的波束形成器权重提供相应的空间滤波的信号(ybf
l
；ybfr)。左和右听力仪器(ha
l
；har)的波束形成器(bf
l
；bfr)的波束形成器权重可通过相应控制单元(ctr
l
；ctrr)根据来自左和右听力仪器的加速度传感器的加速度数据(acd
l
,acd’r
；acd’l
,acdr)提供的控制信号(ct
bt,l
；ct
bf,r
)进行控制。在图5的实施例中，左和右听力仪器(ha
l
；har)均被错误地安装在左和右耳处(参见图5中的“左耳”、“右耳”)。这在图5中由穿过传声器(fm
l
,rm
l
和fmr,rmr)的歪虚线箭头标示。在图5的实施例中，相应的左和右听力仪器(ha
l
；har)的正向音频信号通路的信号处理器(sp
l
；spr)可包括波束形成器(bf
l
；bfr)以及用于将随电平和频率而变的增益应用于空间滤波的信号((ybf
l
；ybfr)或者相应的正向音频通路的另一信号)以补偿用户的听力受损的助听器处理器(ha-pro
l
；ha-pror)。控制单元(ctr
l
；ctrr)可影响(控制)相应助听器处理器(ha-pro
l
；ha-pror)的处理，参见从控制单元到助听器处理器的控制信号(ct
pro,l
；ct
pro,r
)。在图5的实施例中，左和右听力仪器(ha
l
；har)的输出单元(图4中的ou
l
；our)包括相应的输出变换器(ot
l
；otr)，例如扬声器形式。作为备选，输出变换器可包括骨导助听器的相应振动器。
[0187]
左和右听力仪器(ha
l
；har)的控制单元(ctr
l
；ctrr)可配置成根据互协方差矩阵r
lr
的元素的值(的比较)判定听力仪器是否被正确安装，如结合图6a、6b描述的。
[0188]
图6a示出了根据本发明的双耳助听器系统的左和右正确安装的听力仪器之间的加速度数据的互协方差的例子。
[0189]
图6b示出了根据本发明的双耳助听器系统的左和右错误安装的听力仪器之间的加速度数据的互协方差的例子。
[0190]
在图6a、6b的两种情形下，互协方差矩阵r
lr
被估计为左加速度向量(a
l
＝[x
l
,y
l
,z
l
])和右加速度向量(ar＝[xr,yr,zr])之间的外(向量)积(随时间平均)，两个向量均为实值：
[0191][0192]
其中《
·
》指随时间求平均(或“预期算子”)。加速度向量可在频域(例如使用滤波器组)提供。同样，比刚才的去除平均数更一般地，加速度数据可被高通滤波(即与去除平均数一样)或带通滤波或低通滤波。
[0193]
为简单起见，a
l
和ar可以是原始加速度向量的处理后版本。
[0194]
可能有两个不同的加速度数据平均值：a)dc平均值指非常慢变化的平均值，b)应用于(例如身体的)运动的平均值基于较少的样本。两个不同的平均值可按具有两个不同时间常数的iir低通滤波实施。藉此，所得的信号变成带通滤波的信号。低通滤波器可基于移动平均，即有限数量的样本。
[0195]
这些图示出了在听力仪器正确安装的情形下(图6a)及在听力仪器错误安装的情形下(图6b)估计的互协方差矩阵(随时间通过多个时间帧归一化)。(因重力引起的)平均数已从数据减去(例如通过提供r
lr
＝e[(a
l-e[a
l
])(a
r-e[ar])
t
])，但另外，左和右重力向量的
方向之间的差异也可用作两个听力仪器已被正确安装的指示。如果向量之间的角度偏离高于阈值，可假定听力仪器被错误安装。在我们想“测量”角度的情形下，可确定平均加速度向量e[a
l
]和e[ar]之间的角度(并用作估计量)。
[0196]
在听力仪器正确安装的情形下，我们注意到，对角线元素的量值相较于非对角线元素更高。在相反情形下(听力仪器错误安装)，我们注意到，非对角线元素的量值相较于对角线元素更高。
[0197]
用于检测正确安装的听力仪器的判据因而可从互协方差矩阵r的对角线元素与非对角线元素之间的比(d-od-r)进行估计：
[0198][0199]
其中|
·
|表示互协方差矩阵r的各个元素的量值(或平方量值)。
[0200]
对于3d加速度传感器，例如，所述比(d-od-r)可确定为：
[0201][0202]
其中《
·
》指随时间求平均。该比也可计算为对数域中的差(log[sum(对角线)]
–
log[sum(非对角线)])。
[0203]
在图6a、6b中所示的两个互协方差矩阵的情形下，正确安装情形下的比变成2.85，非对角线情形下的比变成0.16。
[0204]
用于检测正确安装的听力仪器的判据因而可以是：
[0205]-如果d-od-r≥th1，则听力仪器被正确安装；及
[0206]-如果d-od-r《th2，则听力仪器被错误安装。
[0207]
th1可大于或等于th2。th1例如可大于或等于1，例如大于或等于2，例如大于或等于2.5。th2例如可小于或等于1.5，例如小于或等于1，例如小于或等于0.5。
[0208]
在实施例中，(互)协方差矩阵仅在检测到运动(即高于某一阈值的运动，例如因头部运动、步行等引起)时更新。
[0209]
检测听力仪器是否被正确对准的另一种方法可以是简单地使左和右(可能滤波后的)加速度图彼此求减(如双耳听力系统的左和右听力仪器体验的)。然而，这将不能检测未对准是否因头部运动引起。另一方面，如果听力仪器被正确安装，测得的加速度图之间的差异可用于检测头部运动。
[0210]
在立体音频重放的情形下(例如在双耳头戴式耳机中)，仪器正确安装的检测可用于确定重放应为双耳立体声(在正确安装时)还是两个单声流(在错误安装时，例如在两人之间共享听筒时)。
[0211]
当前反馈通路的估计量可提供两个听力仪器是否被正确安装的指示。作为备选或另外，相对于助听器壳体的重力方向的估计量可提供前述指示，假定佩戴听力仪器的用户处于站立位置。尽管这是(听力仪器活动时)常见的情形，但也可能不总是如此。
[0212]
在自我话音从非预期方向入射到听力仪器的传声器上的情形下，可指明听力仪器被错误安装。如果检测到听力仪器未被正确安装，我们将选择正确的听力仪器用于自我话音拾取(除非用户为正确地讲话到传声器内已故意取下听力仪器)。
[0213]
助听器系统(例如控制器)可访问关于听力仪器是左听力仪器还是右听力仪器的现有知识。在该情形下，为确定哪一听力仪器被错误安装，可在加速度数据中识别与正常加速度图的偏离。
[0214]
例如，头部运动将在加速度轴上导致相反的符号，从而指向远离头部中心的方向。如果在听力仪器之一上检测到头部运动图而在对侧听力仪器上未检测到，可表明听力仪器错误安装。偏离预期的加速度图的听力仪器即为错误安装的听力仪器。
[0215]
具体地，这可用于验证骨导仪器是否未被正确安装在其螺钉上，例如是否相较于其最佳放置转动。
[0216]
高于某一量值(阈值)的运动图(由加速度数据表示)可用于提供两个听力仪器是否被正确安装的指示。
[0217]
如果我们在两只耳朵上仅具有很小移动(低于阈值)，我们可意外地检测到仪器被错误安装。
[0218]
如果两个仪器仅具有很小移动(低于阈值)，我们不更新检测器。系统例如可配置成仅在足够高运动量(高于阈值)的情形下更新互协方差矩阵。
[0219]
在一个仪器被安装而另一个仪器未被安装的情形下，我们可能在仪器之一上具有很小运动，但在另一仪器上没有运动。在该情形下，互协方差矩阵的所有值均将小。这指明一个仪器已掉落(或者用户正敲击另一仪器)。
[0220]
图7a示出了根据本发明第一实施例的、包括神经网络的控制器，其中神经网络nn的输入特征向量ifv包括作为前n+1个样本的函数的、堆叠的加速度输入(x,y,z)。
[0221]
图7b示出了根据本发明第二实施例的、包括神经网络的控制器，其中神经网络nn属于前馈型(ff)、循环型(rnn)、卷积型或其组合。神经网络的每一输入包括加速度输入(x,y,z)的带通滤波的版本。输入特征向量的元素可包含一个或多个带通滤波的信号(例如通过府学路宾馆fb实施)。
[0222]
图7c示出了根据本发明第三实施例的、包括神经网络的控制器，其中神经网络nn的每一输入包括加速度输入(x,y,z)的低通滤波(lp)(及可能下采样(ds))的版本。
[0223]
图7d示出了根据本发明第四实施例的、包括神经网络的控制器，具有双耳输入，其中神经网络为循环神经网络rnn，例如门控循环单元(gru)，例如参见ep4033784a1。
[0224]
图7e示出了根据本发明第五实施例的、包括神经网络的控制器，其与图7a一样但为双耳版。神经网络nn例如可以是前馈神经网络或者卷积神经网络。
[0225]
图7f示出了根据本发明第六实施例的、包括神经网络的控制器，具有双耳输入，其中神经网络nn的输入特征向量ifv为相似性度量。
[0226]
图7a-7f示意性地示出了实施控制器(ctr
l
,ctrr)的神经网络(nn；rnn)的不同输入特征向量ifv，控制器配置成根据左和右听力仪器提供的加速度数据之间的相似性度量(图7f)如相关度量、或者直接基于加速度数据(图7a、7d、7e)、或者基于左和/或右听力仪器提供的加速度数据的处理后版本(图7b、7c)检测左和/或右听力仪器是否被正确安装。
[0227]
神经网络的输入数据(例如输入特征向量)可由给定时刻(n，例如“现在”)的数据构成或者包括该数据，例如参见图7b、7d、7f。输入数据例如可由给定时刻(n)以及多个(n个)先前时刻的数据构成或者包括这些数据，例如参见图7a、7e。根据所使用的神经网络类型，后者可能有利(尤其对于前馈型或卷积型神经网络)。由(n个)先前时刻表示的数据的“历史”可被包括在神经网络中，例如循环型神经网络中，例如包括gru的神经网络中，例如参见图7d(其中神经网络被记为“rnn”)。作为备选，数据的(时间)历史可通过在数据输入神经网络之前对数据进行低通滤波(和/或下采样)而包括(即，在给定时刻(n)，输入特征向量可包括来自用户的一只或两只耳朵处的加速计的x、y和z方向的、低通滤波(和/或下采样)的加速度数据，例如参见图7c(其中模块lp指低通滤波，模块ds指下采样))。从而，可减少神经网络执行的计算次数。输入数据例如可以是时域信号(例如加速度传感器的时域值，例如在相继的离散时刻(
…
,n-1,n,n+1
…
)提供)。然而，输入数据可在输入到神经网络之前变换到变换域。变换域例如可以是频域，例如参见图7b，其中数据输入(x,y,z)中的每一个包括分析滤波器组fb。输入数据(x,y,z)例如可表示给定听力装置的x、y和z方向(例如相对于地球的重力方向)的当前加速计数据。
[0228]
神经网络的输出在图7a-7f的示例性配置中记为“判定”。该输出例如可包括基于来自用户头部两侧的输入数据(即来自双耳助听器系统的两个听力仪器的加速计数据)的相似性度量。神经网络的输出例如可包括给定耳朵处的听力仪器是否被正确安装的指示(例如基于双耳助听器系统的一个或两个听力仪器的加速计数据)。神经网络的输出例如可包括给定听力仪器是否被正确安装的指示(例如基于双耳助听器系统的两个听力仪器的加速计数据)。
[0229]
代替将神经网络的输出标记为“判定”，也可标记为“分类”，其最终导致一判定。
[0230]
当由对应的过程适当代替时，上面描述的、“具体实施方式”中详细描述的及权利要求中限定的装置的结构特征可与本发明方法的步骤结合。
[0231]
除非明确指出，在此所用的单数形式“一”、“该”的含义均包括复数形式(即具有“至少一”的意思)。应当进一步理解，说明书中使用的术语“具有”、“包括”和/或“包含”表明存在所述的特征、整数、步骤、操作、元件和/或部件，但不排除存在或增加一个或多个其他特征、整数、步骤、操作、元件、部件和/或其组合。应当理解，除非明确指出，当元件被称为“连接”或“耦合”到另一元件时，可以是直接连接或耦合到其他元件，也可以存在中间插入元件。如在此所用的术语“和/或”包括一个或多个列举的相关项目的任何及所有组合。除非明确指出，在此公开的任何方法的步骤不必须精确按所公开的顺序执行。
[0232]
应意识到，本说明书中提及“一实施例”或“实施例”或“方面”或者“可”包括的特征意为结合该实施例描述的特定特征、结构或特性包括在本发明的至少一实施方式中。此外，特定特征、结构或特性可在本发明的一个或多个实施方式中适当组合。提供前面的描述是为了使本领域技术人员能够实施在此描述的各个方面。各种修改对本领域技术人员将显而易见，及在此定义的一般原理可应用于其他方面。
[0233]
权利要求不限于在此所示的各个方面，而是包含与权利要求语言一致的全部范围，其中除非明确指出，以单数形式提及的元件不意指“一个及只有一个”，而是指“一个或多个”。除非明确指出，术语“一些”指一个或多个。
[0234]
参考文献
[0235]
·
us2013188796a1(oticon)25.07.2013.
[0236]
·
ep3370435a1(oticon)05.09.2018.
[0237]
·
ep4033784a1(oticon)27.07.2022.

技术特征：
1.一种双耳助听器系统，包括适于分别位于用户的左和右耳处或者左和右耳中的左和右听力仪器，左和右听力仪器中的每一个包括：-配置成位于用户的外耳处或者外耳后面的bte部分，该bte部分包括壳体；-加速度传感器，配置成测量在相对于bte部分的壳体的至少两个方向的加速度并提供标示该加速度的加速度数据；左和右听力仪器中至少第一听力仪器包括发射器，配置成使能将来自加速度传感器的加速度数据传到左和右听力仪器中的第二听力仪器；及左和右听力仪器中至少第二听力仪器包括接收器，配置成使能接收来自左和右听力仪器中的第一听力仪器的加速度传感器的加速度数据；及其中，左和右听力仪器中至少第二听力仪器包括控制器，配置成根据左和右听力仪器提供的加速度数据之间的相似性度量例如相关度量检测左和右听力仪器是否被正确安装。2.根据权利要求1所述的双耳助听器系统，其中，所述相似性度量例如相关度量由协方差构成或者包括协方差。3.根据权利要求1或2所述的双耳助听器系统，其中，左和右听力仪器中的每一个的加速度数据包括表示至少两个方向的加速度数据。4.根据权利要求1所述的双耳助听器系统，其中，控制器配置成使左和右听力仪器是否被正确安装的判定基于从分别来自左和右听力仪器的加速度信号的外积获得的、估计的互协方差矩阵。5.根据权利要求4所述的双耳助听器系统，其中，控制器配置成在互协方差矩阵的对角线元素的量值大于阈值时判定听力仪器被正确安装。6.根据权利要求4所述的双耳助听器系统，其中，控制器配置成在非对角线元素中的至少一个或者至少两个相当高例如大于阈值且同时对角线元素具有相当低的值例如小于阈值时判定听力仪器被错误安装。7.根据权利要求1所述的双耳助听器系统，其中，控制器包括配置成检测听力仪器的错误安装的神经网络。8.根据权利要求7所述的双耳助听器系统，其中，神经网络配置成将来自左和右听力仪器的加速度数据接收为输入特征或者左和右听力仪器的加速度数据的互协方差矩阵的元素。9.根据权利要求1所述的双耳助听器系统，配置成在检测到左和右听力仪器未被正确安装时触发用户警报。10.根据权利要求1所述的双耳助听器系统，配置成禁用左和右听力仪器的定向降噪算法。11.根据权利要求1所述的双耳助听器系统，配置成使得左和右听力仪器提供的加速度数据之间的相关在相对于相应的左和右听力仪器的bte部分的壳体的至少一方向平行时最大。12.根据权利要求2所述的双耳助听器系统，配置成仅基于其中已检测到加速度高于某一阈值的样本跨时间对左和右听力仪器提供的加速度数据之间的协方差求平均。13.根据权利要求1所述的双耳助听器系统，其中，左和右听力仪器中的至少一个包括表示听力仪器正确安装的预定参考位置。
14.根据权利要求13所述的双耳助听器系统，配置成使得左和右听力仪器是否被正确安装的检测依赖于所述参考位置。15.根据权利要求1所述的双耳助听器系统，其中，左和右听力仪器中的至少一个由空气传导型助听器、骨导型助听器、耳蜗植入型助听器或其组合构成或者包括空气传导型助听器、骨导型助听器、耳蜗植入型助听器或其组合。

技术总结
本申请公开了用于监视和检测听力仪器是否被正确安装的方法，其中双耳助听器系统包括左和右听力仪器，每一听力仪器包括：BTE部分，该BTE部分包括壳体；加速度传感器，配置成测量在相对于BTE部分的壳体的至少两个方向的加速度并提供标示该加速度的加速度数据；左和右听力仪器中至少第一听力仪器包括发射器，配置成使能将加速度数据传到左和右听力仪器中的第二听力仪器；左和右听力仪器中至少第二听力仪器包括接收器，配置成使能接收来自左和右听力仪器中的第一听力仪器的加速度传感器的加速度数据；左和右听力仪器中至少第二听力仪器包括控制器，配置成根据左和右听力仪器提供的加速度数据之间的相似性度量检测左和右听力仪器是否被正确安装。器是否被正确安装。器是否被正确安装。


技术研发人员：M
受保护的技术使用者：奥迪康有限公司
技术研发日：2023.01.05
技术公布日：2023/7/12