一种骨传麦克风语音增强方法及装置、设备及存储介质



1.本公开涉及语音处理技术领域,尤其涉及一种骨传麦克风语音增强方法及装置、设备及存储介质。


背景技术:



2.目前,许多智能耳机、头戴式vr/ar设备都集成语音交互麦克风。通过麦克风拾取语音信号并进行增强、唤醒、识别等处理技术可以实现语音通讯、人机交互等功能,是提高人机交互效率、语音通讯质量的关键技术之一。其中,麦克风拾取语音的纯净程度或者受噪声干扰程度是影响实际交互体验的关键。骨传导麦克风由于通过人类颅骨传递声波,因此不受环境噪声干扰,目前受到了产业界广泛关注。然而,骨传导麦克风只能拾取2khz以下的信号,无法有效拾取中高频信号,导致语音感知与真实语音有较大差异。
3.采用骨传导麦克风和传统麦克风联合实现语音拾取与增强是目前较为常用的方式。最通用的方法是,基于骨传导麦克风进行语音活动区域检测,并把检测结果用于传统麦克风语音信号增强。由于骨传导麦克风不受环境噪声所干扰,语音活动检测更为准确,可以提升传统麦克风语音增强的效果。随着深度学习的广泛应用,采用深度学习实骨传导麦克风信号与传统麦克风信号融合的方案也越来越多。然而,深度学习需要广泛的数据才能保证效果,骨传导语音很难广泛采集,限制了其实际应用的效果。
4.骨传导麦克风通过将声音转化为不同频率的机械振动,通过人的颅骨、骨迷路、听觉中枢来传递声波。相对于通过振膜产生声波的经典声音传导方式,骨传导省去了许多声波传递的步骤,能在嘈杂的环境中实现清晰的声音还原。
5.基于骨传导麦克风信号进行语音活动检测,并作为引导信息指导传统麦克风信号语音增强的方法,是在传统麦克风信号上实现噪声掩蔽。由于实际应用中噪声在低频的干扰非常强,直接在传统麦克风信号上得到的掩蔽信息失真非常大,会影响语音交互的质量;基于深度学习的方案,通常由于数据训练的不充分,在实际应用中面临泛化性不足的问题。


技术实现要素:



6.为了解决上述技术问题或者至少部分地解决上述技术问题,本公开的实施例提供了一种骨传麦克风语音增强方法及装置、设备及存储介质。
7.第一方面,本公开的实施例提供了一种骨传麦克风语音增强方法,所述方法包括:获取两种频域信号,并根据预设的截止频率,对所述两种频域信号分别进行截取,得到两种截取后频域信号,其中,所述两种频域信号为通过骨传麦克风阵元和传统麦克风阵列分别采用预设的同一时钟和采样率对同一信号进行拾取对应得到的;对所述两种截取后频域信号分别进行半波整流,得到两种半波整流后时域信号;按照预设的中间频带,根据所述两种半波整流后时域信号确定融合因子,其中,所述中间频带的最小值为所述截止频率;根据融合因子对所述两种截取后频域信号进行融合,得到骨传麦克风语音增强语
音。
8.在一种可能的实施方式中,所述获取两种频域信号,包括:获取两种时域信号,其中,所述两种时域信号为通过骨传麦克风阵元和传统麦克风阵列分别采用预设的同一时钟和采样率对同一信号进行拾取得到的;对所述两种时域信号进行傅里叶变换,得到两种频域信号。
9.在一种可能的实施方式中,所述根据预设的截止频率,对所述两种频域信号分别进行截取,得到两种截取后频域信号,包括:对于通过骨传麦克风阵元拾取对应得到的频域信号,截取小于预设的截止频率的信号作为第一截取后频域信号;对于通过传统麦克风阵列拾取对应得到的频域信号,截取大于和等于预设的截止频率的信号作为第二截取后频域信号;将第一截取后频域信号和第二截取后频域信号作为两种截取后频域信号。
10.在一种可能的实施方式中,通过以下表达式,对于通过骨传麦克风阵元拾取对应得到的频域信号,截取小于预设的截止频率的信号作为第一截取后频域信号:其中,为第一截取后频域信号,为通过骨传麦克风阵元拾取对应得到的频域信号中第l帧第k个频带的频谱,为采样率,为预设的截止频率,通过以下表达式,对于通过传统麦克风阵列拾取对应得到的频域信号,截取大于和等于预设的截止频率的信号作为第二截取后频域信号:其中,为第二截取后频域信号,为通过传统麦克风阵列拾取对应得到的频域信号中第l帧第k个频带的频谱,为采样率,为预设的截止频率。
11.在一种可能的实施方式中,所述对所述两种截取后频域信号分别进行半波整流,得到两种半波整流后时域信号,包括:对所述两种截取后频域信号分别进行傅里叶变换,得到两种截取后时域信号;对所述两种截取后时域信号分别进行半波整流,得到两种半波整流后时域信号。
12.在一种可能的实施方式中,通过以下表达式,对所述两种截取后时域信号分别进行半波整流,得到两种半波整流后时域信号:其中,为骨传麦克风阵元对应的半波整流后时域信号,为骨传麦克风阵元对应的截取后时域信号,
其中,为传统麦克风阵列对应的半波整流后时域信号,为传统麦克风阵列对应的截取后时域信号。
13.在一种可能的实施方式中,所述按照预设的中间频带,根据所述两种半波整流后时域信号确定融合因子,包括:对所述两种半波整流后时域信号进行傅里叶变换,得到两种半波整流后频域信号;计算所述两种半波整流后频域信号在预设的中间频带对应的两种累积能量;根据所述两种累积能量计算融合因子。
14.在一种可能的实施方式中,所述预设的中间频带为[1500hz,2000hz],通过以下表达式,计算所述两种半波整流后频域信号在预设的中间频带对应的两种累积能量:其中,为骨传麦克风阵元对应的半波整流后频域信号在[1500hz,2000hz]对应的累积能量,为骨传麦克风阵元对应的半波整流后频域信号在[1500hz,2000hz]对应的累积能量,为骨传麦克风阵元对应的半波整流后频域信号,为骨传麦克风阵元对应的半波整流后频域信号,为相邻时刻之间的平滑系数。
[0015]
在一种可能的实施方式中,通过以下表达式,根据所述两种累积能量计算融合因子:其中,为骨传麦克风阵元对应的半波整流后频域信号在[1500hz,2000hz]对应的累积能量,为骨传麦克风阵元对应的半波整流后频域信号在[1500hz,2000hz]对应的累积能量,为融合因子。
[0016]
在一种可能的实施方式中,所述根据融合因子对所述两种截取后频域信号进行融合,得到骨传麦克风语音增强语音,包括:根据融合因子对所述两种截取后频域信号进行融合,得到融合后频域信号;对所述融合后频域信号进行傅里叶变换,得到融合后时域信号,作为骨传麦克风语音增强语音。
[0017]
在一种可能的实施方式中,通过以下表达式,根据融合因子对所述两种截取后频域信号进行融合,得到融合后频域信号:
其中,为融合后频域信号,为通过骨传麦克风阵元拾取对应得到的频域信号中第l帧第k个频带的频谱,为第一截取后频域信号,为第二截取后频域信号,为融合因子。
[0018]
第二方面,本公开的实施例提供了一种骨传麦克风语音增强装置,包括:截取模块,用于获取两种频域信号,并根据预设的截止频率,对所述两种频域信号分别进行截取,得到两种截取后频域信号,其中,所述两种频域信号为通过骨传麦克风阵元和传统麦克风阵列分别采用预设的同一时钟和采样率对同一信号进行拾取对应得到的;整流模块,用于对所述两种截取后频域信号分别进行半波整流,得到两种半波整流后时域信号;确定模块,用于按照预设的中间频带,根据所述两种半波整流后时域信号确定融合因子,其中,所述中间频带的最小值为所述截止频率;融合模块,用于根据融合因子对所述两种截取后频域信号进行融合,得到骨传麦克风语音增强语音。
[0019]
第三方面,本公开的实施例提供了一种电子设备,包括处理器、通信接口、存储器和通信总线,其中,处理器、通信接口和存储器通过通信总线完成相互间的通信;存储器,用于存放计算机程序;处理器,用于执行存储器上所存放的程序时,实现上述的骨传麦克风语音增强方法。
[0020]
第四方面,本公开的实施例提供了一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现上述的骨传麦克风语音增强方法。
[0021]
本公开实施例提供的上述技术方案与现有技术相比至少具有如下优点的部分或全部:本公开实施例所述的骨传麦克风语音增强方法,获取两种频域信号,并根据预设的截止频率,对所述两种频域信号分别进行截取,得到两种截取后频域信号,其中,所述两种频域信号为通过骨传麦克风阵元和传统麦克风阵列分别采用预设的同一时钟和采样率对同一信号进行拾取对应得到的;对所述两种截取后频域信号分别进行半波整流,得到两种半波整流后时域信号;按照预设的中间频带,根据所述两种半波整流后时域信号确定融合因子,其中,所述中间频带的最小值为所述截止频率;根据融合因子对所述两种截取后频域信号进行融合,得到骨传麦克风语音增强语音,本公开根据预设的截止频率作为滤波器组,先对两种频域信号进行截取和融合,并通过半波整流对整体信号进行修正,实现对噪声的有效抑制,能够保留骨传导麦克风清晰的低频信号,同时又可以对其缺失的中、高频信息进行补充,得到感知质量更高的音频信号。
附图说明
[0022]
此处的附图被并入说明书中并构成本说明书的一部分,示出了符合本公开的实施例,并与说明书一起用于解释本公开的原理。
[0023]
为了更清楚地说明本公开实施例或现有技术中的技术方案,下面将对实施例或相关技术描述中所需要使用的附图作简单地介绍,显而易见地,对于本领域普通技术人员而言,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
[0024]
图1示意性示出了根据本公开实施例的骨传麦克风语音增强方法流程示意图;图2示意性示出了根据本公开实施例的骨传麦克风语音增强装置的结构框图;以及图3示意性示出了根据本公开实施例的电子设备的结构框图。
具体实施方式
[0025]
为使本公开实施例的目的、技术方案和优点更加清楚,下面将结合本公开实施例中的附图,对本公开实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例是本公开的一部分实施例,而不是全部的实施例。基于本公开中的实施例,本领域普通技术人员在没有做出创造性劳动的前提下所获得的所有其他实施例,都属于本公开保护的范围。
[0026]
参见图1,本公开的实施例提供了一种骨传麦克风语音增强方法,所述方法包括:s1,获取两种频域信号,并根据预设的截止频率,对所述两种频域信号分别进行截取,得到两种截取后频域信号,其中,所述两种频域信号为通过骨传麦克风阵元和传统麦克风阵列分别采用预设的同一时钟和采样率对同一信号进行拾取对应得到的;在实际应用中,骨传麦克风是利用人讲话时引起的头颈部骨骼的轻微振动,来收集声音信号的,传统麦克风是通过空气传导采集声音信号的。
[0027]
s2,对所述两种截取后频域信号分别进行半波整流,得到两种半波整流后时域信号;s3,按照预设的中间频带,根据所述两种半波整流后时域信号确定融合因子,其中,所述中间频带的最小值为所述截止频率;s4,根据融合因子对所述两种截取后频域信号进行融合,得到骨传麦克风语音增强语音。
[0028]
在本实施例,步骤s1中,所述获取两种频域信号,包括:获取两种时域信号,其中,所述两种时域信号为通过骨传麦克风阵元和传统麦克风阵列分别采用预设的同一时钟和采样率对同一信号进行拾取得到的;对所述两种时域信号进行傅里叶变换,得到两种频域信号。
[0029]
在本实施例中,通过以下表达式,对所述两种时域信号进行傅里叶变换,得到两种频域信号:频域信号:其中,为通过骨传麦克风阵元拾取对应得到的频域信号中第l帧第k个频
带的频谱,为通过传统麦克风阵列拾取对应得到的频域信号中第l帧第k个频带的频谱,为帧长512,为长度512的汉明窗,l为时间帧序号,k为频率序号,为骨传麦克风阵元拾取的时域信号,为传统麦克风阵列拾取的时域信号。
[0030]
在本实施例,步骤s1中,所述根据预设的截止频率,对所述两种频域信号分别进行截取,得到两种截取后频域信号,包括:对于通过骨传麦克风阵元拾取对应得到的频域信号,截取小于预设的截止频率的信号作为第一截取后频域信号;对于通过传统麦克风阵列拾取对应得到的频域信号,截取大于和等于预设的截止频率的信号作为第二截取后频域信号;将第一截取后频域信号和第二截取后频域信号作为两种截取后频域信号。
[0031]
在本实施例,通过以下表达式,对于通过骨传麦克风阵元拾取对应得到的频域信号,截取小于预设的截止频率的信号作为第一截取后频域信号:其中,为第一截取后频域信号,为通过骨传麦克风阵元拾取对应得到的频域信号中第l帧第k个频带的频谱,为采样率,为预设的截止频率,通过以下表达式,对于通过传统麦克风阵列拾取对应得到的频域信号,截取大于和等于预设的截止频率的信号作为第二截取后频域信号:其中,为第二截取后频域信号,为通过传统麦克风阵列拾取对应得到的频域信号中第l帧第k个频带的频谱,为采样率,为预设的截止频率。
[0032]
通过根据预设的截止频率,对所述两种频域信号分别进行截取这一步骤,只保留骨传导信号的小于的频带信号,对于容易被低频噪声干扰的传统麦克风信号,只保留高于频带的信号,保证信号的纯净度。
[0033]
在本实施例,步骤s2中,所述对所述两种截取后频域信号分别进行半波整流,得到两种半波整流后时域信号,包括:对所述两种截取后频域信号分别进行傅里叶变换,得到两种截取后时域信号;对所述两种截取后时域信号分别进行半波整流,得到两种半波整流后时域信号。
[0034]
在本实施例中,通过以下表达式,对所述两种截取后频域信号分别进行傅里叶变换,得到两种截取后时域信号:
其中,为骨传麦克风阵元对应的截取后时域信号,为传统麦克风阵列对应的截取后时域信号,为第一截取后频域信号,为第二截取后频域信号,为帧长512,为汉明窗,l为时间帧序号,k为频率序号。
[0035]
在本实施例,通过以下表达式,对所述两种截取后时域信号分别进行半波整流,得到两种半波整流后时域信号:其中,为骨传麦克风阵元对应的半波整流后时域信号,为骨传麦克风阵元对应的截取后时域信号,其中,为传统麦克风阵列对应的半波整流后时域信号,为传统麦克风阵列对应的截取后时域信号。
[0036]
由于语音信号大部分能量具备清晰的谐波结构,本公开通过进行半波整流实现对相邻谐波进行增强。
[0037]
在本实施例,步骤s3中,所述按照预设的中间频带,根据所述两种半波整流后时域信号确定融合因子,包括:对所述两种半波整流后时域信号进行傅里叶变换,得到两种半波整流后频域信号;计算所述两种半波整流后频域信号在预设的中间频带对应的两种累积能量;根据所述两种累积能量计算融合因子。
[0038]
在本实施例中,通过以下表达式,对所述两种半波整流后时域信号进行傅里叶变换,得到两种半波整流后频域信号:换,得到两种半波整流后频域信号:其中,为骨传麦克风阵元对应的半波整流后频域信号,为骨传麦克风阵元对应的半波整流后频域信号,为骨传麦克风阵元对应的半波整流后时域信号,为传统麦克风阵列对应的半波整流后时域信号,为帧长512,为长度512的汉明窗,l为时间帧序号,k为频率序号。
[0039]
在本实施例中,所述预设的中间频带为[1500hz,2000hz],通过以下表达式,计算所述两种半波整流后频域信号在预设的中间频带对应的两种累积能量:其中,为骨传麦克风阵元对应的半波整流后频域信号在[1500hz,2000hz]对应的累积能量,为骨传麦克风阵元对应的半波整流后频域信号在[1500hz,2000hz]对应的累积能量,为骨传麦克风阵元对应的半波整流后频域信号,为骨传麦克风阵元对应的半波整流后频域信号,为相邻时刻之间的平滑系数,优选0.96,既保证足够的预测精度,同时避免融合因子在时间序列上变化较大。
[0040]
本公开通过预设的中间频带,作为骨传导麦克风信号与传统麦克风信号匹配的基准频带,即通过寻一个融合因子使得这二者在中间频带能量尽可能的匹配,要保证融合的完整性。
[0041]
在本实施例中,通过以下表达式,根据所述两种累积能量计算融合因子:其中,为骨传麦克风阵元对应的半波整流后频域信号在[1500hz,2000hz]对应的累积能量,为骨传麦克风阵元对应的半波整流后频域信号在[1500hz,2000hz]对应的累积能量,为融合因子。
[0042]
在本实施例,步骤s4中,所述根据融合因子对所述两种截取后频域信号进行融合,得到骨传麦克风语音增强语音,包括:根据融合因子对所述两种截取后频域信号进行融合,得到融合后频域信号;对所述融合后频域信号进行傅里叶变换,得到融合后时域信号,作为骨传麦克风语音增强语音。
[0043]
在本实施例中,通过以下表达式,根据融合因子对所述两种截取后频域信号进行融合,得到融合后频域信号:其中,为融合后频域信号,为通过骨传麦克风阵元拾取对应得到的频域信号中第l帧第k个频带的频谱,为第一截取后频域信号,为第二截取后频域信号,为融合因子。
[0044]
本实施例中,通过以下表达式,对所述融合后频域信号进行傅里叶变换,得到融合后时域信号:
其中,为融合后时域信号,为融合后频域信号,为帧长512,为汉明窗,l为时间帧序号,k为频率序号。
[0045]
在本公开的实施例中,从融合因子的计算方式来看传统信号能量越大,则融合因子越小,反之融合因子越高,通过该动态融合因子可以保证输出的最终频谱z(l,k)由两个幅度大致相同的信号融合而成,从z(l,k)可以看出,在低频保留了骨传导麦克风信号,几乎不被背景噪声所干扰,在中高频带,根据融合因子,保留了匹配的中高频能量,保证语音含有完整的谐波结构,提升输出语音信号的感知质量。
[0046]
本公开的骨传麦克风语音增强方法旨在根据骨传导麦克风信号低频不被环境噪声干扰但是缺乏有效中高频信号的问题,并且与传统麦克风信号进行融合的方式,可以有效集成低频与中高频语音信号,保证语音谐波结构的完整程度与清晰程度,感知质量更高。
[0047]
本公开的骨传麦克风语音增强方法旨在根据两路信号半波整流结果计算动态的融合因子,实现骨传导麦克风信号与传统麦克风信号的有效融合。
[0048]
本公开的骨传麦克风语音增强方法,结合传统麦克风信号对相关频带信号进行修复,保证了拾取语音的听觉感知,第一方面,由于骨传导麦克风在强噪声场景下拾取清晰的语音信号,通过本公开的中高频补偿办法,能够适应非常复杂的强干扰声学环境,应用范围更广,第二方面,通过融合因子实现融合,可以保证两路信号在幅度上非常匹配,避免直接相加导致的信号失配,因此感知质量更高。
[0049]
本公开的骨传麦克风语音增强方法核心在于融合因子的计算,主要的计算量体现在傅里叶的计算上,而傅里叶变换目前有较多加速手段,因此可以适用于许多对功耗有严格要求的头戴式vr、ar产品,应用范围更广。
[0050]
参见图2,本公开的实施例提供了一种骨传麦克风语音增强装置,包括:截取模块21,用于获取两种频域信号,并根据预设的截止频率,对所述两种频域信号分别进行截取,得到两种截取后频域信号,其中,所述两种频域信号为通过骨传麦克风阵元和传统麦克风阵列分别采用预设的同一时钟和采样率对同一信号进行拾取对应得到的;整流模块22,用于对所述两种截取后频域信号分别进行半波整流,得到两种半波整流后时域信号;确定模块23,用于按照预设的中间频带,根据所述两种半波整流后时域信号确定融合因子,其中,所述中间频带的最小值为所述截止频率;融合模块24,用于根据融合因子对所述两种截取后频域信号进行融合,得到骨传麦克风语音增强语音。
[0051]
上述装置中各个单元的功能和作用的实现过程具体详见上述方法中对应步骤的实现过程,在此不再赘述。
[0052]
对于装置实施例而言,由于其基本对应于方法实施例,所以相关之处参见方法实施例的部分说明即可。以上所描述的装置实施例仅仅是示意性的,其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的,作为单元显示的部件可以是或者也可以不是物理单元,即可以位于一个地方,或者也可以分布到多个网络单元上。可以根据实际的
array,简称fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。
[0059]
本公开的实施例还提供了一种计算机可读存储介质。上述计算机可读存储介质上存储有计算机程序,上述计算机程序被处理器执行时实现如上所述的骨传麦克风语音增强方法。
[0060]
该计算机可读存储介质可以是上述实施例中描述的设备/装置中所包含的;也可以是单独存在,而未装配入该设备/装置中。上述计算机可读存储介质承载有一个或者多个程序,当上述一个或者多个程序被执行时,实现根据本公开实施例的骨传麦克风语音增强方法。
[0061]
根据本公开的实施例,计算机可读存储介质可以是非易失性的计算机可读存储介质,例如可以包括但不限于:便携式计算机磁盘、硬盘、随机访问存储器(ram)、只读存储器(rom)、可擦式可编程只读存储器(eprom或闪存)、便携式紧凑磁盘只读存储器(cd-rom)、光存储器件、磁存储器件、或者上述的任意合适的组合。在本公开中,计算机可读存储介质可以是任何包含或存储程序的有形介质,该程序可以被指令执行系统、装置或者器件使用或者与其结合使用。
[0062]
需要说明的是,在本文中,诸如“第一”和“第二”等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来,而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。
[0063]
以上所述仅是本公开的具体实施方式,使本领域技术人员能够理解或实现本公开。对这些实施例的多种修改对本领域的技术人员来说将是显而易见的,本文中所定义的一般原理可以在不脱离本公开的精神或范围的情况下,在其它实施例中实现。因此,本公开将不会被限制于本文所示的这些实施例,而是要符合与本文所申请的原理和新颖特点相一致的最宽的范围。

技术特征:


1.一种骨传麦克风语音增强方法,其特征在于,所述方法包括:获取两种频域信号,并根据预设的截止频率,对所述两种频域信号分别进行截取,得到两种截取后频域信号,其中,所述两种频域信号为通过骨传麦克风阵元和传统麦克风阵列分别采用预设的同一时钟和采样率对同一信号进行拾取对应得到的;对所述两种截取后频域信号分别进行半波整流,得到两种半波整流后时域信号;按照预设的中间频带,根据所述两种半波整流后时域信号确定融合因子,其中,所述中间频带的最小值为所述截止频率;根据融合因子对所述两种截取后频域信号进行融合,得到骨传麦克风语音增强语音。2.根据权利要求1所述的方法,其特征在于,所述获取两种频域信号,包括:获取两种时域信号,其中,所述两种时域信号为通过骨传麦克风阵元和传统麦克风阵列分别采用预设的同一时钟和采样率对同一信号进行拾取得到的;对所述两种时域信号进行傅里叶变换,得到两种频域信号。3.根据权利要求1所述的方法,其特征在于,所述根据预设的截止频率,对所述两种频域信号分别进行截取,得到两种截取后频域信号,包括:对于通过骨传麦克风阵元拾取对应得到的频域信号,截取小于预设的截止频率的信号作为第一截取后频域信号;对于通过传统麦克风阵列拾取对应得到的频域信号,截取大于和等于预设的截止频率的信号作为第二截取后频域信号;将第一截取后频域信号和第二截取后频域信号作为两种截取后频域信号。4.根据权利要求3所述的方法,其特征在于,通过以下表达式,对于通过骨传麦克风阵元拾取对应得到的频域信号,截取小于预设的截止频率的信号作为第一截取后频域信号:其中,为第一截取后频域信号,为通过骨传麦克风阵元拾取对应得到的频域信号中第l帧第k个频带的频谱,为采样率,为预设的截止频率,通过以下表达式,对于通过传统麦克风阵列拾取对应得到的频域信号,截取大于和等于预设的截止频率的信号作为第二截取后频域信号:其中,为第二截取后频域信号,为通过传统麦克风阵列拾取对应得到的频域信号中第l帧第k个频带的频谱,为采样率,为预设的截止频率。5.根据权利要求1所述的方法,其特征在于,所述对所述两种截取后频域信号分别进行半波整流,得到两种半波整流后时域信号,包括:对所述两种截取后频域信号分别进行傅里叶变换,得到两种截取后时域信号;对所述两种截取后时域信号分别进行半波整流,得到两种半波整流后时域信号。
6.根据权利要求5所述的方法,其特征在于,通过以下表达式,对所述两种截取后时域信号分别进行半波整流,得到两种半波整流后时域信号:其中,为骨传麦克风阵元对应的半波整流后时域信号,为骨传麦克风阵元对应的截取后时域信号,其中,为传统麦克风阵列对应的半波整流后时域信号,为传统麦克风阵列对应的截取后时域信号。7.根据权利要求1所述的方法,其特征在于,所述按照预设的中间频带,根据所述两种半波整流后时域信号确定融合因子,包括:对所述两种半波整流后时域信号进行傅里叶变换,得到两种半波整流后频域信号;计算所述两种半波整流后频域信号在预设的中间频带对应的两种累积能量;根据所述两种累积能量计算融合因子。8.根据权利要求7所述的方法,其特征在于,所述预设的中间频带为[1500hz,2000hz],通过以下表达式,计算所述两种半波整流后频域信号在预设的中间频带对应的两种累积能量:其中,为骨传麦克风阵元对应的半波整流后频域信号在[1500hz,2000hz]对应的累积能量,为骨传麦克风阵元对应的半波整流后频域信号在[1500hz,2000hz]对应的累积能量,为骨传麦克风阵元对应的半波整流后频域信号,为骨传麦克风阵元对应的半波整流后频域信号,为相邻时刻之间的平滑系数。9.根据权利要求7所述的方法,其特征在于,通过以下表达式,根据所述两种累积能量计算融合因子:其中,为骨传麦克风阵元对应的半波整流后频域信号在[1500hz,2000hz]对应的累积能量,为骨传麦克风阵元对应的半波整流后频域信号在[1500hz,2000hz]对应的累积能量,为融合因子。10.根据权利要求1所述的方法,其特征在于,所述根据融合因子对所述两种截取后频域信号进行融合,得到骨传麦克风语音增强语音,包括:
根据融合因子对所述两种截取后频域信号进行融合,得到融合后频域信号;对所述融合后频域信号进行傅里叶变换,得到融合后时域信号,作为骨传麦克风语音增强语音。11.根据权利要求10所述的方法,其特征在于,通过以下表达式,根据融合因子对所述两种截取后频域信号进行融合,得到融合后频域信号:其中,为融合后频域信号,为通过骨传麦克风阵元拾取对应得到的频域信号中第l帧第k个频带的频谱,为第一截取后频域信号,为第二截取后频域信号,为融合因子。12.一种骨传麦克风语音增强装置,其特征在于,包括:截取模块,用于获取两种频域信号,并根据预设的截止频率,对所述两种频域信号分别进行截取,得到两种截取后频域信号,其中,所述两种频域信号为通过骨传麦克风阵元和传统麦克风阵列分别采用预设的同一时钟和采样率对同一信号进行拾取对应得到的;整流模块,用于对所述两种截取后频域信号分别进行半波整流,得到两种半波整流后时域信号;确定模块,用于按照预设的中间频带,根据所述两种半波整流后时域信号确定融合因子,其中,所述中间频带的最小值为所述截止频率;融合模块,用于根据融合因子对所述两种截取后频域信号进行融合,得到骨传麦克风语音增强语音。13.一种电子设备,其特征在于,包括处理器、通信接口、存储器和通信总线,其中,处理器、通信接口和存储器通过通信总线完成相互间的通信;存储器,用于存放计算机程序;处理器,用于执行存储器上所存放的程序时,实现权利要求1-11中任一项所述的骨传麦克风语音增强方法。14.一种计算机可读存储介质,其上存储有计算机程序,其特征在于,所述计算机程序被处理器执行时实现权利要求1-11中任一项所述的骨传麦克风语音增强方法。

技术总结


本公开涉及一种骨传麦克风语音增强方法及装置、设备及存储介质,所述方法包括:获取两种频域信号,并根据预设的截止频率,对所述两种频域信号分别进行截取,得到两种截取后频域信号;对所述两种截取后频域信号分别进行半波整流,得到两种半波整流后时域信号;按照预设的中间频带,根据所述两种半波整流后时域信号确定融合因子;根据融合因子对所述两种截取后频域信号进行融合,得到骨传麦克风语音增强语音,根据预设的截止频率作为滤波器组,先对两种频域信号进行截取和融合,并通过半波整流对整体信号进行修正,实现对噪声的有效抑制,能够保留骨传导麦克风清晰的低频信号,同时对其缺失的中、高频信息进行补充,得到感知质量更高的音频信号。高的音频信号。高的音频信号。


技术研发人员:

梁山 陶建华 聂帅 李冠君 易江燕

受保护的技术使用者:

中国科学院自动化研究所

技术研发日:

2023.02.03

技术公布日:

2023/3/27

本文发布于:2024-09-23 16:19:17,感谢您对本站的认可!

本文链接:https://www.17tex.com/tex/4/83801.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:信号   两种   麦克风   所述
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议