首页 > 专利信息

声音信号处理装置和处理声音信号的方法与流程

声音信号处理装置和处理声音信号的方法
1.相关申请的交叉引用
2.本技术基于2021年6月4日在韩国知识产权局提交的韩国专利申请no.10-2021-0072966和2021年12月2日在韩国知识产权局提交的韩国专利申请no.10-2021-0171203并且要求其优先权，所述申请的全部公开内容通过引用合并于此。
技术领域
3.与示例实施例一致的装置和方法涉及处理声音信号。

背景技术：

4.安装在各种电子设备中的用于感测声音的声音传感器的使用日益增多。在电子设备中使用多个声音传感器以区分所接收的各种类型的声音或仅感测特定的声音。然而，为了提高感测特定的声音的准确性，需要大量的声音传感器，因此加工成本、复杂度和功耗增加。此外，当将多个声音传感器用于接收声音信号时，声音信号的时延计算的复杂度也增加。因此，需要用于清楚且高效地感测特定声音的技术。
5.此外，配备有声音传感器的可穿戴设备的使用日益增多。由于可以在各种声音环境中使用的可穿戴设备的特性，需要用于清楚地区别并感测用户的语音和从用户外部生成的声音的技术。

技术实现要素：

6.一个或多个示例实施例提供了声音信号处理装置和处理声音信号的方法。此外，一个或多个示例实施例提供了计算机可读记录介质，用于在计算机中执行方法的程序记录在该计算机可读记录介质中。要解决的技术问题不限于以上技术问题，并且可以根据以下实施例推断其他技术问题。
7.根据示例实施例的一个方面，一种声音信号处理装置可以包括：定向麦克风，被配置为通过将定向麦克风布置为面向用户的语音的发声点来检测包括用户的语音的用户语音信号；非定向麦克风，被配置为检测包括用户的语音和外部声音在内的混合声音信号；以及处理器，被配置为通过根据混合声音信号差分地计算用户语音信号而从混合声音信号中衰减用户的语音，来生成外部声音信号。
8.定向麦克风可以包括多个振动结构，所述多个振动结构被配置为感测不同频带的声音，其中，多个振动结构中的每一个可以包括振动器，所述振动器形成一个平面以接收混合声音信号，并且当接收到混合声音信号时，振动器基于混合声音信号的频率在与一个平面正交的方向上振动。
9.振动器以一振动强度振动，所述振动强度基于混合声音信号的传播方向与由振动器形成的一个平面之间的角度。
10.振动器在角度接近90
°
时以高振动强度振动，并且在角度接近0
°
时以低振动强度振动。
11.定向麦克风被布置为使得相对用户的语音的发声点的方向与一个平面之间形成的角度在60
°
至120
°
的范围内。
12.多个振动结构中的每一个可以包括振动检测器，所述振动检测器被配置为接收振动器的振动。
13.定向麦克风被配置为：确定由振动结构生成的电信号中的要衰减的电信号，并且衰减所确定的电信号。
14.定向麦克风还被配置为：基于由振动结构生成的电信号的平均幅度来确定阈值。
15.声音信号处理装置可以包括自适应滤波器，所述自适应滤波器被配置为调整用于将用户语音信号和混合声音信号进行组合的参数，使得基于反馈信号从混合声音信号中衰减用户的语音，其中，处理器还被配置为：当用户语音信号被输入到自适应滤波器时，通过根据混合声音信号差分地计算从自适应滤波器输出的信号来生成反馈信号；以及通过将反馈信号输入到自适应滤波器来控制自适应滤波器调整参数。
16.声音信号处理装置可以包括显示器，所述显示器被配置为输出视觉信息，其中，处理器还被配置为：执行与用户语音信号相对应的第一功能和与外部声音信号相对应的第二功能，并且控制显示器使得第一功能和第二功能中的每一个的执行结果显示在显示器的不同区域中。
17.声音信号处理装置是眼镜式可穿戴装置，定向麦克风和非定向麦克风被布置在眼镜式可穿戴装置的眼镜框上，并且定向麦克风被布置为使得用于接收混合声音的一个平面面向用户的语音的发声点。
18.定向麦克风被布置在眼镜式可穿戴装置的眼镜梁或眼镜框上，并且非定向麦克风与定向麦克风分离，并被布置在眼镜式可穿戴装置的框或腿上。
19.非定向麦克风被配置为：通过在与布置定向麦克风的方向不同的方向上以及在与生成外部声音的点相对应的方向上布置用于接收混合声音信号的平面，来根据混合声音信号生成其中衰减了用户的语音的第一外部声音信号；并且处理器还被配置为：通过根据第一外部声音信号差分地计算用户语音信号，来生成与第一外部声音信号中的用户的语音相比用户的语音被进一步衰减的第二外部声音信号。
20.根据本技术的另一方面，一种声音信号处理装置可以包括：第一麦克风，被配置为：通过将用于接收混合声音的平面布置在与生成来自扬声器的输出的声音的点相对应的方向上，来接收包括所述输出的声音和从扬声器外部生成的外部声音在内的混合声音，并且根据混合声音生成其中衰减了外部声音的输出声音信号；第二麦克风，被配置为：接收混合声音，并且根据所接收的混合声音生成混合声音信号；以及处理器，被配置为：通过根据整体声音信号差分地计算输出声音信号，来生成衰减了输出的声音的外部声音信号。
21.根据本技术的另一方面，一种处理声音信号的方法可以包括：接收混合声音，所述混合声音包括用户的语音和从用户外部生成的外部声音；根据混合声音生成混合声音信号；根据所接收的混合声音生成其中衰减了外部声音的用户语音信号；以及通过根据混合声音信号差分地计算用户语音信号，来生成衰减了用户的语音的外部声音信号。
22.接收混合声音可以包括：使多个振动结构中的每一个基于所接收的混合声音的频率在与形成为接收混合声音的一个平面正交的方向上振动，所述多个振动结构被配置为感测不同频带的声音。
23.使多个振动结构中的每一个振动可以包括：使多个振动结构中的每一个以一振动强度振动，所述振动强度基于所接收的声音的传播方向与一个平面之间形成的角度。
24.使多个振动结构中的每一个振动还包括：当角度接近90
°
时，使多个振动结构中的每一个以较高的振动强度振动，并且当角度接近0
°
时，使多个振动结构中的每一个以较低的振动强度振动。
25.使多个振动结构中的每一个振动还包括：生成分别与多个振动结构的振动相对应的电信号。
26.生成用户语音信号可以包括：基于根据电信号的平均幅度而设置的阈值来确定电信号中的要衰减的电信号，并且衰减所确定的电信号。
27.生成外部声音信号可以包括：将用户语音信号输入到自适应滤波器，通过根据混合声音信号差分地计算从自适应滤波器输出的信号来生成反馈信号，以及通过将反馈信号输入到自适应滤波器来控制自适应滤波器调整用于将混合声音信号和用户语音信号进行组合的参数。
28.根据本技术的另一方面，一种非暂时性计算机可读记录介质，记录有用于执行处理声音信号的方法的程序，所述方法包括：接收混合声音，混合声音包括用户的语音和从用户外部生成的外部声音；根据混合声音生成混合声音信号；根据所接收的混合声音生成其中衰减了外部声音的用户语音信号；以及通过根据混合声音信号差分地计算用户语音信号，来生成衰减了用户的语音的外部声音信号。
附图说明
29.根据以下结合附图的描述，本公开的一些实施例的上述和其它方面、特征以及优点将更清楚，在附图中：
30.图1是示出根据示例实施例的声音信号处理装置的配置的框图；
31.图2是示出根据示例实施例的用户麦克风的配置的框图；
32.图3是示出用户麦克风的配置的图；
33.图4a至图4c是图3的感测设备的截面图；
34.图5是用于说明根据比较示例的使用环境麦克风的声音感测方法的图；
35.图6是用于描述根据示例实施例的用户的麦克风的方向性图案的图；
36.图7是示出测量用户的麦克风的方向性图案的结果的图；
37.图8是用于描述根据示例实施例的声音信号处理装置的信号处理的图；
38.图9是示出根据示例实施例的测量用户麦克风和环境麦克风的方向性图案的结果的图；
39.图10a和图10b是示出振动器相对于用户的语音的发声点的布置的图；
40.图11是示出根据示例实施例的声音调整单元的声音调整过程的图；
41.图12是示出根据示例实施例的由用户麦克风生成的用户语音信号的图；
42.图13是用于描述根据示例实施例的差分计算方法的框图；
43.图14是用于说明图13的差分计算方法的示例的框图；
44.图15是示出根据示例实施例的外部声音信号的图；
45.图16a和图16b是示出根据实施例的显示器的图；
46.图17a至图17c是示出声音信号处理装置是眼镜式可穿戴装置的实施例的图；
47.图18a和图18b是示出在显示器上显示执行功能的结果的实施例的图；
48.图19是示出根据另一示例实施例的声音信号处理装置的配置的框图；
49.图20是用于说明根据图19的实施例的用户麦克风和环境麦克风的布置的图；
50.图21是用于说明根据图19的实施例的差分计算方法的框图；
51.图22是示出根据另一示例实施例的声音信号处理装置的配置的框图；
52.图23是用于说明根据图22的实施例的差分计算方法的图；以及
53.图24是示出根据示例实施例的声音信号处理方法的流程图。
具体实施方式
54.下面参考附图更详细地描述示例实施例。
55.在以下描述中，即使在不同附图中，类似的附图标记也用于类似的元件。提供描述中定义的内容(例如，详细构造和元件)以帮助全面理解示例实施例。然而，应当清楚，即便在缺少这些具体定义的内容的情况下，也能够实践示例实施例。此外，由于公知的功能或构造会以不必要的细节使描述模糊，因此没有对其进行详细地描述。
56.如本文所使用的，术语“和/或”包括相关列出项目中的一个或多个项目的任意和所有组合。诸如
“…
中的至少一个”之类的表述在元件列表之后时修饰整个元件列表，而不是修饰列表中的单独元件。
57.考虑到当前实施例的功能，本文使用的术语选择为本领域普通技术人员常用的术语，但是可以根据技术目的、先例或新技术的公开而改变。此外，在特定情况下，由申请人任意地选择一些术语，并且在这种情况下，术语的含义将在说明书的对应部分处详细地被描述。因此，说明书中使用的术语不应仅由术语的名称来定义而是基于整个说明书的含义和内容来定义。
58.在实施例的描述中，应理解，当提及元件连接到另一元件时，可以包括当元件直接连接到该另一元件时或者当元件通过插入组成元件间接连接到该另一元件时的电连接。此外，应理解，当在本说明书中部件“包括”或“包含”组成元件时，除非另外定义，否则不排除其他元件，而是还可以包括其他元件。
59.还应理解，术语“包括”或“包含”不应该被解释为必须包括本说明书中描述的各种组成元件和各种操作，并且也不应该被解释为可以不包括各种组成元件和各种操作中的组成元件或操作的部分或还可以包括附加的组成元件和操作。
60.应理解，虽然可以在本文使用术语“第一”、“第二”等来描述各种组成元件，但是这些组成元件不应被这些术语限制。这些术语仅用来将组成元件彼此区分。
61.实施例的描述不应该被解释为限制权利的范围，并且由本领域普通技术人员根据详细的描述和实施例容易地推断出来的实施例将被解释为包括在本发明构思中。现在将详细参考实施例，实施例的示例在附图中示出。
62.图1是示出根据示例实施例的声音信号处理装置的配置的框图。
63.参考图1，声音信号处理装置100可以包括用户麦克风110、环境麦克风120和处理器130。在图1所示的声音信号处理装置100中，示出了与本实施例有关的组件。因此，本领域技术人员清楚的是，除了图1所示的组件之外的通用组件可以进一步被包括在声音信号处
理装置100中。
64.声音信号处理装置100可以是由用户穿戴的用于接收用户的语音的可穿戴设备。备选地，声音信号处理装置100可不由用户穿戴，并且可以靠近声音输出装置布置或被包括在声音输出装置中。然而，这仅是示例，并且可以用能够接收声音的各种形式修改和实现声音信号处理装置100。稍后将参考图17a描述声音信号处理装置100的示例。
65.声音信号处理装置100可以包括不同类型的麦克风，用于针对所接收的声音生成各种声音信号。即使接收到相同的声音，由麦克风生成的声音信号也可以根据麦克风的配置和操作而不同。因此，声音信号处理装置100可以通过包括不同类型的麦克风来生成目标声音信号。声音信号处理装置100可以包括用于检测用户的语音的用户麦克风110和用于检测包括用户的语音在内的整体声音(whole sound)的环境麦克风120。整体声音可以是包括用户的语音和其他环境声音在内的混合声音信号。
66.用户麦克风110和环境麦克风120可以接收包括用户的语音和从用户外部生成的外部声音在内的整体声音。用户的语音可以与使用或穿戴声音信号处理装置100的用户的语音相对应。外部声音是从用户外部接收的声音并且可以与除了用户的语音之外的声音相对应。例如，外部声音可以包括与用户对话的旁人的语音、从用户观看的图像输出的声音、或用户周围的环境中生成的声音。整体声音是包括用户的语音和外部声音两者的声音，并且可以与发送到声音信号处理装置100(或由声音信号处理装置100接收)的全部声音相对应。整体声音被发送到用户麦克风110(或由用户麦克风110接收)，但是可以通过用户麦克风110的结构或操作从整体声音中衰减外部声音，因此可以生成用户语音信号。
67.用户麦克风110和环境麦克风120可以将所接收的声音转换成包括信息(例如，频率、幅度和时间)的电信号。
68.用户麦克风110可以通过从所接收的整体声音中衰减外部声音来生成用户语音信号。用户麦克风110可以通过衰减外部声音来生成更清楚的用户语音信号。例如，用户麦克风110可以具有关于用户的语音的方向性，以衰减所接收的外部声音。备选地，用户麦克风110可以基于阈值来衰减与外部声音相对应的信号。稍后将参考图2描述用户麦克风110的配置和操作。
69.此外，用户麦克风110可以通过由用户麦克风110形成的一个平面来接收声音。此处，一个平面可以表示由用户麦克风110的振动单元形成的平面，或者可以表示由布置在平面中的多个振动单元形成的平面。用户麦克风110可以布置在声音信号处理装置100中，使得由用户麦克风110形成的一个平面在与用户的语音的发声点相对应的方向上布置，或布置为面向用户的语音的发声位置。由于用户麦克风110的布置，可以以高灵敏度感测用户的语音并且可以以低灵敏度感测外部声音。因此，从由用户麦克风110接收的整体声音中衰减外部声音，并且作为由用户麦克风110生成的声音信号的用户语音信号可以是衰减了外部声音的信号。
70.例如，用户麦克风110可以设置在声音信号处理装置100中，使得接收整体声音的一个平面与从用户的语音的发声点到所述一个平面的方向之间形成的角度在60
°
至120
°
的范围内。稍后将参考图10a和图10b描述用户麦克风110(或用户麦克风的振动器)的布置。
71.环境麦克风120可以根据所接收的整体声音生成整体声音信号。环境麦克风120可以生成其中用户的语音或外部声音都不被衰减或加强的整体声音信号。
72.处理器130可以接收由麦克风生成的声音信号并且执行关于所接收的声音信号的操作。处理器130可以通过根据整体声音信号差分地计算用户语音信号来生成外部声音信号。外部声音信号可以是根据整体声音信号衰减了与用户的语音相对应的信号的信号。因此，外部声音信号可以仅包括与外部声音相对应的信号，或者可以是加强了与外部声音相对应的信号的信号。此处，加强特定信号不表示放大特定信号，而是表示特定信号由于其他信号被衰减而变得清楚。
73.稍后将参考图13和图14描述处理器130执行差分操作的方法。
74.处理器130可以被实现为多个逻辑门的阵列，或者可以被实现为通用微处理器和存储了可在通用微处理器中执行的程序的存储器的组合。此外，本领域技术人员可以理解，本实施例可以用其他类型的硬件实现。
75.如上所述，因为声音信号处理装置100可以生成与外部声音信号分离的用户语音信号，所以可以从所接收的整体声音中区分用户的语音和外部声音。即，即使当声音信号处理装置100同时接收到用户的语音和外部声音时，声音信号处理装置100也可以区分每个声音并且生成与每个声音相对应的信号。因此，声音信号处理装置100可以在任意声音环境下执行与用户的语音和外部声音中的每一个相对应的功能或处理与用户的语音和外部声音中的每一个相对应的命令。
76.图2是示出根据示例实施例的用户麦克风110的配置的框图。
77.参考图2，用户麦克风110可以包括多个振动结构111。每个振动结构111可以包括振动器112和振动检测器113。在图2所示的用户麦克风110中，示出了与本实施例有关的组件。因此，本领域技术人员清楚的是，用户麦克风110中还可以包括除了图2所示的组件之外的其他通用组件。例如，用户麦克风110还可以包括支撑物或声音控制器。
78.用户麦克风110可以包括被配置为感测不同频带的声音的多个振动结构111。多个振动结构111可以以不同的形状(例如，长度、厚度、形状、重量等)形成，并且可以具有与该形状相对应的谐振频率。多个振动结构111可以感测与每个谐振频率相对应的频带的声音。稍后将参考图3和图4a描述振动结构111的详细结构。
79.当接收整体声音时，振动器112可以振动。例如，当接收具有与振动器112的谐振频率接近的频率的声音时，振动器112可以振动。每个振动器112可以形成用于接收整体声音的平面。此外，因为振动器112在用户麦克风110内布置在平面中，所以用户麦克风110可以形成与振动器112的多个平面相对应的一个平面。当接收整体声音时，振动器112可以基于整体声音的频率在与一个平面正交的方向上振动。稍后将参考图4a描述由振动器112形成的一个平面。
80.振动检测器113可以接收振动器112的振动并且生成与所接收的振动相对应的电信号。当通过振动检测器113将振动转换成电信号时，声音信号处理装置100可以对所接收的声音执行各种处理和操作。
81.图3是示出用户麦克风110的配置的图。
82.参考图3，用户麦克风110可以包括支撑物115和多个振动结构111。支撑物115可以形成为支撑腔(或通孔)116中的多个振动结构111。例如，支撑物115可以是硅基板，但不限于此。
83.多个振动结构111可以以预定的形状布置在支撑物115的腔116上。振动结构111可
以布置在平面中而不彼此重叠。所示的每个振动结构111可以被布置为使得一侧固定到支撑物115并且另一侧朝腔116延伸。
84.振动结构111可以被设置为感测例如不同频带的声音频率。即，振动结构111可以被设置为具有不同的中心频率或谐振频率。为此，振动结构111可以被设置为具有不同的尺寸。可以考虑振动结构111期望的谐振频率来设置振动结构111的尺寸。
85.图4a至图4c是示出图3的振动结构111的截面图。
86.参考图4a，振动结构111可以包括振动器112、振动检测器113和质量体(mass body)114。如图所示，振动结构111可以被布置为使得一侧固定到支撑物115并且另一侧朝腔116延伸。
87.每个振动结构111可以包括振动器112和振动检测器113，振动器112被配置为响应于输入的声音而振动，振动检测器113被配置为感测振动器112的运动。此外，振动结构111还可以包括用于向振动器112提供预定质量的质量体114。
88.振动器112可以基于所接收的声音的频率而振动。振动器112可以在所接收的声音的频率接近谐振频率时显著地振动，并且在所接收的声音的频率远离谐振频率时轻微地振动。备选地，振动器112可以在接收可感测的频带的声音时振动，并且可以在接收可感测的频带之外的声音时不振动。
89.振动器112可以具有悬臂结构，该悬臂结构水平地延伸并且仅在一端处被支撑。振动器112可以形成为梁或板，并且梁的一端连接到支撑物115，梁的相对端悬空无需附加支撑物。
90.参考图4b和图4c，振动器112可以形成用于接收声音的平面112a。
91.当接收整体声音时，振动器112可以在与一个平面112a正交的方向上振动。振动器112可以以一强度振动，所述强度基于接收声音的传播方向41与一个平面112a之间的角度。振动器112可以在声音的传播方向41与平面112a之间的角度接近90
°
时以大振动强度振动，并且在该角度接近0
°
时以小振动强度振动。
92.如图4b所示，当接收相对于一个平面112a以90
°
的角度传播的声音时，振动器112可以以最大的振动强度振动。此外，如图4c所示，当接收相对于一个平面112a以小于90
°
的角度传播的声音时，振动器112可以以比图4b中的振动强度小的振动强度振动。
93.由于如上所述的振动器112的振动操作，可以考虑声音传播方向41来将用户的麦克风110(或振动结构111)布置在声音信号处理装置100中。例如，用户的麦克风110可以布置在声音信号处理装置100中，使得用户的语音以接近90
°
的角度传播到平面112a。换言之，用户的麦克风110可以被布置为使得一个平面112a面向用户的语音的发声点，并且稍后将参考图10a和图10b描述该布置。
94.图5是用于说明根据比较示例的使用环境麦克风的声音感测方法的图。
95.图5的根据比较示例的声音感测方法可以使用多个环境麦克风510以使特定方向上的声音最大化。多个环境麦克风510以预定间隔d布置，由于间隔d，出现了声音到达每个环境麦克风510的时间延时或相位延迟，并且通过改变对所出现的时间延迟或相位延迟的补偿的程度，可以调整总方向性。这种方向性控制方法可以被称为到达时间差(tdoa)。
96.然而，上述方法假设声音到达每个环境麦克风510的时间上存在差异，并且因为必须考虑可听频带的波长来设置间隔，所以在设置环境麦克风510之间的间隔上可能存在限
制。因为在设置间隔上存在限制，所以在用于执行上述方法的装置的小型化上可能存在限制。具体地，因为低频具有长波长，所以环境麦克风510之间的间隔被设置得宽以区分低频声音，并且每个环境麦克风510的信噪比(snr)必须高。
97.此外，在上述方法中，因为相位根据由每个环境麦克风510感测的声音的频带而不同，所以可能需要针对每个频率补偿相位。为了针对每个频率补偿相位，上述方法可能需要对每个频率施加适当的权重的复杂的信号处理过程。
98.与图5的比较示例不同，根据示例实施例的声音信号处理装置100可以不需要对麦克风之间的距离进行限制。声音信号处理装置100可以通过使用简单操作而无需复杂的信号处理对方向进行区分，来获取特定方向上的声音。在下文中，将参考附图详细描述声音信号处理装置100的高效的结构和操作。
99.图6是用于描述根据示例实施例的用户的麦克风110的方向性图案的图。
100.参考图6，用户麦克风110可以具有双向信号图案61和62。例如，双向信号图案61和62可以是“8”字形方向图案，该“8”字形方向图案包括朝向用户麦克风110的前方(+z方向)定向的前平面单元61和朝向用户麦克风110的后方(-z方向)定向的后平面单元62。
101.当声源位于用户麦克风110的主轴上，并且声音垂直地传播到由振动器112形成的平面112a时，振动器112可以最灵敏地反应并且以最大振动强度振动。因此，可以基于用户麦克风110的前方向(+z方向)和后方向(-z方向)的敏感方向形成方向性图案，所述敏感方向是与一个平面112a正交的方向。在这个情况下，当用户的麦克风110偏离轴线移动并且在非敏感方向(例如，+x方向和-x方向)上接收声音时，用户的麦克风110对声音的灵敏度可以下降。因此，用户的麦克风110可以衰减在非敏感方向(例如，+x方向和-x方向)上接收的声音。
102.根据用户的麦克风110的结构，可以通过在一个平面上阻挡声音的接收来形成在+z方向或-z方向上的单向信号图案。用户麦克风110的上述方向性图案仅是示例，并且可以根据振动结构111(或振动器112)的布置对方向性图案进行各种修改。
103.图7是示出测量用户的麦克风的方向性图案的结果的图。
104.如图7所示，可以确认用户的麦克风相对于各种频率具有一致的双向信号图案。即，可以确认，对于各种频率，0
°
方向和180
°
方向都具有图6的+z轴方向和-z轴方向上的方向性。
105.图8是用于描述根据示例实施例的声音信号处理装置的信号处理的图。
106.参考图8，用户麦克风110可以具有双向信号图案81，并且环境麦克风120可以具有全向或非定向信号图案82。用户麦克风110可以感测来自双向信号图案81的前方向(例如，图6中的+z方向)的与由环境麦克风120感测到的声音的相位同相的声音、以及来自后方向(例如，图6中的-z方向)的与由环境麦克风120感测到的声音的相位反相的声音。然而，图8所示的用户麦克风110的方向性图案仅是示例，并且如上所述，可以根据用户麦克风110的结构和振动结构111(或振动器)的布置对方向性图案进行各种修改。
107.图9是示出根据示例实施例的测量用户麦克风和环境麦克风的方向性图案的结果的图。
108.参考图9，可以看到用户麦克风具有双向信号图案，并且环境麦克风具有全向(非定向)信号图案。例如，用户麦克风可以感测从与前平面(图6中的+z方向)相对应的330
°
至
30
°
区域(基于由用户麦克风形成的一个平面的60
°
至120
°
)发送的声音，并且感测从与后平面(图6中的-z方向)相对应的150
°
至210
°
区域(基于由用户麦克风形成的一个平面的240
°
至300
°
)发送的声音。例如，与0
°
的区域(基于由用户的麦克风形成的一个平面的90
°
)相比，用户的麦克风可以在30
°
的区域(基于由用户的麦克风形成的一个平面的120
°
)中感测约0.85倍的声音大小。
109.环境麦克风可以感测从周围360
°
区域中的所有方向发送的声音。
110.用户的麦克风可以衰减在接近90
°
或270
°
(基于由用户的麦克风形成的一个平面的0
°
)的方向上接收的声音。参考图9，因为根据示例实施例的用户麦克风以低灵敏度对在60
°
至120
°
的角度范围内的方向上接收的声音做出响应，所以可以衰减对应方向上的声音。
111.图9中示出了仅针对一个频率的结果，如上面参考图7所述，因为用户麦克风可以对于各种频率具有一致的灵敏度，所以针对各种频率的结果也可以形成类似形状的方向性图案。例如，各种频率可以是可听频率区域中的频率，并且对于用户麦克风可以形成具有类似形状的方向性图案，而与高频或低频无关。
112.图10a和图10b是示出振动器相对于用户的语音的发声点的布置的图。
113.参考图10a和图10b，可以在由振动器112形成的一个平面112a上接收从用户的语音的发声点42传播的用户的语音。
114.如图10a所示，当用户的语音的传播方向与由振动器112形成的平面112a彼此正交时，振动器112最灵敏地响应，并且用户的语音可以被最大地感测。因此，用户麦克风可以设置在声音信号处理装置中，使得由振动器112(或多个振动器)形成的一个平面112a设置在与用户的语音的发声点42相对应的方向上。
115.换言之，用户麦克风可以被布置为使得由振动器112(或多个振动器)形成的平面112a和从用户的语音的发声点42朝向一个平面112a的方向彼此相对应(优选90
°
)。
116.当一个平面112a与用户的语音的传播方向之间的角度是90
°
时，可以以最大灵敏度感测声音，但是由于加工或使用中的各种限制，角度可能难以保持在90
°
。例如，如图10b所示，用户的语音的传播的方向和一个平面112a可以形成小于90
°
的角度。然而，即使在这个情况下，如上面参考图9所述，用户麦克风也可以感测用户的语音。
117.用户麦克风可以以一角度设置在声音信号处理装置中，该角度用于保证加工和使用中的灵活性并且有效地感测用户的语音。用户麦克风可以设置在声音信号处理装置中，使得由振动器112(或多个振动器)形成的一个平面112a与用户的语音发声点42朝向一个平面112a的方向之间形成的角度在60
°
至120
°
的范围内。如上面参考图9所述，即使当用户麦克风以60
°
或120
°
的角度接收声音时，用户麦克风也可以接收大小是当以90
°
接收时的大小的约0.85倍的声音。因此，在60
°
至120
°
的范围内的角度可以是足以提供加工和使用中的灵活性以及感测用户的语音的角度。
118.以这个方式，当用户麦克风被设置为面向用户的语音的发声点42时，用户麦克风可以以低灵敏度对响应在与用户的语音的发声点42分离的位置处生成的外部声音。因此，用户麦克风可以衰减外部声音。
119.将参考图17c示意性地描述用户麦克风应用于声音信号处理装置的示例实施例。
120.图11是示出根据示例实施例的声音调整单元的声音调整过程的图。
121.图11示出由三个振动结构生成的电声音信号帧1110a至1110f，所述三个振动结构
在两个时间帧中的每一个中感测不同的频带。电声音信号帧1110a至1110f中的每一个示出时域中的声音波形。声音信号帧被输入到声音控制单元1100，并且声音控制单元1100中的每一个可以包括在每个振动结构中或用户的麦克风中。
122.用户的麦克风的声音控制单元1100可以基于阈值确定从由振动结构生成的电信号中要衰减的电信号。声音控制单元1100可以衰减所确定的电信号。此处，要衰减的电信号可以是与外部声音相对应的信号。因为声音控制单元1100衰减与外部声音相对应的电信号，所以可以使用户的语音最大化。
[0123]“帧0”指示在第一时间间隔测量的声音信号帧。“帧j”指示在第一时间间隔之后的第j时间间隔中测量的声音信号帧。第一声音信号帧1110a至第三声音信号帧1110c是在相同的时间段(第一时间段)中测量的帧，并且第四声音信号帧1110d至第六声音信号帧1110f也是在相同的时间段(第j时间段)中测量的帧。
[0124]
第一声音信号帧1110a和第四声音信号帧1110d可以在相同的频带中，并且可以通过相同的振动结构输入到声音控制单元1100。第二声音信号帧1110b和第五声音信号帧1110e可以在相同的频带中，并且可以通过相同的振动结构输入到声音控制单元1100。第三声音信号帧1110c和第六声音信号帧1110f可以在相同的频带中，并且可以通过相同的振动结构输入到声音控制单元1100。第一声音信号帧1110a和第四声音信号帧1110d的频带、第二声音信号帧1110b和第五声音信号帧1110e的频带、以及第三声音信号帧1110c和第六声音信号帧1110f的频带彼此不同。
[0125]
在图11中，“丢弃”指示声音控制单元1100确定输入的声音信号要被衰减的情况，并且“添加”指示声音控制单元1100不衰减输入的声音信号的情况。
[0126]
参考图11，如在第一声音信号帧1110a至第四声音信号帧1110d的情况下，当声音信号的强度小于或等于阈值t、或超过阈值t但是超出的程度小于或等于设置值时，声音控制单元1100可以衰减对应的声音信号(丢弃)。
[0127]
另一方面，如第五声音信号帧1110e和第六声音信号帧1110f，当声音信号的强度超过阈值t并且超出的程度超过设置值时，声音控制单元1100可以不衰减对应的声音信号(添加)。
[0128]
声音控制单元1100可以包括开关和衰减器(或衰减器电路)。当输入的声音信号超过阈值t时，声音控制单元1100可以接通开关以使输入的声音信号传递到衰减器，并且衰减器可以减小输入的声音信号的功率。衰减器可以包括电阻器，该电阻器被连接以形成分压器。当输入的声音信号小于或等于阈值t时，声音控制单元1100可以关断开关以阻挡输入的声音信号流到衰减器中。
[0129]
声音控制单元1100的输出结果可以通过例如放大单元被发送到处理器130。
[0130]
图12是示出根据示例实施例的由用户麦克风生成的用户语音信号的图。
[0131]
参考图12，示出了示出通过根据图5的比较示例的方法感测用户的语音的结果的第一图示1210、以及示出通过用户的麦克风感测用户的语音的结果的第二图示1220。
[0132]
第一图示1210示出根据图5的比较示例的通过使用多个环境麦克风衰减外部声音的结果。在第一图示1210中，示出了与用户的语音相对应的信号1210a和与外部声音相对应的信号1210b。确认与同用户的语音相对应的信号1210a相比，与外部声音相对应的信号1210b被衰减，但是确认保留足够的信号以允许感测到信号。
[0133]
第二图示1220表示由用户的麦克风生成的衰减了外部声音信号的用户语音信号。在第二图示1220中，示出了与用户的语音相对应的信号1220a和与外部声音相对应的信号1220b。在第二图示1220中，确认与外部声音相对应的信号1220b显著地被衰减。在第二图示1220中，确认与外部声音相对应的信号1220b被衰减到难以被感测到的接近无声的水平。
[0134]
用户的麦克风可以基于振动结构的方向性通过朝向用户的语音的起源点布置来衰减外部声音。备选地，用户的麦克风可以通过基于阈值衰减由振动结构生成的信号中的一些信号来衰减外部声音。因此，用户的麦克风可以通过使用上述两种方法中的一种或两种来衰减外部声音信号并生成用户语音信号。
[0135]
图13是用于描述根据示例实施例的计算差分的方法的框图。
[0136]
参考图13，由环境麦克风120生成的整体声音信号和由用户麦克风110生成的用户语音信号可以输入到处理器130。处理器130可以通过对输入信号的操作而生成外部声音信号。
[0137]
因为整体声音包括外部声音和用户的语音，所以与整体声音相对应的整体声音信号可以包括与外部声音相对应的信号和与用户的语音相对应的信号。整体声音信号可以是没有任何种类的声音被衰减或加强的信号。用户语音信号可以是通过以高灵敏度感测用户的语音并且以低灵敏度感测外部声音而从整体声音中衰减外部声音的信号。
[0138]
因此，处理器130可以通过根据整体声音信号差分地计算用户语音信号来生成一信号，在该信号中，与用户的语音相对应的信号被从整体声音信号中衰减，并且与外部声音相对应的信号被保持。以这种方式，处理器130可以生成加强了与外部声音相对应的信号的外部声音信号。
[0139]
图14是用于说明图13的计算差分的方法的示例的框图。
[0140]
参考图14，由用户麦克风110生成的用户语音信号可以输入到自适应滤波器1400。可以根据由环境麦克风120生成的整体声音信号差分地计算自适应滤波器1400的输出信号，并且作为由差分计算所产生的信号的反馈信号可以输入到自适应滤波器1400。作为根据整体声音信号差分地计算反馈自适应滤波器1400的输出信号的结果，可以最终生成外部声音信号。
[0141]
自适应滤波器1400可以基于反馈信号调整用于将环境声音信号和用户的语音信号进行组合的参数。此处，可以调整参数，使得从整体声音信号中衰减用户的语音作为差分计算的结果。自适应滤波器1400可以根据各种算法进行操作，例如用于最小化误差信号的最小均方(lms)算法、滤波x lms(fxlms)算法、滤波误差lms(felms)算法、最陡下降算法或递归最小二乘(rls)算法。参数可以包括例如涉及以下项的参数：信号之间的相关系数、信号的延迟或信号的幅度。相关系数可以包括斯皮尔曼(spearman)相关系数、克隆巴赫(cronbach)α系数或皮尔逊(pearson)相关系数。
[0142]
处理器可以通过对输入信号的操作而生成外部声音信号。当用户语音信号被输入到自适应滤波器1400时，处理器可以通过根据全部声音信号差分地计算从自适应滤波器1400输出的信号，来生成反馈信号。处理器可以通过将反馈信号输入到自适应滤波器1400来控制自适应滤波器1400调整参数。处理器可以通过根据整体声音信号差分地计算来自自适应滤波器1400的输出信号，来生成衰减了与用户的语音相对应的信号的外部声音信号，在自适应滤波器1400中，当施加反馈信号时，参数被调整。
[0143]
在另一示例实施例中，声音信号处理装置可以通过神经网络操作而无需使用自适应滤波器1400来执行差分计算。例如，声音信号处理装置可以通过卷积神经网络(cnn)操作、深度神经网络(dnn)操作或递归神经网络(rnn)操作来执行差分计算。然而，声音信号处理装置中使用的神经网络的类型不限于此。
[0144]
图15是示出根据示例实施例的外部声音信号的图。
[0145]
参考图15，示出了示出通过根据图5的比较示例的方法输出的声音信号的第一图示1510、以及示出由声音信号处理装置生成的外部声音信号的第二图示1520。在第一图示1510中，示出了与外部声音相对应的信号1510b和与用户的语音相对应的信号1510a。在第二图示1520中，也示出了与外部声音相对应的信号1520b和与用户的语音相对应的信号1520a。
[0146]
第一图示1510表示根据图5的比较示例的通过使用多个环境麦克风输出的声音信号。确认加强了与在靠近环境麦克风的点处开始的用户的语音相对应的信号1510a并且衰减了与外部声音相对应的信号1510b。根据第一图示1510，在图5的比较示例中，未清楚地感测到外部声音，并且难以执行根据外部声音的功能。
[0147]
此外，第二图示1520表示由声音信号处理装置生成的外部声音信号。确认与用户的语音相对应的信号1520a被衰减，尽管用户的麦克风和环境麦克风非常靠近用户的语音的发声点。另一方面，确认加强了与外部声音相对应的信号1520b。根据第二图示1520，声音信号处理装置可以清楚地感测外部声音同时排除用户的语音，因此可以响应于外部声音而执行对应的功能。
[0148]
在第一图示1510中，与外部声音相对应的信号1510b被测量为-34.45db，并且与用户的语音相对应的信号1510a被测量为-17.76db。在第二图示1520中，与外部声音相对应的信号1520b被测量为-19.98db，并且与用户的语音相对应的信号1520a被测量为-25.41db。因此，在第一图示1510中，与用户的语音相对应的信号1510a和与外部声音相对应的信号1510b之间的差为-16.69db，并且在第二图示1520中，与用户的语音相对应的信号1520a和与外部声音相对应的信号1520b之间的差为5.43db。这些数值指示与用户的语音相比外部声音的加强程度，并且第一图示1510和第二图示1520中的数值之间的差是22.12db。确认声音信号处理装置执行用户的语音的衰减和外部声音的加强比根据图5的比较示例的情况大22db的值。
[0149]
图16a和图16b是示出根据实施例的显示器的图。
[0150]
声音信号处理装置还可以包括输出视觉信息的显示器1600。显示器1600可以响应于处理器的控制而显示各种类型的视觉信息。处理器可以执行与用户语音信号相对应的功能或与外部声音信号相对应的功能。处理器可以在显示器1600上显示执行功能的结果。当处理器执行与用户语音信号相对应的功能和与外部声音信号相对应的功能两者时，可以在显示器1600的不同区域上显示所执行的每个功能的执行结果。
[0151]
参考图16a，显示器1600可以包括在一个框架内的第一区域1600a和第二区域1600b。例如，显示器1600可以将执行与用户语音信号相对应的功能的结果显示在第一区域1600a中，并且将执行与外部声音信号相对应的功能的结果显示在第二区域1600b中。
[0152]
参考图16b，显示器1600可以包括作为单独的框架形成的第一区域1600a和第二区域1600b。例如，显示器1600可以将执行与用户语音信号相对应的功能的结果显示在第一区
域1600a中，并且将执行与外部声音信号相对应的功能的结果显示在第二区域1600b中。
[0153]
图17a至图17c是示出声音信号处理装置为眼镜式可穿戴装置的实施例的图。
[0154]
参考图17a，声音信号处理装置100是眼镜式可穿戴装置并且可以包括眼镜框架1700。眼镜框架1700可以包括眼镜梁1700a、眼镜框1700b和眼镜腿1700c。
[0155]
用户麦克风和环境麦克风可以设置在眼镜框架1700上。用户麦克风和环境麦克风可以根据要接收的声音而设置在眼镜框架1700的各个位置中。例如，用户的麦克风可以设置在眼镜梁1700a或眼镜框1700b上以在更近的位置处接收用户的语音。此外，环境麦克风可以设置在眼镜框1700b或眼镜腿1700c上。
[0156]
在图17a中，虽然示出了声音信号处理装置100是眼镜式可穿戴装置，但是这仅是示例，并且声音信号处理装置100采用手腕上穿戴的手表或手镯的形式、采用脖子上穿戴的项链的形式或采用各种类型的可穿戴设备，例如耳朵上穿戴的耳机和头戴式耳机。声音信号处理装置100可以与任意可穿戴装置相对应而没有限制，只要其可穿戴即可。
[0157]
参考图17b，用户麦克风110设置在声音信号处理装置100的眼镜梁1700a上并且环境麦克风120设置在声音信号处理装置100的眼镜腿1700c上。
[0158]
因为用户的语音的发声点与用户的口或唇相对应，所以用户的麦克风110可以设置在眼镜梁1700a上以与发声点相对应。环境麦克风120可以设置在眼镜腿1700c上，以更有效地接收在用户的侧方向上并且远离用户的语音的发声点的外部声音。然而，如上所述，麦克风可以设置在眼镜框架1700内的各个位置处。
[0159]
参考图17c，示出了用户的语音从用户的语音的发声点42传播到用户的麦克风110。
[0160]
用户的语音的发声点42可以是与用户的口或唇相对应的位置。用户的语音传播到用户的麦克风110并且可以在由用户的麦克风110的振动器112形成的一个平面112a上进行接收。此处，当用户的语音与由振动器112形成的一个平面112a正交地传播时，其可以由用户的麦克风110以最大灵敏度感测。
[0161]
因此，如图17c所示，用户的麦克风110可以设置在声音信号处理装置100中，使得从用户的语音的发声点42到一个平面112a的方向是垂直的。当从用户的前方或侧面接收旁人的语音时，因为在与用户的麦克风110的一个平面112a平行的方向上对其进行接收，所以旁人的语音可以以最低灵敏度被感测或者可以未被用户的麦克风110感测。由于这种布置，用户的麦克风110可以衰减外部声音并且加强用户的语音。
[0162]
然而，因为由于加工或使用中的各种限制而难以保持垂直方向，所以用户麦克风110可以被设置为使得用户的语音的方向与一个平面112a之间的角度在60
°
至120
°
的范围内。如上面参考图9和图10b所述，即使当以上述角度设置用户的麦克风110时，也可以有效地感测用户的语音，因此可以生成衰减了用户的语音的外部声音信号。
[0163]
图18a和图18b是示出在显示器上显示执行功能的结果的实施例的图。
[0164]
参考图18a和图18b，显示器可以包括第一区域1600a和第二区域1600b，并且可以在每个区域中显示不同的视觉信息。
[0165]
如图18a所示，用户麦克风110和环境麦克风120可以接收作为外部声音的外部语音并且同时接收用户的语音。因为从用户的麦克风110的前方向接收外部语音，所以可以以与由振动器形成的一个平面平行或接近平行的角度接收外部语音。因此，用户的麦克风110
可以衰减旁人的语音。
[0166]
声音信号处理装置100可以通过使用用户麦克风110生成用户语音信号，并且可以通过信号之间的差分计算而生成衰减了用户的语音的外部声音信号。声音信号处理装置100可以在第一区域1600a中显示与外部声音信号相对应的视觉信息120a，并且在第二区域1600b中显示与用户语音信号相对应的视觉信息110a。
[0167]
在图18a的实施例中，声音信号处理装置100可以识别旁人的语音、将其转换成文本、以及将其显示在第一区域1600a中。例如，当旁人是外国人时，声音信号处理装置100可以对所接收的旁人的语音执行翻译，然后在第一区域1600a中显示翻译结果。同时，声音信号处理装置100可以执行与用户的语音相对应的功能，并且在第二区域1600b中显示执行结果。
[0168]
如图18b所示，用户麦克风110和环境麦克风120可以接收来自声音输出装置的外部声音(例如，音乐等)并且同时接收用户的语音。因为从用户的麦克风110的前方向接收外部声音，所以可以以与由振动器形成的一个平面平行或接近平行的角度来接收外部声音。因此，用户的麦克风110可以衰减外部声音。
[0169]
声音信号处理装置100可以通过使用用户麦克风110来生成用户语音信号，并且可以通过信号之间的差分计算来生成衰减了用户的语音的外部声音信号。声音信号处理装置100可以在第一区域1600a中显示与外部声音信号相对应的视觉信息120a，并且在第二区域1600b中显示与用户语音信号相对应的视觉信息110a。
[0170]
在图18b的实施例中，声音信号处理装置100可以记录或录制衰减了用户的语音的外部声音信号。因为即使当接收到用户的语音时声音信号处理装置100也可以有效地衰减用户的语音，所以可以仅记录外部声音。例如，声音信号处理装置100可以在第一区域1600a上显示正在记录外部声音的指示。同时，声音信号处理装置100可以执行与用户的语音相对应的功能，并且在第二区域1600b中显示执行结果。
[0171]
上述基于所接收的信号执行的各种功能仅是示例，并且可以进行各种修改和实现。
[0172]
图19是示出根据另一示例实施例的声音信号处理装置1900的配置的框图。
[0173]
参考图19，声音信号处理装置1900可以包括用户麦克风1910、环境麦克风1920和处理器1930。在图19所示的声音信号处理装置1900中，仅示出了与本实施例有关的组件。因此，本领域技术人员清楚的是，声音信号处理装置1900中还可以包括除了图19所示的组件之外的通用组件。图19的用户麦克风1910与图1的用户麦克风相对应，并且图19的环境麦克风1920具有与图1的环境麦克风和图5的环境麦克风不同的结构和操作方法，并且可以具有与图1的用户麦克风的结构类似的结构。
[0174]
在根据图19的实施例的声音信号处理装置1900中，与根据图1的实施例的声音信号处理装置不同，环境麦克风1920可以具有与用户麦克风1910相对应的结构。环境麦克风1920可以包括与用户麦克风1910相似的多个振动结构，并且可以考虑所接收的声音的传播方向而布置在声音信号处理装置1900中。
[0175]
用户麦克风1910形成第一平面并且可以通过第一平面接收声音。用户麦克风1910可以布置在声音信号处理装置1900中，使得第一平面被布置在与用户的语音的发声点相对应的方向上。由于该布置，用户麦克风1910可以生成衰减了外部声音的用户语音信号。
[0176]
环境麦克风1920形成第二平面并且可以通过第二平面接收声音。环境麦克风1920可以布置在声音信号处理装置1900中，使得第二平面被布置在与用户麦克风被布置的方向不同的方向上。因此，因为环境麦克风1920未布置为与用户的语音的发声点相对应，所以在环境麦克风1920中，可以生成与由用户麦克风1910生成的声音信号相比衰减了用户的语音的声音信号。
[0177]
此外，环境麦克风1920可以设置在声音信号处理装置1900中，使得第二平面被布置在与生成外部声音的点相对应的方向上。由于环境麦克风1920的布置，可以以高灵敏度感测外部声音并且可以以低灵敏度感测用户的语音。因此，可以从由环境麦克风1920接收的整体声音中衰减用户的语音，并且作为由环境麦克风1920生成的声音信号的第一外部声音信号可以是已经衰减了用户的语音的信号。
[0178]
处理器1930可以通过根据第一外部声音信号差分地计算用户语音信号来生成第二外部声音信号。虽然用户的语音已经在第一外部声音信号中被衰减和感测，但是处理器1930可以通过根据环境麦克风1920的第一外部声音信号差分地计算用户的麦克风1910的用户语音信号，来生成用户的语音被进一步衰减的第二外部声音信号。
[0179]
图20是用于说明根据图19的实施例的用户麦克风1910和环境麦克风1920的布置的图。
[0180]
参考图20，可以在由用户的麦克风1910的振动器1912形成的第一平面1912a上接收从用户的语音的发声点42传播的用户的语音。此外，可以通过由环境麦克风1920的振动器1922形成的第二平面1922a接收从外部声音生成点43传播的外部声音。
[0181]
如图20所示，当用户的语音的传播方向与由用户的麦克风1910的振动器1912形成的第一平面1912a彼此正交时，振动器1912可以最灵敏地响应，并且用户的语音可以被最大地感测。因此，用户的麦克风1910可以设置在声音信号处理装置中，使得由振动器1912(或多个振动器)形成的第一平面1912a设置在与用户的语音的发声点42相对应的方向上。
[0182]
换言之，用户麦克风1910可以被布置为使得由振动器1912(或多个振动器)形成的第一平面1912a和从用户的语音的发声点42朝向第一平面1912a的方向彼此相对应(优选地，形成90
°
)。例如，用户麦克风1910可以布置在声音信号处理装置中，使得由振动器1912(或多个振动器)形成的第一平面1912a与从用户的语音的发声点42朝向第一平面1912a的方向之间形成的角度在60
°
至120
°
的范围内。
[0183]
此外，如图20所示，当外部声音的传播方向与由环境麦克风1920的振动器1922形成的第二平面1922a彼此正交时，振动器1922可以最灵敏地响应，并且外部声音可以被最大地感测。因此，环境麦克风1920可以布置在声音信号处理装置中，使得由振动器1922(或多个振动器)形成的第二平面1922a布置在与外部声音生成点43相对应的方向上。
[0184]
换言之，环境麦克风1920可以被布置为使得由振动器1922(或多个振动器)形成的第二平面1922a和从外部声音生成点43朝向第二平面1922a的方向彼此相对应(优选地形成90
°
)。例如，环境麦克风1920可以布置在声音信号处理装置中，使得由振动器1922(或振动器)形成的第二平面1922a与从外部声音生成点43朝向第二平面1922a的方向之间形成的角度在60
°
至120
°
的范围内。
[0185]
如图20所示，因为用户麦克风1910和环境麦克风1920在与不同点相对应的方向上设置在声音信号处理装置中，所以在用户麦克风1910的第一平面1912a上以远离90
°
的角度
(或以接近平行的角度)接收外部声音，并且在环境麦克风1920的第二平面1922a上以远离90
°
的角度(或以接近平行的角度)接收用户的语音。因此，对于用户的麦克风1910，可以以低灵敏度感测外部声音，并且对于环境麦克风1920，可以以低灵敏度感测用户的语音。即，用户麦克风1910可以生成衰减了外部声音的用户语音信号，并且环境麦克风1920可以生成衰减了用户的语音的第一外部声音信号。
[0186]
与图17a至图17c的实施例中一样，当声音信号处理装置是眼镜式可穿戴装置时，用户的麦克风可以布置在声音信号处理装置中，使得第一平面1912a布置在与用户的唇或口腔相对应的方向上。环境麦克风可以布置在与用户的麦克风被布置的方向不同的方向上，并且可以布置在声音信号处理装置中，使得第二平面1922a布置在与用户的前方或侧面相对应的方向上。
[0187]
参考图18a的实施例，可以从用户的前方接收作为外部声音的旁人的语音。当环境麦克风的第二平面1922a布置在与用户的前方(作为生成外部声音的点)相对应的方向上时，环境麦克风以高灵敏度感测旁人的语音，但同时用户的麦克风以低灵敏度感测旁人的语音。在这个情况下，因为环境麦克风以高灵敏度感测外部声音，所以可以生成衰减了用户的语音的第一外部声音信号。
[0188]
与图18b的实施例中类似，因为外部声音(例如，音乐等)是从用户的前方接收的，所以当环境麦克风的第二平面1922a布置在与用户的前方(作为生成外部声音的点)相对应的方向上时，环境麦克风可以以高灵敏度感测外部声音。
[0189]
另一方面，环境麦克风的第二平面1922a被布置的方向不限于用户的前方或侧面，并且可以根据设计在各种方向上进行布置。
[0190]
图21是用于说明根据图19的实施例的差分计算方法的框图。
[0191]
参考图21，由环境麦克风1920生成的第一外部声音信号和由用户麦克风1910生成的用户语音信号可以被输入到处理器1930。处理器1930可以通过对输入信号的计算而生成第二外部声音信号。
[0192]
第一外部声音信号可以是通过以高灵敏度感测外部声音并且以低灵敏度感测用户的语音而从整体声音中衰减了用户的语音的信号。用户语音信号可以是通过以高灵敏度感测用户的语音并且以低灵敏度感测外部声音而从整体声音中衰减了外部声音的信号。
[0193]
处理器1930可以通过根据第一外部声音信号差分地计算用户语音信号来生成一信号，在该信号中，第一外部声音信号中的与用户的语音相对应的信号被进一步衰减，并且与外部声音相对应的信号被保持。
[0194]
处理器1930可以通过使用自适应滤波器或神经网络来执行信号之间的差分计算。
[0195]
图22是示出根据另一示例实施例的声音信号处理装置的配置的框图。
[0196]
参考图22，声音信号处理装置2200可以包括定向克风2210、环境麦克风2220和处理器2230。声音信号处理装置2200可以从声音输出装置2300接收输出的声音。在图22所示的声音信号处理装置2200中，仅示出了与本实施例有关的组件。因此，本领域技术人员清楚的是，声音信号处理装置2200中还可以包括除了图22所示的组件之外的其他通用组件。图22的定向麦克风2210可以与图1的用户麦克风相对应。
[0197]
在图22的实施例中，声音信号处理装置2200不由用户穿戴，并且可以靠近声音输出装置2300布置或被包括在声音输出装置2300中。图22的实施例的声音输出可以与图1的
实施例的用户的语音相对应。
[0198]
在图1的实施例中，声音信号处理装置2200通过差分计算衰减在附近位置处生成的用户的语音，然而在图22的实施例中，声音信号处理装置2200靠近声音输出装置2300定位，可以通过差分计算衰减在附近位置处生成的输出的声音。在图22的实施例中，声音信号处理装置2200生成衰减了输出的声音的外部声音，但是外部声音可以包括用户的语音。因此，在接收输出的声音时，声音输出装置2300可以生成衰减了输出的声音并加强了用户的语音的外部声音信号。
[0199]
定向麦克风2210可以接收整体声音，该整体声音包括从声音输出装置2300输出的声音和由声音输出装置2300外部生成的外部声音。定向麦克风2210可以通过从所接收的整体声音中衰减外部声音来生成输出声音信号。定向麦克风2210可以设置在声音信号处理装置2200中，使得接收整体声音的一个平面被布置在与生成输出的声音的点相对应的方向上。由于定向麦克风2210的布置，可以以高灵敏度感测输出的声音并且可以以低灵敏度感测外部声音。因此，可以从由定向麦克风2210接收的整体声音中衰减外部声音，并且作为由定向麦克风2210生成的声音信号的输出声音信号可以是已经衰减了外部声音的信号。
[0200]
例如，定向麦克风2210可以被布置为使得用于接收声音的平面与从生成输出的声音的点朝向平面的方向之间形成的角度在60
°
至120
°
的范围内。
[0201]
环境麦克风2220可以接收整体声音并且可以根据所接收的整体声音生成整体声音信号。处理器2230可以通过根据整体声音信号差分地计算输出声音信号，来生成衰减了输出的声音的外部声音信号。
[0202]
图22的声音信号处理装置2200仅在要衰减或加强的信号的类型上有区别，但是其操作方法和布置与图1的声音信号处理装置相对应，因此此处省略了声音信号处理装置2200的冗余描述。
[0203]
图23是用于说明根据图22的实施例的差分计算方法的图。
[0204]
参考图23，由环境麦克风2220生成的整体声音信号和由定向麦克风2210生成的输出声音信号可以被输入到处理器2230。处理器2230可以通过对输入信号的计算而生成外部声音信号。
[0205]
因为整体声音包括外部声音和输出的声音，所以与整体声音相对应的整体声音信号可以包括与外部声音相对应的信号和与输出的声音相对应的信号。外部声音可以包括用户的语音。整体声音信号可以是没有任何种类的声音被衰减或加强的信号。输出声音信号可以是通过以高灵敏度感测输出的声音并且以低灵敏度感测外部声音而从整体声音中衰减了外部声音的信号。
[0206]
因此，处理器2230可以通过根据整体声音信号差分地计算输出语音信号来生成一信号，在该信号中，与输出的声音相对应的信号被从整体声音信号中衰减，并且与外部声音(或用户声音)相对应的信号被保持。以这种方式，处理器2230可以生成加强了与外部声音相对应的信号的外部声音信号。
[0207]
处理器2230可以通过使用自适应滤波器或神经网络来执行信号之间的差分计算。
[0208]
图24是示出根据示例实施例的处理声音信号的方法的流程图。
[0209]
参考图24，处理声音信号的方法包括由图1所示的声音信号处理装置按时间序列处理的操作。因此，可以看到，关于参考图1的声音信号处理装置的上述信息等也应用于图
24的方法，即使下面省略了内容。
[0210]
在操作2410中，声音信号处理装置可以接收包括用户的语音和从用户外部生成的外部声音在内的整体声音。
[0211]
在声音信号处理装置中，感测不同频带的声音的多个振动结构可以基于所接收的整体声音的频率在与形成为接收整体声音的一个平面正交的方向上振动。
[0212]
声音信号处理装置可以以一振动强度振动，该振动强度基于所接收的声音的传播方向与由振动器形成的一个平面之间的角度。
[0213]
声音信号处理装置可以在角度接近90
°
时以高振动强度振动，并且在角度接近0
°
时以低振动强度振动。
[0214]
声音信号处理装置可以生成与多个振动结构中的每个振动结构的振动相对应的电信号。
[0215]
在操作2420中，声音信号处理装置可以根据所接收的整体声音生成整体声音信号。
[0216]
在操作2430中，声音信号处理装置可以根据所接收的整体声音生成其中衰减了外部声音的用户语音信号。
[0217]
声音信号处理装置可以基于阈值来确定电信号中要衰减的电信号，并且可以衰减所确定的电信号。
[0218]
声音信号处理装置可以基于电信号的平均幅度来确定阈值。
[0219]
在操作2440中，声音信号处理装置可以通过根据整体声音信号差分地计算用户语音信号，来生成衰减了用户的语音的外部声音信号。
[0220]
声音信号处理装置可以通过将用户语音信号输入到自适应滤波器，并且根据整体声音信号差分地计算从自适应滤波器输出的信号，来生成反馈信号，并且声音信号处理装置可以通过将反馈信号输入到自适应滤波器来控制自适应滤波器调整参数。
[0221]
声音信号处理装置可以执行与用户语音信号相对应的功能和与外部声音信号相对应的功能，并且在显示器的不同区域中显示每个功能的结果。
[0222]
如上所述，声音信号处理装置可以生成用户语音信号而无需附加的单独操作过程，并且可以仅通过对用户语音信号和整体声音信号的简单计算来生成衰减了用户语音的外部声音信号。声音信号处理装置可以通过使用所生成的用户语音信号和外部声音信号中的每一个而执行各种功能。
[0223]
上述图24的方法可以被记录在计算机可读记录介质中，包括用于执行该方法的指令的一个或多个程序记录在该计算机可读记录介质中。非暂时性计算机可读记录介质的示例包括磁介质(例如，硬盘、软盘和磁带)、光学介质(例如，cd-rom和dvd)、磁光介质(例如，软盘)、以及具体配置为存储并执行程序命令的硬件设备(例如，rom、ram、闪存等)。程序指令的示例不仅包括机器语言代码(诸如由编译器生成的那些)，还包括可以由计算机使用解释器执行的高级语言代码等。
[0224]
上述示例性实施例仅仅作为示例而不应被解释为限制。本教导可以被容易地应用于其他类型的装置。此外，对示例性实施例的描述意在是说明性的，而不是为了限制权利要求的范围，并且本领域技术人员将清楚许多替代、修改和变化。

技术特征：

1.一种声音信号处理装置，包括：定向麦克风，被配置为通过将所述定向麦克风布置为面向用户的语音的发声点来检测包括所述用户的语音的用户语音信号；非定向麦克风，被配置为检测包括所述用户的语音和外部声音在内的混合声音信号；以及处理器，被配置为通过根据所述混合声音信号差分地计算所述用户语音信号而从所述混合声音信号中衰减所述用户的语音，来生成外部声音信号。2.根据权利要求1所述的声音信号处理装置，其中，所述定向麦克风包括多个振动结构，所述多个振动结构被配置为感测不同频带的声音，其中，所述多个振动结构中的每一个包括振动器，所述振动器形成一个平面以接收所述混合声音信号，并且当接收到所述混合声音信号时，所述振动器基于所述混合声音信号的频率在与所述一个平面正交的方向上振动。3.根据权利要求2所述的声音信号处理装置，其中，所述振动器以一振动强度振动，所述振动强度基于所述混合声音信号的传播方向与由所述振动器形成的所述一个平面之间的角度。4.根据权利要求3所述的声音信号处理装置，其中，所述振动器在所述角度接近90
°
时以较高的振动强度振动，并且在所述角度接近0
°
时以较低的振动强度振动。5.根据权利要求2所述的声音信号处理装置，其中，所述定向麦克风被布置为使得相对所述用户的语音的发声点的方向与所述一个平面之间形成的角度在60
°
至120
°
的范围内。6.根据权利要求2所述的声音信号处理装置，其中，所述多个振动结构中的每一个还包括振动检测器，所述振动检测器被配置为接收所述振动器的振动。7.根据权利要求6的所述的声音信号处理装置，其中，所述定向麦克风被配置为：确定由所述振动结构生成的电信号中的要衰减的电信号，并且衰减所确定的电信号。8.根据权利要求7所述的声音信号处理装置，其中，所述定向麦克风还被配置为：基于由所述振动结构生成的电信号的平均幅度来确定阈值。9.根据权利要求1所述的声音信号处理装置，还包括自适应滤波器，所述自适应滤波器被配置为调整用于将所述用户语音信号和所述混合声音信号进行组合的参数，使得基于反馈信号从所述混合声音信号中衰减所述用户的语音，其中，所述处理器还被配置为：当所述用户语音信号被输入到所述自适应滤波器时，通过根据所述混合声音信号差分地计算从所述自适应滤波器输出的信号来生成所述反馈信号；以及通过将所述反馈信号输入到所述自适应滤波器来控制所述自适应滤波器调整所述参数。10.根据权利要求1所述的声音信号处理装置，还包括显示器，所述显示器被配置为输出视觉信息，其中，所述处理器还被配置为：执行与所述用户语音信号相对应的第一功能和与所述外部声音信号相对应的第二功能，并且控制所述显示器使得所述第一功能和所述第二功能中的每一个的执行结果显示在所述显示器的不同区域中。11.根据权利要求1所述的声音信号处理装置，其中，所述声音信号处理装置是眼镜式
可穿戴装置，所述定向麦克风和所述非定向麦克风被布置在所述眼镜式可穿戴装置的眼镜框上，并且所述定向麦克风被布置为使得用于接收混合声音的一个平面面向所述用户的语音的发声点。12.根据权利要求11所述的声音信号处理装置，其中，所述定向麦克风被布置在所述眼镜式可穿戴装置的眼镜梁或所述眼镜框上，并且所述非定向麦克风与所述定向麦克风分离，并被布置在所述眼镜式可穿戴装置的框或腿上。13.根据权利要求1所述的声音信号处理装置，其中，所述非定向麦克风被配置为：通过在与布置所述定向麦克风的方向不同的方向上以及在与生成所述外部声音的点相对应的方向上布置用于接收所述混合声音信号的平面，来根据所述混合声音信号生成其中衰减了所述用户的语音的第一外部声音信号；以及所述处理器还被配置为：通过根据所述第一外部声音信号差分地计算所述用户语音信号，来生成与所述第一外部声音信号中的所述用户的语音相比所述用户的语音被进一步衰减的第二外部声音信号。14.一种处理声音信号的方法，所述方法包括：接收混合声音，所述混合声音包括用户的语音和从用户外部生成的外部声音；根据所述混合声音生成混合声音信号；根据所接收的混合声音生成其中衰减了所述外部声音的用户语音信号；以及通过根据所述混合声音信号差分地计算所述用户语音信号，来生成衰减了所述用户的语音的外部声音信号。15.根据权利要求14所述的方法，其中，接收所述混合声音包括：使多个振动结构中的每一个基于所接收的混合声音的频率在与形成为接收所述混合声音的一个平面正交的方向上振动，所述多个振动结构被配置为感测不同频带的声音。16.根据权利要求15所述的方法，其中，使所述多个振动结构中的每一个振动包括：使所述多个振动结构中的每一个以一振动强度振动，所述振动强度基于所接收的声音的传播方向与所述一个平面之间形成的角度。17.根据权利要求16所述的方法，其中，使所述多个振动结构中的每一个振动还包括：当角度接近90
°
时，使所述多个振动结构中的每一个以较高的振动强度振动，并且当角度接近0
°
时，使所述多个振动结构中的每一个以较低的振动强度振动。18.根据权利要求15所述的方法，其中，使所述多个振动结构中的每一个振动包括：生成分别与所述多个振动结构的振动相对应的电信号。19.根据权利要求18所述的方法，其中，生成所述用户语音信号包括：基于根据所述电信号的平均幅度而设置的阈值来确定所述电信号中的要衰减的电信号，并且衰减所确定的电信号。20.根据权利要求14所述的方法，其中，生成所述外部声音信号包括：将所述用户语音信号输入到自适应滤波器，通过根据所述混合声音信号差分地计算从所述自适应滤波器输出的信号来生成反馈信号，以及通过将所述反馈信号输入到所述自适应滤波器来控制所述自适应滤波器调整用于将所述混合声音信号和所述用户语音信号进行组合的参数。

技术总结

一种声音信号处理装置可以包括：定向麦克风，被配置为通过将定向麦克风布置为面向用户的语音的发声点来检测包括用户的语音的用户语音信号；非定向麦克风，被配置为检测包括用户的语音和外部声音在内的混合声音信号；以及处理器，被配置为通过根据所述混合声音信号差分地计算所述用户语音信号而从所述混合声音信号中衰减所述用户的语音，来生成外部声音信号。号。号。