一种具有婴儿啼哭监测及安抚功能的智能玩偶

1.本发明涉及婴儿智能玩偶技术领域，具体涉及一种具有婴儿啼哭监测及安抚功能的智能玩偶。

背景技术：

2.照顾婴儿是一项辛苦的工作，婴儿往往会因为环境的轻微的变化，而产生啼哭行为，需要父母去安抚，这耗费了父母的大量精力，影响了父母正常的工作和生活。随着语音识别技术的迅速发展，语音识别已经成为各类边缘嵌入式电子系统的重要感知手段。针对婴儿领域的产品也是层出不穷，其中包括针对婴儿啼哭声识别的产品。
3.婴儿啼哭声识别的现有技术路线一般为模板识别(如中国专利申请号为cn202110436024.1，名称为：基于啼哭检测的婴儿陪伴灯)，其工作原理为采集婴儿啼哭声与识别模块中预先存储的哭声模板相匹配，如匹配值超过设定的阈值，则判定为有效识别；但婴儿个体间差异明显，少数哭声模块库无法支撑普遍应用，而存储海量数据库则会导致识别时间过长，实时性较差，也会提高对处理器性能的要求，增加成本。

技术实现要素：

4.为了克服上述现有技术的缺点，本发明的目的在于提供了一种具有婴儿啼哭监测及安抚功能的智能玩偶，能够支撑普遍应用，且识别时间短，实时性强，对处理器性能要求低，成本低。
5.为了达到上述目的，本发明采取的技术方案为：
6.一种具有婴儿啼哭监测及安抚功能的智能玩偶，包括采集与信号调理模块1、处理器模块2、语音安抚模块3及无线通信模块4；
7.采集与信号调理模块1：由外置集成mems微型硅麦克风收集环境声音，经过调理电路后送入处理器模块2；
8.处理器模块2：经adc采集程序完成调理电路处理的数据采集后，将数据传入信号处理程序；
9.信号预处理程序首先通过获取环境声音信号特征完成环境噪声与端点检测特征值自适应，然后对音频信号进行预加重与分帧等预处理，然后对预处理完成的音频信号进行段端点检测；
10.端点检测程序获取到了有效的音频信号段，则传入基音频率求取程序，然后通过bfmfcc算法提取此段信号的频率特征，然后根据音频信号频率倒谱提取出基音频率，最后通过基音频率各类统计值做最后判断；
11.若基音频率求取程序识别结果为有效婴儿啼哭声，则送入语音安抚模块3及无线通信模块4；
12.语音安抚模块3及无线通信模块4：语音安抚模块3、无线通信模块4产生对应安抚、通知监护人行为，包括驱动语音安抚模块播放安抚音乐与父母安抚声，驱动无线通信模块
通知父母婴儿发生啼哭。
13.所述的处理器模块2采用ping-pong机制来完成工作，处理过程分为两路，一路通过处理器模块内置定时器驱动adc采集，然后使用dma将数据直接送了一个缓存，另一路取出另一缓存的数据完成后续数字信号处理工作，完成一轮后，两路互换缓存继续下一轮工作。
14.所述的语音安抚模块3采用yx5200-24ss作为主芯片，预先将安抚音乐与父母安抚音频存入。
15.所述的处理器模块2的信号预处理程序具体为：
16.1)信号传入后，首先完成噪声自适应，即求取整段信号的均值，然后遍历整段信号求得标准差，得到噪声阈值与幅度累积阈值，作为后续端点检测的特征值；
17.2)得到各特征值后，信号将送入音频信号预处理程序完成三个操作，分别是环境噪声与端点检测特征值自适应、信号预加重、信号分帧；预加重处理是将语音信号通过一个高通滤波器，滤波器函数为：
18.h(z)＝1-μz-1
19.其中μ取为0.9～1.0，h(z)为系统函数，z为z域自变量；
20.预加重提升高频部分，使信号的频谱变得平坦，突出高频的共振峰；然后是信号分帧处理，短时傅里叶变换对其完成分析；语音信号就是非平稳信号，要进行分帧的操作，即截取短时的语音片段；而语音的基频采用8khz采样率，帧长256，即32ms；此外，分帧时的帧移取128；
21.3)音频信号完成预处理后，将送入端点检测程序提取出有音段，使用短时幅度累计值与短时过零率双门限法完成提取，其中短时幅度累计值通过步骤1)得到的幅度累积阈值乘系数得到，而短时过零率的“零点”则为步骤1)得到的噪声阈值计算出的以零点为中心的一个窗口，窗口内的值都被认为是零值，信号相邻两个值分别大于窗口与小于窗口，则视为一次过零；通过这两个门限值来判断有音段的开始与结束，求得所有的有音声段端点后，将有效的端点帧序号传输到最后的基音频率提取模块。
22.所述的端点检测程序流程为：完成预处理的音频信号传入后，首先根据噪声自适应值设定短时幅度累计阈值，然后设定短时过零阈值为4，遍历所有帧，根据两个阈值获得有音声段，然后将有音声段帧序号传入基音频率求取程序。
23.所述的处理器模块2的基音频率求取程序具体为：
24.a)获取到有音声段后，每帧逐个完成基音频率提取操作，首先对每一帧数据进行窗函数滤波，然后对加窗后的数据做fft，取模值，对输出的模值取对数，再将对数谱使用ifft求取倒谱；对有音声段中的所有帧重复以上操作；
25.b)求得所有信号的倒谱后，取出每一帧信号倒谱的能量最大值序号，作为此段信号的基音周期，进而通过采样频率求得基音频率；
26.c)求得各帧的基音频率后，对其做快速排序，而后去除较高与较低的异常值，取排序中间的一段值，取其均值和中位值，两个特征联合判断是否达到啼哭声频率阈值。
27.本发明的有益效果为：
28.本发明通过采集环境声音，获取婴儿啼哭时的音频数据，进而求得婴儿啼哭声倒谱特征，通过倒谱特征求得基音频率及其统计特征值，监测婴儿啼哭声的存在与否，具有如
下优点：
29.第一：麦克风采用mems微型硅麦克风，mems微型硅麦克风是一个电容器集成在微硅晶片上，可以采用表贴工艺进行制造，直径不到1mm的小型薄膜的重量非常轻巧，且与ecm相比，mems微型硅麦克风会对由安装在同一pcb上的扬声器引起的pcb噪声产生更低的振动耦合；另外，它也具有改进的噪声消除性能与良好的rf及emi抑制。
30.第二：处理器模块采用ping-pong机制来完成工作，同时完成采集与数据处理的工作，ping-pong实质是一种利用多缓冲的手段，在单缓存系统中，只能采集——处理——采集的单线程工作，否则单个缓冲区得到的数据在传输和处理中将被覆盖；而本发明处理过程分为两路，一路通过处理器模块内置定时器驱动adc采集，然后使用dma将数据直接送了一个缓存，另一路取出另一缓存的数据完成后续数字信号处理工作，完成一轮后，两路互换缓存继续下一轮工作，故ping-pong机制可大大提升处理器cpu的利用率，也就提升了嵌入式系统的实时性。
31.第三：本发明采用的语音识别方案是基于音频特征的，它通过提取婴儿啼哭声的倒谱特征，进而得到婴儿啼哭声的基音频率及其统计特征来判定婴儿啼哭声的存在，相比于目前普遍存在的需要大量音频模块去做模板匹配的方法，大大降低了对处理器存储器容量以及对处理器算力的要求，降低了成本，提高了适用性。
附图说明
32.图1为本发明硬件的示意图。
33.图2为本发明实施例的结构框图。
34.图3为本发明实施例的整体工作流程图。
35.图4为本发明实施例预处理程序的流程图。
36.图5为本发明实施例端点检测程序的流程图。
37.图6为本发明实施例基音频率求取程序的流程图。
具体实施方式
38.下面结合附图和实施例对本发明做进一步详细说明。
39.如图1所示，一种具有婴儿啼哭监测及安抚功能的智能玩偶，包括采集与信号调理模块1，采集与信号调理模块1的信号输出和处理器模块2的信号输入连接，处理器模块2的信号输出和语音安抚模块3及无线通信模块4的控制输入连接；
40.如图2所示，所述的采集与信号调理模块1包括声音拾取装置、信号调理，经过声音拾取后进行信号调理；处理器模块2包括声音采集程序，预处理程序，端点检测程序与基音频率求取程序；最后信号经过触发安抚经过语音安抚模块3以及无线通信模块4输出安抚音频及通知父母。
41.如图3所示，智能玩偶的工作流程如下：首先，由采集与信号调理模块1的声音拾取装置(mems微型麦克风)收集环境声音，经声音调理自动增益后由处理器模块2采集；处理器模块2采集到了音频数据首先通过获取环境信号特征完成环境噪声与端点检测特征值自适应，然后对音频信号预处理，最后通过端点检测程序提取出有音信号段，如处理器模块2检测到有效的音频信号段，则通过pfmfcc算法提取此段信号的频率特征，然后根据音频信号
频率倒谱提取出基音频率，最后通过基音频率各类统计值做最后判断，若识别结果为有效婴儿啼哭声，则触发安抚行为，包括驱动语音安抚模块3播放安抚音乐与父母安抚声，驱动无线通信模块4通知父母婴儿发生啼哭。
42.所述的语音安抚模块3采用yx5200-24ss作为主芯片，yx5200-24ss是一个支持串口的语音芯片，集成了mp3、wav、wma的硬解码；预先将安抚音乐与父母安抚音频存入，当处理器模块2监测到婴儿啼哭声并发出安抚事件触发信号时，将通过串口驱动语音安抚模块3播放某一安抚音频，或驱动无线通信模块4通过父母监测到婴儿啼哭。
43.如图4所示，所述的处理器模块2的信号预处理程序的流程为：当信号预处理程序接收到采集的信号后，首先求取此段信号均值，然后利用均值完成噪声自适应与端点检测特征值自适应，完成自适应之后，对原信号完成预加重操作，增强高频成分，最后将此段信号按设定的帧长与帧移完成分帧操作即可传入端点检测程序；具体为：
44.1)信号传入后，首先完成噪声自适应，即求取整段信号的均值，然后遍历整段信号求得标准差，得到噪声阈值与幅度累积阈值，作为后续端点检测的特征值；
45.2)得到各特征值后，信号将送入音频信号预处理程序完成三个操作，分别是环境噪声与端点检测特征值自适应、信号预加重、信号分帧；预加重处理是将语音信号通过一个高通滤波器，滤波器函数为：
46.h(z)＝1-μz-1
47.其中μ取为0.9～1.0，h(z)为系统函数，z为z域自变量；
48.预加重提升高频部分，使信号的频谱变得平坦，使得全频带尽可能的均衡，以此来补偿语音信号受到发音系统所抑制的高频部分，突出高频的共振峰；然后是信号分帧处理，由于傅里叶变换要求输入信号是平稳的，非平稳信号的傅里叶变换是没有意义的，而短时傅里叶变换可对其完成分析；语音信号就是非平稳信号，但其在短时上是有一定的周期性的，即在一个较短的时间片里它可被认定为接近平稳信号，因此要进行分帧的操作，即截取短时的语音片段；而语音的基频在100～250hz，即基音周期在4～10ms，而每帧含有2～3个周期主频能量表现才较佳，这里采用8khz采样率，帧长256，即32ms；此外，分帧时的帧移取128，即相邻两帧将有部分重叠，使此段信号计算得到的基音频率更加平滑，也可减弱后续加窗操作的副作用；
49.3)音频信号完成预处理后，将送入端点检测程序提取出有音段，使用短时幅度累计值与短时过零率双门限法完成提取，其中短时幅度累计值通过步骤1)得到的幅度累积阈值乘系数得到，而短时过零率的“零点”则为步骤1)得到的噪声阈值计算出的以零点为中心的一个窗口，窗口内的值都被认为是零值，信号相邻两个值分别大于窗口与小于窗口，则视为一次过零；通过这两个门限值来判断有音段的开始与结束，求得所有的有音声段端点后，将有效的端点帧序号传输到最后的基音频率提取模块。
50.如图5所示，所述的端点检测程序流程为：完成预处理的音频信号传入后，首先根据噪声自适应值设定短时幅度累计阈值，然后设定短时过零阈值(一般为4)，然后遍历所有帧，根据两个阈值获得有音声段，然后将有音声段帧序号传入基音频率求取程序。
51.如图6所示，所述的处理器模块2的基音频率求取程序的流程为：有音声段传入后，此程序将依次处理每个有音声段帧，首先对帧数据进行窗函数滤波操作，减轻频谱泄露，然后代入fft算法输入端，再对fft算法输出的复数数组求取幅值，再对幅值取对数，最后再带
入ifft算法求得倒谱，然后求得基音频率及其统计特征，如果基音频率超过设定的频率阈值，则判定为识别到有效婴儿啼哭，最后将会触发安抚模块；具体为：
52.a)获取到有音声段后，每帧逐个完成基音频率提取操作，首先对每一帧数据进行窗函数滤波，然后对加窗后的数据做fft，取模值，对输出的模值取对数，再将对数谱使用ifft求取倒谱；对有音声段中的所有帧重复以上操作；
53.b)求得所有信号的倒谱后，取出每一帧信号倒谱的能量最大值序号，作为此段信号的基音周期，进而通过采样频率求得基音频率；
54.c)求得各帧的基音频率后，对其做快速排序，而后去除较高与较低的异常值，取排序中间的一段值，取其均值和中位值，两个特征联合判断是否达到啼哭声频率阈值。
55.所述的处理器模块2采用ping-pong机制来完成工作，处理过程分为两路，一路通过处理器模块内置定时器驱动adc采集，然后使用dma将数据直接送了一个缓存，另一路取出另一缓存的数据完成后续数字信号处理工作，完成一轮后，两路互换缓存继续下一轮工作，故ping-pong机制可大大提升处理器cpu的利用率，也就提升了嵌入式系统的实时性。
56.本实施例智能玩偶在三个场景下完成12小时长时间测试，分别是睡觉环境、人声环境、客厅环境，分别代表仅含环境白噪声、除环境白噪声外还包含说话声与家具移动声、除环境白噪声还包含电视机声音与音乐声音；经过测试，在睡觉环境中，识别准确率高于99.9％；在人声环境中，识别准确率大约为97.73％；在客厅环境中，识别准确率大约为94.97％。此外智能玩偶还有一参数可按情况调整，此参数为单位时间内有效输出验证次数，即在1s时间内，识别到几次婴儿啼哭声则视为有效婴儿啼哭，此参数越大则误判率越低，相对应的是实时性越差，以上测试此参数皆设为2，输出延迟大概0.3s，通过设置此参数可在实时性和准确性之间寻求一个平衡。
57.以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。

技术特征：

1.一种具有婴儿啼哭监测及安抚功能的智能玩偶，其特征在于：包括采集与信号调理模块(1)、处理器模块(2)、语音安抚模块(3)及无线通信模块(4)；采集与信号调理模块(1)：由外置集成mems微型硅麦克风收集环境声音，经过调理电路后送入处理器模块(2)；处理器模块(2)：经adc采集程序完成调理电路处理的数据采集后，将数据传入信号处理程序；信号预处理程序首先通过获取环境声音信号特征完成环境噪声与端点检测特征值自适应，然后对音频信号进行预加重与分帧的预处理，然后对预处理完成的音频信号进行段端点检测；端点检测程序获取到了有效的音频信号段，则传入基音频率求取程序，然后通过bfmfcc算法提取此段信号的频率特征，然后根据音频信号频率倒谱提取出基音频率，最后通过基音频率各类统计值做最后判断；若基音频率求取程序识别结果为有效婴儿啼哭声，则送入语音安抚模块(3)及无线通信模块(4)；语音安抚模块(3)及无线通信模块(4)：语音安抚模块(3)、无线通信模块(4)产生对应安抚、通知监护人行为，包括驱动语音安抚模块播放安抚音乐与父母安抚声，驱动无线通信模块通知父母婴儿发生啼哭。2.根据权利要求1所述的智能玩偶，其特征在于：所述的处理器模块(2)采用ping-pong机制来完成工作，处理过程分为两路，一路通过处理器模块内置定时器驱动adc采集，然后使用dma将数据直接送了一个缓存，另一路取出另一缓存的数据完成后续数字信号处理工作，完成一轮后，两路互换缓存继续下一轮工作。3.根据权利要求1所述的智能玩偶，其特征在于：所述的语音安抚模块(3)采用yx5200-24ss作为主芯片，预先将安抚音乐与父母安抚音频存入。4.根据权利要求1所述的智能玩偶，其特征在于，所述的处理器模块(2)的信号预处理程序具体为：1)信号传入后，首先完成噪声自适应，即求取整段信号的均值，然后遍历整段信号求得标准差，得到噪声阈值与幅度累积阈值，作为后续端点检测的特征值；2)得到各特征值后，信号将送入音频信号预处理程序完成三个操作，分别是环境噪声与端点检测特征值自适应、信号预加重、信号分帧；预加重处理是将语音信号通过一个高通滤波器，滤波器函数为：其中μ取为0.9～1.0，为系统函数，为域自变量；预加重提升高频部分，使信号的频谱变得平坦，突出高频的共振峰；然后是信号分帧处理，短时傅里叶变换对其完成分析；语音信号就是非平稳信号，要进行分帧的操作，即截取短时的语音片段；而语音的基频采用8khz采样率，帧长256，即32ms；此外，分帧时的帧移取128；3)音频信号完成预处理后，将送入端点检测程序提取出有音段，使用短时幅度累计值与短时过零率双门限法完成提取，其中短时幅度累计值通过步骤1)得到的幅度累积阈值乘
系数得到，而短时过零率的“零点”则为步骤1)得到的噪声阈值计算出的以零点为中心的一个窗口，窗口内的值都被认为是零值，信号相邻两个值分别大于窗口与小于窗口，则视为一次过零；通过这两个门限值来判断有音段的开始与结束，求得所有的有音声段端点后，将有效的端点帧序号传输到最后的基音频率提取模块。5.根据权利要求1所述的智能玩偶，其特征在于，所述的端点检测程序流程为：完成预处理的音频信号传入后，首先根据噪声自适应值设定短时幅度累计阈值，然后设定短时过零阈值为4，遍历所有帧，根据两个阈值获得有音声段，然后将有音声段帧序号传入基音频率求取程序。6.根据权利要求1所述的智能玩偶，其特征在于，所述的处理器模块(2)的基音频率求取程序具体为：a)获取到有音声段后，每帧逐个完成基音频率提取操作，首先对每一帧数据进行窗函数滤波，然后对加窗后的数据做fft，取模值，对输出的模值取对数，再将对数谱使用ifft求取倒谱；对有音声段中的所有帧重复以上操作；b)求得所有信号的倒谱后，取出每一帧信号倒谱的能量最大值序号，作为此段信号的基音周期，进而通过采样频率求得基音频率；c)求得各帧的基音频率后，对其做快速排序，而后去除较高与较低的异常值，取排序中间的一段值，取其均值和中位值，两个特征联合判断是否达到啼哭声频率阈值。

技术总结

一种具有婴儿啼哭监测及安抚功能的智能玩偶，包括采集与信号调理模块、处理器模块、语音安抚模块及无线通信模块；采集与信号调理模块收集环境声音，处理器模块经ADC采集程序完成调理电路处理的数据采集后，将数据传入信号处理程序，然后对预处理完成的音频信号进行段端点检测；端点检测程序获取到了有效的音频信号段，通过BFMFCC算法提取此段信号的频率特征，然后根据音频信号频率倒谱提取出基音频率，最后通过基音频率各类统计值做最后判断；若基音频率求取程序识别结果为有效婴儿啼哭声，则送入语音安抚模块及无线通信模块产生对应安抚、通知监护人行为。本发明能够支撑普遍应用，且识别时间短，实时性强，对处理器性能要求低，成本低。成本低。成本低。