一种交通环境监测方法、设备及介质与流程

1.本技术涉及声音监控技术领域，尤其涉及一种交通环境监测方法、设备及介质。

背景技术：

2.现有的交通环境监测主要依据实时采集的监控视频进行。但是单纯通过视频进行交通环境监测，一方面需要耗费大量的时间与资源进行计算；另一方面是视频监控极易受到天气等因素的影响，导致无法准确获得实时信息的情况，如雨雪天气或大雾天气下，就很难通过采集视频获得实时的交通状况。
3.因此，需要通过声音监控来弥补视频监控的缺陷，更好地提供实时路况信息，提高交通环境监测的准确性及全面性。
4.目前，需要开发出一种新型的交通环境监测方法、设备及介质，以克服和改善上述现有技术中的一个或多个缺点，或者至少提出一种有效的可选方法来解决上述问题。

技术实现要素：

5.本说明书实施例提供了一种交通环境监测方法、设备及介质，用于解决现有技术中的如下技术问题：依靠视频数据进行交通环境监测容易受到天气等因素的影响，导致无法准确、全面地获得实时交通状况信息。
6.本说明书实施例采用下述技术方案：
7.一种交通环境监测方法，其中，所述方法包括：
8.获取实时交通监控的视频数据与环境声音数据；
9.根据预设置的声音波形图集合对所述环境声音数据进行识别，得到实时交通环境中存在的至少一种声音；
10.将所述声音与所述视频数据结合，以进行实时交通环境监测。
11.进一步地，根据预设置的声音波形图集合对所述环境声音数据进行识别，得到实时交通环境中存在的至少一种声音，包括：
12.采用语音识别技术对所述环境声音数据进行处理，得到至少一种待识别波形图；
13.将所述待识别波形图发送至预设置的声音波形图集合中进行识别，得到与所述待识别波形图对应的声音。
14.进一步地，所述方法还包括：
15.采集实时交通环境中特定声音的声音数据；
16.对所述声音数据进行处理，得到所述特定声音的梅尔频率倒谱系数；
17.对所述梅尔频率倒谱系数进行可视化处理，得到所述特定声音的波形图；
18.重复上述步骤，得到实时交通环境中多个特定声音的波形图；
19.基于所述多个特定声音的波形图构建声音波形图集合。
20.进一步地，对所述声音数据进行处理，得到所述特定声音的梅尔频率倒谱系数，包括：
21.对所述声音数据进行预加重处理；
22.对预加重处理后的声音数据进行分帧处理；
23.对分帧处理后的声音数据进行加窗处理，得到各帧声音数据；
24.对分帧、加窗处理后的各帧声音数据进行离散傅里叶变换，得到各帧的频谱；
25.对所述频谱进行三角窗滤波处理，得到梅尔频谱；
26.对所述梅尔频谱进行离散余弦变换，得到所述特定声音的梅尔频率倒谱系数。
27.进一步地，采用高通滤波器对所述环境声音进行预加重处理。
28.进一步地，采用梅尔滤波器组对所述各帧的频谱进行三角窗滤波处理，得到梅尔频谱。
29.进一步地，采集实时交通环境中特定声音的声音数据之前，所述方法还包括：
30.基于现有的声音数据集获取特定声音的声音数据。
31.进一步地，所述现有的声音数据集至少包括esc-50声音数据集、urbansound8k声音数据集中的一种。
32.一种交通环境监测设备，其中，包括：
33.至少一个处理器；以及，
34.与所述至少一个处理器通信连接的存储器；其中，
35.所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
36.获取实时交通监控的视频数据与环境声音数据；
37.根据预设置的声音波形图集合对所述环境声音数据进行识别，得到实时交通环境中存在的至少一种声音；
38.将所述声音与所述视频数据结合，以进行实时交通环境监测。
39.一种交通环境监测的非易失性计算机存储介质，存储有计算机可执行指令，其中，所述计算机可执行指令设置为：
40.获取实时交通监控的视频数据与环境声音数据；
41.根据预设置的声音波形图集合对所述环境声音数据进行识别，得到实时交通环境中存在的至少一种声音；
42.将所述声音与所述视频数据结合，以进行实时交通环境监测。
43.本说明书实施例采用的上述至少一个技术方案能够达到以下有益效果：
44.(1)本发明说明书实施例示例的交通环境监测方法，通过对实时交通环境中获取的环境声音数据进行识别，得到交通环境中存在的声音，并将声音与视频数据项结合，能够更好的提供实时路况信息，弥补仅通过视频进行交通环境监测的缺陷，提高了交通环境监测的准确性及全面性。
45.(2)本发明说明书实施例示例的交通环境监测方法，采用语音识别技术得到特定声音的梅尔频率倒谱系数，并采用可视化技术将特定声音的梅尔频率倒谱系数转换为对应的波形图，通过声音的波形图能够简单、准确、直观地对交通环境中的声音进行识别。
46.(3)本发明说明书实施例示例的交通环境监测方法，基于现有的esc-50声音数据集及urbansound8k声音数据集，结合真实交通环境中采集的声音数据，经过语义分类得到新的交通环境声音数据集，并构建相应的声音波形图集合。
附图说明
47.此处所说明的附图用来提供对本技术的进一步理解，构成本技术的一部分，本技术的示意性实施例及其说明用于解释本技术，并不构成对本技术的不当限定。在附图中：
48.图1为本说明书实施例提供的交通环境监测方法的一种流程示意图；
49.图2为本说明书实施例提供的对声音数据进行处理得到特定声音的梅尔频率倒谱系数的一种流程示意图。
具体实施方式
50.为使本说明书的目的、技术方案和优点更加清楚，下面将结合本说明书具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然，所描述的实施例仅是本技术一部分实施例，而不是全部的实施例。基于说明书中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本技术保护的范围。
51.以下结合附图，详细说明本技术各实施例提供的技术方案。
52.如图1所示，本技术的实施例提供了一种交通环境监测方法，其中，所述方法包括：
53.获取实时交通监控的视频数据与环境声音数据；
54.根据预设置的声音波形图集合对所述环境声音数据进行识别，得到实时交通环境中存在的至少一种声音；
55.将所述声音与所述视频数据结合，以进行实时交通环境监测。
56.本实施例示例的交通环境监测方法，通过对实时交通环境中获取的环境声音数据进行识别，得到交通环境中存在的声音，并将声音与视频数据项结合，从而更好地提供实时路况信息，弥补仅通过视频进行交通环境监测的缺陷，提高了交通环境监测的准确性及全面性。
57.在本实施例中，根据预设置的声音波形图集合对所述环境声音数据进行识别，得到实时交通环境中存在的至少一种声音，包括：
58.采用语音识别技术对所述环境声音数据进行处理，得到至少一种待识别波形图；
59.将所述待识别波形图发送至预设置的声音波形图集合中进行识别，得到与所述待识别波形图对应的声音。
60.在本实施例中，交通环境监测方法还包括：
61.采集实时交通环境中特定声音的声音数据；
62.对所述声音数据进行处理，得到所述特定声音的梅尔频率倒谱系数；
63.对所述梅尔频率倒谱系数进行可视化处理，得到所述特定声音的波形图；
64.重复上述步骤，得到实时交通环境中多个特定声音的波形图；
65.基于所述多个特定声音的波形图构建声音波形图集合。
66.本实施例示例的交通环境监测方法，采用语音识别技术得到特定声音的梅尔频率倒谱系数，并采用可视化技术将特定声音的梅尔频率倒谱系数转换为对应的波形图。通过声音的波形图能够简单、准确、直观地对交通环境中的声音进行识别。
67.如图2所示，对所述声音数据进行处理，得到所述特定声音的梅尔频率倒谱系数，包括：
68.对所述声音数据进行预加重处理；
69.对预加重处理后的声音数据进行分帧处理；
70.对分帧处理后的声音数据进行加窗处理，得到各帧声音数据；
71.对分帧、加窗处理后的各帧声音数据进行离散傅里叶变换，得到各帧的频谱；
72.对所述频谱进行三角窗滤波处理，得到梅尔频谱；
73.对所述梅尔频谱进行离散余弦变换，得到所述特定声音的梅尔频率倒谱系数。
74.在本实施例中，采用高通滤波器对所述环境声音进行预加重处理。
75.在本实施例中，采用梅尔滤波器组对所述各帧的频谱进行三角窗滤波处理，得到梅尔频谱。
76.在本实施例中，采集实时交通环境中特定声音的声音数据之前，交通环境监测方法还包括：
77.基于现有的声音数据集获取特定声音的声音数据。
78.在本实施例中，所述现有的声音数据集至少包括esc-50声音数据集、urbansound8k声音数据集中的一种。
79.为了便于对本发明实施例示例的交通环境监测方法进行理解，下面对上述交通环境监测方法做进一步地描述：
80.首先，在需要进行交通环境监测的地方设置多个视频采集设备及声音采集设备。可以理解的是，视频采集设备可以包括智能摄像机，声音采集设备可以包括智能音箱，或其他可以人机交互的智能语音设备。其中，视频采集设备能够实时获取交通环境的视频数据，声音采集设备能够实时获取交通环境中的环境声音数据。
81.将从交通环境中实时采集得到的环境声音数据进行处理，提取其中各个声音的声音特征。目前，语音识别最为成功的声音特征为梅尔频率倒谱系数(简称mfcc)。
82.将各个声音的梅尔频率倒谱系数进行可视化处理，得到各个声音对应的待识别波形图。
83.将这些待识别波形图发送至预设置的声音波形图集合中进行识别，若其中某个待识别波形图与声音波形图集合中的波形图相似度达到预设置的阈值，则可以得到该待识别波形图对应的声音。比如，若某个待识别波形图与声音波形图集合中汽车鸣笛声的波形图相似度达到预设置的阈值，则可以认为实时交通环境中存在汽车鸣笛声。
84.当然可以理解的是，本实施例示例的交通环境监测方法，还包括构建声音波形图集合。
85.基于现有的esc-50声音数据集、urbansound8k声音数据集，并结合真实交通环境中采集到的声音数据，经过语义分类得到新的交通环境声音数据集。交通环境声音数据集中，比如可以包括：汽车鸣笛声、儿童玩耍声、狗叫声、钻孔声、引擎空转声等声音数据。
86.对其中一种声音数据进行处理，得到该种声音的梅尔频率倒谱系数，提取过程如下：
87.首先，对该种声音数据进行预加重处理，预加重的目的是为了提升高频部分，使信号的频谱变得平坦。由于高频信号更容易衰减，而像元音等一些音素的发音包含了较多的高频信号的成分，若高频信号丢失，可能会导致音素的共振峰不明显，使得声学模型对这些音素的建模能力不强。预加重处理是将声音数据通过一个高通滤波器，提高其中高频部分的能量。
88.然后，对预加重处理后的声音数据进行分帧处理，分帧处理是将声音数据分为n个采样单位，一般来说，每个单位的时长为10-30ms，为了使帧与帧之间平滑过渡，保持其连续性，分帧处理一般采用交叠分段的方法，保证相邻两帧相互重叠一部分。
89.同时，为了消除各帧两端可能会造成的信号不连续性，减少泄漏，将每一帧数据代入窗函数，常用的窗函数有方窗、汉明窗和汉宁窗等，根据窗函数的频域特性，在本实施例中采用汉明窗(hamming window)。
90.对分帧加窗处理后的各帧数据进行离散傅里叶变换(简称dft)得到各帧的频谱。其中，离散傅里叶变换的公式为：
[0091][0092]
其中，x(n)是给定的时域信号，x(m)是离散傅里叶变换的第m个输出。
[0093]
将得到频谱通过一个梅尔滤波器组，得到梅尔频谱。其中，梅尔滤波器组是由m个三角滤波器组成的滤波器组(滤波器的个数和临界带的个数相近)，中心频率为f(m)。
[0094]
三角滤波器的频率响应定义：
[0095][0096]
计算每个滤波器组输出的对数能量为：
[0097][0098]
对梅尔频谱进行离散余弦变换，得到该种声音的梅尔频率倒谱系数。其中，公式如下：
[0099][0100]
对该种声音的梅尔频率倒谱系数进行可视化处理，得到该种声音对应的波形图。
[0101]
重复上述步骤，以求得交通环境声音数据集中各个声音对应的波形图，并基于这些波形图构建声音波形图集合。在实时交通环境监测中，将波形图与视频数据相结合，能够更好地提供实时路况信息。
[0102]
基于同样的思路，本技术的一些实施例还提供了上述方法对应的设备和非易失性计算机存储介质。
[0103]
本技术的一些实施例提供了对应于图1的一种交通环境监测设备，其中，包括：
[0104]
至少一个处理器；以及，
[0105]
与所述至少一个处理器通信连接的存储器；其中，
[0106]
所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
[0107]
获取实时交通监控的视频数据与环境声音数据；
[0108]
根据预设置的声音波形图集合对所述环境声音数据进行识别，得到实时交通环境中存在的至少一种声音；
[0109]
将所述声音与所述视频数据结合，以进行实时交通环境监测。
[0110]
本技术的一些实施例提供了对应于图1的一种交通环境监测的非易失性计算机存储介质，存储有计算机可执行指令，其中，所述计算机可执行指令设置为：
[0111]
获取实时交通监控的视频数据与环境声音数据；
[0112]
根据预设置的声音波形图集合对所述环境声音数据进行识别，得到实时交通环境中存在的至少一种声音；
[0113]
将所述声音与所述视频数据结合，以进行实时交通环境监测。
[0114]
本技术中的各个实施例均采用递进的方式描述，各个实施例之间相同相似的部分互相参见即可，每个实施例重点说明的都是与其他实施例的不同之处。尤其，对于设备和介质实施例而言，由于其基本相似于方法实施例，所以描述的比较简单，相关之处参见方法实施例的部分说明即可。
[0115]
本技术实施例提供的设备和介质与方法是一一对应的，因此，设备和介质也具有与其对应的方法类似的有益技术效果，由于上面已经对方法的有益技术效果进行了详细说明，因此，这里不再赘述设备和介质的有益技术效果。
[0116]
本领域内的技术人员应明白，本发明的实施例可提供为方法、系统、或计算机程序产品。因此，本发明可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本发明可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
[0117]
本发明是参照根据本发明实施例的方法、设备(系统)、和计算机程序产
[0118]
品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
[0119]
这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
[0120]
这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
[0121]
在一个典型的配置中，计算设备包括一个或多个处理器(cpu)、输入/输出接口、网络接口和内存。
[0122]
内存可能包括计算机可读介质中的非永久性存储器，随机存取存储器(ram)和/或非易失性内存等形式，如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
[0123]
计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。
[0124]
还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个
……”
限定的要素，并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的相同要素。
[0125]
以上所述仅为本技术的实施例而已，并不用于限制本技术。对于本领域技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本技术的权利要求范围之内。

技术特征：

1.一种交通环境监测方法，其特征在于，所述方法包括：获取实时交通监控的视频数据与环境声音数据；根据预设置的声音波形图集合对所述环境声音数据进行识别，得到实时交通环境中存在的至少一种声音；将所述声音与所述视频数据结合，以进行实时交通环境监测。2.如权利要求1所述的交通环境监测方法，其特征在于，根据预设置的声音波形图集合对所述环境声音数据进行识别，得到实时交通环境中存在的至少一种声音，包括：采用语音识别技术对所述环境声音数据进行处理，得到至少一种待识别波形图；将所述待识别波形图发送至预设置的声音波形图集合中进行识别，得到与所述待识别波形图对应的声音。3.如权利要求1所述交通环境监测方法，其特征在于，所述方法还包括：采集实时交通环境中特定声音的声音数据；对所述声音数据进行处理，得到所述特定声音的梅尔频率倒谱系数；对所述梅尔频率倒谱系数进行可视化处理，得到所述特定声音的波形图；重复上述步骤，得到实时交通环境中多个特定声音的波形图；基于所述多个特定声音的波形图构建声音波形图集合。4.如权利要求3所述交通环境监测方法，其特征在于，对所述声音数据进行处理，得到所述特定声音的梅尔频率倒谱系数，包括：对所述声音数据进行预加重处理；对预加重处理后的声音数据进行分帧处理；对分帧处理后的声音数据进行加窗处理，得到各帧声音数据；对分帧、加窗处理后的各帧声音数据进行离散傅里叶变换，得到各帧的频谱；对所述频谱进行三角窗滤波处理，得到梅尔频谱；对所述梅尔频谱进行离散余弦变换，得到所述特定声音的梅尔频率倒谱系数。5.如权利要求4所述的交通环境监测方法，其特征在于：采用高通滤波器对所述环境声音进行预加重处理。6.如权利要求4所述交通环境监测方法，其特征在于：采用梅尔滤波器组对所述各帧的频谱进行三角窗滤波处理，得到梅尔频谱。7.如权利要求3所述的交通环境监测方法，其特征在于，采集实时交通环境中特定声音的声音数据之前，所述方法还包括：基于现有的声音数据集获取特定声音的声音数据。8.如权利要求7所述的交通环境监测方法，其特征在于：所述现有的声音数据集至少包括esc-50声音数据集、urbansound8k声音数据集中的一种。9.一种交通环境监测设备，其特征在于，包括：至少一个处理器；以及，与所述至少一个处理器通信连接的存储器；其中，所述存储器存储有可被所述至少一个处理器执行的指令，所述指令被所述至少一个处理器执行，以使所述至少一个处理器能够：
获取实时交通监控的视频数据与环境声音数据；根据预设置的声音波形图集合对所述环境声音数据进行识别，得到实时交通环境中存在的至少一种声音；将所述声音与所述视频数据结合，以进行实时交通环境监测。10.一种交通环境监测的非易失性计算机存储介质，存储有计算机可执行指令，其特征在于，所述计算机可执行指令设置为：获取实时交通监控的视频数据与环境声音数据；根据预设置的声音波形图集合对所述环境声音数据进行识别，得到实时交通环境中存在的至少一种声音；将所述声音与所述视频数据结合，以进行实时交通环境监测。

技术总结

本申请公开了一种交通环境监测方法、设备及介质，涉及声音监控技术领域。具体实现方案为获取实时交通监控的视频数据与环境声音数据；根据预设置的声音波形图集合对环境声音数据进行识别，得到实时交通环境中存在的至少一种声音；将声音与视频数据结合，以进行实时交通环境监测。本申请公开的交通环境监测方法将实时采集视频数据与声音数据相结合，有效地弥补了目前只采集视频在交通环境监测方面的缺陷，提高了交通环境监测的准确性，全面性，能够更好的提供实时路况信息。更好的提供实时路况信息。更好的提供实时路况信息。