具有感兴趣区域的声学检测设备和系统的制作方法

1.本发明一般涉及声学检测设备(也称为“声学相机”)领域，以及包括声学检测设备的系统，例如，工厂监测系统、监控系统、气体泄漏检测系统。

背景技术：

2.例如来自wo2018087622(a1)、wo2019166450(a1)或wo2018055232 (a1)的、包括多个麦克风(例如，mems麦克风)的声学检测设备在本领域中是已知的，上述的全部文献通过引用结合在本文中。已知相机能够检测一个或多个声源相对于mem阵列的存在、位置和声压级(sound pressure level, spl)。(一个或多个)声源可与气体泄漏或机械摩擦(例如，由电机的轴承生成)有关。例如，检测可以基于“波束成形”，也可以基于评估在预定义位置或定向存在潜在声源的可能性的算法。
3.使用此类声学相机的现有系统可在显示器上显示有关检测到的声源的信息，以供允许用户在发生事件的情况下(例如，在气体泄漏生成高于预定义阈值的声压级(spl)的声发射情况下)采取适当动作(例如，关闭阀门、发出警报等)。由于若干原因，这并不理想，诸如例如，(i)用户响应可能(太) 缓慢，导致危险的情况，(ii)用户对情况的解释可能不正确，等。
4.至少在一些情况下，如果系统可以在没有人工干预的情况下自动采取适当动作，这可能是可期望的。然而，在实践中，这说起来容易做起来难，建立可靠的系统是一个挑战。

技术实现要素：

5.本发明的实施例的目的是提供声学检测设备和/或使用声学检测设备的检测系统，具有如下特征：允许(例如，气体泄漏的)更可靠和/或更相关的检测。
6.本发明的实施例的目的是提供声学检测设备和/或使用声学检测设备的检测系统，具有如下特征：降低“假肯定”的风险(例如，降低在火车经过情形中，或在飞机飞越场景的情形中，或在场景中的人或动物发出声音的情形中生成警报的风险)。
7.本发明的实施例的目的是提供声学检测设备和/或使用声学检测设备的检测系统，其能够检测某些事件(诸如例如：检测气体泄漏或检测电机轴承的摩擦)，并能够自动拒绝其他事件，例如，与系统的目的无关的事件(诸如例如火车通过或飞机的飞越)。
8.本发明的实施例的目的是提供此类检测设备和/或能够以相对简单的方式拒绝某些事件的检测系统。
9.本发明的实施例的目的是提供此类检测设备和/或此类检测系统，具有如下特征：允许设备和/或系统针对特定环境和/或特定场景进行优化或定制，例如，针对特定工厂或生产设施或景观，例如，具有特定的布局和/或机械和/或管道和/或管线的特定组合。
10.本发明特定实施例的目的是提供允许更可靠的检测和/或允许减少假肯定的数量的“超声气体泄漏检测设备”和/或“气体泄漏检测系统”。
11.本发明实施例的目的是提供“超声气体泄漏检测设备”和/或“气体泄漏检测系统”，其能够响应于检测到的气体泄漏而采取自动动作，例如，以发出警报、关闭或打开阀门、激活或停用致动器等形式。
12.为生产设施提供包括声学相机的监测系统或监控系统也是本发明实施例的目的。
13.这些和其他目标通过本发明的实施例实现。
14.根据第一方面，本发明提供了一种声学检测设备，包括：多个麦克风(例如，至少5个和最多250个mems麦克风，或至少10个和最多150个麦克风，或至少15个和最多64个麦克风，安装在平面或弯曲表面上)，在至少两个方向上间隔开，并配置成用于将源自场景的声波转换为多个模拟或数字声音信号；输出(例如，输出端口、连接器)，用于将信号(例如，激活信号或停用信号或驱动器信号)发送到外部组件和/或用于向外部处理器发送消息的通信装置；用于存储至少一个感兴趣区域的信息的存储器(例如，ram或闪存)，所述信息包括位置信息和至少一个阈值水平(例如，声压级的形式、或归一化声压级的形式、或气体泄漏速率形式的阈值)；处理电路，连接到所述麦克风、所述输出和/或所述通信装置以及所述存储器，并配置成用于：a)接收多个声音信号，并检测所述场景中一个或多个潜在声源的位置和声压级(spl)或从中得出的值(例如，相对应的气体泄漏速率)；以及b)针对至少一个检测到的声源，测试检测到的声源是否位于感兴趣区域中(region of interest,roi)；并测试检测到的声压级或从中得出的值(例如，相对应的气体泄漏速率)是否高于与该区域相关联的至少一个阈值；并且如果满足这两个条件，则发送指示警报的第一信号和/或第一消息(例如，直接或间接导致视听信号的生成和/或激活阀门或致动器、电机、喷雾器或警报器的激活)。
15.多个麦克风可以设置在二维表面或三维表面上，并且它们不位于单个虚拟线上，即，它们不是共线的。表面可以是平面的(即，平坦的)或弯曲的(例如，半球)。
16.如果一个或两个条件都不满足，则该方法可以丢弃声源或发送与第一消息不同的第二消息，例如，具有状态信息或日志信息等的消息。
17.本发明的最大优势之一是，它允许根据声源在场景中的位置定义多个阈值水平，而不是适用于整个视野的单个阈值水平。通过这种方式，相机可以更准确和/或以更合适的方式对特定(已知)场景做出反应。仅作为示例，通过这种方式，源自已知或预期声源(例如，遵循已知轨迹、或场景中的一个或多个轨迹的火车)的声能可以被防止生成虚假警报。
18.请注意，该方法不要求使用神经网络等对声音波形进行分析和/或分类，但是这并不被排除。相反，(固定)场景只需要在至少两个区域的多个区域中进行分区，例如，可以通过一个轮廓来实现。(一般来说，为了定义n个区域，可以定义n-1个轮廓；或者，可以使用包含n个不同颜代码的比特图)。在图1的示例中，指示了五个轮廓，定义了五个区域或六个区域：第一区域(相对靠近)，包括电机或压缩器；第二区域(例如，包含直立式冷却管线)、第三区域(例如，包含气体存储罐)、第四区域(例如，感兴趣区域以外的远端位置)、第五区域(例如，包括附近的管线)和隐式剩余区域(例如，包含各种管道)。
19.一个优点是，区域可以通过简单地在场景的图片上指示(例如，绘制)轮廓来定义，例如，通过使用本地触摸屏手动绘制它们，或通过指示通过多边形互连的多个点，或通过指示网格的片，例如，使用诸如鼠标或输入笔之类的输入设备，或使用远程计算机，或任
何其他合适的方式。
20.至少一个roi(感兴趣区域)可小于声学相机的“声学视野”。
21.声学检测设备可能是超声相机。
22.多个麦克风可位于平面上，例如，在平面pcb上。
23.在实施例中，多个麦克风设置在至少两个非平行平面上。
24.麦克风可以是mems麦克风。
25.通信装置可包括双向收发器。
26.当通信装置允许双向通信时，这是一个优势，因为这允许声学检测设备向另一计算设备发送并从另一计算设备接收消息。“另一计算设备”可包括智能手机、平板电脑、膝上型电脑、桌面型电脑、远程服务器等。
27.存储器可以是或可包括非易失性存储器(例如，闪存)。这提供了声学相机可以自主启动的优势。
28.至少一个感兴趣区域可以是2d感兴趣区域，或者3d感兴趣区域。在后一种情况下，至少一个roi的信息进一步包括麦克风与所述感兴趣区域之间的至少一个距离(例如，平均距离)或两个距离(例如，最小距离和最大距离)。
29.在实施例中，存储器适用于存储至少两个非重叠感兴趣区域(roi1、roi2) 的信息，每个区域可能小于声学相机的“视野”或“场景”，所述信息包括位置信息和感兴趣区域中的每个感兴趣区域的至少一个阈值水平。
30.在实施例中，特定感兴趣区域的信息可包括至少两个或至少三个阈值，例如，与要发送的不同消息有关，对应于(在系统级别)要采取的不同动作，具体取决于泄漏的严重度。
31.在实施例中，至少有两个感兴趣区域，即，与第一阈值水平t1相关联的第一roi，以及与和第一阈值水平t1不同的第二阈值水平t2相关联的第二 roi。
32.在实施例中，声学相机具有麦克风阵列，包括一些mems麦克风，范围在5到250之间，或在10到150之间，或在15到64之间。
33.在实施例中，步骤a)进一步包括存储声波的片段；以及步骤b)进一步包括：分析所述片段，并确定所述片段属于预定义类型的可能性(或概率)(例如，气体泄漏、或机械磨损、或放电)，并仅在满足以下所有条件的情况下发送(712)所述指示警报的第一信号和/或第一消息：(i)检测到的声源位于感兴趣区域，以及(ii)检测到声压级(spl)或从中得出的值高于与该区域相关联的至少一个阈值(t1)，以及(iii)所述片段属于预定义类型的可能性(或概率)处于预定义的概率，例如，至少30％或至少40％或至少50％。
34.例如，确定所述可能性或概率可以通过人工智能算法执行，该人工智能算法经专门培训用于将音频片段归类为由以下各项中的一种或多种引起的：机械磨损、气体泄漏、放电。
35.在实施例中，声学检测设备进一步包括：至少一个光学相机，配置成用于捕获所述场景的至少一部分的至少一个图像；声学检测设备进一步配置成用于传输至少一个捕获的图像，任选地在利用附加信息(例如，文本信息)覆盖捕获的图像之后。
36.光学相机可以嵌入到声学传感器设备中。
37.优选地，屏幕的一部分包括至少一个roi(感兴趣区域)。
38.虽然可以以模拟形式传输至少一个图像(例如，作为cvbs或pal或 cctv信号)，但至少一个捕获的图像优选地在传输前进行数字化和压缩，例如，使用jpeg或mjpeg或mpeg1或mpeg2或mpeg4格式，或其他合适的格式。至少一个捕获的图像也可以存储在非易失性存储器中(如果存在)。捕获的图像可以重复(例如，定期(例如，每分钟一次))传输。
39.在实施例中，声学相机不包含光学相机，但在校准期间，场景的光学图像存储在声学相机的非易失性存储器中。光学图像可以被配置设备(例如，智能手机、膝上型电脑等)捕获，并经由有线或无线链路(例如，wifi或蓝牙)传输到声学相机。
40.在通信装置包括收发器的实施例中，至少一个图像也可以基于来自外部设备的请求而被传输，例如，响应于工厂控制系统发送的请求。
41.在实施例中，声学检测设备包括至少两个光学相机。这些光学相机可以沿着水平轴或垂直轴间隔开。使用至少两个光学相机是一个优势，因为这允许基于捕获的图像(例如，使用已知技术)确定光学相机与场景中的物体之间的距离。
42.在实施例中，声学检测设备可包括一个或多个相机，例如，从包括以下各项的组中选择：红外相机(ir)相机、紫外线(ultra-violet,uv)相机、高光谱相机和光学相机。在实施例中，声学检测设备包括从该列表中选择的至少两个不同类型的相机，例如，ir相机和uv相机。
43.在实施例中，作为感兴趣区域的信息的一部分的阈值是可通过多个麦克风测量的声压级。
[0044]“可由多个麦克风测量”是指麦克风附近位置处的声压级，因此处于距声源本身(通常很大)的距离之处。
[0045]
本实施例的优点是“声音归一化”可被避免，并且通过在不同区域进行分区和相对应的阈值，自动计及由于增加声源与麦克风之间的距离而导致的声音衰减。
[0046]
在本实施例中，对于进一步远离麦克风的roi，“阈值”通常被选择成较小，对于更靠近麦克风的区域，通常被选择成较大。
[0047]
请注意，如果每个区域的麦克风与场景中的物体之间的距离范围(最近和最远)相对较小，例如，如果区域包含与麦克风基本平行的管线，或包含位于最小距离的相对紧凑的物体(例如，压缩器)，则该实施例可能特别合适。
[0048]
在实施例中，作为感兴趣区域的信息的一部分的阈值是气体泄漏速率。
[0049]
在本实施例中，“阈值”可以用[升每时间单位]表示，例如，以升每分钟或升每小时表示。一个优点是，该阈值可以(由用户)指定，而不计及声源在场景中的位置，或者更具体地，用户或安装者不必计及声源与麦克风之间的距离。一个优点是，这更容易安装或设置，并且不太容易出现人为错误。
[0050]
在实践中，声学相机可以在步骤ii)中将检测到的声压级转换为“估计气体泄漏速率”中，计及声源与麦克风之间的距离，并可以将这种“估计气体泄漏速率”与“阈值”进行比较。
[0051]
在实施例中，声学检测设备进一步适用于估计至少一个感兴趣区域的最小可检测声级；并且步骤a)进一步包括：测试检测到的声压级是否大于最小可检测声级，并仅在测试结果为真的情况下继续进行步骤ii)。
[0052]“最小可检测声级”是指可被识别的局部声源的“灵敏度”或“最小可检测气体泄
漏”。该值与麦克风的绝对灵敏度不同。
[0053]
某一区域的“最小可检测声级”可取决于相邻区域中声源的存在和声压级，和/或非局部声源(例如，风或雨)的存在，例如，wo2019166450(a1)中更详细地描述，在本文中通过引用其整体并入本文。本实施例的一个优点是，通过这种方式，可以进一步减少假肯定(“假警报”)的数量。
[0054]“估计最小可检测声级”的步骤可意味着“估计相干声源的最小声压级”。
[0055]
在实施例中，roi中的至少一个(例如，所有roi)的估计最小可检测声级是经由通信装置传输的，和/或显示在本地或远程显示器上。
[0056]
在实施例中，估计的“最小可检测声级”被重复(例如，定期)传输。
[0057]
在实施例中，声学检测设备进一步包括显示和输入装置；并且处理电路进一步配置成用于在所述显示器上提供图像(例如，声学图像和/或捕获的光学图像和/或图形叠加)，并允许操作员定义至少一个感兴趣区域的位置并使用所述输入装置指定至少一个阈值。
[0058]
显示器可包括内置lcd显示器。
[0059]
显示器可能是触摸屏显示器，在这种情况下，“输入装置”集成在触摸屏显示器中。替代地或附加地，输入装置可包括一个或多个按键、鼠标、输入笔、触摸板等。
[0060]
在本实施例中，声学检测设备通常包括软件模块，用于允许用户在显示器上绘制轮廓，并设置至少一个阈值水平，例如，使用一个或多个按钮，或键盘或模拟键盘，或模拟滑块等。轮廓也可以以不同的方式定义，例如，通过线段将由用户指示的数个点互连。处理电路可包括图形软件模块，用于添加和/或绘制和/或修改和/或移动和/或删除此类点或线段。
[0061]
本实施例的一个优点是，可在无需到外部处理器的连接的情况下，配置该声学相机。
[0062]
根据第二方面，本发明还提供了一种系统，包括：根据第一方面的声学检测设备，被固定安装以观察要监控的场景；以及显示和输入装置，在声学检测设备外部但是通信地连接到该声学检测设备(例如，通过电缆(例如，以太网电缆)，或无线(例如，使用wifi连接))；并且其中，处理电路被进一步配置成用于在所述显示器上提供图像(例如，声学图像和/或捕获的光学图像和/或图形叠加)，并配置成用于允许操作员定义至少一个感兴趣区域的位置并使用所述输入装置指定至少一个阈值。
[0063]
显示器可能是触摸屏显示器，在这种情况下，“输入装置”集成在触摸屏显示器中。替代地或附加地，输入装置可包括一个或多个按键、鼠标、输入笔、触摸板等。
[0064]
本实施例的一个优点是，“用户界面”可以在距离声学相机的距离(例如，最多25米、或最多10米)处操作。作为示例，声学相机可以固定安装在例如， 10米高度的杆子或桅杆上，但操作员可以在站在地上的同时远程地配置声学检测设备。
[0065]
在实施例中，该系统可以进一步实现wo2018/087622(a1)中描述的“内部故障检测方法”，并通过引用完整并入本文。
[0066]
在实施例中，该系统进一步包括与声学检测设备的输出操作地连接的至少一个组件，并配置成用于进行接收以及响应于第一信号而被激活或停用；并且其中组件从选自包括以下各项的组：视听组件、扬声器、警报器、发光设备、致动器、电机、阀门、继电器。
[0067]
此类系统的示例在图5a中示出。
[0068]
根据第三方面，本发明还提供了一种系统，包括：根据第一方面的声学检测设备，固定安装以观察场景；选自包括以下各项的组的至少一个组件：视听组件、扬声器、警报器、发光设备、致动器、电机、阀门、继电器；系统控制器，通信连接(直接或间接)至声学检测设备并操作地连接至所述至少一个组件，并配置成用于接收从声学检测设备发送的第一消息和/或第二消息或从中得到的消息，并配置成用于响应于对到所述消息的接收而选择性地激活或停用至少一个组件。
[0069]
系统可是声学检测系统。
[0070]
系统可以是监控系统的一部分，或者可以是工厂控制系统的一部分。
[0071]
简单来说，在本实施例中，声学检测设备处理音频信号，以便检测场景中是否存在一个或多个声源。并且如果声源被到，声学相机测试声源是否位于感兴趣区域(roi)，并测试声压级是否满足某些标准(例如，高于最小可检测声级和/或高于阈值)，并有条件地向系统控制器发送第一信号(例如，指示警报的信号)或第二信号(例如，指示“无泄漏检测”)。系统控制器从声学检测设备接收该消息，并可响应于接收到该消息而例如经由plc激活或停用至少一个组件。系统控制器可以计及来自声学检测器的进一步信息和/或来自其他检测器的进一步信息。
[0072]
在实施例中，系统可进一步包括通信连接(例如，通过电缆(例如，以太网电缆)，或无线(例如，使用wifi连接))至系统控制器的显示和输入装置；并且其中系统控制器被进一步配置成用于向所述显示器发送图像(例如，声学图像和/或捕获的光学图像和/或图形叠加)，并配置成用于允许操作员定义至少一个感兴趣区域的位置以及使用所述输入装置指定至少一个阈值；并且其中系统控制器被进一步配置成用于将该位置信息和阈值发送到声学检测设备。
[0073]
简单来说，在本实施例中，用户或操作员可以经由连接到系统控制器的用户界面配置(一个或多个)感兴趣区域的位置和阈值。
[0074]
在配置后，显示器还可用于显示捕获的场景图像和/或状态信息等。
[0075]
根据第四方面，本发明还提供了一个系统，包括：声学检测设备，固定安装以观察场景，该声学检测设备包括：多个麦克风，在至少两个方向上间隔开，并配置成用于将源自场景的声波转换为多个模拟或数字声音信号；通信装置，用于向系统控制器发送消息；处理电路，配置成用于：a)接收多个声音信号，并检测所述场景中一个或多个潜在声源的位置和声压级(spl)或从中得出的值(例如，相对应的气体泄漏速率)；以及b)对于至少一个检测到的声源，测试检测到的声压级(spl)或从中得出的值(例如，相对应的气体泄漏速率) 是否高于预定义的阈值；并且如果该测试的结果为真，则向系统控制器发送包含位置和检测到的声压级或从中得出的值的消息；从包括以下各项的组中选择的至少一个组件：视听组件、扬声器、警报器、发光设备、致动器、电机、阀门、继电器；系统控制器，操作地连接到所述至少一个组件，并通信(直接或间接)连接到声学检测设备；其中系统控制器进一步包括存储装置或存储器(例如，非易失性存储器)，存储至少一个(或至少两个)感兴趣区域(例如，小于场景)的信息，所述信息包括位置信息和与该区域相关联的至少一个阈值水平(例如，声压级形式、或归一化声压级形式、或气体泄漏速率形式的警报阈值；其中系统控制器进一步配置成用于：x)接收由声学检测设备发送的消息，并提取至少一个声源的位
置，以及检测到的声压级或从中得出的值；y)测试检测到的位置是否位于感兴趣区域，并测试检测到的声压级或从中得出的值 (例如，相对应的气体泄漏速率)是否高于与该区域相关联的至少一个阈值，并且如果满足这两个条件，选择性地激活或停用至少一个组件。
[0076]
位置信息和相关联阈值可被硬编码在系统控制器执行的程序中，或者可以被存储在非易失性存储器中，并在系统控制器上电之后读取，或者其可以从网站或云中存储空间取回。
[0077]
在实施例中，声学检测设备进一步包括：至少一个光学相机，配置成用于捕获所述场景的至少一部分的至少一个图像；以及声学检测设备进一步配置成用于传输至少一个捕获的图像，任选地在利用附加信息(例如，文本信息)覆盖捕获的图像之后；以及系统包括至少一个连接到或可连接到系统控制器的显示器；并且系统进一步配置成用于在所述显示器上显示任选地利用附加信息覆盖的至少一个捕获的图像。
[0078]
在实施例中，由声学检测设备发送的图像利用附加信息覆盖，诸如例如，区域的一个或多个可视化表示，和/或潜在声源位置的指示，能量水平或信号强度或气体泄漏速率的指示等。
[0079]
在实施例中，声学检测设备发送的图像没有利用附加信息覆盖。作为示例，声学检测设备发送的图像可能只是光学相机捕获的图像的数字化和压缩版本。当然，也可以发送子图像，例如，包含检测到源的场景的一部分。
[0080]
在这两种情况下，声学检测设备发送的图像可以进一步处理，例如，缩放、锐化等，并任选地由系统控制器覆盖。
[0081]
在实施例中，系统进一步包括连接到或可连接到系统控制器的输入装置 (例如，触摸屏显示器、用于连接鼠标或轨迹球的输入连接器、触摸板等)；并且系统控制器进一步配置成用于允许用户定义至少一个感兴趣区域的位置，以及用于使用所述输入装置指定至少一个相关联阈值。
[0082]
优选地，系统控制器进一步包括非易失性存储器(例如，闪存或硬盘等)，并且系统控制器被配置用于在所述非易失性存储器中存储位置信息和相关联阈值。
[0083]
在实施例中，声学检测设备进一步适用于估计至少一个感兴趣区域的最小可检测声级，以及用于任选地将该最小可检测声级传送到系统控制器；并且声学检测设备进一步配置成用于测试检测到的声压级是否大于最小可检测声级，以及用于取决于测试结果发送消息；和/或其中系统控制器进一步配置成用于测试检测到的声压级是否大于最小可检测声级，以及用于取决于测试结果激活或停用所述组件。
[0084]
在实施例中，声学检测设备可以进一步包括加速度计和/或陀螺仪和/或磁强计，配置成用于监测声学相机的绝对位置或相对于其初始位置和/或定向的相对位置。在检测到移动或旋转的情形中，警报可被生成，或感兴趣区域可被相对应调节，使得感兴趣区域与正确的物理位置相对应。在相机可旋转，或由于风等无意地移动的情形中，这可能特别有用。
[0085]
在实施例中，阈值为气体泄漏速率，并且声学检测设备或系统控制器进一步包括至少一个感兴趣区域的距离信息，并且声学检测设备或系统控制器被进一步配置成用于将检测到的声压级转换为估计的气体泄漏速率；并且声学检测设备或系统控制器被进一步配置成用于在显示器上显示检测到的气体泄漏速率。
[0086]
此类音频检测设备实际上是“超声气体泄漏检测设备”，而此类监测系统实际上是气体泄漏检测系统。
[0087]
将声压级转换为气体泄漏速率可以以已知的方式执行，例如，以与 wo2019166450(a1)中描述的相同方式。
[0088]
根据第五方面，本发明还提供了一种检测场景中声学声源的方法，至少包括图7的流程图中所示出的具有实线的框中的步骤，即，步骤702、704、710 和712。
[0089]
根据此后描述的(多个)实施例，本发明的这些和其他方面将是显而易见的，并且本发明的这些和其他方面将参照此后描述的(多个)实施例来阐明。
附图说明
[0090]
图1a示出被监控气体泄漏的第一图示场景的灰度图片。
[0091]
图1b示出图1a由五个roi(感兴趣区域)覆盖的抖动版本。
[0092]
图1c示出图1b中使用的五个roi(感兴趣区域)的位置，每个roi都有相对应的阈值水平。
[0093]
图2a示出被监控气体泄漏的第二图示场景的灰度图片。
[0094]
图2b示出由十一个roi(感兴趣区域)覆盖的图2a的抖动版本。
[0095]
图2c示出图2b中十一个roi(感兴趣区域)的位置。
[0096]
图3a示出与图2a相同的场景。
[0097]
图3b示出由水平线和垂直线覆盖从而形成二维网格的图3a的抖动版本。
[0098]
图3c示出由图3b的片子集形成的马赛克，每个片定义感兴趣区域。
[0099]
图4示出说明性的系统的框图，系统包括声学传感器设备(或“声学相机”)，其输出连接到或可连接到一个或多个组件(例如，扬声器、灯、阀门
……
)和 /或具有可连接或连接到声学传感器设备外部的第二处理器(例如，平板电脑、膝上型电脑、智能手机、ipad、
……
)的通信装置。该系统使用至少一个比场景小的roi，或至少两个感兴趣区域来拒绝无关的声源，以便减少虚假警报。
[0100]
图5a示出类似于图4的说明性系统的框图，其中声学相机可在配置模式下经由本地显示器和本地输入装置进行配置，并配置成用于在正常操作模式下经由其输出有条件激活或停用一个或多个组件。
[0101]
图5b示出类似于图4的说明性系统的框图，其中声学相机可在配置模式下经由连接到或可连接到声学传感器设备的远程显示器和远程输入装置进行配置，并配置成用于在正常操作模式下经由其输出有条件激活或停用一个或多个组件。
[0102]
图6示出类似于图4的说明性系统的框图，其中声学相机可在配置模式下经由其通信装置由远程计算机进行配置，并适用于向系统控制器发送消息以在正常操作模式下激活或停用一个或多个组件。感兴趣区域可以在声学相机内部实现，或者可以在系统控制器内部实现，或者在两者内部实现。
[0103]
图7示出使用至少一个感兴趣区域检测一个或多个声源的方法的流程图。例如，该方法可以通过图4的系统或通过图5a的声学传感器设备来执行。
[0104]
图8示出检测一个或多个声源的方法的流程图，该方法可以由没有感兴趣区域的声学相机执行。例如，该方法可以通过图6的声学传感器设备来执行。
[0105]
图9示出检测一个或多个声源并在无需人工干预的情况下自动采取适当动作的的方法的流程图。例如，该方法可以通过图6的系统控制器来执行。
[0106]
各附图仅是示意性而非限制性的。在附图中，出于说明性目的，要素中的一些要素的尺寸可被放大且未按比例绘制。权利要求中的任何附图标记不应被解释为限制范围。在不同的附图中，相同或相似的附图标记指代相同或相似的要素。
具体实施方式
[0107]
将就具体实施例并且参考某些附图来描述本发明，但是本发明不限于此而仅由权利要求书来限定。
[0108]
说明书中和权利要求书中的术语第一、第二等用于在类似的要素之间进行区分，而不一定用于描述时间上、空间上、等级上或以任何其他方式的顺序。应理解，如此使用的术语在适当的情况下是可互换的，并且本文中所描述的本发明的实施例能够以与本文中所描述或图示的不同的顺序来进行操作。
[0109]
要注意，权利要求中使用的术语“包括”不应被解释为限定于其后列出的装置；它并不排除其他要素或步骤。因此，该术语应被解释为指定如所提到的所陈述的特征、整数、步骤或组件的存在，但不排除一个或多个其他特征、整数、步骤或组件、或其组的存在或添加。因此，表述包括装置“a和b的设备
”ꢀ
的范围不应当被限于仅由组件a和b构成的设备。它意味着对于本发明，该设备的仅有的相关组件是a和b。
[0110]
贯穿本说明书对“一个实施例”或“实施例”的引用意指结合该实施例所描述的特定的特征、结构或特性被包括在本发明的至少一个实施例中。因此，短语“在一个实施例中”或“在实施例中”贯穿本说明书在各个地方的出现并不一定全部指代同一实施例，而是可以指代同一实施例。此外，在一个或多个实施例中，如通过本公开将对本领域普通技术人员显而易见的，特定的特征、结构或特性能以任何合适的方式进行组合。
[0111]
类似地，应当理解，在本发明的示例性实施例的描述中，出于精简本公开和辅助理解各发明性方面中的一个或多个发明性方面的目的，本发明的各个特征有时被一起编组在单个实施例、附图或其描述中。然而，该公开方法不应被解释为反映要求保护的发明要求比每一项权利要求中明确记载的特征更多的特征的意图。相反，如所附权利要求所反映，发明性方面存在于比单个前述公开的实施例的全部特征更少的特征中。因此，具体实施方式之后所附的权利要求由此被明确纳入本具体实现方式中，其中每一项权利要求本身代表本发明的单独实施例。
[0112]
此外，尽管本文中所描述的一些实施例包括其他实施例中所包括的一些特征但不包括其他实施例中所包括的其他特征，但是如本领域技术人员将理解的那样，不同实施例的特征的组合旨在落在本发明的范围内，并且形成不同实施例。例如，在所附的权利要求书中，所要求保护的实施例中的任何实施例均能以任何组合来使用。
[0113]
在本文中所提供的描述中，阐述了众多具体细节。然而，应当理解，可以在没有这些具体细节的情况下实施本发明的实施例。
[0114]
在本应用中，“假肯定”一词可以指例如声源被确定为气体泄漏而实际上它不是气体泄漏的情况。
[0115]
本发明一般涉及声学检测设备(也称为“声学相机”)领域，以及包括声学检测设
备的系统，例如，工厂监测系统、监控系统、气体泄漏检测系统等，并且特别地涉及其中声学相机固定安装(例如，到墙壁或到杆子)以观察或监测特定场景的系统。
[0116]
为了建立在某些情况下可以在没有人工干预的情况下自动采取动作的系统，该系统需要能够检测相关声源和/或拒绝无关的声源。声源是否相关可取决于使用声学相机的特定应用，例如，工厂监测系统、监控系统、气体泄漏检测系统。例如，在后一种情况下，声学相机用于检测气体泄漏，并应拒绝所有其他声源，诸如例如，由空调系统或位于同一场所的内燃机生成的声音。
[0117]
当然，拒绝“假肯定”总是期望的，但当系统配置成用于在没有人工干预(诸如例如，自动打开或关闭气体管线的阀门，或激活灭火器，或启动水泵，激活警报器等)的情况下自动采取某些动作时，假肯定检测的后果要严重得多。
[0118]
为了解决这个问题，发明者提出了针对特定场景定制系统，以便提高正确检测的概率的想法。更具体地，得到计及检测到的(一个或多个)声源是否位于一个或多个感兴趣区域(roi)内的想法，这些感兴趣区域由操作员在安装或配置或设置过程期间预先定义，因此在实际使用声学检测系统时，(一个或多个)感兴趣区域的(一个或多个)位置是固定的。他们进一步意识到，“测试声源是否位于感兴趣区域内”的步骤可以在声学相机本身内实现，但这并不是绝对必要的，也可以在声学相机之外实现，例如，在系统控制器中。这两种解决方案都是可能的，并且都有其优点和缺点，例如，在所需的带宽、易于配置等方面。使用感兴趣区域的另一个优势是，它允许对不同区域使用不同的阈值。
[0119]
虽然本发明不是绝对必要的，但如果声学相机进一步包括光学相机，并且如果系统进一步被提供有显示和输入装置以及软件例程来允许操作员或安装者简单地在该图片上“绘制”(一个或多个)感兴趣区域，那么指定(一个或多个)感兴趣区域的位置是非常容易和实用的。当然，也可以使用其他技术来进一步减少假肯定的数量，诸如例如，在一定时间段内捕获音频片段，并分析该音频片段的频谱内容；和/或重复估计最小可检测声级或最低灵敏度阈值(本文也称为“噪声本底(noise floor)”，但在此应用中具有特殊意义)，并测试由声源传送的声音的声压级(spl)是否大于所述最小可检测声级或最低灵敏度阈值或“噪声本底”；或测试声源的位置是否是固定的(vs.四处移动)。
[0120]
这些和其他方面现在将参照防附图进行更详细的描述。
[0121]
图1a示出被监控气体泄漏的第一图示场景的灰度图片。声学相机安装在相对于场景的固定位置。可以看到，场景后面有若干压力容器，并且各种气体管线主要位于图片的下半部分。正如背景技术部分已经提到的，现有的声学相机能够检测本地化声源的位置，例如，该场景中的气体泄漏，并能够测量由该声源生成的声压级(spl)，并能够将声压级转换为气体泄漏速率(例如，以升/小时为单位)，计及声学相机与声源之间的距离，因此，这些方面无需在本文进一步详细解释。在声学相机进一步包括光学相机的现有系统中，声学相机可以提供由光学相机捕获的图片信息，并可用文本信息和/或声源位置的指示覆盖该图像。
[0122]
图1b示出图1a由与五个感兴趣区域(roi)相对应的五个说明性轮廓覆盖的抖动版本。注意，图1a的图片在图1b中抖动，因为图1a的灰度图像在专利局处理后可能不太明显，但当然，在实践中，声学相机发送的图片不必抖动。
[0123]
图1b的主要目的是为了图示出，如果图1a的光学图像被示出给安装者，例如，在
嵌入或连接到声学相机的显示器上，或在通信连接至声学相机的配置设备(例如，平板电脑或膝上型电脑等)的显示器上，或在经由互联网通信连接至声学相机的远程计算机的显示器上，用户可以使用合适的软件例程和合适的输入装置(例如，钢笔、输入笔、鼠标、触摸屏)轻松“绘制”这些区域，或者可以通过指示多边形角落的位置(例如，通过点击使用鼠标或点击触摸屏) 轻松“定义”这些区域，或者区域可以通过对象识别算法被自动或半自动选择，其中用户可以选择或取消选择某些对象等。
[0124]
熟练的读者将明白，在声学相机不包含光学相机的情况下，也可以“定义此类区域”，例如，通过使用分立光学相机或智能手机等拍照，然后处理图像，但这当然不太方便。
[0125]
定义区域的另一种方法可包括在现场物理移动声源(例如，扬声器)，并通过声学相机检测该声源的位置。这些位置可以形成或成为轮廓的一部分。轮廓可以存储在存储器中(例如，非易失性存储器)。轮廓可以任选地被手动编辑等。
[0126]
无论哪种方式，至少一个感兴趣区域的位置随后可被存储在系统中某个地方的存储器设备或存储设备中，例如，声学相机的存储器中，例如，易失性存储器(ram)或非易失性存储器(nvram、闪存)和/或膝上型电脑的硬盘驱动器或智能手机的非易失性存储器或通信连接至声学相机的系统控制器的网络驱动器上。
[0127]
在其中声学相机配置成用于测试检测到的声学声源是否位于感兴趣区域中的一个感兴趣区域的实施例中，感兴趣区域的位置可以从声学相机的(易失性或非易失性)存储器中读取，或者可以在声学相机启动时(例如，上电时) 下载到声学相机的存储器中。在系统控制器中实现此测试的实施例中，声学相机本身不需要知道感兴趣区域的位置。
[0128]
图1c示出没有示出实际图片的情况下的、图1b中使用的五个roi(感兴趣区域)的位置。该附图的主要目的是示出感兴趣区域的潜在形状的示例。可以看出，优选地roi是非重叠的2d形状。形状可以是凸的或凹的。区域优选地使用轮廓来定义。轮廓可以由直线或弯曲的线段和/或多边形的相互连接的拐角形成，或者以任何其他方式形成。
[0129]
在图1b和图1c的示例中，定义了五个感兴趣区域，但当然，本发明不限于此，并且只要至少有一个感兴趣区域小于可由麦克风阵列捕捉的场景的图形表示(例如，“声学图像”)，本发明的实施例就可以使用超过五个roi或低于五个roi。如果声学相机也包括光学相机，至少一个roi可能小于“声学图像”，或小于“光学图像”，或小于光学图像和声学图像的重叠。如果声学相机也包括光学相机，则非重叠区域也可以被视为roi。
[0130]
正如图8和图9中将更详细的解释的，声学相机可被配置成用于检测声源的位置和声压级，并且声学相机和/或系统控制器可被配置成用于测试声源是否位于感兴趣区域，并可被配置成用于测试声源的声压级是否大于与声源所在的感兴趣区域相关联的预定义阈值，并根据比较的结果采取适当动作。
[0131]
每个roi与至少一个阈值水平相关联。在图1b的示例中，roi1与70db 的阈值水平相关联，roi2与65db的阈值水平相关联，但本发明不限于此，并且也可以将一个以上阈值水平与特定感兴趣区域相关联，从而对应于要采取的不同动作。例如，在替代实施例中，roi1可能与70db的第一阈值水平t1a 相关联，这将导致阀门关闭；以及可能与60db的第二阈值水平t1b，这将导致向许多人传送警告消息。一般来说，每个roi可具有一个或一个以上阈值，并且每个阈值的传递可能导致不同的动作。
[0132]
当然，也可以将其他数据与每个感兴趣区域相关联，诸如例如：描述特定 roi的文
本字符串；在发生事件的情况下要联系的人的移动电话号码；在(最大)阈值被取代的情况下自动采取的动作的标识符id(例如，“关闭特定阀门
”ꢀ
或“激活警报器”等)；roi与声学相机之间的距离或平均距离，或相应缩放因子，测量的声压级(spl)需要乘以该相应缩放因子来对声音进行归一化，以便补偿所述距离导致的衰减。
[0133]
在图1c的示例中，阈值以分贝(db)表示。根据实施方式，测量的声压级被直接与这些阈值水平进行比较，或者在与阈值水平进行比较之前，首先需要对测量的声压级进行归一化。或者换句话说，与感兴趣区域相关联的阈值水平可能计及也可能不计及所述感兴趣区域与声学相机的麦克风阵列之间的距离。替代地，阈值也可以用物理量来指定，诸如例如，就泄漏速率而言，以升每时间单位表示(例如，升每秒、或升每分钟、或升每小时)，例如，如 wo2019166450(a1)中详细描述的，wo2019166450(a1在本文中通过引用其整体并入本文。
[0134]
在实施例中，当本地化声源被检测时，并且当该声源被识别为“气体泄漏
”ꢀ
的概率或可能性高于某一阈值时，事件被创建。识别可基于对从声源获得的声音序列的频谱分析或时间分析，和/或可基于对声源进行分类的ai算法，和/ 或可计及其他参数，诸如声源的位置。例如，如果声源的位置随着时间的推移而移动，它很可能不是气体泄漏。
[0135]
本发明的一些实施例仅使用与阈值水平的比较，而不使用概率(或可能性)。其他实施例使用概率(或可能性)，但不使用阈值。然而，其他实施例同时使用概率(或可能性)和阈值。
[0136]
在实施例中，在“光学图像”小于“声学图像”的情况下，声学图像中位于可见图像之外的部分也可以被视为感兴趣区域本身，具有其自己的阈值，并引起事件。
[0137]
在一些实施例中，(一个或多个)阈值水平可能是与时间相关的阈值水平。例如，在图1c的示例中，阈值t4可以假设两个预定义值之一，例如，上午 8:00至下午17:00为60db，以及下午17:00至8:00为50db。当然，也可以使用更复杂的时间依赖性，例如，系统可以学习识别重复事件(诸如例如，日常例程)序列的模式，或这持续一段时间的第一事件，然后是持续第二周期的第二事件的系列等。
[0138]
时间相关的阈值可以使用查表或使用数学公式存储，例如使用分段线性曲线或任何其他合适的方式。
[0139]
当然，阈值水平也可计及日期。例如，周六和周日的阈值可能较低，并且周一至周五的阈值可能较高。
[0140]
在一些实施例中，阈值水平可能因特定外部设备或机器的状态而异，例如，取决于电机或泵或压缩器或冷却设备的状态。作为示例，当所述设备或机器处于主动状态(例如，电机正在运行)时，第一阈值可能适用，而当所述设备或机器处于被动状态(例如，电机不运行)时，第二阈值可能适用。
[0141]
不用说，组合使用感兴趣区域和“动态阈值”(例如，时间相关的或状态相关的)允许甚至进一步降低“假肯定”的风险。
[0142]
图2a示出被监控气体泄漏的第二图示场景的灰度图片。这张照片示出远离声学相机延伸数百米的气体管线。
[0143]
图2b示出图2a由十一个感兴趣区域覆盖的抖动版本。在示例中，每个 roi涵盖管线的一部分。
[0144]
图2c示出图2b中十一个感兴趣区域的位置。roi是比光学图像小的非重叠二维区域。
[0145]
与上面解释的类似，每个roi与至少一个阈值相关联。例如，阈值可以用分贝(db)或气体泄漏速率表示。或者，某一roi可能与多个阈值相关联，或与时间相关的阈值相关联，或与状态相关的阈值相关联。可选地，某一roi 可与附加信息进一步相关联，诸如距离信息、文本信息、移动电话号码、动作标识符等。
[0146]
如图8中将更详细地解释的，声学相机可被配置成用于检测场景中潜在声源的位置和声压级(spl)或相对应的气体泄漏速率，并且如果发现声源，则测试该声源是否位于感兴趣区域之一，并且如果位于感兴趣区域，则测试声级是否大于与该区域相关联的阈值水平，并且如果大于，则通过向组件发送信号自动自行采取动作(例如，激活警报器，或打开或关闭阀门，或启动或停止电机，或激活或停用致动器等)或向另一个处理器(例如，向工厂监控系统的系统控制器)发送消息以采取适当动作。
[0147]
在实践中，测试还可计及其他参数或执行其他测量，诸如例如，通过计及生成的声音是气体泄漏的概率(或可能性)；和/或计及最小可检测声级；和/ 或计及声级大于阈值水平的时间持续期，和/或通过分析声音片段的频谱分析，和/或考虑平均风速和/或降雨引起的噪音等。
[0148]
在某些实施例中，感兴趣区域是3d区域，例如，如图2b和图2c中所示，具有投影区域，但此外位于与声学相机的预定义距离范围内，例如，每个roi 具有两个额外的参数：最小距离和最大距离。在此类实施例中，声学相机优选地进一步配置成用于确定检测到的声音与声学相机之间的距离，以及用于测试确定的距离是否是在所述预定义范围内的值；以及用于仅当投影位置位于投影的2d区域中并且在距离是所述预定义范围内的值的情况下(这意味着声源位于3d区域)，采取指定动作(例如，关闭阀门、发出警报等)。
[0149]
主要优势在于：通过使用2d或3d兴趣区域，并任选地计及进一步的信息，可以避免某些“假警报”。例如，如果一列响亮的火车在场景中但在感兴趣区域之外经过，它不引发诸如煤气泄漏之类的事件。不必要的关闭管线的成本影响可能是巨大的。另一方面，由于感兴趣区域，系统可以忽略无关的源，这可允许为实际问题(例如，真正的天然气泄漏)定义较低的阈值水平。不用说，如果声学相机更灵敏，可以增加检测实际气体泄漏或更早检测实际气体泄漏的机会，由此可以避免危险情况，和/或降低成本。
[0150]
图3a示出与图2a相同的场景。
[0151]
图3b示出由多个水平线和垂直线覆盖从而形成二维网格的图3a的抖动版本。在图3b中示出的具体示例中，有八个(8)水平线定义了九个(9)行，以及有十三个(13)垂直线定义了十四个(14)列，但当然，本发明不受此限制，也可以使用多于或少于八个行和/或多于或少于十四个列的网格。网格将捕捉的图像分区为多个片，在图3b的示例中为9*14＝126片。在实践中，水平线可能但不必是等距的，垂直线也是如此。事实上，也不是绝对需要使用水平线和垂直线，但它很方便。
[0152]
图3c示出由图3b的片的选择形成的马赛克，其中每个选择的片定义感兴趣区域。替代地，可以组合若干片，以形成感兴趣区域。根据配置例程的实现方式，例如，可以通过用于鼠标指针点击片，或通过键入字母(对应于列) 和数字(对应于行)的组合，或以其他合适的方式轻松选择或取消选择片。选择和取消选择片可比在显示器上绘制轮廓更容易，但
总体目标是相同的，即指定一个或多个感兴趣区域的(一个或多个)位置，并将至少一个阈值和/或可能性与每个感兴趣区域相关联，以供允许声学检测系统拒绝一个或多个感兴趣区域之外的声源。在指示多个感兴趣区域(例如每个片一个区域)的情形中，声学检测系统可以有利地对不同的感兴趣区域使用不同的参数，例如不同的阈值、不同的距离范围等。
[0153]
如上所述，图3b和图3c中感兴趣区域可以是2d区域或3d区域。如上所述，阈值可能是固定值，或可能是时变值，或取决于某一设备或机器或引擎等的状态或操作模式。
[0154]
从上面的示例可以理解(见图1c、图2c和图3c)，通过使用针对特定场景“定制”的至少一个或多个感兴趣区域，可改进对实际“事件”(例如，实际气体泄漏)的检测，和/或可减少“假肯定”的数量，从而提高检测系统的整体可靠性(或置信度或可信度或正确性或准确性)。改进的可靠性进而使得如下成为可能：系统可以以响应于位于特定2d或3d位置的检测到的、并且声压级大于预定义的阈值和/或具有高于特定值的可能性的声源而自动采取某些动作。如上所述，可以通过确定和计及该特定场景中的“本地化声源的最小可检测水平”(也称为“检测器灵敏度”，例如，如wo2019166450(a1)中更详细地描述的)，可以进一步提高声学检测系统的可靠性。注意，该灵敏度不是适用于整个场景的单一值，但对每个感兴趣区域可能不同。还构想了进一步提高可靠性(或置信度或可信度或正确性或准确性)的其他方法，诸如例如，通过计及检测到的声音是气体泄漏的概率，这例如可基于对源自声源的声音片段的频谱的分析。
[0155]
图4示出说明性声学检测系统400的框图，包括声学传感器设备(或“声学相机”)410，其输出413连接到或可连接到一个或多个组件440(例如，警报器、扬声器、灯、阀门、电机、致动器、
……
)和/或具有可连接或连接到外部计算设备420(例如，具有第二处理器426和/或直接(例如，经由wifi)或间接(例如，经由互联网)可连接到或连接到系统控制器430(例如，工厂监控系统的控制器)的外部配置设备(例如，平板电脑、膝上型电脑、智能手机、
……
))的通信模块412。
[0156]
声学相机410包括多个麦克风418(例如，多个mems麦克风)。多个麦克风可以安装在印刷电路板pcb 419上，并在至少两个方向(可选地3个方向)上间隔开，或者可以安装在3d表面(例如，具有抛物线形状或半球形) 上。3d表面可形成腔体或可具有一个空心空间。腔体或空心空间可被填充有或至少部分填充有阻尼材料或吸收材料。麦克风可位于3d表面的外部，或者可位于3d表面的内部。吸收材料(例如，泡沫)可以涂抹在3d表面的另一侧。麦克风418被配置成用于将源自场景的声学声波转换为多个模拟或数字声音信号。在麦克风安装在3d表面的外部的情形中，可期望具有多个光学相机，以便捕捉声学相机观察到的整个场景，该场景可包括声学相机周围360
°
的角范围。来自各相机的图像或视频流可以作为单个图像(例如，经由拼接技术)或单个流发送，或者可以以时间多路复用的方式或任何其他合适的方式发送。
[0157]
在本发明的实施例中，声学相机410包括数个mems，范围在5到250 之间，或在10到150之间，或在15到64之间。
[0158]
根据本发明的基本原则，声学检测系统400使用比整个场景小的至少一个感兴趣区域roi来拒绝无关的声源，以便通过减少假警报来提高检测准确性 (或可靠性或可信赖性)，如上所述。
[0159]
至少一个roi的信息(例如，位置信息和至少一个阈值)可以通过若干方式定义或配置，例如(i)使用在声学相机本身上运行的配置过程，以经由输入装置415和本地显示器414从操作员获得输入，或(ii)使用在外部配置设备420上运行的配置过程以经由远程显示器424和远程输入装置425从操作员获得输入，或(iii)使用在外部计算机上(例如，在系统控制器430上)运行的配置过程，以经由远程显示器434和其远程输入装置435从操作员获得输入。例如，系统控制器430可是生产设施的监控系统的一部分。
[0160]
显示器414、424、434可包括例如lcd显示器或触摸屏显示器。输入装置415、425、435可包括例如，键盘、鼠标、钢笔、输入笔等。在触摸屏显示器的情形中，显示器既可以用作显示器装置，也可以用作输入装置。如上所述，至少一个感兴趣区域的位置可被定义，例如，通过绘制轮廓，或将网格示出为场景的光学图片上的叠加，该光学图片由可以任选地集成到声学相机410中的光学相机417拍摄。如果声学相机不包含光学相机，则场景的图像可通过外部设备提供。
[0161]
在一些实施例中，声学传感器设备410包括至少两个光学相机，并且声学传感器设备410被进一步配置成用于基于从两个相机获得的图像(例如，使用三角测量技术)来确定场景中的某些物体(例如，管线)的距离。
[0162]
在一些实施例中，声学传感器设备410进一步包括lidar。
[0163]
一旦定义，有关至少一个感兴趣区域的信息可被存储在声学相机410的存储器或存储装置和/或外部配置设备420的存储器或存储装置和/或外部系统控制器430的存储器或存储装置中。
[0164]
在实际使用期间，对检测到的声源是否位于感兴趣区域的实际测试可以由声学相机410内的处理器416或配置设备420内的处理器426或系统控制器430 执行，或部分地由这些控制器中的两个或多个执行，例如部分地由声学相机执行且部分地由系统控制器430执行。例如，在系统控制器430连接到多个声学相机、监测多个场景或从多个角度监测特定场景的情形中，可以使用后者。
[0165]
声学相机410进一步包括输出413和/或通信装置。输出413(例如，输出端口或输出连接器)在存在时，可以适用于将信号(例如，电信号(诸如电流信号或电压信号)，或光学信号、模拟信号或数字信号、基带信号或调制信号) 发送到外部组件440(例如，扬声器、警报器、光设备、阀门、电机、执行器等)。通信装置(当存在时)可被配置成用于向外部处理器426、430发送消息。通信装置可包括通信模块412(例如，wifi模块或蓝牙模块)和/或有线接口(例如，包括以太网连接器)和/或无线接口(例如，包括蓝牙天线或wifi 天线或红外ir收发器)。
[0166]
通信模块可以是发射器、接收器或收发器。
[0167]
在某些实施例中，声学相机410被配置成用于根据“hart协议”标准或根据“无线hart协议”标准发送和/或接收信号。hart(高速公路可寻址远程换能器)协议是用于在设备之间使用模拟布线发送和接收数字信息的开放标准。当然，本发明不受此限制，也可以使用其他协议，诸如例如，但不限于sigfox、 lora长距离)、lorawan或其他iot(internet-of-thing，物联网)协议。
[0168]
声学相机410进一步包括处理装置，例如，数字信号处理器dsp或中央处理器单元cpu，或两者。
[0169]
声学相机还可包括其他组件，诸如电池bat、电压调节器、显示驱动器等，这些组件在本领域中都是公知的，因此无需在这里进一步详细解释。功率也可以经由有线接口提供，例如，使用以太网供电(power over ethernet,poe)。
[0170]
图4的主要目的是示出，声学检测系统400至少包括声学检测设备410(也称为“声学相机”)和至少一个组件440，该至少一个组件从包括视听组件、扬声器、警报器、发光设备、致动器、电机、阀门和继电器的组中选择。声学相机410被配置成用于检测一个或多个声源(例如，由气体泄漏引起的)，并在满足预定义条件(至少包括声源必须位于至少一个预定义的感兴趣区域的条件) 时自动发送信号和/或消息，以激活或停用所述组件440中的一个而无需人工交互。
[0171]
图4示出了整体声学检测系统的说明性框图。如图所示，图4的框图的许多部分以虚线示出，意味着它们是任选的使用上述原则的许多实现方式都是可能的。接下来将更详细地描述若干示例。
[0172]
图5a和图5b图示出声学检测系统500，其中当检测到满足某些标准(至少包括声源必须位于感兴趣区域的条件)的声源时，声学相机510的处理器516 被配置成用于直接或间接自动控制至少一个组件540(例如，扬声器)。
[0173]
图5a示出一个示例，其中(一个或多个)感兴趣区域可以在配置模式期间经由本地输入装置515和本地显示装置514被定义；以及其中声学相机510 的处理器516被配置成用于在实际使用声学相机期间经由其输出513直接控制或驱动至少一个组件540(在示例中为扬声器)。在比较图4和图5a时，可以看出配置设备420和系统控制器430被省略了，并且声学相机510主要作为独立设备。
[0174]
图5b示出了一个示例，其中(一个或多个)感兴趣区域可以在配置模式期间经由外部设备520的输入装置525和显示装置524被定义，然后优选地存储在声学相机的非易失性存储器511中；并且其中声学相机510的处理器516 被配置成用于从非易失性存储器511获得有关(一个或多个)感兴趣区域的信息，并配置成用于在实际使用期间经由其输出513控制至少一个组件540(在示例中为扬声器)。在比较图4和图5b时，可以看到系统控制器430在图5b 中被省略。配置设备520仅在声学检测系统的初始配置期间需要，并且在实际使用系统500时不再需要。
[0175]
图6示出了声学检测系统600，其中声学相机610通信连接至系统控制器 630，例如，经由互联网无线地、或经由电缆连接有线地(未示出)或以任何其他合适的方式。系统控制器630可以位于远程位置，例如，在工厂监控系统的控制室中。系统600可以使用连接到系统控制器630(例如，桌面型计算机) 的输入装置635(例如，键盘和鼠标)和显示装置634(例如，lcd显示器) 进行配置。配置信息可存储在系统控制器630上，或者任选择地发送到声学相机610，并且任选地存储在其中(例如，上电后存储在ram中，或存储在非易失性存储器中)，但是这并不绝对需要。
[0176]
在实施例中，声学相机610被配置成用于测试检测到的声源是否位于感兴趣区域。在该情况下，声学相机610至少需要知道至少一个roi的位置(或位置)。在正常使用期间，声学相机610可拒绝与不位于感兴趣区域的声源相关的事件。
[0177]
在另一个实施例中，系统控制器630被配置成用于测试检测到的声源是否位于感兴趣区域。在该情况下，声学相机610不需要有关(一个或多个)感兴趣区域的信息，但声学
相机必须至少向系统控制器630提交检测到的声源的位置信息，以允许系统控制器630测试检测到的(一个或多个)声源是否位于 roi中。当然，声学相机610也可以发送其他信息，诸如例如，场景的光学图像、检测到的(一个或多个)声源的声压级信息、声音片段、最小可检测声级、灵敏度等。
[0178]
如图6所示，至少一个组件640可以物理地连接到系统控制器630，但同样在该情况下，当检测到满足某些标准(包括声源必须位于预定义roi中)的声源时，声学检测系统600可被配置成用于自动激活或停用上述组件640中的至少一个组件。
[0179]
图5a的系统500和图6的系统600可以被视为两个极端：
[0180]
在图5a中，对声源是否位于roi中的测试，以及作为响应，组件540的条件激活或停用均由声学相机本身执行；
[0181]
在图6中，对声源是否位于roi中的测试，以及作为响应，组件640的条件激活或停用，都在声学相机610之外执行，即由系统控制器630执行。
[0182]
但本发明不仅限于这些极端，其他解决方案也是可能的。
[0183]
图7示出在计及至少一个感兴趣区域(roi)的情况下检测一个或多个声源的方法700的流程图，该方法可由图4至图6中声学检测系统400、500、600 中的任一个执行。响应于检测到声源，如果满足某些条件(条件至少包括声源位于至少一个兴趣区域)，则该方法可以自动控制，例如，激活或停用组件(例如，警报器、扬声器、灯、电机、致动器等)。
[0184]
该方法700包括以下步骤：
[0185]
a)接收(702)多个声音信号，并检测场景中一个或多个潜在声源的位置和声压级(spl)；
[0186]
b)测试(704)声源的位置是否位于至少一个感兴趣区域roi1，并且测试(710)声压级(spl)是否大于与所述至少一个兴趣区域roi1相关联的至少一个预定义阈值水平t1，并且两个条件都成立，则发送(712)信号(例如，经由输出端口)和/或发送消息(例如，经由通信装置)以控制外部组件(例如，以便生成视听信号、打开或关闭阀门、控制致动器、激活或停用电机等)。
[0187]
或者，该方法可包括额外的步骤701：获得(例如，经由通信装置或经由输入装置)或(例如，从ram或从非易失性存储器或从存储装置)取回有关至少一个感兴趣区域roi1的位置的信息，以及与该区域相关联的至少一个阈值t1。
[0188]
任选地，该方法可进一步包括确定该roi中声源的噪声本底nf或“最小可检测声压级”(也称为“灵敏度”)的步骤703，并且可进一步包括测试检测到的声源的检测到的声压级spl大于确定的噪声本底nf或灵敏度的步骤708，并且仅在spl大于nf时执行步骤710。如果声压级spl低于噪音下限nf，该方法可丢弃(709)声源，或可显示或发送(709)日志消息或状态消息等。
[0189]
或者，方法可进一步测试(706)至少一个感兴趣区域roi1的阈值t1是否大于噪音下限nf，并且如果不是，可任选地发送或示出707错误消息。
[0190]
在图5a的系统中，所有步骤可由声学相机执行。
[0191]
在图6的系统中，步骤702和703可由声学相机执行，并且所有其他步骤可以由系统控制器630执行。
[0192]
但如上所述，还考虑了其他分区。例如，在图6的系统中，所有步骤可由声学相机
执行，并且系统控制器630可被配置成用于响应于由声学相机发送的消息而实际激活或停用一个或多个组件640。
[0193]
当然，方法还可包括附加的步骤，诸如捕捉光学图像和传送光学图像，用文本信息覆盖光学图像，捕捉预定义持续期的音频片段，分析捕捉的音频片段，传送捕捉的音频片段等。这些附加的步骤可以执行至少一次或重复执行。通过这种方式，用户或操作员或系统可被提供更多功能和/或更多信息，从而可以进一步降低假肯定的风险。
[0194]
图8示出了方法800的流程图，该方法可以由未知感兴趣区域的、图6 的声学相机610(例如，wo2019166450(a1)中描述的声学相机)执行，并且图9示出了方法900的流程图，该方法可以由图6的系统控制器630执行，该系统控制器通信地连接到声学相机610并可操作地连接到至少一个组件640，并配置成用于处理由声学相机610发送的信息，以便响应于某些消息自动但有条件地激活或停用所述至少一个组件。
[0195]
如图8所示，声学相机610并不绝对需要对感兴趣区域有任何了解(尽管它可能)。它只需要接收(802)多个声音信号，并检测场景中潜在声源的位置，并且确定该声源的声压级spl。在步骤803中，声学相机610可以例如，以与wo2019166450(a1)中描述相同的方式检测一个或多个其他参数(诸如例如，声源的距离、灵敏度级别或“噪音下限”)，声学信号是气体泄漏信号(例如，基于音频片段的频谱分析)的可能性等。在噪声本底nf被确定的情形中，声学相机通常丢弃(809)声压级spl小于噪声本底nf的声源，但如果发现 (806)声压级spl大于噪声本底nf，并且发现(810)声压级spl大于预定义的阈值水平t1，则可发送(812)警报信号或警报消息。在图8的流程图中，这些测试以不同的步骤执行，但当然也可以在单个测试中结合几个比较。
[0196]
如图9所示，系统控制器630将典型地获得或取回(901)至少一个兴趣区域roi1的位置，以及至少一个相对应的阈值t1，
[0197]
并且将从声学相机610接收(902)关于场景中潜在声源的信息(例如，位置信息和声压级spl)，
[0198]
并且将测试(904)声源是否位于感兴趣区域，并且如果否，则丢弃(905) 该消息，或任选地保存信息以供记录之用。
[0199]
如果声源位于roi中，系统控制器630将获得与该roi相关的至少一个阈值ti，并将测试(910)该声源的声压级spl是否大于所述阈值ti，并且如果此测试的结果为真，则将操作(912)至少一个组件(例如，以便生成视听信号，打开或关闭阀门，激活或停用致动器或电机等)。
[0200]
如虚线所示，方法900可包括进一步的步骤，诸如在步骤908中测试声压级spl是否大于噪音下限nf，并且如果否，则丢弃(909)消息或任选地记录消息。
[0201]
方法900还可包括测试阈值ti是否大于噪声本底nf的步骤906，并且如果否，则发送或示出错误消息907。
[0202]
最后，虽然图4至图6图示出本发明提出的声学检测设备和系统的硬件框图的几个示例，以及图7至图9图示出可由这些设备或系统执行的检测声学声源(例如，由气体泄漏或机械摩擦引起的)的方法的几个示例，也考虑以下可选特征：
[0203]-在实施例中，声学相机可包括摄像机，并可被配置成用于传送视频图像或场景的视频流。此类相机不仅可用于气体泄漏检测，还可用于安全或监控；
[0204]-在实施例中，声学相机可被进一步配置成用于进行火焰检测，并配置成用于在检测到火焰的情形中自动采取适当动作，例如，通过激活灭火器或激活喷洒设备；
[0205]-在实施例中，声学相机可被进一步配置成用于烟雾检测，并配置成用于在检测到烟雾时自动采取适当动作；
[0206]-在实施例中，声学相机可进一步包括红外相机，并配置成用于(例如，定期或根据要求)传送场景的红外图像；
[0207]-在实施例中，声学相机可以进一步包括火焰检测器。
[0208]
到目前为止，本发明主要是在检测“气体泄漏”或“机械磨损”的背景下解释的，但本发明不限于这些，本发明也可以用于要监测超声源的地方，例如当超声源是可能失败的指示时。在下面，将描述本发明用于通过监测放电来检测电气退化或电气故障的示例。
[0209]
电气装备(特别是高压装备)的电气绝缘体或电气部件容易磨损。当电荷载体能够在不同电压或相位之间到路径而无需通过预期的(一个或多个)导体时，发生部分放电。不期望的放电路径可包括表面、绝缘材料、周围的空气。众所周知，放电产生各种排放物，包括声音，并且特别是超声，例如，爆裂声或噪音。特别是本发明的实施例，声学相机被配置成用于检测(或标识或识别) 此类爆裂声(例如，由部分放电或火花引起)，并且如果检测到，则用于确定该声源的位置。此类检测可触发警告或警报。
[0210]
根据部分放电的位置、发生放电的(一个或多个)材料的类型、电压(连续、交替、正或负)，可能发生不同类型的部分放电，正如本领域技术人员所知道的。这些不同的部分放电类型具有不同的声学发射，其可以通过预定义的规则或机器学习算法来分离。特定于感兴趣区域的警报不仅可以基于阈值(即部分放电的声功率水平)触发，还可以基于分类算法的结果触发，该算法可以在有置信度估计或没有信度估计的情况下输出标签。如上所述，将特定声源的声级(例如，声压级)以及被识别为由放电引起的声波的可能性与为声源所在感兴趣区域定义的一个或多个阈值水平进行比较，以便触发警告或警报或警示。
[0211]
在特定实施例中，如果声源位于分别具有预定义第一/第二阈值水平的特定roi，如果测量声级大于所述第一/第二阈值水平，并且如果正确标识由放电引起的爆裂声的概率高于30％，或高于40％，或高于50％，则警告/警报被触发。
[0212]
本发明可用于定义与区域或地区(例如，不同的电压区域(例如，150kv 区域，220kv区域))相对应的感兴趣区域，其中一个或多个阈值水平可被定义用于发送警告或警报或警示，此外每个电压域的(一个或多个)阈值水平可能有所不同。
[0213]
本发明还可用于通过定义一个或多个感兴趣区域来减少或避免虚假警报，例如，在这些区域上通常发生部分放电或放电，但没有后果，诸如例如，金属部件上的电晕放电。这些区域可被排除在生成警报之外，例如，通过设置相对较高的阈值水平。例如，为了定义这些感兴趣区域，用户可以在每个绝缘体周围绘制感兴趣区域。在特别的实施例中，图像处理技术用于自动检测电绝缘体的存在和位置(例如，基于已知的形状和/或大小和/或颜)。通过这种方式，多个roi(感兴趣区域)可以在软件中自动或半自动定义。当然，在实践中，操作员仍然需要确认检测到的感兴趣区域，但大部分工作可以自动完成。

技术特征：

1.一种声学检测设备(410；510；610)，包括：-多个麦克风(418；518；618)，所述多个麦克风(418；518；618)在至少两个方向上间隔开并配置成用于将源自场景的声波转换为多个模拟或数字声音信号；-输出(413；513；613)，所述输出(413；513；613)用于将信号发送到外部组件(440；540；640)，和/或通信装置(412；512；612)，所述通信装置(412；512；612)用于将消息发送到外部处理器(420；430；520；630)；-存储器，所述存储器用于存储至少一个感兴趣区域(roi1)的信息，所述信息包括位置信息和至少一个阈值水平；-处理电路(416；516；616)，所述处理电路(416；516；616)连接到所述麦克风、所述输出(413；513；613)和/或所述通信装置(412；512；612)以及所述存储器，并配置成用于：a)接收(702)多个声音信号，以及检测所述场景中一个或多个潜在声源的位置和声压级(spl)或从中得出的值；以及b)针对至少一个检测到的声源，测试(704)所述检测到的声源是否位于感兴趣区域中；以及测试(710)所述检测到的声压级(spl)或从中得出的值是否高于与所述区域相关联的至少一个阈值(t1)；并且如果满足这两个条件，则发送(712)指示警报的第一信号和/或第一消息。2.如权利要求1所述的声学检测设备(410；510；610)，其中至少一个感兴趣区域小于所述场景。3.如权利要求1所述的声学检测设备(410；510；610)，其中所述存储器存储小于所述场景的至少两个非重叠感兴趣区域的信息，所述信息包括每个感兴趣区域的至少一个阈值水平。4.如权利要求1所述的声学检测设备(410；510；610)，进一步包括：至少一个光学相机(417；517；617)，所述至少一个光学相机(417；517；617)配置成用于捕捉所述场景的至少一部分的至少一个图像；并且其中所述声学检测设备进一步配置成用于传送至少一个捕捉的图像，任选地在利用附加信息覆盖所捕捉的图像之后。5.如权利要求1所述的声学检测设备(410；510；610)，其中作为所述感兴趣区域的信息的一部分的阈值是能通过所述多个麦克风(418；518；618)测量的声压级。6.如权利要求1所述的声学检测设备(410；510；610)，其中作为所述感兴趣区域的信息的一部分的阈值是气体泄漏速率。7.如权利要求1所述的声学检测设备(410；510；610)，其中所述声学检测设备进一步适用于估计(703)所述至少一个感兴趣区域的最小可检测声级(nf)；以及并且其中步骤a)进一步包括：测试(708)所述检测到的声压级是否大于所述最小可检测声级(nf)，并仅在此测试的结果为真的情况下继续进行步骤ii)。8.如权利要求1所述的声学检测设备(410；510；610)，进一步包括显示器(414；514；614)和输入装置(415；515；615)；
并且其中所述处理电路(416；516；616)进一步配置成用于在所述显示器(414；514；614)上提供图像，并配置成用于允许操作员定义至少一个感兴趣区域(roi1)的位置并使用所述输入装置(415；515；615)指定至少一个阈值。9.一种系统(400；500；600)，包括：-如权利要求1所述的声学检测设备(410；510；610)，所述声学检测设备(410；510；610)被固定安装以观察要监测的场景；以及显示器(424；524)和输入装置(425；625)，所述显示器(424；524)和输入装置(425；625)在所述声学检测设备外部但通信连接至所述声学检测设备；并且其中所述处理电路(416；516；616)进一步配置成用于在所述显示器(424；524)上提供图像，并配置成用于允许操作员定义至少一个感兴趣区域(roi1)的位置并使用所述输入装置(425；625)指定至少一个阈值。10.如权利要求9所述的系统(400；500)，进一步包括至少一个组件(440；540)，所述至少一个组件(440；540)操作地连接至所述声学检测设备的输出(513)，并配置成用于进行接收以及响应于第一信号而被激活或停用，其中组件(440；540)选自包括以下各项的组：视听组件、扬声器、警报器、发光设备、致动器、电机、阀门、继电器。11.一种系统(400；600)，包括：-如权利要求1所述的声学检测设备(410；610)，所述声学检测设备(410；610)被固定安装以观察场景；以及-至少一个组件(440；540)，所述至少一个组件(440；540)选自包括以下各项的组：视听组件、扬声器、警报器、发光设备、致动器、电机、阀门、继电器；-系统控制器(430；630)，所述系统控制器(430；630)通信地连接到所述声学检测设备并操作地连接到所述至少一个组件(440；540)，并且配置成用于接收从所述声学检测设备发送的第一消息和/或第二消息或从中得到的消息，并配置成用于响应于对所述消息的接收而选择性地激活或停用所述至少一个组件(440；640)。12.如权利要求11所述的系统(400；600)，进一步包括通信连接至所述系统控制器(430；630)的显示器(434；634)和输入装置(435；635)；并且其中所述系统控制器(430；630)进一步配置成用于将图像发送到所述显示器(434；634)，并配置成用于允许操作员定义至少一个感兴趣区域(roi1)的位置并使用所述输入装置(435；635)指定至少一个阈值；并且其中所述系统控制器(430；630)进一步配置成用于将此位置信息和所述阈值发送到所述声学检测设备(410；610)。13.一种系统(400；600)，包括：-声学检测设备(410；610)，所述声学检测设备(410；610)被固定安装以观察场景，所述声学检测设备包括：-多个麦克风(418；618)，所述多个麦克风(418；618)在至少两个方向上间隔开并配置成用于将源自所述场景的声波转换为多个模拟或数字声音信号；-通信装置(412；612)，所述通信装置(412；612)用于向系统控制器(430；630)发送消
息；-处理电路(416；616)，所述处理电路(416；616)配置成用于：a)接收(802)多个声音信号，并检测所述场景中一个或多个潜在声源的位置和声压级(spl)或从中得出的值；以及b)对于至少一个检测到的声源，测试(810)所述检测到的声压级(spl)或从中得出的值是否高于预定义的阈值(t1)；并且如果此测试的结果为真，则向所述系统控制器(430；630)发送(812)包含所述位置和所述检测到的声压级或从中得出的值的消息；-至少一个组件(440；640)，所述至少一个组件(440；640)选自包括以下各项的组：视听组件、扬声器、警报器、发光设备、致动器、电机、阀门、继电器；-系统控制器(430；630)，所述系统控制器(430；630)操作地连接到所述至少一个组件(440；640)并通信地连接到所述声学检测设备(410；610)；其特征在于：-所述系统控制器(430；630)进一步包括存储装置或存储器，所述存储装置或存储器存储至少一个感兴趣区域(roi1)的信息，所述信息包括位置信息和与所述区域相关联的至少一个阈值水平(t1)；-所述系统控制器(430；630)进一步配置成用于：x)接收(902)由所述声学检测设备(410；610)发送的消息，以及提取至少一个声源的位置和检测到的声压级或从中得到的值；y)测试(904)检测到的位置是否位于感兴趣区域，并测试(910)检测到的声压级(spl)或从中得到的值是否高于与该区域相关联的至少一个阈值(t1)，并且如果满足这两个条件，则选择性地激活或停用(912)所述至少一个组件。14.如权利要求13所述的系统(400；600)，其中所述至少一个感兴趣区域小于所述场景。15.如权利要求13所述的系统(400；600)，其中所述存储装置或所述存储器存储至少两个非重叠感兴趣区域的信息，所述信息包括每个感兴趣区域的至少一个阈值水平。16.如权利要求13所述的系统(400；600)，其中所述声学检测设备(410；610)进一步包括：至少一个光学相机(417；617)，配置成用于捕捉所述场景的至少一部分的至少一个图像；并且其中声学检测设备(410；610)进一步配置成用于传送至少一个捕捉的图像，任选地在利用附加信息覆盖所捕捉的图像之后；并且其中所述系统包括连接到或能连接到所述系统控制器(430；630)的至少一个显示器(434；634)；并且其中所述系统进一步配置成用于在所述显示器(434；634)上显示任选地利用附加信息覆盖的至少一个所捕捉的图像。17.如权利要求13所述的系统(400；600)，其中所述系统(410；610)进一步包括连接到或能连接到所述系统控制器(430；630)的输入装置(435；635)；并且其中所述系统控制器(430；630)被进一步配置成用于允许用户定义至少一个感兴
趣区域(roi1)的位置并使用所述输入装置(435；635)指定至少一个相关联的阈值(t1)。18.如权利要求13所述的系统(400；600)，其中所述声学检测设备(410；610)进一步适用于估计(803)至少一个感兴趣区域的最小可检测声级(nf1)，并用于任选地将此最小可检测声级(nf1)传送到所述系统控制器(430；630)；并且其中所述声学检测设备(410；610)进一步配置成用于测试(808)所述检测到的声压级(spl)是否大于所述最小可检测声级(nf1)，并配置成用于根据测试(808)的结果发送(812)消息；和/或其中所述系统控制器(430；630)进一步配置成用于测试(908)所述检测到的声压级(spl)是否大于所述最小可检测声级(nf1)，并配置成用于根据测试(908)的结果激活或停用所述组件。19.如权利要求13所述的系统(400；600)，其中所述阈值是气体泄漏速率，并且其中所述声学检测设备(410；610)或所述系统控制器(430；630)进一步包括所述至少一个感兴趣区域(roi1)的距离信息，并且其中所述声学检测设备(410；610)或所述系统控制器(430；630)被进一步配置成用于将所述检测到的声压级转换为估计的气体泄漏速率；并且其中所述声学检测设备(410；610)或所述系统控制器(430；630)被进一步配置成用于在所述显示器(434；634)上显示检测到的气体泄漏速率。

技术总结

一种系统(400)，该系统(400)包括：包括多个麦克风的声学检测设备(410)；用于发送信号或消息的输出或通信装置；用于存储至少一个感兴趣区域(ROI1)的位置和相关联阈值(T1)的存储器；用于检测潜在声源的位置和声压级(SPL)的处理电路；以及用于测试检测到的声源是否位于感兴趣区域，以及用于测试检测到的声压级别(SPL)是否高于阈值(T1)，并且如果这些测试的结果为真，则发送用于操作组件(440)的信号或消息，组件(440)诸如视听组件或阀门等。支持具有感兴趣区域的声学检测设备(410)。有感兴趣区域的声学检测设备(410)。有感兴趣区域的声学检测设备(410)。