基于CAFS系统的电动消防车的制作方法

基于cafs系统的电动消防车
技术领域
1.本技术涉及电动巡逻消防车领域，且更为具体地，涉及一种基于cafs系统的电动消防车。

背景技术：

2.常见的消防车种类包括水罐消防车、泡沫消防车、泵浦消防车、登高平台消防车、云梯消防车等。现在社区内往往不会直接配备消防车，而在火情发现初期，火势较小，此时是灭火最佳时机，社区内虽有较多的巡逻车，但却又不具备灭火功能。因此，期待一种具有消防功能的电动巡逻消防车。
3.同时，考虑到在小区的场景中，会发生各种各样的火情，针对不同类型的火情产生适配的消防液是另一个对于具有消防功能的电动巡逻车的功能配置需求。

技术实现要素：

4.为了解决上述技术问题，提出了本技术。本技术的实施例提供了一种基于cafs系统的电动消防车，其中，所述电动消防车包括消防车主体、部署于所述消防车主体的cafs系统和部署于所述消防车主体的火情侦测系统。具体地，基于图像分析和处理来判断是否具有火情并通过监控图像来判断火情的类型，继而可基于图像分析结果来生成cafs系统的控制指令，所述控制指令用于控制泡沫浓缩液的量。
5.相应地，根据本技术的一个方面，提供了一种基于cafs系统的电动消防车，其包括：
6.消防车主体；
7.部署于所述消防车主体的cafs系统；以及
8.部署于所述消防车主体的火情侦测系统。
9.在上述基于cafs系统的电动消防车中，所述火情侦测系统，包括：火情数据采集模块，用于获取由热红外摄像头和常规摄像头采集的火情区域的rgb图像和热红外图像；源域聚合模块，用于将所述火情区域的所述rgb图像和所述热红外图像沿着通道维度进行聚合以得到多通道图像；第一特征提取模块，用于将所述多通道图像通过使用空间注意力机制的第一卷积神经网络模型以得到第一特征图；第二特征提取模块，用于将所述多通道图像通过使用通道注意力机制的第二卷积神经网络模型以得到第二特征图；特征融合模块，用于融合所述第一特征图和所述第二特征图以得到分类特征图；特征调制模块，用于对所述分类特征图进行特征分布调制以得到校正后分类特征图；侦测结果生成模块，用于将所述校正后分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否增大泡沫浓缩液的量；以及，控制指令生成模块，用于基于所述分类结果，生成cafs系统控制指令，所述cafs系统控制指令用于控制泡沫浓缩液的量。
10.在上述基于cafs系统的电动消防车中，所述的cafs系统，进一步用于从所述火情侦测系统接收所述cafs系统控制指令，并基于所述cafs系统控制指令来控制所述泡沫浓缩
液的量。
11.在上述基于cafs系统的电动消防车中，所述第一特征提取模块，进一步用于：使用所述第一卷积神经网络模型的卷积编码部分对所述多通道图像进行深度卷积编码以得到初始卷积特征图；将所述初始卷积特征图输入所述第一卷积神经网络模型的空间注意力部分以得到空间注意力图；将所述空间注意力图通过softmax激活函数以得到空间注意力特征图；以及，计算所述空间注意力特征图和所述初始卷积特征图的按位置点乘以得到所述第一特征图。
12.在上述基于cafs系统的电动消防车中，所述第二特征提取模块，进一步用于：使用所述第二卷积神经网络模型的各层在层的正向传递中对输入数据进行：对所述输入数据进行基于卷积核的卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行激活处理以生成激活特征图；计算所述激活特征图的沿通道维度的各个特征矩阵的全局均值以获得通道特征向量；计算所述通道特征向量中各个位置的特征值相对于所述通道特征向量的所有位置的特征值的加权和的比值以获得通道加权特征向量；以及，以所述通道加权特征向量的各个位置的特征值作为权重对所述激活特征图的沿通道维度的特征矩阵进行点乘以获得生成特征图；其中，所述第二卷积神经网络模型的最后一层输出的所述生成特征图为所述第二特征图。
13.在上述基于cafs系统的电动消防车中，所述特征融合模块，进一步用于将所述第一特征图和所述第二特征图沿着通道维度进行级联以得到所述分类特征图。
14.在上述基于cafs系统的电动消防车中，所述特征调制模块，进一步用于：以如下公式对所述分类特征图进行特征分布调制以得到校正后分类特征图；其中，所述公式为：
[0015][0016]
其中，fi是所述分类特征图的预定特征值，fj是所述分类特征图的所述预定特征值以外的其它特征值，且是所述分类特征图的所有特征值的均值，且n是所述分类特征图的尺度，即宽度乘以高度乘以通道数，fi′
是所述校正后分类特征图。
[0017]
在上述基于cafs系统的电动消防车中，所述侦测结果生成模块，包括：展开单元，用于将所述校正后分类特征图中各个校正后分类特征矩阵按照行向量或者列向量展开为一维特征向量后进行级联以得到分类特征向量；全连接编码单元，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类结果生成单元，用于将所述编码分类特征向量输入所述分类器的softmax分类函数以得到所述分类结果。
[0018]
根据本技术的另一方面，还提供了一种基于cafs系统的电动消防车的火情侦测方法，其包括：
[0019]
获取由热红外摄像头和常规摄像头采集的火情区域的rgb图像和热红外图像；
[0020]
将所述火情区域的所述rgb图像和所述热红外图像沿着通道维度进行聚合以得到多通道图像；
[0021]
将所述多通道图像通过使用空间注意力机制的第一卷积神经网络模型以得到第一特征图；
[0022]
将所述多通道图像通过使用通道注意力机制的第二卷积神经网络模型以得到第二特征图；
[0023]
融合所述第一特征图和所述第二特征图以得到分类特征图；
[0024]
对所述分类特征图进行特征分布调制以得到校正后分类特征图；
[0025]
将所述校正后分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否增大泡沫浓缩液的量；以及
[0026]
基于所述分类结果，生成cafs系统控制指令，所述cafs系统控制指令用于控制泡沫浓缩液的量。
[0027]
在上述基于cafs系统的电动消防车的火情侦测方法中，所述将所述多通道图像通过使用空间注意力机制的第一卷积神经网络模型以得到第一特征图，包括：使用所述第一卷积神经网络模型的卷积编码部分对所述多通道图像进行深度卷积编码以得到初始卷积特征图；将所述初始卷积特征图输入所述第一卷积神经网络模型的空间注意力部分以得到空间注意力图；将所述空间注意力图通过softmax激活函数以得到空间注意力特征图；以及，计算所述空间注意力特征图和所述初始卷积特征图的按位置点乘以得到所述第一特征图。
[0028]
在上述基于cafs系统的电动消防车的火情侦测方法中，所述将所述多通道图像通过使用通道注意力机制的第二卷积神经网络模型以得到第二特征图，包括：使用所述第二卷积神经网络模型的各层在层的正向传递中对输入数据进行：对所述输入数据进行基于卷积核的卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行激活处理以生成激活特征图；计算所述激活特征图的沿通道维度的各个特征矩阵的全局均值以获得通道特征向量；计算所述通道特征向量中各个位置的特征值相对于所述通道特征向量的所有位置的特征值的加权和的比值以获得通道加权特征向量；以及，以所述通道加权特征向量的各个位置的特征值作为权重对所述激活特征图的沿通道维度的特征矩阵进行点乘以获得生成特征图；其中，所述第二卷积神经网络模型的最后一层输出的所述生成特征图为所述第二特征图。
[0029]
在上述基于cafs系统的电动消防车的火情侦测方法中，所述融合所述第一特征图和所述第二特征图以得到分类特征图，包括将所述第一特征图和所述第二特征图沿着通道维度进行级联以得到所述分类特征图。
[0030]
在上述基于cafs系统的电动消防车的火情侦测方法中，所述对所述分类特征图进行特征分布调制以得到校正后分类特征图，包括：以如下公式对所述分类特征图进行特征分布调制以得到校正后分类特征图；其中，所述公式为：
[0031][0032]
其中，fi是所述分类特征图的预定特征值，fj是所述分类特征图的所述预定特征值以外的其它特征值，且是所述分类特征图的所有特征值的均值，且n是所述分类特征图的尺度，即宽度乘以高度乘以通道数，fi′
是所述校正后分类特征图。
[0033]
在上述基于cafs系统的电动消防车的火情侦测方法中，所述将所述校正后分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否增大泡沫浓缩液的量，包括：
将所述校正后分类特征图中各个校正后分类特征矩阵按照行向量或者列向量展开为一维特征向量后进行级联以得到分类特征向量；使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量输入所述分类器的softmax分类函数以得到所述分类结果。
[0034]
与现有技术相比，本技术提供的基于cafs系统的电动消防车，其中，所述电动消防车包括消防车主体、部署于所述消防车主体的cafs系统和部署于所述消防车主体的火情侦测系统。具体地，基于图像分析和处理来判断是否具有火情并通过监控图像来判断火情的类型，继而可基于图像分析结果来生成cafs系统的控制指令，所述控制指令用于控制泡沫浓缩液的量。
附图说明
[0035]
通过结合附图对本技术实施例进行更详细的描述，本技术的上述以及其他目的、特征和优势将变得更加明显。附图用来提供对本技术实施例的进一步理解，并且构成说明书的一部分，与本技术实施例一起用于解释本技术，并不构成对本技术的限制。在附图中，相同的参考标号通常代表相同部件或步骤。
[0036]
图1为根据本技术实施例的基于cafs系统的电动消防车的框图。
[0037]
图2为根据本技术实施例的基于cafs系统的电动消防车中cafs系统的示意图。
[0038]
图3为根据本技术实施例的基于cafs系统的电动消防车中火情侦测系统的应用场景图。
[0039]
图4为根据本技术实施例的基于cafs系统的电动消防车中火情侦测系统的框图。
[0040]
图5为根据本技术实施例的基于cafs系统的电动消防车中火情侦测系统的架构示意图。
[0041]
图6为根据本技术实施例的基于cafs系统的电动消防车的火情侦测方法的流程图。
具体实施方式
[0042]
下面，将参考附图详细地描述根据本技术的示例实施例。显然，所描述的实施例仅仅是本技术的一部分实施例，而不是本技术的全部实施例，应理解，本技术不受这里描述的示例实施例的限制。
[0043]
申请概述
[0044]
如上述背景技术所言，在社区内往往不会直接配备消防车，而在火情发现初期，火势较小，此时是灭火最佳时机，社区内虽有较多的巡逻车，但却又不具备灭火功能。因此，期待一种具有消防功能的电动巡逻消防车。同时，考虑到在小区的场景中，会发生各种各样的火情，针对不同类型的火情产生适配的消防液是另一个对于具有消防功能的电动巡逻消防车的功能配置需求。
[0045]
具体地，在本技术的技术方案中，对传统的用于小区巡逻的电动巡逻车(或者称为电动巡航车)进行改造，以将cafs系统和火情侦测系统集成于所述电动巡逻车以制得基于cafs系统的电动巡航消防车。
[0046]
cafs系统表示压缩空气泡沫系统(compressairfoam system，cafs)，cafs系统以
其独特的优势取代空气泡沫灭火，成为世界各国普遍关注并感兴趣的新技术。cafs系统利用混合室和水带内气、液湍流的摩擦作用来产生精细泡沫。用这种方法产生的泡沫既细小又均匀。在cafs系统中,90％以上的泡沫液转变为泡沫气泡。排放装置所需配备的只有一个球阀和一支直流水。精细泡沫一离开水带线路的最后一段即可用来灭火。调节进入排放处的水、空气和泡沫浓缩液的量就可以改变精细泡沫的发泡倍数,用于不同的灭火目的。
[0047]
而所述火情侦测系统则通过机器视觉方案来判断巡逻小区内是否具有火情以及火情的类型。应可以理解，判断是否具有火情，就基于此来智能地启动cafs系统，而判断所述火情的类型，则可以自适应地调节进入排放处的水、空气和泡沫浓缩液的量以实现不同的灭火目的。
[0048]
具体地，通过摄像头来捕捉小区的监控图像，并基于图像分析和处理来判断是否具有火情并通过监控图像来判断火情的类型，继而可基于图像分析结果来生成cafs系统的控制指令，所述控制指令用于控制泡沫浓缩液的量。但是，在火情侦测的方案构造中，小区内具有多种干扰对象，例如，红的叶子，红的塑料带、因烹饪自然而然产生的雾气等，这会导致火情侦测的误判。
[0049]
针对上述技术问题，在本技术的技术方案中，首先在所述电动巡航消防车上同时部署常规摄像头和热红外摄像头，其中，所述常规摄像头能够采集被监测区域的rgb图像，而所述热红外摄像头则能采集被监测区域的热红外图像(即，温度分布图像)；并综合所述rgb图像和所述热红外图像来构建火情智能判断方案，而这可以通过基于深度学习的神经网络模型+分类器来实现。
[0050]
具体地，通过基于深度学习的神经网络模型来捕捉输入图像中的高维图像隐含特征，并以所述分类器确定是否增大泡沫浓缩液的量，也就是，在申请的技术方案中，所述分类器的分类标签为增大泡沫浓缩液的量、减小泡沫浓缩液的量以及保持泡沫浓缩液的量，通过所述分类器来建立所述高维图像隐含特征与上述分类标签之间的非线性映射关系。
[0051]
在本技术的技术方案中，在得到所述rgb图像和所述热红外图像后，先将所述rgb图像和所述热红外图像沿着通道维度进行聚合以得到多通道图像(4通道图像)作为神经网络的输入，通过这样的方式，来扩展输入端的数据宽度从而为深度网络的特征提取提供更为丰富的原始素材。
[0052]
接着，将所述多通道图像通过使用空间注意力机制的第一卷积神经网络模型以得到第一特征图。也就是，使用在图像特征提取领域具有优异性能表现的卷积神经网络模型来提取所述rgb图像和所述热红外图像各自的图像内语义关联特征以及所述rgb图像和所述热红外图像相对于卷积神经网络模型的通道维度的图像间语义关联特征。考虑到所述多通道图像中各个像素点的信息对于最终分类判断的贡献度不同，为了使得所述第一特征图的特征在空间维度上的分布更加显著，将空间注意力机制集成于所述卷积神经网络模型以得到所述第一卷积神经网络模型。
[0053]
同时，将所述多通道图像通过使用通道注意力机制的第二卷积神经网络模型以得到第二特征图。也就是，使用与所述第一卷积神经网络模型并行的第二卷积神经网络模型对所述多通道图像进行深度卷积编码以提取所述rgb图像和所述热红外图像各自的图像内语义关联特征以及所述rgb图像和所述热红外图像相对于卷积神经网络模型的通道维度的图像间语义关联特征。考虑到卷积神经网络模型的通道维度对应于图像中的不同对象，为
了使得所述第二特征图在各个通道维度的局部特征具有更高的可鉴别性，在本技术的技术方案中，将通道注意力机制集成于所述卷积神经网络模型以得到所述第二卷积神经网络模型。
[0054]
在得到所述第一特征图和所述第二特征图后，在高维特征空间中融合所述第一特征图和所述第二特征图以得到分类特征图，例如，沿通道维度级联所述第一特征图和所述第二特征图以得到所述分类特征图。并进一步地将所述分类特征图通过分类器以得到用于表示是否增大泡沫浓缩液的量的分类结果。
[0055]
特别地，在本技术的技术方案中，将所述多通道图像分别通过使用空间注意力机制的第一卷积神经网络模型和使用通道注意力机制的第二卷积神经网络模型得到所述第一特征图和所述第二特征图，可以分别提取所述多通道图像的强化的图像内语义关联特征和图像间语义关联特征，这样，进一步通过沿通道维度级联所述第一特征图和所述第二特征图，就可以使得得到的所述分类特征图充分包含不同维度的语义关联特征。
[0056]
但是，由于所述分类特征图包含不同维度的语义关联特征，这也使得所述分类特征图在分类器中展开为特征向量之后，与所述分类器的权重矩阵之间的拟合负担重，从而影响所述分类器的训练速度和分类结果的准确性。
[0057]
因此，优选地进一步对所述分类特征图进行类表征平展化，具体表示为：
[0058][0059]fi
是所述分类特征图的预定特征值，fj是所述分类特征图的所述预定特征值以外的其它特征值，且是所述分类特征图的所有特征值的均值，且n是所述分类特征图的尺度，即宽度乘以高度乘以通道数。
[0060]
这里，所述特征图的类表征平展化将用于高维特征空间内的特征分布的类表征的有限多面体流形进行平展，同时保持流形的各平面之间的固有距离，并基于空间直观地避免交叉，其实质上是将该有限多面体流形分解为基于直角面相交和同顶点相交的立方体晶格，从而获得类平面的平展的“切片”连续性，以增强所述分类特征图对于分类器的权重矩阵的拟合性能。这样，就提升了所述分类特征图通过分类器进行分类的训练速度和分类结果的准确性。也就是，提高cafs系统的消防液控制相对于火情类型的自适应性。
[0061]
基于此，本技术提供了一种基于cafs系统的电动消防车，其包括：消防车主体；部署于所述消防车主体的cafs系统；以及，部署于所述消防车主体的火情侦测系统。
[0062]
在介绍了本技术的基本原理之后，下面将参考附图来具体介绍本技术的各种非限制性实施例。
[0063]
示例性系统
[0064]
图1为根据本技术实施例的基于cafs系统的电动消防车的框图。如图1所示，根据本技术实施例的基于cafs系统的电动消防车100，包括：消防车主体110；部署于所述消防车主体的cafs系统120；以及，部署于所述消防车主体的火情侦测系统130。
[0065]
如上述背景技术所言，在社区内往往不会直接配备消防车，而在火情发现初期，火势较小，此时是灭火最佳时机，社区内虽有较多的巡逻车，但却又不具备灭火功能。因此，期待一种具有消防功能的电动巡逻消防车。同时，考虑到在小区的场景中，会发生各种各样的
火情，针对不同类型的火情产生适配的消防液是另一个对于具有消防功能的电动巡逻消防车的功能配置需求。具体地，在本技术的技术方案中，对传统的用于小区巡逻的电动巡逻车(或者称为电动巡航车)进行改造，以将cafs系统和火情侦测系统集成于所述电动巡逻车以制得基于cafs系统的电动巡航消防车。
[0066]
在上述基于cafs系统的电动消防车100中，所述部署于所述消防车主体100的cafs系统120，是指压缩空气泡沫系统(compressairfoam system，cafs)，cafs系统以其独特的优势取代空气泡沫灭火，成为世界各国普遍关注并感兴趣的新技术。
[0067]
图2为根据本技术实施例的基于cafs系统的电动消防车中cafs系统的示意图。cafs技术利用混合器和水带内气、液湍流的摩擦作用来产生精细泡沫。用这种方法产生的泡沫既细小又均匀。在cafs系统中，90％以上的泡沫液转变为泡沫气泡。排放装置所需配备的只有一个球阀和一支直流水。精细泡沫一离开水带线路的最后一段即可用来灭火。调节进入排放处的水、空气和泡沫浓缩液的量就可以改变精细泡沫的发泡倍数，用于不同的灭火目的。
[0068]
具体地，在本技术实施例中，所述cafs系统，从所述火情侦测系统接收cafs系统控制指令，并基于所述cafs系统控制指令来控制所述泡沫浓缩液的量。
[0069]
在上述基于cafs系统的电动消防车100中，所述部署于所述消防车主体的火情侦测系统130则通过机器视觉方案来判断巡逻小区内是否具有火情以及火情的类型。应可以理解，判断是否具有火情，就基于此来智能地启动cafs系统，而判断所述火情的类型，则可以自适应地调节进入排放处的水、空气和泡沫浓缩液的量以实现不同的灭火目的。
[0070]
图3为根据本技术实施例的基于cafs系统的电动消防车中火情侦测系统的应用场景图。如图3所示，在该应用场景中，首先，获取由热红外摄像头(例如，如图1中所示意的c1)和常规摄像头(例如，如图1中所示意的c2)采集的火情区域的rgb图像和热红外图像。进而，将所述火情区域的rgb图像和热红外图像输入至所述基于cafs系统的电动消防车(例如，如图1中所示意的v)的数据处理器(例如，如图1中所示意的p)中，其中，所述数据处理器能够基于火情侦测算法对所述火情区域的rgb图像和热红外图像进行处理，以得到用于表示是否增大泡沫浓缩液的量的分类结果，并基于所述分类结果，生成cafs系统控制指令，所述cafs系统控制指令用于控制泡沫浓缩液的量。
[0071]
图4为根据本技术实施例的基于cafs系统的电动消防车中火情侦测系统的框图。如图4所示，根据本技术实施例的基于cafs系统的电动消防车的火情侦测系统130，包括：火情数据采集模块131，用于获取由热红外摄像头和常规摄像头采集的火情区域的rgb图像和热红外图像；源域聚合模块132，用于将所述火情区域的所述rgb图像和所述热红外图像沿着通道维度进行聚合以得到多通道图像；第一特征提取模块133，用于将所述多通道图像通过使用空间注意力机制的第一卷积神经网络模型以得到第一特征图；第二特征提取模块134，用于将所述多通道图像通过使用通道注意力机制的第二卷积神经网络模型以得到第二特征图；特征融合模块135，用于融合所述第一特征图和所述第二特征图以得到分类特征图；特征调制模块136，用于对所述分类特征图进行特征分布调制以得到校正后分类特征图；侦测结果生成模块137，用于将所述校正后分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否增大泡沫浓缩液的量；以及，控制指令生成模块138，用于基于所述分类结果，生成cafs系统控制指令，所述cafs系统控制指令用于控制泡沫浓缩液的量。
[0072]
图5为根据本技术实施例的基于cafs系统的电动消防车中火情侦测系统的架构示意图。如图5所示，在该架构中，首先获取由热红外摄像头和常规摄像头采集的火情区域的rgb图像和热红外图像。接着，将所述火情区域的所述rgb图像和所述热红外图像沿着通道维度进行聚合以得到多通道图像。然后，将所述多通道图像通过使用空间注意力机制的第一卷积神经网络模型以得到第一特征图，同时，将所述多通道图像通过使用通道注意力机制的第二卷积神经网络模型以得到第二特征图。进而，融合所述第一特征图和所述第二特征图以得到分类特征图。接着，对所述分类特征图进行特征分布调制以得到校正后分类特征图。然后，将所述校正后分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否增大泡沫浓缩液的量。进而，基于所述分类结果，生成cafs系统控制指令，所述cafs系统控制指令用于控制泡沫浓缩液的量。
[0073]
在上述基于cafs系统的电动消防车100的火情侦测系统130中，所述火情数据采集模块131，用于获取由热红外摄像头和常规摄像头采集的火情区域的rgb图像和热红外图像。在本技术的技术方案中，通过摄像头来捕捉小区的监控图像，并基于图像分析和处理来判断是否具有火情并通过监控图像来判断火情的类型，继而可基于图像分析结果来生成cafs系统的控制指令，所述控制指令用于控制泡沫浓缩液的量。但是，在火情侦测的方案构造中，小区内具有多种干扰对象，例如，红的叶子，红的塑料带、因烹饪自然而然产生的雾气等，这会导致火情侦测的误判。
[0074]
针对上述技术问题，在本技术的技术方案中，首先在所述电动巡航消防车上同时部署常规摄像头和热红外摄像头，其中，所述常规摄像头能够采集被监测区域的rgb图像，而所述热红外摄像头则能采集被监测区域的热红外图像(即，温度分布图像)；并综合所述rgb图像和所述热红外图像来构建火情智能判断方案，而这可以通过基于深度学习的神经网络模型+分类器来实现。
[0075]
在上述基于cafs系统的电动消防车100的火情侦测系统130中，所述源域聚合模块132，用于将所述火情区域的所述rgb图像和所述热红外图像沿着通道维度进行聚合以得到多通道图像。也就是，在本技术的技术方案中，在得到所述rgb图像和所述热红外图像后，先将所述rgb图像和所述热红外图像沿着通道维度进行聚合以得到多通道图像(4通道图像)作为神经网络的输入，通过这样的方式，来扩展输入端的数据宽度从而为深度网络的特征提取提供更为丰富的原始素材。
[0076]
在上述基于cafs系统的电动消防车100的火情侦测系统130中，所述第一特征提取模块133，用于将所述多通道图像通过使用空间注意力机制的第一卷积神经网络模型以得到第一特征图。也就是，使用在图像特征提取领域具有优异性能表现的卷积神经网络模型来提取所述rgb图像和所述热红外图像各自的图像内语义关联特征以及所述rgb图像和所述热红外图像相对于卷积神经网络模型的通道维度的图像间语义关联特征。考虑到所述多通道图像中各个像素点的信息对于最终分类判断的贡献度不同，为了使得所述第一特征图的特征在空间维度上的分布更加显著，将空间注意力机制集成于所述卷积神经网络模型以得到所述第一卷积神经网络模型。
[0077]
具体地，在本技术实施例中，所述第一特征提取模块133，进一步用于：使用所述第一卷积神经网络模型的卷积编码部分对所述多通道图像进行深度卷积编码以得到初始卷积特征图；将所述初始卷积特征图输入所述第一卷积神经网络模型的空间注意力部分以得
到空间注意力图；将所述空间注意力图通过softmax激活函数以得到空间注意力特征图；以及，计算所述空间注意力特征图和所述初始卷积特征图的按位置点乘以得到所述第一特征图。
[0078]
在上述基于cafs系统的电动消防车100的火情侦测系统130中，所述第二特征提取模块134，用于将所述多通道图像通过使用通道注意力机制的第二卷积神经网络模型以得到第二特征图。也就是，使用与所述第一卷积神经网络模型并行的第二卷积神经网络模型对所述多通道图像进行深度卷积编码以提取所述rgb图像和所述热红外图像各自的图像内语义关联特征以及所述rgb图像和所述热红外图像相对于卷积神经网络模型的通道维度的图像间语义关联特征。考虑到卷积神经网络模型的通道维度对应于图像中的不同对象，为了使得所述第二特征图在各个通道维度的局部特征具有更高的可鉴别性，在本技术的技术方案中，将通道注意力机制集成于所述卷积神经网络模型以得到所述第二卷积神经网络模型。
[0079]
具体地，在本技术实施例中，所述第二特征提取模块134，进一步用于：使用所述第二卷积神经网络模型的各层在层的正向传递中对输入数据进行：对所述输入数据进行基于卷积核的卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行激活处理以生成激活特征图；计算所述激活特征图的沿通道维度的各个特征矩阵的全局均值以获得通道特征向量；计算所述通道特征向量中各个位置的特征值相对于所述通道特征向量的所有位置的特征值的加权和的比值以获得通道加权特征向量；以及，以所述通道加权特征向量的各个位置的特征值作为权重对所述激活特征图的沿通道维度的特征矩阵进行点乘以获得生成特征图；其中，所述第二卷积神经网络模型的最后一层输出的所述生成特征图为所述第二特征图。
[0080]
在上述基于cafs系统的电动消防车100的火情侦测系统130中，所述特征融合模块135，用于融合所述第一特征图和所述第二特征图以得到分类特征图。也就是，在得到所述第一特征图和所述第二特征图后，在高维特征空间中融合所述第一特征图和所述第二特征图以得到分类特征图，例如，沿通道维度级联所述第一特征图和所述第二特征图以得到所述分类特征图。
[0081]
在上述基于cafs系统的电动消防车100的火情侦测系统130中，所述特征调制模块136，用于对所述分类特征图进行特征分布调制以得到校正后分类特征图。特别地，在本技术的技术方案中，将所述多通道图像分别通过使用空间注意力机制的第一卷积神经网络模型和使用通道注意力机制的第二卷积神经网络模型得到所述第一特征图和所述第二特征图，可以分别提取所述多通道图像的强化的图像内语义关联特征和图像间语义关联特征，这样，进一步通过沿通道维度级联所述第一特征图和所述第二特征图，就可以使得得到的所述分类特征图充分包含不同维度的语义关联特征。但是，由于所述分类特征图包含不同维度的语义关联特征，这也使得所述分类特征图在分类器中展开为特征向量之后，与所述分类器的权重矩阵之间的拟合负担重，从而影响所述分类器的训练速度和分类结果的准确性。因此，优选地进一步对所述分类特征图进行类表征平展化。
[0082]
具体地，在本技术实施例中，所述特征调制模块136，进一步用于：以如下公式对所述分类特征图进行特征分布调制以得到校正后分类特征图；其中，所述公式为：
[0083][0084]
其中，fi是所述分类特征图的预定特征值，fj是所述分类特征图的所述预定特征值以外的其它特征值，且是所述分类特征图的所有特征值的均值，且n是所述分类特征图的尺度，即宽度乘以高度乘以通道数，fi′
是所述校正后分类特征图。
[0085]
这里，所述特征图的类表征平展化将用于高维特征空间内的特征分布的类表征的有限多面体流形进行平展，同时保持流形的各平面之间的固有距离，并基于空间直观地避免交叉，其实质上是将该有限多面体流形分解为基于直角面相交和同顶点相交的立方体晶格，从而获得类平面的平展的“切片”连续性，以增强所述分类特征图对于分类器的权重矩阵的拟合性能。这样，就提升了所述分类特征图通过分类器进行分类的训练速度和分类结果的准确性。
[0086]
在上述基于cafs系统的电动消防车100的火情侦测系统130中，所述侦测结果生成模块137，用于将所述校正后分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否增大泡沫浓缩液的量。所述分类器的分类标签为增大泡沫浓缩液的量、减小泡沫浓缩液的量以及保持泡沫浓缩液的量。这里，通过所述分类器来建立所述高维图像隐含特征与上述分类标签之间的非线性映射关系。
[0087]
具体地，在本技术实施例中，所述侦测结果生成模块137，包括：展开单元，用于将所述校正后分类特征图中各个校正后分类特征矩阵按照行向量或者列向量展开为一维特征向量后进行级联以得到分类特征向量；全连接编码单元，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，分类结果生成单元，用于将所述编码分类特征向量输入所述分类器的softmax分类函数以得到所述分类结果。
[0088]
在上述基于cafs系统的电动消防车100的火情侦测系统130中，所述控制指令生成模块138，用于基于所述分类结果，生成cafs系统控制指令，所述cafs系统控制指令用于控制泡沫浓缩液的量。这样，通过基于深度学习的神经网络模型来捕捉输入图像中的高维图像隐含特征，并以所述分类器确定是否增大泡沫浓缩液的量，进而，提高cafs系统的消防液控制相对于火情类型的自适应性。
[0089]
综上，基于本技术实施例的基于cafs系统的电动消防车100被阐明，其中，所述电动消防车包括消防车主体、部署于所述消防车主体的cafs系统和部署于所述消防车主体的火情侦测系统。具体地，基于图像分析和处理来判断是否具有火情并通过监控图像来判断火情的类型，继而可基于图像分析结果来生成cafs系统的控制指令，所述控制指令用于控制泡沫浓缩液的量。
[0090]
示例性方法
[0091]
图6为根据本技术实施例的基于cafs系统的电动消防车的火情侦测方法的流程图。如图6所示，根据本技术实施例的基于cafs系统的电动消防车的火情侦测方法，包括：s110，获取由热红外摄像头和常规摄像头采集的火情区域的rgb图像和热红外图像；s120，将所述火情区域的所述rgb图像和所述热红外图像沿着通道维度进行聚合以得到多通道图像；s130，将所述多通道图像通过使用空间注意力机制的第一卷积神经网络模型以得到第
一特征图；s140，将所述多通道图像通过使用通道注意力机制的第二卷积神经网络模型以得到第二特征图；s150，融合所述第一特征图和所述第二特征图以得到分类特征图；s160，对所述分类特征图进行特征分布调制以得到校正后分类特征图；s170，将所述校正后分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否增大泡沫浓缩液的量；以及，s180，基于所述分类结果，生成cafs系统控制指令，所述cafs系统控制指令用于控制泡沫浓缩液的量。
[0092]
在一个示例中，在上述基于cafs系统的电动消防车的火情侦测方法中，所述将所述多通道图像通过使用空间注意力机制的第一卷积神经网络模型以得到第一特征图，包括：使用所述第一卷积神经网络模型的卷积编码部分对所述多通道图像进行深度卷积编码以得到初始卷积特征图；将所述初始卷积特征图输入所述第一卷积神经网络模型的空间注意力部分以得到空间注意力图；将所述空间注意力图通过softmax激活函数以得到空间注意力特征图；以及，计算所述空间注意力特征图和所述初始卷积特征图的按位置点乘以得到所述第一特征图。
[0093]
在一个示例中，在上述基于cafs系统的电动消防车的火情侦测方法中，所述将所述多通道图像通过使用通道注意力机制的第二卷积神经网络模型以得到第二特征图，包括：使用所述第二卷积神经网络模型的各层在层的正向传递中对输入数据进行：对所述输入数据进行基于卷积核的卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行激活处理以生成激活特征图；计算所述激活特征图的沿通道维度的各个特征矩阵的全局均值以获得通道特征向量；计算所述通道特征向量中各个位置的特征值相对于所述通道特征向量的所有位置的特征值的加权和的比值以获得通道加权特征向量；以及，以所述通道加权特征向量的各个位置的特征值作为权重对所述激活特征图的沿通道维度的特征矩阵进行点乘以获得生成特征图；其中，所述第二卷积神经网络模型的最后一层输出的所述生成特征图为所述第二特征图。
[0094]
在一个示例中，在上述基于cafs系统的电动消防车的火情侦测方法中，所述融合所述第一特征图和所述第二特征图以得到分类特征图，包括将所述第一特征图和所述第二特征图沿着通道维度进行级联以得到所述分类特征图。
[0095]
在一个示例中，在上述基于cafs系统的电动消防车的火情侦测方法中，所述对所述分类特征图进行特征分布调制以得到校正后分类特征图，包括：以如下公式对所述分类特征图进行特征分布调制以得到校正后分类特征图；其中，所述公式为：
[0096][0097]
其中，fi是所述分类特征图的预定特征值，fj是所述分类特征图的所述预定特征值以外的其它特征值，且是所述分类特征图的所有特征值的均值，且n是所述分类特征图的尺度，即宽度乘以高度乘以通道数，fi′
是所述校正后分类特征图。
[0098]
在一个示例中，在上述基于cafs系统的电动消防车的火情侦测方法中，所述将所述校正后分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否增大泡沫浓缩液的量，包括：将所述校正后分类特征图中各个校正后分类特征矩阵按照行向量或者列向量展开为一维特征向量后进行级联以得到分类特征向量；使用所述分类器的全连接层对
所述分类特征向量进行全连接编码以得到编码分类特征向量；以及，将所述编码分类特征向量输入所述分类器的softmax分类函数以得到所述分类结果。
[0099]
综上，本技术实施例的基于cafs系统的电动消防车的火情侦测方法被阐明，其中，所述电动消防车包括消防车主体、部署于所述消防车主体的cafs系统和部署于所述消防车主体的火情侦测系统。具体地，基于图像分析和处理来判断是否具有火情并通过监控图像来判断火情的类型，继而可基于图像分析结果来生成cafs系统的控制指令，所述控制指令用于控制泡沫浓缩液的量。
[0100]
以上结合具体实施例描述了本技术的基本原理，但是，需要指出的是，在本技术中提及的优点、优势、效果等仅是示例而非限制，不能认为这些优点、优势、效果等是本技术的各个实施例必须具备的。另外，上述公开的具体细节仅是为了示例的作用和便于理解的作用，而非限制，上述细节并不限制本技术为必须采用上述具体的细节来实现。
[0101]
本技术中涉及的器件、装置、设备、系统的方框图仅作为例示性的例子并且不意图要求或暗示必须按照方框图示出的方式进行连接、布置、配置。如本领域技术人员将认识到的，可以按任意方式连接、布置、配置这些器件、装置、设备、系统。诸如“包括”、“包含”、“具有”等等的词语是开放性词汇，指“包括但不限于”，且可与其互换使用。这里所使用的词汇“或”和“和”指词汇“和/或”，且可与其互换使用，除非上下文明确指示不是如此。这里所使用的词汇“诸如”指词组“诸如但不限于”，且可与其互换使用。
[0102]
还需要指出的是，在本技术的装置、设备和方法中，各部件或各步骤是可以分解和/或重新组合的。这些分解和/或重新组合应视为本技术的等效方案。
[0103]
提供所公开的方面的以上描述以使本领域的任何技术人员能够做出或者使用本技术。对这些方面的各种修改对于本领域技术人员而言是非常显而易见的，并且在此定义的一般原理可以应用于其他方面而不脱离本技术的范围。因此，本技术不意图被限制到在此示出的方面，而是按照与在此公开的原理和新颖的特征一致的最宽范围。
[0104]
为了例示和描述的目的已经给出了以上描述。此外，此描述不意图将本技术的实施例限制到在此公开的形式。尽管以上已经讨论了多个示例方面和实施例，但是本领域技术人员将认识到其某些变型、修改、改变、添加和子组合。

技术特征：

1.一种基于cafs系统的电动消防车，其特征在于，包括：消防车主体；部署于所述消防车主体的cafs系统；以及部署于所述消防车主体的火情侦测系统。2.根据权利要求1所述的基于cafs系统的电动消防车，其特征在于，所述火情侦测系统，包括：火情数据采集模块，用于获取由热红外摄像头和常规摄像头采集的火情区域的rgb图像和热红外图像；源域聚合模块，用于将所述火情区域的所述rgb图像和所述热红外图像沿着通道维度进行聚合以得到多通道图像；第一特征提取模块，用于将所述多通道图像通过使用空间注意力机制的第一卷积神经网络模型以得到第一特征图；第二特征提取模块，用于将所述多通道图像通过使用通道注意力机制的第二卷积神经网络模型以得到第二特征图；特征融合模块，用于融合所述第一特征图和所述第二特征图以得到分类特征图；特征调制模块，用于对所述分类特征图进行特征分布调制以得到校正后分类特征图；侦测结果生成模块，用于将所述校正后分类特征图通过分类器以得到分类结果，所述分类结果用于表示是否增大泡沫浓缩液的量；以及控制指令生成模块，用于基于所述分类结果，生成cafs系统控制指令，所述cafs系统控制指令用于控制泡沫浓缩液的量。3.根据权利要求2所述的基于cafs系统的电动消防车，其特征在于，所述的cafs系统，进一步用于从所述火情侦测系统接收所述cafs系统控制指令，并基于所述cafs系统控制指令来控制所述泡沫浓缩液的量。4.根据权利要求3所述的基于cafs系统的电动消防车，其特征在于，所述第一特征提取模块，进一步用于：使用所述第一卷积神经网络模型的卷积编码部分对所述多通道图像进行深度卷积编码以得到初始卷积特征图；将所述初始卷积特征图输入所述第一卷积神经网络模型的空间注意力部分以得到空间注意力图；将所述空间注意力图通过softmax激活函数以得到空间注意力特征图；以及计算所述空间注意力特征图和所述初始卷积特征图的按位置点乘以得到所述第一特征图。5.根据权利要求4所述的基于cafs系统的电动消防车，其特征在于，所述第二特征提取模块，进一步用于：使用所述第二卷积神经网络模型的各层在层的正向传递中对输入数据进行：对所述输入数据进行基于卷积核的卷积处理以生成卷积特征图；对所述卷积特征图进行池化处理以生成池化特征图；对所述池化特征图进行激活处理以生成激活特征图；计算所述激活特征图的沿通道维度的各个特征矩阵的全局均值以获得通道特征向量；
计算所述通道特征向量中各个位置的特征值相对于所述通道特征向量的所有位置的特征值的加权和的比值以获得通道加权特征向量；以及以所述通道加权特征向量的各个位置的特征值作为权重对所述激活特征图的沿通道维度的特征矩阵进行点乘以获得生成特征图；其中，所述第二卷积神经网络模型的最后一层输出的所述生成特征图为所述第二特征图。6.根据权利要求5所述的基于cafs系统的电动消防车，其特征在于，所述特征融合模块，进一步用于将所述第一特征图和所述第二特征图沿着通道维度进行级联以得到所述分类特征图。7.根据权利要求6所述的基于cafs系统的电动消防车，其特征在于，所述特征调制模块，进一步用于：以如下公式对所述分类特征图进行特征分布调制以得到校正后分类特征图；其中，所述公式为：其中，f
i
是所述分类特征图的预定特征值，f
j
是所述分类特征图的所述预定特征值以外的其它特征值，且是所述分类特征图的所有特征值的均值，且n是所述分类特征图的尺度，即宽度乘以高度乘以通道数，f
i
′
是所述校正后分类特征图。8.根据权利要求7所述的基于cafs系统的电动消防车，其特征在于，所述侦测结果生成模块，包括：展开单元，用于将所述校正后分类特征图中各个校正后分类特征矩阵按照行向量或者列向量展开为一维特征向量后进行级联以得到分类特征向量；全连接编码单元，用于使用所述分类器的全连接层对所述分类特征向量进行全连接编码以得到编码分类特征向量；以及分类结果生成单元，用于将所述编码分类特征向量输入所述分类器的softmax分类函数以得到所述分类结果。

技术总结

公开了一种基于CAFS系统的电动消防车，其中，所述电动消防车包括消防车主体、部署于所述消防车主体的CAFS系统和部署于所述消防车主体的火情侦测系统。具体地，基于图像分析和处理来判断是否具有火情并通过监控图像来判断火情的类型，继而可基于图像分析结果来生成CAFS系统的控制指令，所述控制指令用于控制泡沫浓缩液的量。沫浓缩液的量。沫浓缩液的量。