基于深度神经网络的火灾探测声学灭火器控制

1.文章信息

本次介绍的文章是2022年发表在Elektronika ir Elektrotechnika的一篇基于计算机视觉的火灾检测文章。

2.摘要

近年来，寻找快速、环保的灭火方法一直是一个特别重要的话题。许多学者正进行使用深度神经网络探测火焰的研究。最有前景的方法之一是用声波方法灭火。理论上，由于声波会穿过固体、液体和气体，所以声波灭火机可以用于扑灭不同种类的火。原则上，本文所述技术可用于扑灭B级和C级气体或液体燃烧时的火灾。到目前为止，已知的研究只针对低功率的声学灭火器。因此，需要填补这方面的理论和实践空白(科学新颖性)。

这些活动的结果是开发了利用深度神经网络灭火的新技术，然后使用应用于声学灭火器的高功率和非常高功率扬声器灭火。文章的主要目的是介绍使用深度神经网络探测火灾的可能性，以及使用几个频率的振幅调制(AM)方波扑灭火焰的研究结果，这也是一个科学上的新发现，包括最小声功率和声压级作为声学系统输出距离的函数。在此基础上，可以确定在给定输入参数下，传递给灭火器的最小功率和引起灭火效果的最小声压级。

3.介绍

目前，用适当选择的灭火剂填充的灭火器最常用来扑灭火焰。它的组成取决于火的类型。因此，传统的灭火器不适合普遍用于扑灭各种材料的火灾。根据火灾类别的不同，灭火器分为许多组，其中一些适合扑灭几种类型的火灾。在典型的灭火器中，灭火剂很快就会耗尽，给油箱充注很费时，而且只能由授权单位在指定区域进行。因此，传统灭火器有许多局限性。其他缺点包括:对环境和健康的不利影响，在灭火过程中对设备的损坏，需要定期对罐体进行压力测试，向灭火器中填充灭火剂。用声波灭火是最有前景的方法之一。此外，过去已经证明，用放大和调制的人类声音(使用计算机技术)扑灭火灾是可能的。声压水平超过人耳的疼痛阈值。

火灾可由多种来源引起，为了防止火灾的蔓延，需要有灭火系统。大多数火灾探测系统是基于温度和烟雾传感器。最近，人们可以使用单一摄像头和训练有素的神经网络进行火灾识别。工业设施和自然总是会因不同的原因受到火灾的威胁。经典的传感器可能并不总是高效的，因此发展更先进的火灾探测方法是必要的。人工神经网络(ANN)通过分析热成像摄像机的图像，可以非常有效地找到各种燃烧物体，并可以成功地用于探测火灾。只要使用一个监视系统，它们就可以取代任何昂贵的传感器。当检测到火灾时，神经网络可以自动显示其在图像中的位置。不同的卷积神经网络(CNN)网络可以应用于图像中的火灾和烟雾识别，它们可以应用于该领域的各种类型的算法和神经网络并与之结合。

基于掩码区域的卷积神经网络(R-CNN)是一种深度神经网络，用于解决计算机视觉中分离视频或图像中的对象的实例分割问题。它基于Faster R-CNN架构，有两个主要变化:它用更精确的RoI对齐模块取代了兴趣区域池(RoI池)模块;插入了RoI Align模块的一个附加分支。附加分支接受RoI输出，然后将其发送到卷积(Conv)层。掩码是卷积层的输出。利用神经网络对采集到的图像进行处理，并将识别的目标隐藏在图像上。神经网络是fast R-CNN的扩展。Faster R-CNN只能预测边界框，而Mask R-CNN并行预测对象掩码。

为了减少工业火灾事故中的损害和伤害，及时准确的火灾探测至关重要。近年来，火灾探测技术变得越来越复杂、智能和强大，从传统的“点”传感器发展到基于视频（基于摄像机）的技术，可分为信号、图像和视频处理方法。然而，传统的“点”传感器（烟雾和热量探测器）通常需要足够的高温或足够的烟雾浓度来触发警报，这限制了其在早期检测电缆燃烧等小型火灾方面的应用。在过去几十年中，计算机计算能力的提高和成像传感器成本的降低使得基于视频的火灾探测技术能够用于实时应用。近年来，随着深度学习的发展，人工智能技术逐渐出现在消防安全研究领域。最重要的应用之一是它解决了传统火灾探测方法很难实现的小型火灾探测问题。

为了实现神经网络火灾探测，采用了多种软件技术。图像处理采用Opencv，这是一个开源的计算机视觉和机器学习库。它旨在提供一个通用的视觉应用基础设施，并加快机器感知。该库有超过2500个优化算法，包括一套全面的经典和先进的计算机视觉和机器学习算法。

4.模型

A. 训练神经网络

采用Mask R-CNN体系结构训练神经网络，具有快速检测各种目标的能力。对120幅图像进行了火灾检测神经网络的训练。这些使用Python脚本的图像通过转换、缩放操作和亮度调整乘以数字。这样就自动生成了3600张图片，图片中火的位置各不相同。搜索器算法提取它们的特征和像素注释，并使用Mask R-CNN Inception架构训练神经网络45 000个周期，直到达到所需的精度。在实践中，训练需要一个初始的照片数据库(其中一些照片如下图所示)，需要从中提取物体的特征，这些特征必须在后面找到。

这还涉及到在每个图像中创建掩码注释。如前所述，神经网络是使用机器学习TensorFlow的库进行训练的。训练是在图形处理器设备GTX1080Ti的帮助下进行的。神经网络能够识别许多物体，通过软件过滤，可以从训练过的物体列表中选择哪些物体是火灾，哪些物体不在图像中。经过良好训练的神经网络可以在具有中央处理单元(CPU)、GPU和视觉处理单元(VPU)的各种处理系统中实现。NVIDIA Jetson Nano工具包用于下图中当前的实现。该系统包括一个用于实时检测的USB摄像头，一个HDMI显示器，以及控制信号到外部灭火器的继电器。

Jetson Nano板是一个开发工具包，它包括一个模块上的系统(SoM)和参考载体板。它主要设计用于为机器学习、机器视觉和视频处理应用创建需要高计算能力的嵌入式系统。该板具有可用于实时火灾探测的摄像头接口和可用于控制灭火器的通用输入/输出(GPIO)引脚。经过训练的模型被转移到NVIDIA Jetson Nano的内存中。Jetson Nano传输的模型与GPU训练的模型一致，用于检测测试图像中的火灾。

B.火焰检测

由于神经网络的错误包含了假阳性和假阴性的反应，该神经网络已经在400张未被训练的图像上进行了测试，检测准确率为86%。下图显示了图像中的火灾探测，用于基本测试，其中没有其他对象。

神经网络的第二次测试使用了客厅里的火灾图像。这张照片显示了与火相同颜色的物体。即使在这些条件下，神经网络也能够将火与其他物体区分开来。试验结果如下图所示。

第三张测试照片是在白天燃烧的屋顶。如下图所示，神经网络成功探测到火灾。

由于之前使用的所有测试照片都是静态的，因此有必要实时检查经过训练的神经网络的性能。同样，为了这个目的，使用了加博罗沃技术大学的研究人员从YouTube上下载的火灾视频。这些视频显示了不同程度的火灾。这些视频的测试证明了神经网络识别视频流中火灾的能力。

由神经网络检测到的燃烧物体的视频快照如下图所示。

如上所示，所提出的神经网络在火灾探测中是可靠的，可以集成到现代消防系统中而不需要任何其他传感器。这种火灾探测系统的优点是所使用的组件成本相对较低，并具有商用的高性能火灾探测技术。该系统可应用于其他类型的传感器不适合火灾探测的高温设施，如铸造厂、干砂机和热处理工厂。

应该注意的是，机器人和人工智能在危机管理中找到了应用。将视频火灾探测系统与外部、非侵入性、高声功率灭火器相结合是可能的，其构造将在下一节(科学新颖性)中介绍。这种方法非常适合于在火灾发生的第一阶段进行探测和灭火，例如在生产大厅、暴露于火焰发生的专用设备等。

C. 声波灭火测量站

声功率也是一个必不可少的参数。到目前为止，研究的重点是使用极低功率的声波，这使得人们可以扑灭距离系统输出很短的距离内的火焰。研究表明，仅使用低频声波就进行了有效的灭火试验。使用高的和非常高的声功率使我们可以扩大这一距离，而使用摄像机对物体进行视频监控与计算机技术使我们可以快速和准确地检测潜在的火焰。这是由于灭火过程的有效性取决于空气振动的振幅。

该测量站由Rigol DG4102发生器、Proel HPX2800功放和声消器组成。声级计采用SVAN 979。声灭火机的结构如上图所示。

在波导的开始阶段，安装了一个标称功率为1700 W的B&C 21DS115扬声器。从理论角度来看，在封闭端管中所需的波导长度是其两倍。调制和非调制波形都可用于熄灭。对于低频率，需要一个显著的波长，例如，对于20hz的声波，所需波长为闭端管λ1 = 4.28米，而对于开端管λ2 = 8.57米。因此，该声灭器被制成具有单一隧道弯曲的波导，其矩形截面长度为4.28米，这样就可以使用扬声器的全部功率。在实践中，驻波节点形成于谐振管的开口端，而箭头形成于谐振管的闭合端。随着与封闭端距离的增加在管道中，声压在管道开口端减小到最小值(波导输出)。

测量过程中，灭火装置使用大功率声学放大器对输入端进行波形测试，测试参数为:1 V RMS, 1 V RMS × 2√2 = 2.828 V(峰对峰值)。在此基础上，可以确定在给定输入参数(几个频率的声灭火器输出的指定距离L)下，传递给灭火器产生灭火效果的最小功率(P)，以及产生灭火效果的最小声压级(SPL)。

下图显示了灭火器的传输特性。在测量过程中，根据AES2-1984标准，麦克风位于距灭火器输出在装置轴线上1米的距离处。

设计波导的长度以确保有效发射频率范围为15 Hz - 20 Hz的声波(对于单面封闭波导，该长度为4.28 m)。熄灭器的参数在文章中详细说明。

测量过程中的声背景噪声为64.7 dB。这个值表示测量前的声压级。实际上，噪声水平是一个随机变量。因此，可以确定临时噪声水平属于给定范围的概率。LN %可以理解为背景噪声在不超过N %的观测时间内超过某个极限水平(见下表I中的数据)。

例如，在测量过程中，超过73 dB背景噪声水平的时间不超过观测时间的10%，而超过60.5 dB背景噪声水平的时间不超过观测时间的95%。

值得注意的是，所有的测量都是在相同的时间和相同的天气条件下进行的，因此结果是有意义的。Z过滤器按照IEC 61672-1使用。积分周期为15 s。为了获得最稳定的背景噪声水平，在1 s的特定时间间隔内对结果进行平均。这意味着结果每1秒平均一次。

在这些实验中，火焰的来源是燃烧的蜡烛。当使用蜡烛时，与使用扩散火源(如使用气体燃料的模型)不同，火焰是否被熄灭是很清楚的。在气体燃料模型实验中，可以观察到，有时火焰没有完全熄灭，就会被重新点燃。因此，人们认为点源，如蜡烛，可以清楚地观察到灭火过程。火焰高度大约等于20毫米。

5.实验分析

A. 声频对灭火效果影响的实验结果

不仅可以用非调制声波灭火，也可以用调制声波灭火，这一点在实验中得到了证实。除了使用高和非常高的声功率之外，科学上的一个新发现是使用调幅调制波形灭火的可能性的结果。这些试验是在基尔塞作为" InIn+ "项目(第3/2017号)的一部分进行的，该项目由科学和高等教育部共同资助。

对于由方波调制的正弦波形(AM调制，fMOD = fMFreq= 0.125 Hz = const.)，在三个分析频率下，提供给扬声器(能够扑灭火焰)的电力和声压级作为距离灭火器输出(0.1 m, 0.3 m, 0.5 m，和0.7 m)的函数的结果如下所示。作者的意图是提出最小声压级时，灭火效果被观察到，以及最小功率交付到灭火器，导致灭火效果作为选择的输入参数的函数。因此，每个测量都被单独处理和评估。值得注意的是，在10hz - 13hz的频率范围内，火焰没有被熄灭。频率为15hz的结果取决于灭火器输出的距离，如下图所示。

在此背景下，导致灭火效果的最小声压级(SPL)作为距离灭火器输出距离(L)的函数的结果非常有趣(下图)。

频率为17hz的结果取决于灭火器输出的距离，如下图所示。

本研究中分析的最后一个频率的结果，即20hz，取决于灭火器输出的距离，如下图所示。

对于这个频率，导致灭火效果的最小声压级随到灭火器输出距离的函数关系图如下图所示。

文章清楚地证明了声波的扑灭效果取决于声波的频率。随着距离的增加，在声源处需要更多的能量来扑灭火焰。这种现象被观察到每一个频率分析。另一方面，随着到灭火器输出的距离的增加，测量到的声压级与到源距离的平方成反比下降。

6.结论

文章提出的神经网络是可靠的火灾探测，可以集成到现代消防系统，取代其他传感器。该系统的优点是采用了相对便宜的元件和较高的火焰检测精度作为视觉系统。需要注意的是，该系统可用于高温设施，如铸造厂、干砂机和热处理工厂，其他类型的传感器不适合火灾探测。

文章的研究证实了大功率声灭火剂和调幅波形的灭火效果。结果表明，声波频率越低，火焰振荡振幅越大，灭火效果越好。因此，建议使用长波导，但这与技术问题有关。一个关键问题，特别是当使用移动灭火器时，是它们的尺寸(设计师的目标是尽可能减少灭火器的尺寸)。声波是向四面八方发射的，但主要的声波流位于波导的轴线上。毫无疑问，声束的分散缩短了成功灭火的距离。人类直接参与的可能应用范围限制了低频声波对人类健康的影响。因此，在这方面需要仔细分析。文章提出了利用神经网络激活的声灭火机的优点，即有可能在未来用声灭火机取代传统的消防措施。然而，为了使这成为可能，仍然需要大量的研究，包括，例如，集中研究其他波形、调制和火源的影响。另一个问题是确定低频波对建筑结构的影响。另一方面，配备人工智能和模块化机器人的自主消防系统可以在危机情况下使用。

此外，灭火器可以作为一种附加的(支持性的)保护手段。与传统解决方案相比，其毫无疑问的优点是其操作的非侵入性。目前使用的手持灭火剂(例如，灭火泡沫、灭火粉和手泵灭火器)可能对房间或车辆设备(包括电气系统)造成损坏。正如许多其他研究表明的那样，有些溶液对健康有害(例如，哈龙灭火剂，它充满汽化温度很低的液体)。由于在灭火过程中会释放有害气体，目前正在逐步停止使用这种灭火器。一个更好的解决方案似乎是使用灭火毯。然而，在重大火灾的情况下，灭火毯并不是非常有效和危险，特别是对火灾区域内的人员(由于灭火剂的移动会形成不可控的空气爆炸，这造成了烧伤人员和火势蔓延的可能性)。总之，作者提出的使用神经网络控制声波灭火的技术可能构成设备的基本元素，永久安装在房间和车辆，以及暴露于火焰发生的专用设备。

文章描述的技术在未来可能成为一种支持工业大厅安全的技术。当代对图像识别的研究，包括对摄像机监控数据(如建筑物和设备)的计算机分析，在这方面也至关重要。声波灭火技术可以成为仓库或易燃液体罐的消防保障手段。这种解决方案的毫无疑问的优点是，与典型的传统方法相比，灭火和开采的成本要低得多。

Attention

欢迎关注微信公众号《当交通遇上机器学习》！如果你和我一样是轨道交通、道路交通、城市规划相关领域的，也可以加微信：Dr_JinleiZhang，备注“进群”，加入交通大数据交流群！希望我们共同进步！