(19)国家知识产权局
(12)发明专利
(10)授权公告号 (45)授权公告日 (21)申请号 202011405061.8
(22)申请日 2020.12.04
(65)同一申请的已公布的文献号
申请公布号 CN 112381060 A
(43)申请公布日 2021.02.19
(73)专利权人 哈尔滨工业大学
地址 150001 黑龙江省哈尔滨市南岗区西
大直街92号
(72)发明人 黄永 于建琦 林旭川 李惠
(74)专利代理机构 哈尔滨市阳光惠远知识产权
代理有限公司 23211
专利代理师 孙莉莉
(51)Int.Cl.
G06V 20/13(2022.01)
G06V 10/26(2022.01)
G06V 10/774(2022.01)G06V 10/764(2022.01)G06V 10/82(2022.01)G06K 9/62(2022.01)G06N 3/04(2006.01)G06N 3/08(2006.01)(56)对比文件CN 109543616 A ,2019.03.29WO 2011065419 A1,2011.06.03CN 111126183 A ,2020.05.08黄永 等.基于分形理论和小波包变换的损伤识别方法.《第六届全国土木工程研究生学术论坛》.2008，审查员 曹春晓 (54)发明名称
分类方法
(57)摘要
本发明提出一种基于深度学习的建筑物地
震破坏等级分类方法，涉及地震工程领域，首先，
基于区域内单体建筑的拍摄，获得其地震破坏和
经网络快速准确地对所摄图像中的建筑物实行
对分割出的建筑物进行受震损伤分类。本发明可
以快速高效地对受震区域内的建筑进行准确地
损伤分类，基于深度学习的图像分类方法，可以
利用深度神经网络的计算能力以及快速的决策
能力，代替现场人工评估，大幅度减少时间和精
力耗费，在保证准确率的情况下对大范围的受震
区域内建筑是否倒塌进行高效判断。权利要求书2页 说明书6页 附图7页CN 112381060 B 2022.05.20
C N 112381060
B
1.一种基于深度学习的建筑物地震破坏等级分类方法，其特征在于，所述方法包括：步骤一、基于无人机航拍对地震区域内单体建筑拍照，收集其地震破坏和损伤图像，建立图像集A，并对图像集A中图像进行标注；
步骤二、利用Cityscapes数据集和标注过的图像集A，对用于图像分割的深度神经网络DeepLabV3+进行训练得到图像分割神经网络模型M s ，利用M s 对图像集A中的建筑物图像实行分割，得到分割后的图像集B；在分割过程中，利用单体建筑物立面图像数据实现建筑物的分割；
步骤三、基于图像集B建立用于图像分类训练的数据集C，通过迁移学习在数据集C上对用于震害损伤分类的深度神经网络Resnext ‑50进行训练，得到图像分类神经网络模型M c ；
步骤四、根据步骤三得到的图像分类神经网络模型M c 对待评估受震区域内建筑图像进行分类，判断是否倒塌；
所述步骤二具体为：
步骤2.1、在cityscapesscripts里的label文件里原始分类共19类，
将不需要的fence、pole、traffic light、traffic sign和train五类的trainid栏值改为255，并将所述五类的ignoreInEval栏值改为True，然后重新按顺序将剩余的14类进行排序；
步骤2.2、在PyTorch上基于步骤2.1中修改分类后的Cityscapes数据集，对用于图像分割的深度神经网络DeepLabV3+进行训练得到图像分割神经网络模型M sp 并保存其网络参数θsp ；
步骤2.3、在PyTorch上加载步骤2.2中得到的图像分割神经网络模型M sp ，同时按1:1随机将图像集A分为A 1和A 2两部分，并基于图像集A 1对该图像分割神经网络模型M sp 进行训练更新得到图像分割神经网络模型M s ，并保存更新后模型对应的网络参数θs ；
图像分割是在像素级别上的分类，属于同一类的像素都要被归为一类，图像分割神经网络模型M s 的分割准确率由交占比IoU进行评价：
其中TP，FP和FN分别表示真阳性，假阳性和假阴性像素计数；
步骤2.4、重复步骤2.1至步骤2.3，共N次；N为重复训练回合数；选出在步骤2.3中获得的对图像集A 2中的图像表现最优的图像分割神经网络模型M s ，对整个图像集A进行分割；
步骤2.5、将分割后的图像集A原图中的建筑物从其复杂背景中提取出来形成图像集B，所述图像集B由倒塌类B f 和非倒塌类B t 组成；
所述步骤2.5具体为：
步骤2.5.1、图像集A中图像均为.jpg格式，通过图像分割神经网络模型M s 对图像集A 2中的图像进行分割后得到与之对应的.png格式的彩mask，不同类像素用不同颜表示；仅将彩mask中表示building类的像素进行提取，并将其转换为二值图像；
步骤2.5.2、将图像集A原图的像素值与二值图像的像素值对应相加，得到移除遮罩后的图像，即可将原图中的建筑物从其复杂背景中提取出来；
步骤2.5.3、将步骤2.5.2得到的所有图像保存形成图像集B，所述图像集B由倒塌类B f 和非倒塌类B t 组成。
2.根据权利要求1所述的方法，其特征在于，所述步骤一具体为：
步骤1.1、基于无人机航拍对地震区域内单体建筑拍照，收集其地震破坏和损伤图像，组成图像集A；
步骤1.2、基于图像集A中每一张图像，按照Cityscapes数据集的格式，利用Labelme工具对图像中的每一类物体进行标注并命名。
3.根据权利要求2所述的方法，其特征在于，所述步骤三具体为：
步骤3.1、将图像集B中B f 和B t 的图像按照6:2:2分为训练集、验证集和测试集，形成数据集C；
步骤3.2、在PyTorch上加载基于ImageNet上训练得到的ResNeXt ‑50预训练模型，基于步骤3.1中制作的数据集利用迁移学习的方法对第五部分的卷积块和最后的全连接层的权重进行训练更新；模型训练的过程中，输入图像尺寸Input size为256×256大小的彩图像；优化器采用带动量的随机梯度下降算法，动量设置为0.9；初始学习率设置为2×10‑3，然后随着迭代次数的增加，减小学习率；损失函数选择使用交叉熵CrossEntropy；由于训练数据有限，对全连接层通过采用丢弃法dropout以避免过拟合，dropout比率设置为0.5；该预训练模型以批尺寸batch size为32，迭代周期epoch数为80进行训练，最终得到图像分类神经网络模型M c 并保存其网络参数θc ；
步骤3.3、在PyTorch上加载在步骤3.2中得到的图像分类神经网络模型M c ，在图像集B中的验证集和测试集上进行测试，验证震后建筑损伤等级判定模型即M c 的准确度。
一种基于深度学习的建筑物地震破坏等级分类方法
技术领域
[0001]本发明属于地震工程技术领域，特别是涉及一种基于深度学习的建筑物地震破坏等级分类方法。
背景技术
[0002]在建筑物区域震害评估中，由于地震发生后需要对震害区域的建筑损坏情况进行快速评估，以及时获取建筑受震后的破坏等级和数量，便于震后的辅助决策和应急救援的展开。如何在准确地对震害区域内建筑进行破坏等级划分的同时又可以满足时效性的要求，即在震后及时调查灾害的分布和数量实行震害的快速评估，是降低地震灾害损失的有效途径。基于这种现状，需要发展一种有效的建筑物地震破坏等级分类方法。
[0003]以人工评估为基础的现场评价方法广泛应用于震后灾区调研和勘察当中。传统的人工评估是通过派遣地震专家或结构工程师到地震灾区进行专业判断，手持相机拍照，采集图像信息后，手工评估建筑物的损坏程度。现场评估是最为准确的的评估方式，但是以人工检查为基础的现场评估虽然结果准确但耗时费力。
[0004]与人工评估相比，遥感评估可以在较短的时间内获取更大范围内的建筑物破坏情况，提高了工作效率。用于遥感评估的传感器类型包括光学传感器、合成孔径雷达传感器(SAR)和光探测和测距传感器(LiDAR)。利用高分辨率航空影像可进行基于光学的建筑物损伤遥感。与基于光学的遥感相比，SAR遥感和LiDAR遥感不会受到视野条件的影响。但是由于雷达和卫星所处高度较高，获取的建筑物图像和点云数据难以检测到建筑外立面的损伤。[0005]近年来得益于多旋翼无人机的迅速发展与应用，基于其机
动灵活的特点，可获取多角度的建筑损伤图像，与卫星或固定翼飞机等传统遥感平台相比，多旋翼无人机能够在相对较低的高度巡航或悬停，并提供更详细的建筑外观遥感数据，该平台越来越多地应用于区域地震损伤评估和城市规划。随着卷积神经网络(CNN)的发展，尤其是全卷积神经网络模型(FCN)提出以来，基于深度学习语义分割模型迅速发展，如SegNet，PSPNet可以实现对目标对象的图像语义分割。本发明使用深度神经网络DeepLabV3+对震害后建筑图像进行分割，实现在复杂图像背景下对建筑物的提取。基于深度学习的基础设施损伤评估近年来得到了广泛的应用，基于深度学习图像分类模型可实现对震后建筑物是否倒塌的自动分类。
发明内容
[0006]本发明目的是为了解决在建筑物区域震害评估中，既能准确地对震害区域内建筑进行破坏等级划分，同时又可以满足评估时效性的要求的问题，提出了一种基于深度学习的建筑物地震破坏等级分类方法。本发明所述方法基于利用深度神经网络对获取的震后建筑图像进行提取和识别，以判断震后建筑物是否倒塌的自动化分类。
[0007]本发明是通过以下技术方案实现的，本发明提出一种基于深度学习的建筑物地震破坏等级分类方法，所述方法包括：
[0008]步骤一、基于无人机航拍对地震区域内单体建筑拍照，收集其地震破坏和损伤图
像，建立图像集A，并对图像集A中图像进行标注；
[0009]步骤二、利用Cityscapes数据集和标注过的图像集A，对用于图像分割的深度神经
网络DeepLabV3+进行训练得到图像分割神经网络模型M
s ，利用M
s
对图像集A中的建筑物图像
实行分割，得到分割后的图像集B；
[0010]步骤三、基于图像集B建立用于图像分类训练的数据集C，通过迁移学习在数据集C 上对用于震害损伤分类的深度神经网络Resnext‑50进行训练，得到图像分类神经网络模型M
c
；
[0011]步骤四、根据步骤三得到的图像分类神经网络模型M
c
对待评估受震区域内建筑图像进行分类，判断是否倒塌。
[0012]进一步地，所述步骤一具体为：
[0013]步骤1.1、基于无人机航拍对地震区域内单体建筑拍照，收集其地震破坏和损伤图像，组成图像集A；
[0014]步骤1.2、基于图像集A中每一张图像，按照Cityscapes数据集的格式，利用Labelme工具对图像中的每一类物体进行标注并命名。
[0015]进一步地，所述步骤二具体为：
[0016]步骤2.1、在cityscapesscripts里的label文件里原始分类共19类，将不需要的fence、pole、traffic light、traffic sign和train五类的trainid栏值改为255，并将所述五类的ignoreInEval栏值改为True，然后重新按顺序将剩余的14类进行排序；
[0017]步骤2.2、在PyTorch上基于步骤2.1中修改分类后的Cityscapes数据集，对用于图
像分割的深度神经网络DeepLabV3+进行训练得到图像分割神经网络模型M
sp
并保存其网络
参数θ
sp
；
[0018]步骤2.3、在PyTorch上加载步骤2.2中得到的图像分割神经网络模型M
sp
，同时按1:
1随机将图像集A分为A
1和A
2
两部分，并基于图像集A
1
对该图像分割神经网络模型M
sp
进行训
练更新得到图像分割神经网络模型M
s ，并保存更新后模型对应的网络参数θ
s
；图像分割是在
像素级别上的分类，属于同一类的像素都要被归为一类，图像分割神经网络模型M
s
的分割准确率由交占比IoU进行评价：
[0019]
[0020]其中TP，FP和FN分别表示真阳性，假阳性和假阴性像素计数；
[0021]步骤2.4、重复步骤2.1至步骤2.3，共N次；N为重复训练回合数；选出在步骤2.3中
获得的对图像集A
2中的图像表现最优的图像分割神经网络模型M
s
，对整个图像集A进行分
割；
[0022]步骤2.5、将分割后的图像集A原图中的建筑物从其复杂背景中提取出来形成图像
集B，所述图像集B由倒塌类B
f 和非倒塌类B
t
组成。
[0023]进一步地，所述步骤2.5具体为：
[0024]步骤2.5.1、图像集A中图像均为.jpg格式，通过图像分割神经网络模型M
s
对图像
集A
2
中的图像进行分割后得到与之对应的.png格式的彩mask，不同类像素用不同颜表示；仅将彩mask中表示building类的像素进行提取，并将其转换为二值图像；
[0025]步骤2.5.2、将图像集A原图的像素值与二值图像的像素值对应相加，得到移除遮
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议