(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 202110385043.6
(22)申请日 2021.04.09
(71)申请人 泰瑞数创科技（北京）有限公司
地址 100190 北京市海淀区中关村南大街5
号二区683栋20层22
(72)发明人 刘俊伟
(74)专利代理机构 北京中普鸿儒知识产权代理
有限公司 11822
代理人 陈永秀
(51)Int.Cl.
G06T 7/00(2017.01)
G06T 7/73(2017.01)
G06T 19/00(2011.01)
G06F 30/13(2020.01)
G06F 30/27(2020.01)
G06N 20/00(2019.01)
(54)发明名称
法及其系统
(57)摘要
一种基于数字孪生技术的城市桥梁道路诊
断方法以及系统，其中所述方法包括如下步骤：
S1提供服务器，获取城市地理坐标系，对道路区
域划分；S2城市语义模型的坐标系以及道路标引
库的建立；S3道路诊断传感器的设置，无人机现
实增强（AR ）装配；S4道路结构健康的时间动态模
型建立；S5无人机飞抵感兴趣的道路所在区域进
行现实场景的病害分布诊断。本发明提供的方法
上呈现出强实时性、强可视性、动态性、精确性以
及高效性。权利要求书4页 说明书11页 附图5页CN 112802021 A 2021.05.14
C N 112802021
A
1.一种基于数字孪生技术的城市桥梁道路诊断方法，其特征在于，包括如下步骤：
S1提供服务器，获取城市地理坐标系，对道路区域划分；
S2 城市语义模型的坐标系，无人机坐标系以及道路标引库的建立；
S3 道路诊断传感器的设置，无人机现实增强装配；
S4 道路结构健康的时间动态模型建立；
S5 无人机飞抵感兴趣的道路所在区域进行现实场景的病害分布诊断。
2.根据权利要求1所述的方法，其特征在于，其中，S1具体包括：服务器获取城市地理坐标系，其中城市地理坐标系E具体是选择标准建筑基底靠南和靠西的边缘分别为X轴和Y轴，两者直角顶点为原点O作为基准点而建立；采用路网提取模型对城市道路进行道路区域划分。
3.根据权利要求2所述的方法，其特征在于，所述路网提取模型包括：利用RNN循环神经网络算法，通过节点生成器生成道路连续节点，并在生成过程中连接生成前后的两个节点，将新的生成节点输入节点
生成器不断产生新的节点，而继续连接产生的新节点，如此循环而连接成路网；其中，节点生成器包括编码器以及解码器。
4.根据权利要求3所述的方法，其特征在于，所述路网提取过程包括：将城市网格化处理，针对每个格点g进行分路网d提取，将每个格点g的分路网d融合形成城市路网C；其中，节点生成的过程具体包括：S1‑1利用遥感影像图对城市进行网格化处理，对于每个格点g从格点几何中心c出发到距离所述几何中心c最近、次近以及逐渐远的n个起始节点，n∈[1, 10]；S1‑2定义步长l以及矢量方向r作为属性矢量V，将每个起始节点以及K条入射路经方向
，的点作为输入点，将K+1个输入点以及属性矢量V输入编码器，由
解码器生成新节点；对于每一个起始点的每一个方向的输入点，对应了在E下的坐标
，属性矢量V对应于坐标增量，将该坐标和属性矢量V输入编
码器，解码器将出射在E下生成的新节点(，)，其中，
，所述步长l是指当前节点到下一个节点之间的直线距离l=1‑5m，t 表示当前输入点的序号；
S1‑3以所述新节点为起始点重复步骤S1‑1和S1‑2，直到格点g中所有道路提取完毕生成分路网d。
5.根据权利要求4所述的方法，其特征在于，S2具体包括：
S2‑1在城市语义模型到对应的城市地理基准点O作为城市语义模型的坐标系I的原点o，建立城市语义模型的坐标系I，所述建立无人机坐标系F具体包括，选择AR装置上的一点作为坐标原点o’，平行于投放屏幕的左向为a轴，垂直于a轴向上为b轴，垂直于ao'b平面向后的为c轴，建立无人机坐标系F；
S2‑2 在S1中的所述城市路网C中的每个节点在城市语义模型的俯视图中进行标记，形成模型路网M；将模型路网M中的每个节点在I下和E下的坐标（X,Y,H）和（x，y，H），以及城市路所在道路标引p作为标引数据建立道路标引库Q，其中道路标引p包括道路名称，以及道路
历史结构健康数据，其中，H为无人机飞抵感兴趣的区域时，其定位的预设高度H，H=0.3‑200m；S3中诊断传感器为诊断光声传感器。 6.根据权利要求5所述的方法，其特征在于，S3具体包括：
S3‑1以固定方式和/或可移动方式设置诊断光声探测器，并对诊断光声探测器进行定期校准；
S3‑2将无人机分为模型训练用无人机和检测用无人机，所述模型训练用无人机搭载诊断光声探测器，所述检测用无人机上搭载相机和AR装置，所述AR装置的目视镜片位于相机镜头正前方；
S3‑3服务器，诊断光声探测器以及无人机三者之间无线通讯，将标引库Q以及城市语义模型保存在服务器中，其中，
S3‑1中所述固定方式包括在预设的间隔距离3‑100m区域内的道路两侧和/或道路中心固定诊断光声探测器，或在交通监控抓拍龙门架横梁中心固定诊断光声探测器；
所述可移动方式包括在预设的间隔距离300‑500m区域内的道路两侧和/或中心各设置一个行走机器人，通过行走机器人搭载诊断光声探测器，行走机器人各自对所在区域的道路进行实时检测，和/或，使用搭载诊断光声探测器的无人机根据检测需要定时对道路各部位进行飞抵检测；两种方式设置的诊断光声探测器记录检测数据发送给服务器，积累历史数据，其中，
对于高架路和桥梁这样的道路，所述的道路中心包括了在墩上的铺设的诊断光声探测器，
所述定期校准具体包括，对于固定诊断光声探测器和行走机器人搭载诊断光声探测器开展的检测，将标准光声检测器搭载于车辆上，沿着城市路网C对设置的诊断光声探测器进行校准；对于搭载诊断光声探测器无人机开展的检测，则直接利用标准光声检测器进行校准；校准每隔1‑6个月进行一次，检测激光、声波波段扫描功能以及激光和声波标定参数，标定参数与标准参数做对比得到偏差，并以该偏差作为检测结果的校正参考值，当偏差超过预设偏差值时则对该光声探测器进行维修或更换。
7.根据权利要求5或6所述的方法，其特征在于，S4具体包括：
S4‑1对于每个格点g，在每隔预设时段T将步骤S3中的每一个诊断光声探测器发出激光照射至道路表面，服务器根据光声数据绘制激光照射下道路的声压伪彩分布图，对图像进行偏差校正处理，去噪；通过时间反演算法利用经偏差校正去噪处理的声压伪彩分布图重
，所述去噪包括对检测时车辆、行人以及其他建道路的伪彩光声图像，并记录检测时间点t
m
物体引起的声压分布的去除，其中T=1‑15天；
S4‑2服务器进一步将道路的伪彩光声图像网格化，利用模态分解法从所述伪彩光声图像的每个格点中提取非平稳随机初始光声信号，将所述非平稳随机初始光声信号增强处理，并重新融合到所在的道路的伪彩光声图像的相应格点位置中；对没有分布非平稳随机初始光声信号的网格点中的像素全部修改成预设的伪彩值，形成检测图像，将检测图像分为训练集以及验证集，训练集以及验证集比例为5:1‑1:1；
S4‑3利用增强处理的非平稳随机初始光声信号和检测图像建立机器学习模型，以月和/或年为单位，将每月和/或每年建立的模型形成模型库A存入服务器中，其中检测时间点为0表示新建成的道路时的第一次测量时间点，所述机器学习模型包括深度神经网络模型
(DNN)，支持向量机（SVM），或生成对抗网络(GAN)；
所述建立机器学习模型，以月和/或年为单位，将每月和/或每年建立的模型形成模型库A存入服务器中具体包括：以道路建成出第一次测量为起始点，每隔T时间段对道路进行检测，每次检测进行5‑10个重复试验；当完成当月和/或当年的所有检测时，将增强处理非平稳随机初始光声信号，检测图像为输入端不断训练得到每一个诊断光声探测器的模型，
，
如此进行多月和/或多年模型并通过验证集验证获得该探测器的当月和/或当年的模型A
1
（i=N，N为预设的检测建立获得格点g内每一个诊断光声探测器的多个不同的模型A
i
的总月和/或总年数），将多个不同的模型A
构建成模型库A存入服务器中，并通过存在增强
i
处理的非平稳随机初始光声信号的检测图像训练获得缺陷类型识别模型一并存入模型库A
为每个格点中的探测器数。中，则模型库A中总的模型数为，其中e为城市总格点数，f
j
8.根据权利要求7所述的方法，其特征在于，S5具体包括：
S5‑1让检测用无人机飞抵感兴趣的格点g’中，实时获取检测用无人机在E下的当前坐标位置；
S5‑2检测用无人机拍摄现实场景视频，并寻所述视频中存在的格点g’中是否存在节点，具体包括：
检测用无人机向所述服务器发送坐标原点o’处拍摄的实时视频影像，服务器根据城市语义模型，确定模型中对应原点o’之处相机拍摄半径为R的范围内的对应的模型路网M’在标引库Q中是否存在节点坐标，如果不存在则监控中心控制所述检测用无人机调整位置，直到出现节点；
服务器控制视频中R范围内存在的格点g’中节点所在道路的至少一个诊断光声探测器启动对相应道路进行检测，得到对应的至少一个检测图像；将每个检测图像中的增强处理的非平稳随机初始光声信号代入模型库A中各诊断光声探测器对应的N个模型，所述至少一个诊断光声探测器中每一个得到的N幅结果图像中的每一幅都与对应的检测图像做差分而获得N个差分图像，N个差分图像中的存在缺陷的格点像素伪彩值最小者对应的代入模型所对应的月和/或年数即为该缺陷真实从道路新建至今的月和/或年数；
S5‑3将检测到缺陷的检测图像的诊断光声探测器所在E下的坐标发送给服务器，服务器在城市语义模型中到对应的点，并将该对应的点以及相应的检测图像数据投影到现实场景视频画面pic1中对应处形成标记以及检测图像信息，和/或在所述检测用无人机上搭载的AR装置目视镜片正前方投放屏幕前相机视野场景对应处形成标记以及检测图像信息；
S5‑4服务器将该标记有所述对应的点以及检测图像信息的现实场景视频画面以及检测图像信息，和/或检测用无人机上搭载的AR装置将标记有所述对应的点以及检测图像信息投放屏幕前相机视野场景的视频画面pic2以及检测图像信息传送给所述监控中心，以实时在检测用无人机中的相机视角下看到对应的检测到缺陷的诊断光声探测器位置；
S5‑5改变检测用无人机拍摄角度和/或位置，重复步骤S5‑2‑S5‑4获得不同的标记有所述对应的点以及检测图像信息的视频画面pic1和/或pic2，其中，所述改变检测用无人机位置包括在格点g’内或城市网格化处理后的其他格点内。
9.根据权利要求8所述的方法，其特征在于，S5‑3中所述对应的点是检测到缺陷的检测图像的诊断光声探测器激光出射口的几何中心，获得该几何中心在E下的位置，或者，所述
对应的点是所述检测图像上缺陷所在的格点中至少一点，并以光声成像范围为基础，获得每个缺陷所在的格点中至少一点作为所述对应的点在E下的位置，并且S5‑3中将该对应的点以及相应的检测图像数据投影到现实场景视频画面pic1中对应处形成标记以及检测图像信息进一步包括：
S5‑3‑1在检测用无人机到节点后所处的当前位置，相机将拍摄的现实场景视频画面pic1，以及F的原点o’在E下的坐标发送给服务器，所述现实场景视频画面pic1与相机视野场景相对应，两者都具有相同的坐标系F；
S5‑3‑2将坐标系I和E重合，所述服务器将相机拍摄半径为R的范围内的所述对应的点标记在城市语义模型中对应的模型路网M’中，并将现实场景视频画面pic1匹配到该模型中的所述当前位置，使得在AR装置中坐标系F的原点o’和b轴矢分别和该模型中到的对应于o’的点和I下的对应的b轴矢重合，此时将在该模型中到的所述对应的点垂直投影到所述现实场景视频画面pic1中，并在现实场景视频画面pic1顶部显示相应的检测图像数据，所述相应的检测图像数据包括检测图像中所提取的缺陷特征，缺陷类型，道路新建至今的年
中至少一种，所述缺陷类型由模型库A中预先训练好份，缺陷产生至今时长，检测时间点t
m
的深度学习模型给出，其中，使用标记符号将缺陷特征，缺陷类型，道路新建至今的年份，缺陷产生至今时长，检测时间点t
中至少一种指示到投影附近；
m
而S5‑3中在检测用无人机上搭载的AR装置目视镜片正前方投放屏幕前相机视野场景对应处形成标记以及检测图像信息进一步包括：
S5‑3‑1以及进行到S5‑3‑2中使得在AR装置中坐标系F的原点o’和b轴矢分别和该模型中到的对应于o’的点和I下的对应的b轴矢重合之后，所述服务器将在该模型中到的所述对应的点投放在AR装置目视镜片正前方投放屏幕对应处显示，并由相机拍摄显示后的视频画面pic2，存入AR装置中；并在显示后的视频画面顶部显示相应的检测图像数据，所述相应的检测图像数据包括检测图像中所提取的缺陷特征，缺陷类型，道路新建至今的年份，缺
中至少一种，所述缺陷类型由模型库A中预先训练好的深度陷产生至今时长，检测时间点t
m
学习模型给出，其中，使用标记符号将缺陷特征，缺陷类型，道路新建至今的年份，缺陷产生
中至少一种指示到已投放显示的所述对应的点附近。
至今时长，检测时间点t
m
10.一种实现如权利要求1‑9中任一项所述基于数字孪生技术的城市桥梁道路诊断方法的系统，其特征在于，所述系统包括，模型训练用无人机，检测用无人机，服务器，监控中心，设置在道路上或搭载于模型训练用无人机上的诊断光声探测器，用于校准诊断光声探测器的标准光声检测器，其中，
所述模型训练用无人机上搭载有诊断光声探测器，所述检测用无人机上搭载有相机以及AR装置，使得AR装置的现实场景观察区位于相机镜头正前方；
所述AR装置包括可穿戴式AR眼镜，所述可穿戴式AR眼镜包括透明材料制成的主体框架，目视镜片，投放屏幕，投影器，处理器、坐标定位器，无线数据收发器；
所述服务器包括了一种计算机可读非暂时性存储介质，其中存储有可由所述处理器运行而实现如权利要求1‑9中任一项所述城市道路的无人机现实增强诊断方法的程序；
所述监控中心用于对模型训练用无人机，检测用无人机进行飞行导航，以及调用服务器中的标引库和模型库中的数据对诊断结果进行分析、处理、以及实时监测。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议