(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201911352792.8
(22)申请日 2019.12.25
(71)申请人 左一帆
地址 330000 江西省南昌市西湖区八一大
道275号10栋3单元402户
(72)发明人 左一帆 方玉明 温文瑛 杨勇
商习武
(74)专利代理机构 北京科亿知识产权代理事务
所(普通合伙) 11350
代理人 汤东凤
(51)Int.Cl.
G06T 7/50(2017.01)
G06T 7/40(2017.01)
G06T 7/11(2017.01)
G06T 5/00(2006.01)
G06N 3/04(2006.01)G06T 3/40(2006.01)
(54)发明名称
方法
(57)摘要
本发明涉及一种基于深度卷积神经网络的
征，基于卷积神经网络逐步提取纹理图多尺度指
导特征，该设计有效提升多尺度指导特征提取的
质量；利用稠密连接优化指导特征的使用效率，
逐步细化深度图特征；此外，通过引入全局和局
部残差学习，
实现低质量深度图多频率成分逐步恢复。本发明能够获得高质量深度图，且易于使
用，
具有运行速度快的优点。权利要求书1页 说明书5页 附图3页CN 111080688 A 2020.04.28
C N 111080688
A
1.一种基于深度卷积神经网络的深度图增强方法，其特征在于：包括以下步骤：
步骤1 ：准备阶段，构建用于训练深度卷积神经网络的纹理图和深度图图像对； 步骤2 ：网络构建阶段，构建深度卷积神经网络由粗到细地增强深度图；
步骤3 ：训练阶段，设计损失函数，迭代优化损失函数，减少损失代价；
步骤4 ：测试阶段，输入测试高分辨率纹理图和低分辨率深度图，获取增强的深度图。
2.根据权利要求1所述的一种基于深度卷积神经网络的深度图增强方法，其特征在于：将网络中收集的高分辨率纹理图和深度图裁剪成具有重叠区域的子图像对，并适当通过旋转和加噪增强训练集；然后，将训练集分为训练数据集和验证数据集两部分，在训练过程中，随机读取训练数据中的图像对作为神经网络的输入。
3.根据权利要求2所述的一种基于深度卷积神经网络的深度图增强方法，其特征在于：利用稠密连接优化指导特征的使用效率，逐步细化深度图特征，保持高分辨率纹理图特征，基于卷积神经网络逐步提取纹理图多尺度指导特征，通过引入全局和局部残差学习，实现低质量深度图多频率成分逐步恢复。
4.根据权利要求3所述的一种基于深度卷积神经网络的深度图增强方法，其特征在于：对于受到高斯噪声污染的测试深度图，选用加噪训练数据训练模型，并选择二范数设计损失函数；对于无噪测试深度图，选用无噪训练数据训练模型，并选择一范数设计损失函数。
5.根据权利要求4所述的一种基于深度卷积神经网络的深度图增强方法，其特征在于：参数随机初始化，使用Adam优化器迭代优化损失函数，其中在迭代过程中步长逐步减小，当验证集上的性能连续5个训练集遍历都无法改善时，停止训练过程。
6.根据权利要求4所述的一种基于深度卷积神经网络的深度图增强方法，其特征在于：读取测试的纹理图和低质量深度图，通过深度卷积神经网络前向传播，获取高质量深度图。
7.根据权利要求4所述的一种基于深度卷积神经网络的深度图增强方法，其特征在于：其中，构造深度卷积神经网络：该网络包含两个支路，即指导特征提取支路和深度图增强支路，在指导特征提取支路中设立高分辨率纹理特征提取部分，多尺度指导特征直接从该部分通过Maxpooling获取；
指导特征提取支路逐步2下采样高分辨率纹理图指导特征，而深
度图增强支路逐步2上采样深度图特征；在每个尺度的深度图特征细化过程中，当前尺度纹理指导特征、深度图特征与所有粗尺度指导特征、深度图特征稠密连接；采用全局残差学习一方面使得仅仅需要通过网络恢复高质量深度图与初始增强的深度图之间的残差信息，另一方面大部分网络单元仅需要生成高频细节相关的特征；除全局残差学习外，每个深度图特征细化单元均引入局部残差学习，侧重当前尺度下高频率频率细节的恢复；其中，基本组成单元的计算公式如下所示；
(2)
(3)
(4)其中，和分别是输出特征和输入特征，和是卷积层的滤波器权重和偏置，代表Prelu激活函数，是可学习的标量，和分别表示卷积和转置卷积操作。
权 利 要 求 书1/1页CN 111080688 A
一种基于深度卷积神经网络的深度图增强方法
技术领域
[0001]本发明涉及一种基于深度卷积神经网络的深度图增强方法，其为一种基于多尺度指导稠密连接神经网络的深度图增强方法，属于多媒体技术领域，具体属于数字图像和数字视频处理技术领域。
背景技术
[0002]围绕深度图增强，近年来，大量方法被提出，本发明基于深度卷积神经网络挖掘高分辨率纹理图多尺度指导特征，由粗到细重构深度图丢失的多频率成分。
[0003]深度图增强方法按照是否使用训练集，可以分为两类：基于模型定义的方法和基于数据驱动的方法。基于模型定义的方法不需要训练集，它可以分为基于滤波的方法和基于全局优化的方法。基于滤波的方法通过优化局部区域，独立计算每个像素的深度值。Kopf 等人提出的联合双边滤波器（JBU）框架是首个基于滤波器的深度图增强方法。低分辨率深度图边界在配对的高分辨率纹理图边界的引导下，使用双边滤波器技术增强。Liu等人提出了一个JBU方法的变种，将颜和图像坐标构成联合空间以替代这两者的独立空间，并在该联合空间上通过计算测地距获取自适应加权平均的权重。Yang等人在预设的深度值标签下计算代价集合，并迭代优化深度图。该代价集合中的每一个元素都是在特定深度值标签下使用联合双边滤波器计算得到。He等人提出一种用于深度图增强的图像引导滤波。它假设算法输出和匹配的引导图之间的边界出现的位置是一致的，并将这两张图像的关系建模成局部线性以仿真该假设。Min等人提出一种基于深度值标签的联合直方图加权模式滤波器（WMF）。该算法在一范数最优的条件下增强深度图，其获取的结果相比于二范数最优的方法展示出对异常值的鲁棒性。Lo等人提出一种联合三边滤波器用于深度图增强。该滤波器与联合双边滤波器不同的是其引入了低分辨率深度图的局部梯度信息。与Lo等人不同，Hua等人提出的深度图超分辨率重建算法采用层次递进滤波过程充分利用了深度图
的局部梯度信息。基于滤波器的算法复杂度较低，但由于它仅仅考虑局部信息，所以其去噪能力有限。[0004]与基于滤波器的算法比较，基于全局优化的方法对噪声更鲁棒。Diebel等人将深度图超分辨率重建建模成马尔可夫随机场中的多标签优化问题。Lu等人在Diebel等人的框架下设计了一个更符合深度图统计特性的数据项。Zhu等人通过在能量函数中引入空间和时域信息将静态马尔可夫随机场拓展为动态马尔可夫随机场。该模型提升了动态场景深度图超分辨率重建的准确性和稳定性。Park等人将非局部约束正则项引入能量函数，并提出一个该项的自适应权重计算方法。该权重的计算由高分辨率纹理图中的边界、梯度和分割信息联合决定。Ferstl等人设计了一个二阶变分平滑性约束作为能量函数正则项，并使用由高分辨率纹理图中提取的各向异性张量引导深度图超分辨率重建。Yang等人基于自回归模型（AR）实现了深度图超分辨率重建。每个像素的自回归预测器由初始上采样的深度图的局部信息和与其配对的高分辨率纹理图的非局部相似性决定。Liu等人使用基于鲁棒的M估计器设计了约束正则项。它对在深度图超分辨率重建任务中深度图与配对的纹理图边界不一致的问题给出了隐式的解决方案。尽管该类方法相比于基于滤波的方法更鲁棒，但是，其
和基于滤波的方法一样，预设的模型并不能精细的描述深度图和纹理图之间的关系。[0005]与基于模型的方法不同，基于数据驱动的方法通过使用训练数据，从数据中拟合低分辨率深度图和高分辨率深度图之间的映射关系。Li等人首次将稀疏编码用于引导性深度图超分辨重建中。它联合训练了低分辨率深度图像块、高分辨率深度图像块和高分辨率纹理图像块的三个字典。在重建阶段，深度图使用在已学习到
的字典上的稀疏表示得到增强。Kwon等人使用多尺度训练机制联合训练了低分辨率深度图像块、高分辨率深度图像块和高分辨率纹理图像块的三个字典。此外，该方法在重建阶段的目标函数中显式对图像块之间的重叠区域附加了一致性约束。Kiechle等人将分析算子的共轭稀疏性用于纹理-深度图像对中，并使用数据项和基于纹理引导的稀疏限制重建高分辨率深度图。除了稀疏编码，最近发表的基于深度卷积神经网络的工作展现出比传统机器学习方法（支持向量机、稀疏编码）更强大的模型表征能力。Dong等人首次将深度卷积神经网络引入彩图超分辨率重建任务中。不同于Dong等人提出的网络，本专利提出的网络不使用固定的上采样参数，这些参数均通过学习获取。Hui等人首次提出一个用于深度图超分辨率重建的多尺度引导性深度卷积神经网络。它通过多尺度融合机制使用高分辨率纹理图特征增强低分辨率深度图特征。然而，已有的深度卷积神经网络的指导特征利用率低，无法综合运用多尺度指导特种增强深度特征。
[0006]鉴于现有方法的缺点， 需要一种简洁而有效的纹理图指导特征提取和使用方法。本发明提出一种基于多尺度指导特征稠密连接的深度卷积残差网络用于增强深度图。
发明内容
[0007]本发明所要解决的技术问题在于提供一种基于深度卷积神经网络的深度图增强方法，在由粗到细的深度图增强框架下，通过保持高分辨率纹理图特征，基于卷积神经网络逐步提取纹理图多尺度指导特
征，该设计有效提升多尺度指导特征提取的质量；利用稠密连接优化指导特征的使用效率，逐步细化深度图特征；此外，通过引入全局和局部残差学习，实现低质量深度图多频率成分逐步恢复，当前的工作为进一步探讨将深度卷积神经网络方法用于深度图增强提供了一种可选择的网络框架。该方法给进一步研究基于深度卷积神经网络的深度图增强提供了一种新的思路。
[0008]一种基于深度卷积神经网络的深度图增强方法，其特征在于：包括以下步骤：步骤1 ：准备阶段，构建用于训练深度卷积神经网络的纹理图和深度图图像对；
步骤2 ：网络构建阶段，构建深度卷积神经网络由粗到细地增强深度图；
步骤3 ：训练阶段，设计损失函数，迭代优化损失函数，减少损失代价；
步骤4 ：测试阶段，输入测试高分辨率纹理图和低分辨率深度图，获取增强的深度图。[0009]进一步地，将网络中收集的高分辨率纹理图和深度图裁剪成具有重叠区域的子图像对，并适当通过旋转和加噪增强训练集；然后，将训练集分为训练数据集和验证数据集两部分，在训练过程中，随机读取训练数据中的图像对作为神经网络的输入。
[0010]进一步地，利用稠密连接优化指导特征的使用效率，逐步细化深度图特征，保持高分辨率纹理图特征，基于卷积神经网络逐步提取纹理图多尺度指导特征，通过引入全局和局部残差学习，实现低质量深度图多频率成分逐步恢复。
[0011]进一步地，对于受到高斯噪声污染的测试深度图，选用加噪训练数据训练模型，并
选择二范数设计损失函数；对于无噪测试深度图，选用无噪训练数据训练模型，并选择一范数设计损失函数。
[0012]进一步地，参数随机初始化，使用Adam优化器迭代优化损失函数，其中在迭代过程中步长逐步减小，当验证集上的性能连续5个训练集遍历都无法改善时，停止训练过程。[0013]进一步地，读取测试的纹理图和低质量深度图，通过深度卷积神经网络前向传播，获取高质量深度图。
[0014]进一步地，其中，构造深度卷积神经网络：该网络包含两个支路，即指导特征提取支路和深度图增强支路，在指导特征提取支路中设立高分辨率纹理特征提取部分，多尺度指导特征直接从该部分通过Maxpooling获取；指导特征提取支路逐步2下采样高分辨率纹理图指导特征，而深度图增强支路逐步2上采样深度图特征；在每个尺度的深度图特征细化过程中，当前尺度纹理指导特征、深度图特征与所有粗尺度指导特征、深度图特征稠密连接；采用全局残差学习一方面使得仅仅需要通过网络恢复高质量深度图与初始增强的深度图之间的残差信息，另一方面大部分网络单元仅需要生成高频细节相关的特征；除全局残差学习外，每个深度图特征细化单元均引入局部残差学习，侧重当前尺度下高频率频率细节的恢复；其中，基本组成单元的计算公式如下所示；
(2)
(3)
(4)
其中，和分别是输出特征和输入特征，和是卷积层的滤波器权重和偏置，代表Prelu激活函数，是可学习的标量，和分别表示卷积和转置卷积操作。
[0015]下面将简述各步骤：
构建深度卷积神经网络训练集：
该部分是对网络收集的高分辨率纹理图和深度图裁剪成具有重叠区域的子图像
对，并适当通过旋转和加噪增强训练集；然后，将训练集分为训练数据集和验证数据集两部分。
[0016]构建深度卷积神经网络：
该网络包含两个支路，即指导特征提取支路和深度图增强支路。前者提取多尺度高分辨率纹理图指导特征，后者逐步重建高质量深度图特征；多尺度纹理指导特征与深度图特征稠密连接，全局残差学习和局部残差学习，逐步恢复深度图各高频率细节。
[0017]设计损失函数：
损失函数是对于受到高斯噪声污染的测试深度图，选用加噪训练数据训练模型，并选择二范数设计损失函数，对于无噪测试深度图，选用无噪训练数据训练模型，并选择一范数设计损失函数。
[0018]训练细节：
网络参数随机初始化，使用Adam优化器迭代优化损失函数，其中在迭代过程中步长逐步减小。当验证集上的性能连续5个训练集遍历都无法改善时，停止训练过程。
[0019]测试阶段：
读取测试的纹理图和低质量深度图，通过神经网络前向传播，获取高质量深度图。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议