视频降噪方法、装置、电子设备及计算机可读取存储介质与流程

1.本技术涉及视频降噪技术领域，具体而言，涉及一种视频降噪方法、装置、电子设备及计算机可读取存储介质。

背景技术：

2.在对视频和图像进行处理时，由于传感器的特性以及信号在传输处理的过程中会受到外部设备和环境的影响，图像中往往存在噪声。而为了对图像进行降噪处理，现有技术中，通常会在图像信号处理的模块中增加视频降噪模块对视频进行处理，能够对图像的二维维度和三维维度分别对图像的空间域和时间域进行降噪，从而提高视频质量。
3.但是，由于视频中图像运动的影响，图像中不同帧的同一位置的信息经常会对应不同的图像内容。如果直接使用不同内容的图像信息来进行降噪处理的话，降噪时产生的失真情况较严重。为了解决失真问题，目前通常采用对运动区域进行检测或者计算相对运动对各帧进行对齐的方式，但是这两种方式对视频失真的消除效果较差，导致目前视频降噪时的失真情况较严重，视频的降噪效果较差。

技术实现要素：

4.有鉴于此，本技术实施例的目的在于提供一种视频降噪方法、装置、电子设备及计算机可读取存储介质，以改善现有技术中存在的视频降噪效果较差的问题。
5.为了解决上述问题，第一方面，本技术提供了一种视频降噪方法，所述方法包括：
6.根据目标视频中当前帧图像的第一金字塔层和参考帧图像的第二金字塔层确定偏移数据，其中，所述参考帧图像为所述当前帧图像的前一帧图像；
7.根据所述偏移数据对所述当前帧图像的第一降噪金字塔层进行时间域降噪，得到第二降噪金字塔层，其中，所述第一降噪金字塔层为所述当前帧图像的第三金字塔层经过空间域降噪后的金字塔层；
8.基于所述第一金字塔层和所述第二降噪金字塔层，重建得到所述当前帧图像的目标降噪图像。
9.在上述实现过程中，根据第一金字塔层和第二金字塔层之间产生的偏移数据，确定相邻帧图像在不同尺度的金字塔层下各区域中产生的偏移数据，以通过偏移数据，在三维维度对空间域降噪后的第一降噪金字塔层进行时间域上的降噪。通过对各金字塔层的重建，得到在二维维度和三维维度都降噪后的目标降噪图像，有效地减少了视频降噪时产生的失真情况，提高了视频降噪的效果。并且，无需设置运动检测模块或对齐模块进行降噪计算，减小了视频降噪时的计算成本和带宽成本。
10.可选地，所述方法还包括：
11.确定进行降噪的所述目标视频中需要进行降噪的所述当前帧图像；
12.根据所述当前帧图像构建第一金字塔，其中，所述第一金字塔中包括所述当前帧图像中多个尺度对应的多层所述第一金字塔层；
13.基于多层所述第一金字塔层进行噪声估计，确定每层所述第一金字塔层对应的噪声模型。
14.在上述实现过程中，为了对目标视频进行降噪，可以确定其中需要进行降噪的图像作为当前帧图像，并对当前帧图像进行多尺度分解，创建对应的第一金字塔。通过噪声估计标定噪声模型，从而对单帧图像的第一金字塔中各个尺度的第一金字塔层中多个位置的噪声强度进行确定，能够在噪声模型的基础上进行单帧图像在空间域上的二维维度降噪。
15.可选地，所述根据所述偏移数据对所述当前帧图像的第一降噪金字塔层进行时间域降噪，得到第二降噪金字塔层之前，所述方法还包括：
16.基于所述第一金字塔构建第三金字塔，其中，所述第三金字塔中包括所述当前帧图像中多个尺度对应的多层所述第三金字塔层；
17.根据所述噪声模型对每层所述第三金字塔层进行空间域降噪，得到多层对应的所述第一降噪金字塔层。
18.在上述实现过程中，为了进行不同维度的降噪，能够在第一金字塔的基础上构建与之对应的第三金字塔，根据多个尺度对应的噪声模型，在单帧图像上的二维维度对第三金字塔中各个尺度的第三金字塔层进行空间域上的降噪，得到相应的多层第一降噪金字塔层。通过多尺度地空间域降噪，提高了图像二维维度上的降噪效果。
19.可选地，所述第一金字塔为所述当前帧图像对应的高斯金字塔，所述第三金字塔为所述当前帧图像对应的拉普拉斯金字塔。
20.在上述实现过程中，第一金字塔为对当前帧图像进行多尺度分解的基于低通高斯滤波构建的高斯金字塔，第三金字塔为根据第一金字塔构建的拉普拉斯金字塔。
21.可选地，所述根据目标视频中当前帧图像的第一金字塔层和参考帧图像的第二金字塔层确定偏移数据，包括：
22.获取所述目标视频中在所述当前帧图像前一帧的所述参考帧图像对应的所述第二金字塔，其中，所述第二金字塔中包括所述参考帧图像的多个尺度对应的多层所述第二金字塔层；
23.基于每层所述第一金字塔层和对应的所述第二金字塔层进行光流计算，得到多项对应的所述偏移数据。
24.在上述实现过程中，目标视频中包含多帧图像，通过获取根据当前帧图像的前一帧的参考帧图像构建的第二金字塔，能够根据各尺度的第一金字塔层和第二金字塔层计算金字塔光流，得到两帧相邻的图像中，在不同尺度下各个区域的多项偏移数据。以参考帧图像的金字塔作为参考数据进行计算，有效地提高了偏移数据的准确性和实时性。
25.可选地，所述根据所述偏移数据对所述当前帧图像的第一降噪金字塔层进行时间域降噪，得到第二降噪金字塔层，包括：
26.获取所述参考帧图像的与所述第二金字塔对应的第四金字塔，其中，所述第四金字塔中包括所述参考帧图像的多个尺度对应的多层经过空间域降噪和时间域降噪后的第四金字塔层；
27.将所述偏移数据与对应的所述第四金字塔层进行融合，以对所述第一降噪金字塔层进行时间域降噪，得到多层所述第二降噪金字塔层。
28.在上述实现过程中，为了在三维维度对各个尺度下二维降噪后的第一降噪金字塔
层进行时间域降噪，可以获取参考帧图像对应的经过空间域降噪和时间域降噪后的第四金字塔，从而使偏移数据与第四金字塔层进行融合，根据融合对第一降噪金字塔层进行三维维度的时间域降噪，得到经过空间域降噪和时间域降噪后的多个尺度的第二降噪金字塔层。无需设置运动检测模块或对齐模块就能够对视频中产生运动的区域进行有效地降噪，减少了视频中的失真情况。
29.可选地，所述第二金字塔为所述参考帧图像对应的高斯金字塔，所述第四金字塔为所述参考帧图像对应的经过空间域降噪和时间域降噪后的拉普拉斯金字塔。
30.在上述实现过程中，可以将参考帧图像中的金字塔作为参考数据，采用迭代的方式进行三维维度的降噪。获取的第二金字塔为对参考帧图像进行多尺度分解的基于低通高斯滤波构建的高斯金字塔，第四金字塔为根据参考帧图像对应的第二金字塔构建，并经过空间域降噪和时间域降噪后的拉普拉斯金字塔。
31.可选地，所述将所述偏移数据与对应的所述第四金字塔层进行融合，以对所述第一降噪金字塔层进行时间域降噪，得到多层所述第二降噪金字塔层，包括：
32.确定所述第四金字塔层中的参考目标；
33.根据所述偏移数据和所述参考目标，确定所述第一降噪金字塔层中与所述参考目标对应的偏移目标；
34.基于所述参考目标和所述偏移目标计算进行时间域降噪的降噪目标，得到由多个所述降噪目标对应的多层所述第二降噪金字塔层。
35.在上述实现过程中，各个尺度对应的第四金字塔层中包含多个参考目标，根据偏移数据和参考目标的融合，能够确定对应的第一降噪金字塔层中与参考目标对应的偏移目标。根据参考目标和偏移目标进行时间域降噪的计算，能够得到三维维度降噪后的第二降噪金字塔层。有效地提高了时间域降噪时的准确性，减少了视频中的失真情况。
36.可选地，所述基于所述第一金字塔层和所述第二降噪金字塔层，重建得到所述当前帧图像的目标降噪图像，包括：
37.对每层所述第一金字塔层进行空间域降噪和时间域降噪，得到对应的多层第三降噪金字塔层；
38.根据每层所述第二降噪金字塔层和对应的所述第三降噪金字塔层进行重建，得到对所述当前帧图像进行降噪后的所述目标降噪图像。
39.在上述实现过程中，为了进一步地优化视频降噪时的效果，可以采用相同的方式对第一金字塔层进行空间域降噪和时间域降噪，从而根据二维和三维降噪后的各尺度的第三降噪金字塔层，以及二维和三维降噪后的各尺度的第二降噪金字塔层进行重建，得到当前帧降噪后的目标降噪图像，有效地减小了当前帧图像中的噪声影响和失真情况。
40.第二方面，本技术还提供了一种视频降噪装置，所述装置包括：
41.确定模块，用于根据目标视频中当前帧图像的第一金字塔层和参考帧图像的第二金字塔层确定偏移数据，其中，所述参考帧图像为所述当前帧图像的前一帧图像；
42.降噪模块，用于根据所述偏移数据对所述当前帧图像的第一降噪金字塔层进行时间域降噪，得到第二降噪金字塔层，其中，所述第一降噪金字塔层为所述当前帧图像的第三金字塔层经过空间域降噪后的金字塔层；
43.重建模块，用于基于所述第一金字塔层和所述第二降噪金字塔层，重建得到所述
当前帧图像的目标降噪图像。
44.在上述实现过程中，通过确定模块确定相邻的两帧图像对应的各尺度的金字塔层之间的偏移数据；通过降噪模块对空间域降噪后的金字塔层进行时间域降噪；通过重建模块根据多种金字塔层进行重建，得到降噪后的图像。有效地减少了视频降噪时产生的失真情况，提高了视频降噪的效果。并且，无需设置运动检测模块或对齐模块进行降噪计算，减小了视频降噪时的计算成本和带宽成本。
45.第三方面，本技术还提供了一种电子设备，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器读取并运行所述程序指令时，执行上述视频降噪方法中任一实现方式中的步骤。
46.第四方面，本技术还提供了一种计算机可读取存储介质，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行上述视频降噪方法中任一实现方式中的步骤。
47.综上所述，本技术提供了一种视频降噪方法、装置、电子设备及计算机可读取存储介质，通过将视频中的图像分解为各个尺度的金字塔层，通过计算两帧图像在不同尺度的金字塔层下各区域的偏移，以根据偏移对当前帧图像进行时间域降噪，有效地提高了视频的降噪效果，减小了降噪成本和降噪时的失真情况。
附图说明
48.为了更清楚地说明本技术实施例的技术方案，下面将对本技术实施例中所需要使用的附图作简单地介绍，应当理解，以下附图仅示出了本技术的某些实施例，因此不应被看作是对范围的限定，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他相关的附图。
49.图1为本技术实施例提供的一种电子设备的方框示意图；
50.图2为本技术实施例提供的一种视频降噪方法的流程示意图；
51.图3为本技术实施例提供的另一种视频降噪方法的流程示意图；
52.图4为本技术实施例提供的再一种视频降噪方法的流程示意图；
53.图5为本技术实施例提供的一种步骤s200的详细流程示意图；
54.图6为本技术实施例提供的一种步骤s300的详细流程示意图；
55.图7为本技术实施例提供的一种步骤s320的详细流程示意图；
56.图8为本技术实施例提供的一种视频降噪装置的模块结构示意图。
57.图标：100-电子设备；111-存储器；112-存储控制器；113-处理器；114-外设接口；115-输入输出单元；116-显示单元；600-视频降噪装置；610-确定模块；620-降噪模块；630-重建模块。
具体实施方式
58.下面将结合本技术实施例中附图，对本技术实施例中的技术方案进行清楚、完整地描述。显然，所描述的实施例仅仅是本技术实施例的一部分实施例，而不是全部的实施例。基于本技术实施例的实施例，本领域普通技术人员在没有付出创造性劳动前提下所获得的所有其他实施例，都属于本技术实施例保护的范围。
59.在对视频进行处理时，由于传感器的特性以及信号在传输处理的过程中会受到外部设备和环境的影响，图像中往往存在噪声。而为了对图像进行降噪处理，通常会在图像信号处理的模块中增加视频降噪模块对视频进行处理，能够对图像的二维维度和三维维度分别对图像的空间域和时间域进行降噪，从而提高视频质量。但是，由于视频中图像运动的影响，图像中不同帧的同一位置的信息经常会对应不同的图像内容。如果直接使用不同内容的图像信息来进行降噪处理的话，降噪时会产生artifacts(失真)情况。
60.目前，为了对视频降噪时的失真情况进行处理，一般采用以下两种方式：1、设置额外的资源构造运动检测模块，从而对视频图像中的运动区域进行检测，例如，可以在相对静止区域中采用时间域上相邻帧的信息进行降噪，在相对运动的区域减少时间域上降噪。2、用额外的逻辑构造对齐模块，以计算视频中各帧图像之间的相对运动，然后利用得到的相对运动来将各帧图像对齐，将对齐后的区域作为“静止区域”，然后在进行时间域上的降噪。但是，第一种方法中对运动区域的检测精度较低，无法对运动区域和静止区域进行有效地区分，导致运动区域在时间域上的降噪效果较差；第二种方法中两帧图像之间的相对运动的计算准确性较低，也导致降噪效果较差。并且，上述两种方式中都需要设置额外的逻辑模块进行降噪，提高了视频降噪时的成本，且这两种方式对视频失真的消除效果较差，导致目前视频降噪时的失真情况较严重，视频的降噪效果较差。
61.为了解决上述问题，本技术实施例提供了一种视频降噪方法，应用于电子设备，电子设备可以为、服务器、个人电脑(personal computer，pc)、平板电脑、智能手机、个人数字助理(personal digital assistant，pda)等具有逻辑计算功能的电子设备，通过图像经多尺度的分解后的各级的金字塔来计算两帧图像在不同尺度下各区域的偏移，并根据偏移对两帧图像进行时间域上的融合，能够有效地对视频中的多帧图像进行降噪处理，减少视频中的噪声影响和失真情况。
62.可选地，请参阅图1，图1为本技术实施例提供的一种电子设备的方框示意图。电子设备100可以包括存储器111、存储控制器112、处理器113、外设接口114、输入输出单元115、显示单元116。本领域普通技术人员可以理解，图1所示的结构仅为示意，其并不对电子设备100的结构造成限定。例如，电子设备100还可包括比图1中所示更多或者更少的组件，或者具有与图1所示不同的配置。
63.上述的存储器111、存储控制器112、处理器113、外设接口114、输入输出单元115及显示单元116各元件相互之间直接或间接地电性连接，以实现数据的传输或交互。例如，这些元件相互之间可通过一条或多条通讯总线或信号线实现电性连接。上述的处理器113用于执行存储器中存储的可执行模块。
64.其中，存储器111可以是，但不限于，随机存取存储器(random access memory，简称ram)，只读存储器(read only memory，简称rom)，可编程只读存储器(programmable read-only memory，简称prom)，可擦除只读存储器(erasable programmable read-only memory，简称eprom)，电可擦除只读存储器(electric erasable programmable read-only memory，简称eeprom)等。其中，存储器111用于存储程序，所述处理器113在接收到执行指令后，执行所述程序，本技术实施例任一实施例揭示的过程定义的电子设备100所执行的方法可以应用于处理器113中，或者由处理器113实现。
65.上述的处理器113可能是一种集成电路芯片，具有信号的处理能力。上述的处理器
113可以是通用处理器，包括中央处理器(central processing unit，简称cpu)、网络处理器(network processor，简称np)等；还可以是数字信号处理器(digital signal processor，简称dsp)、专用集成电路(application specific integrated circuit，简称asic)、现场可编程门阵列(fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器，也可以是任何常规的处理器等。
66.上述的外设接口114将各种输入/输出装置耦合至处理器113以及存储器111，还可以通过外设接口114使电子设备100与外部设备连接。在一些实施例中，外设接口114，处理器113以及存储控制器112可以在单个芯片中实现。在其他一些实例中，他们可以分别由独立的芯片实现。
67.上述的输入输出单元115用于提供给用户输入数据。示例地，输入输出单元115可以从其他设备中获取需要进行降噪的目标视频中的多帧图像，并将降噪后的目标降噪图像输出给对应的设备。
68.上述的显示单元116在电子设备100与用户之间提供一个交互界面(例如用户操作界面)或用于显示图像数据给用户参考。在本实施例中，所述显示单元可以是液晶显示器或触控显示器。若为触控显示器，其可为支持单点和多点触控操作的电容式触控屏或电阻式触控屏等。支持单点和多点触控操作是指触控显示器能感应到来自该触控显示器上一个或多个位置处同时产生的触控操作，并将该感应到的触控操作交由处理器进行计算和处理。在本技术实施例中，显示单元116可以显示本技术中进行降噪的目标视频中的每一帧图像、对图像进行金字塔操作后得到的金字塔数据以及降噪处理后得到的目标降噪图像以及降噪视频等。
69.本实施例中的电子设备可以用于执行本技术实施例提供的各个视频降噪方法中的各个步骤。下面通过几个实施例详细描述视频降噪方法的实现过程。
70.请参阅图2，图2为本技术实施例提供的一种视频降噪方法的流程示意图，该方法可以包括步骤s200-s400。
71.步骤s200，根据目标视频中当前帧图像的第一金字塔层和参考帧图像的第二金字塔层确定偏移数据。
72.其中，参考帧图像为目标视频中当前帧图像的前一帧图像，示例地，当前帧图像为目标视频中的第t帧图像，则参考帧图像则为目标视频中的第t-1帧图像。第一金字塔层为当前帧图像经过分解处理后得到的数据，包括多个尺度对应的金字塔层；第二金字塔层为参考帧图像经过分解处理后得到的数据，包括多个尺度对应的金字塔层。能够根据每一层第一金字塔层与对应的第二金字塔层计算该尺度下当前帧图像中不同位置的相对位移，得到该尺度下相应的多项偏移数据，可以将偏移数据记为flow_t。能够以参考帧图像中的金字塔为参考数据，对多个尺度下图像中各区域的偏移进行准确地计算，从而能够在每一个尺度下对图像进行有效地降噪处理，提高降噪效果。
73.可选地，参考帧图像也可以为经过本技术中视频降噪方法进行降噪后得到的图像。
74.步骤s300，根据所述偏移数据对所述当前帧图像的第一降噪金字塔层进行时间域降噪，得到第二降噪金字塔层。
75.其中，第一降噪金字塔层为当前帧图像的第三金字塔层经过空间域降噪后的金字塔层。可以先在二维维度，对当前帧图像进行单帧图像上的空间域降噪，从而得到相应的第一降噪金字塔层。在三维维度上，根据偏移数据再对第一降噪金字塔层进行时间域降噪，从而得到经过空间域降噪和时间域降噪后的第二降噪金字塔层。
76.步骤s400，基于所述第一金字塔层和所述第二降噪金字塔层，重建得到所述当前帧图像的目标降噪图像。
77.其中，为了输出质量更好的图像，通过结合第一金字塔层和第二降噪金字塔层，能够进行各个尺度的重建，从而得到对当前帧图像在二维维度和三维维度上，经过空间域降噪和时间域降噪的目标降噪图像，并由多帧目标降噪图像构成降噪后的目标降噪视频，有效地减少了视频中的噪声和失真情况。
78.可选地，由于第一金字塔层中的噪声为低频噪声，在当前帧图像经过一些低频降噪处理后，可以直接根据第一金字塔层和第二降噪金字塔层进行重建。
79.示例地，可以采用图像融合的方式，对各层的金字塔层进行采样等方式进行融合和重建。
80.值得说明的是，重建时也可以包括：对每层第一金字塔层进行空间域降噪和时间域降噪，得到对应的多层第三降噪金字塔层；根据每层第二降噪金字塔层和对应的第三降噪金字塔层进行重建，得到对当前帧图像进行降噪后的目标降噪图像。其中，为了进一步地优化视频降噪的效果，还可以采用本技术提供的视频降噪方式，对第一金字塔层也进行降噪，从而根据降噪后得到的第三降噪金字塔层和第二降噪金字塔层进行图像的重建，得到完成降噪的目标降噪图像。
81.在图2所示的实施例中，能够对图像进行二维维度和三维维度的降噪，有效地减少了视频降噪时产生的失真情况，提高了视频降噪的效果。并且，无需设置运动检测模块或对齐模块进行降噪计算，减小了视频降噪时的检测成本和带宽成本。
82.可选地，请参阅图3，图3为本技术实施例提供的另一种视频降噪方法的流程示意图，该方法还可以包括步骤s510-s530。
83.步骤s510，确定进行降噪的所述目标视频中需要进行降噪的所述当前帧图像。
84.其中，目标视频为进行降噪的视频，可以为在多种场景下拍摄的录像、监控等多种类型的视频。目标视频中包含多帧图像，当前帧图像为目前进行降噪处理的图像。
85.步骤s520，根据所述当前帧图像构建第一金字塔。
86.其中，第一金字塔中包括当前帧图像中多个尺度对应的多层第一金字塔层。通过对图像进行多个尺度地分解，能够构建相应的第一金字塔，确定多个尺度对应的多层第一金字塔层。
87.步骤s530，基于多层所述第一金字塔层进行噪声估计，确定每层所述第一金字塔层对应的噪声模型。
88.其中，为了对各尺度对应的第一金字塔层中的噪声进行处理，可以先对每层第一金字塔层进行噪声估计(noise estimation，噪声模型估计)，从而标定相应的噪声模型noise map，以判断图像中各区域的噪声情况。
89.示例地，噪声模型中方差较大的区域则噪声较大，所需的降噪力度也较大。
90.在图3所示的实施例中，能够建立对应的噪声模型进行降噪处理。
91.可选地，请参阅图4，图4为本技术实施例提供的再一种视频降噪方法的流程示意图，在步骤s300之前，该方法还可以包括步骤s540-s550。
92.步骤s540，基于所述第一金字塔构建第三金字塔。
93.其中，第三金字塔中包括当前帧图像中多个尺度对应的多层第三金字塔层。第三金字塔是根据第一金字塔构建的，能够根据各层第一金字塔层与各个尺度的原始的当前帧图像做差构建出对应的多层第三金字塔层，从而得到相应的第三金字塔。
94.值得说明的是，第一金字塔为当前帧图像对应的高斯金字塔，第三金字塔为当前帧图像对应的拉普拉斯金字塔。高斯金字塔是对一张图像重复进行高斯滤波和下采样得到的不同尺度的图像集合，可以基于模板金字塔的构建的方式，引入指定的低通高斯滤波并集合下采样的迭代方式进行计算得到。高斯金字塔中的不同尺度为多个不同的分辨率图像，可以通过对当前帧图像进行像素采样的方式，生成多个不同分辨率的图像，将具有最高级别分辨率的图像放在底部，以金字塔的形状进行排列，往上是一系列像素尺寸逐渐降低的图像，从而得到多个尺度对应的高斯金字塔层。而拉普拉斯金字塔则是在高斯金字塔构建的图层基础上，对每一层高斯金字塔层进行上采样，形成该图层对应的近似预测图像，根据差值得到对应的拉普拉斯金字塔层以及多个尺度的拉普拉斯金字塔层形成的拉普拉斯金字塔。高斯金字塔由下至上构建，而拉普拉斯金字塔由上至下构建。
95.步骤s550，根据所述噪声模型对每层所述第三金字塔层进行空间域降噪，得到多层对应的所述第一降噪金字塔层。
96.其中，为了对当前帧图像进行多个维度的降噪，可以先在二维维度，对多个尺度对应的第三金字塔层进行空间域降噪。能够采用多种不同的方式，例如通过gaussian blur(高斯滤波)、median blur(中值滤波)、box filter(方框滤波)，均值等等滤波方式，结合噪声模型来调节不同位置的降噪力度对单帧图像的空间域上的噪声进行降噪。
97.在图4所示的实施例中，通过多尺度地空间域降噪，提高了图像二维维度上的降噪效果。
98.可选地，请参阅图5，图5为本技术实施例提供的一种步骤s200的详细流程示意图，步骤s200中还可以包括步骤s210-s220。
99.步骤s210，获取所述目标视频中在所述当前帧图像前一帧的所述参考帧图像对应的所述第二金字塔。
100.其中，第二金字塔中包括参考帧图像的多个尺度对应的多层第二金字塔层。由于多帧图像中存在运动的区域，为了提高降噪时的效果，获取当前帧图像前一帧的参考帧图像的第二金字塔作为计算偏移数据时的参考数据。
101.步骤s220，基于每层所述第一金字塔层和对应的所述第二金字塔层进行光流计算，得到多项对应的所述偏移数据。
102.其中，为了对两帧图像在不同尺度下各区域的位移情况进行计算，能够将每层第一金字塔层和对应的第二金字塔层计算金字塔光流(optical flow)，得到该尺度下对应的偏移数据。可以利用图像序列中像素在时间域上的变化以及相邻帧之间的相关性来到上一帧跟当前帧之间存在的对应关系，从而计算出相邻帧之间物体的运动信息。
103.可选地，采用金字塔光流的计算方式，能够在不增大集成窗口大小的情况下，有效处理大幅的像素运动，更好地兼容了特征跟踪鲁棒性和精度。
104.在图5所示的实施例中，以参考帧图像的金字塔作为参考数据进行光流计算，有效地提高了偏移数据的准确性和实时性。
105.可选地，请参阅图6，图6为本技术实施例提供的一种步骤s300的详细流程示意图，步骤s300中还可以包括步骤s310-s320。
106.步骤s310，获取所述参考帧图像的与所述第二金字塔对应的第四金字塔。
107.其中，第四金字塔中包括参考帧图像的多个尺度对应的多层经过空间域降噪和时间域降噪后的第四金字塔层。由于多帧图像中存在运动的区域，为了提高降噪时的效果，获取参考帧图像的与第二金字塔相对应的第四金字塔作为进行时间域降噪时的参考数据。
108.值得说明的是，第二金字塔为参考帧图像对应的高斯金字塔，第四金字塔为参考帧图像对应的经过空间域降噪和时间域降噪后的拉普拉斯金字塔。第二金字塔与第四金字塔的构建方式与降噪方式与第一金字塔和第三金字塔的相似，不再进行赘述。
109.步骤s320，将所述偏移数据与对应的所述第四金字塔层进行融合，以对所述第一降噪金字塔层进行时间域降噪，得到多层所述第二降噪金字塔层。
110.其中，以第四金字塔层为参考尺度数据，将偏移数据与参考帧进行融合，能够在三维维度上对第一降噪金字塔层进行时间域上的降噪，得到经过空间域降噪和时间域降噪的第二降噪金字塔。
111.可选地，在进行时间域降噪时，可以采用iir(infinite impulse response，无限脉冲响应数字滤波器)或fir(finite impulse response，有限脉冲响应数字滤波器)，结合噪声模型来调节各尺度下不同位置的降噪力度。
112.值得说明的是，本技术无需设置运动检测模块或对齐模块就能够对视频中产生运动的区域进行有效地降噪，减少了视频中的失真情况。
113.在图6所示的实施例中，通过将偏移数据进行融合的方式，提高了三维维度下图像在时间域上的降噪效果。
114.可选地，请参阅图7，图7为本技术实施例提供的一种步骤s320的详细流程示意图，步骤s320中还可以包括步骤s321-s323。
115.步骤s321，确定所述第四金字塔层中的参考目标。
116.其中，获取多层第四金字塔层中各区域的参考目标，参考目标可以为图像中的某个区域或某个物体等多种目标，可以包括目标在第四金字塔层中相应的坐标，例如在第四金字塔层中(10，10)的位置处。
117.步骤s322，根据所述偏移数据和所述参考目标，确定所述第一降噪金字塔层中与所述参考目标对应的偏移目标。
118.其中，对偏移数据和参考目标进行融合，能够确定第一降噪金字塔层中与参考目标对应的图像中的某个区域或某个物体等对应的偏移目标。
119.示例地，进行融合时，若偏移数据为(+2，+2)时，则与(10，10)的参考目标融合得到的偏移目标的位置为(12，12)。
120.步骤s323，基于所述参考目标和所述偏移目标计算进行时间域降噪的降噪目标，得到由多个所述降噪目标对应的多层所述第二降噪金字塔层。
121.其中，根据参考目标和偏移目标，能够计算产生偏移后的目标，作为降噪目标，并根据参考目标和偏移目标的平均像素作为降噪目标的像素，获取多个降噪目标对应的多层
第二降噪金字塔层。
122.示例地，在参考目标(10，10)和偏移目标(12，12)进行计算时，则降噪目标的位置在第一降噪金字塔层中(11，11)的位置处。
123.在图7所示的实施例中，根据参考目标和偏移目标进行时间域降噪的计算，能够得到三维维度降噪后的第二降噪金字塔层。有效地提高了时间域降噪时的准确性，减少了视频中的失真情况。
124.请参阅图8，图8为本技术实施例提供的一种视频降噪装置的模块结构示意图，视频降噪装置600中可以包括：
125.确定模块610，用于根据目标视频中当前帧图像的第一金字塔层和参考帧图像的第二金字塔层确定偏移数据，其中，所述参考帧图像为所述当前帧图像的前一帧图像；
126.降噪模块620，用于根据所述偏移数据对所述当前帧图像的第一降噪金字塔层进行时间域降噪，得到第二降噪金字塔层，其中，所述第一降噪金字塔层为所述当前帧图像的第三金字塔层经过空间域降噪后的金字塔层；
127.重建模块630，用于基于所述第一金字塔层和所述第二降噪金字塔层，重建得到所述当前帧图像的目标降噪图像。
128.在一可选的实施方式中，视频降噪装置600中还可以包括模型构建模块，用于确定进行降噪的所述目标视频中需要进行降噪的所述当前帧图像；根据所述当前帧图像构建第一金字塔，其中，所述第一金字塔中包括所述当前帧图像中多个尺度对应的多层所述第一金字塔层；基于多层所述第一金字塔层进行噪声估计，确定每层所述第一金字塔层对应的噪声模型。
129.在一可选的实施方式中，视频降噪装置600中还可以包括二维降噪模块，用于基于所述第一金字塔构建第三金字塔，其中，所述第三金字塔中包括所述当前帧图像中多个尺度对应的多层所述第三金字塔层；根据所述噪声模型对每层所述第三金字塔层进行空间域降噪，得到多层对应的所述第一降噪金字塔层。
130.在一可选的实施方式中，所述第一金字塔为所述当前帧图像对应的高斯金字塔，所述第三金字塔为所述当前帧图像对应的拉普拉斯金字塔。
131.在一可选的实施方式中，确定模块610中还可以包括第一获取子模块和光流计算子模块；
132.第一获取子模块，用于获取所述目标视频中在所述当前帧图像前一帧的所述参考帧图像对应的所述第二金字塔，其中，所述第二金字塔中包括所述参考帧图像的多个尺度对应的多层所述第二金字塔层；
133.光流计算子模块，用于基于每层所述第一金字塔层和对应的所述第二金字塔层进行光流计算，得到多项对应的所述偏移数据。
134.在一可选的实施方式中，降噪模块620中还可以包括第二获取子模块和融合子模块；
135.第二获取子模块，用于获取所述参考帧图像的与所述第二金字塔对应的第四金字塔，其中，所述第四金字塔中包括所述参考帧图像的多个尺度对应的多层经过空间域降噪和时间域降噪后的第四金字塔层；
136.融合子模块，用于将所述偏移数据与对应的所述第四金字塔层进行融合，以对所
述第一降噪金字塔层进行时间域降噪，得到多层所述第二降噪金字塔层。
137.在一可选的实施方式中，所述第二金字塔为所述参考帧图像对应的高斯金字塔，所述第四金字塔为所述参考帧图像对应的经过空间域降噪和时间域降噪后的拉普拉斯金字塔。
138.在一可选的实施方式中，融合子模块中还可以包括参考单元、偏移单元和降噪单元；
139.参考单元，用于确定所述第四金字塔层中的参考目标；
140.偏移单元，用于根据所述偏移数据和所述参考目标，确定所述第一降噪金字塔层中与所述参考目标对应的偏移目标；
141.降噪单元，用于基于所述参考目标和所述偏移目标计算进行时间域降噪的降噪目标，得到由多个所述降噪目标对应的多层所述第二降噪金字塔层。
142.在一可选的实施方式中，重建模块630中还可以包括低频降噪子模块和重建子模块；
143.低频降噪子模块，用于对每层所述第一金字塔层进行空间域降噪和时间域降噪，得到对应的多层第三降噪金字塔层；
144.重建子模块，用于根据每层所述第二降噪金字塔层和对应的所述第三降噪金字塔层进行重建，得到对所述当前帧图像进行降噪后的所述目标降噪图像。
145.由于本技术实施例中的视频降噪装置600解决问题的原理与前述的视频降噪方法的实施例相似，因此本实施例中的视频降噪装置600的实施可以参见上述视频降噪方法的实施例中的描述，重复之处不再赘述。
146.本技术实施例还提供了一种计算机可读取存储介质，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行本实施例提供的视频降噪方法中任一项所述方法中的步骤。
147.综上所述，本技术实施例提供了一种视频降噪方法、装置、电子设备及计算机可读取存储介质，通过将视频中的图像分解为各个尺度的金字塔层，通过计算两帧图像在不同尺度的金字塔层下各区域的偏移，以根据偏移对当前帧图像进行时间域降噪，有效地提高了视频的降噪效果，减小了降噪成本和降噪时的失真情况。
148.在本技术所提供的几个实施例中，应该理解到，所揭露的设备，也可以通过其它的方式实现。以上所描述的装置实施例仅仅是示意性的，例如，附图中的框图显示了根据本技术的多个实施例的设备的可能实现的体系架构、功能和操作。在这点上，框图中的每个方框可以代表一个模块、程序段或代码的一部分，所述模块、程序段或代码的一部分包含一个或多个用于实现规定的逻辑功能的可执行指令。也应当注意，在有些作为替换的实现方式中，方框中所标注的功能也可以以不同于附图中所标注的顺序发生。例如，两个连续的方框实际上可以基本并行地执行，它们有时也可以按相反的顺序执行，这依所涉及的功能而定。也要注意的是，框图中的每个方框、以及框图的组合，可以用执行规定的功能或动作的专用的基于硬件的系统来实现，或者可以用专用硬件与计算机指令的组合来实现。
149.另外，在本技术各个实施例中的各功能模块可以集成在一起形成一个独立的部分，也可以是各个模块单独存在，也可以两个或两个以上模块集成形成一个独立的部分。
150.所述功能如果以软件功能模块的形式实现并作为独立的产品销售或使用时，可以
存储在一个计算机可读取存储介质中。因此本实施例还提供了一种可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器读取并运行时，执行区块数据存储方法中任一项所述方法中的步骤。基于这样的理解，本技术的技术方案本质上或者说对现有技术做出贡献的部分或者该技术方案的部分可以以软件产品的形式体现出来，该计算机软件产品存储在一个存储介质中，包括若干指令用以使得一台计算机设备(可以是个人计算机，服务器，或者网络设备等)执行本技术各个实施例所述方法的全部或部分步骤。而前述的存储介质包括：u盘、移动硬盘、只读存储器(rom，read-only memory)、随机存取存储器(ram，random access memory)、磁碟或者光盘等各种可以存储程序代码的介质。
151.以上所述仅为本技术的实施例而已，并不用于限制本技术的保护范围，对于本领域的技术人员来说，本技术可以有各种更改和变化。凡在本技术的精神和原则之内，所作的任何修改、等同替换、改进等，均应包含在本技术的保护范围之内。应注意到：相似的标号和字母在下面的附图中表示类似项，因此，一旦某一项在一个附图中被定义，则在随后的附图中不需要对其进行进一步定义和解释。
152.以上所述，仅为本技术的具体实施方式，但本技术的保护范围并不局限于此，任何熟悉本技术领域的技术人员在本技术揭露的技术范围内，可轻易想到变化或替换，都应涵盖在本技术的保护范围之内。
153.需要说明的是，在本文中，诸如第一和第二等之类的关系术语仅仅用来将一个实体或者操作与另一个实体或操作区分开来，而不一定要求或者暗示这些实体或操作之间存在任何这种实际的关系或者顺序。而且，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、物品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、物品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括
……”
限定的要素，并不排除在包括所述要素的过程、方法、物品或者设备中还存在另外的相同要素。

技术特征：

1.一种视频降噪方法，其特征在于，所述方法包括：根据目标视频中当前帧图像的第一金字塔层和参考帧图像的第二金字塔层确定偏移数据，其中，所述参考帧图像为所述当前帧图像的前一帧图像；根据所述偏移数据对所述当前帧图像的第一降噪金字塔层进行时间域降噪，得到第二降噪金字塔层，其中，所述第一降噪金字塔层为所述当前帧图像的第三金字塔层经过空间域降噪后的金字塔层；基于所述第一金字塔层和所述第二降噪金字塔层，重建得到所述当前帧图像的目标降噪图像。2.根据权利要求1所述的方法，其特征在于，所述方法还包括：确定进行降噪的所述目标视频中需要进行降噪的所述当前帧图像；根据所述当前帧图像构建第一金字塔，其中，所述第一金字塔中包括所述当前帧图像中多个尺度对应的多层所述第一金字塔层；基于多层所述第一金字塔层进行噪声估计，确定每层所述第一金字塔层对应的噪声模型。3.根据权利要求2所述的方法，其特征在于，所述根据所述偏移数据对所述当前帧图像的第一降噪金字塔层进行时间域降噪，得到第二降噪金字塔层之前，所述方法还包括：基于所述第一金字塔构建第三金字塔，其中，所述第三金字塔中包括所述当前帧图像中多个尺度对应的多层所述第三金字塔层；根据所述噪声模型对每层所述第三金字塔层进行空间域降噪，得到多层对应的所述第一降噪金字塔层。4.根据权利要求3所述的方法，其特征在于，所述第一金字塔为所述当前帧图像对应的高斯金字塔，所述第三金字塔为所述当前帧图像对应的拉普拉斯金字塔。5.根据权利要求1所述的方法，其特征在于，所述根据目标视频中当前帧图像的第一金字塔层和参考帧图像的第二金字塔层确定偏移数据，包括：获取所述目标视频中在所述当前帧图像前一帧的所述参考帧图像对应的所述第二金字塔，其中，所述第二金字塔中包括所述参考帧图像的多个尺度对应的多层所述第二金字塔层；基于每层所述第一金字塔层和对应的所述第二金字塔层进行光流计算，得到多项对应的所述偏移数据。6.根据权利要求5所述的方法，其特征在于，所述根据所述偏移数据对所述当前帧图像的第一降噪金字塔层进行时间域降噪，得到第二降噪金字塔层，包括：获取所述参考帧图像的与所述第二金字塔对应的第四金字塔，其中，所述第四金字塔中包括所述参考帧图像的多个尺度对应的多层经过空间域降噪和时间域降噪后的第四金字塔层；将所述偏移数据与对应的所述第四金字塔层进行融合，以对所述第一降噪金字塔层进行时间域降噪，得到多层所述第二降噪金字塔层。7.根据权利要求6所述的方法，其特征在于，所述第二金字塔为所述参考帧图像对应的高斯金字塔，所述第四金字塔为所述参考帧图像对应的经过空间域降噪和时间域降噪后的拉普拉斯金字塔。
8.根据权利要求6所述的方法，其特征在于，所述将所述偏移数据与对应的所述第四金字塔层进行融合，以对所述第一降噪金字塔层进行时间域降噪，得到多层所述第二降噪金字塔层，包括：确定所述第四金字塔层中的参考目标；根据所述偏移数据和所述参考目标，确定所述第一降噪金字塔层中与所述参考目标对应的偏移目标；基于所述参考目标和所述偏移目标计算进行时间域降噪的降噪目标，得到由多个所述降噪目标对应的多层所述第二降噪金字塔层。9.根据权利要求1所述的方法，其特征在于，所述基于所述第一金字塔层和所述第二降噪金字塔层，重建得到所述当前帧图像的目标降噪图像，包括：对每层所述第一金字塔层进行空间域降噪和时间域降噪，得到对应的多层第三降噪金字塔层；根据每层所述第二降噪金字塔层和对应的所述第三降噪金字塔层进行重建，得到对所述当前帧图像进行降噪后的所述目标降噪图像。10.一种视频降噪装置，其特征在于，所述装置包括：确定模块，用于根据目标视频中当前帧图像的第一金字塔层和参考帧图像的第二金字塔层确定偏移数据，其中，所述参考帧图像为所述当前帧图像的前一帧图像；降噪模块，用于根据所述偏移数据对所述当前帧图像的第一降噪金字塔层进行时间域降噪，得到第二降噪金字塔层，其中，所述第一降噪金字塔层为所述当前帧图像的第三金字塔层经过空间域降噪后的金字塔层；重建模块，用于基于所述第一金字塔层和所述第二降噪金字塔层，重建得到所述当前帧图像的目标降噪图像。11.一种电子设备，其特征在于，所述电子设备包括存储器和处理器，所述存储器中存储有程序指令，所述处理器运行所述程序指令时，执行权利要求1-9中任一项所述方法中的步骤。12.一种计算机可读取存储介质，其特征在于，所述可读取存储介质中存储有计算机程序指令，所述计算机程序指令被一处理器运行时，执行权利要求1-9任一项所述方法中的步骤。

技术总结

本申请提供一种视频降噪方法、装置、电子设备及计算机可读取存储介质，涉及视频降噪技术领域。该方法包括：根据目标视频中当前帧图像的第一金字塔层和参考帧图像的第二金字塔层确定偏移数据，其中，参考帧图像为当前帧图像的前一帧图像；根据偏移数据对当前帧图像的第一降噪金字塔层进行时间域降噪，得到第二降噪金字塔层，其中，第一降噪金字塔层为当前帧图像的第三金字塔层经过空间域降噪后的金字塔层；基于第一金字塔层和第二降噪金字塔层，重建得到当前帧图像的目标降噪图像。本申请通过计算两帧图像在不同尺度的金字塔层下各区域的偏移，以根据偏移对图像进行时间域降噪，有效地提高了视频的降噪效果，减小了降噪成本和降噪时的失真情况。和降噪时的失真情况。和降噪时的失真情况。