用于操纵光场图像的用户界面

本发明属于光场领域，并且涉及一种用于操纵光场图像的技术。具体地，本发明涉及一种用于操纵光场图像的用户界面(interface)。

图像获取设备将三维场景投影到二维传感器上。在操作期间，传统捕捉设备捕捉场景的二维(2D)图像，该二维(2D)图像表示到达设备内的光电传感器的光量。然而，此2D图像不包含关于到达光电传感器的光线的方向分布(其可以被称为光场)的信息。例如，深度在获取期间丢失。因此，传统捕捉设备不存储关于场景的光分布的大部分信息。

光场捕捉设备(也被称为“光场数据获取设备”)已被设计为通过从场景的不同视点捕捉光来测量该场景的四维(4D)光场。因此，通过测量沿着与光电传感器交叉的每个光束行进的光量，这些设备能够捕捉(例如，关于光线束的方向分布的)附加光学信息，以通过后处理提供新的成像应用。通过光场捕捉设备获取的信息被称为光场数据。本文中将光场捕捉设备定义为能够捕捉光场数据的任何设备。存在几种类型的光场捕捉设备，其中：

-全光设备，其使用放置在图像传感器与主透镜之间的微透镜阵列，如文献US2013/0222633中所述；

-相机阵列，如Wilburn等人在"High performance imaging using large cameraarrays."ACM Transactions on Graphics(TOG)24,no.3(2005):765-776和专利文献US8514491 B2中所述。

由于其捕捉后能力(如图像重新聚焦)，光场数据的获取为许多应用打开了大门。

这些应用之一在文献中被称为“合成孔径重新聚焦”(或“合成孔径聚焦”)。合成孔径重新聚焦是用于通过使用场景的多个图像来模拟大孔径透镜的散焦模糊的技术。它包括：例如使用相机阵列从不同视点获取场景的初始图像；将它们投影到期望的焦面上；以及计算它们的平均值。在得到的图像中，位于焦面上的点对齐并且看起来很锐利，而该面之外的点由于视差而模糊。利用诸如相机阵列之类的光场捕捉设备，因此可以渲染场景的图像集合，其中的每个图像被聚焦在不同的聚焦距离。这种集合有时被称为“焦点堆栈”。因此，光场数据处理的一种应用尤其包括但不限于生成场景的重新聚焦图像。

然而，由于光场数据与图像本身一起提供深度信息的事实，因此传统的后处理工具(例如，或Gimp)不适用于光场数据的后处理。

此外，光场数据是复杂的数据，其操纵对于非专业用户来说可能是不容易的和不直观的。

因此，希望提供一种用于操纵光场图像的技术，该技术将避免现有技术的这些缺点中的至少一个缺点。

根据本发明的第一方面，提供了一种用于操纵至少第一光场图像的计算机实现的方法，所述方法包括：

-检测第一输入，所述第一输入识别待操纵的所述第一图像的至少一个区域，所述至少一个区域被称为锐利区域，在所述至少一个区域中的像素要被对焦(in-focus)渲染，

-检测第二输入，所述第二输入用于选择要被应用于待操纵的所述第一图像中要被离焦(out-of-focus)渲染的像素的散景的形状，

-对通过将散景的所选形状应用于待操纵的所述第一图像的识别出的离焦像素所获得的最终图像进行渲染。

根据本发明实施例的方法使用户能够以用户友好的方式操纵由相机阵列或全光相机获取的光场图像。实际上，在该解决方案中，用户仅需要选择光场图像中要被渲染得锐利或要被对焦渲染的区域，并选择要被应用于光场图像的离焦区域的散景的形状，作为用于光场图像后处理工具的输入。一旦光场图像后处理工具处理了光场图像，则渲染出与用户的具体要求相对应的最终的后处理光场图像：经渲染图像在用户选择的区域中是锐利的，并且散景对应于用户所选择的参数。

选择散景的形状以应用于离焦使得能够渲染出更逼真和/或美观的最终图像。

这种解决方案使得操纵像光场图像一样复杂的图像变得容易。

根据本发明的实施例的方法不限于通过光学设备直接获取的光场图像。这些数据可以是计算机图形图像(CGI)，其由计算机针对给定的场景描述完全或部分地模拟。光场图像的另一来源可以是经修改的后制备数据，例如从光学设备或CGI获得的经颜分级的光场图像。此外，现在在电影工业中常见的是具有使用光学获取设备获取的图像和CGI数据两者的混合的数据。

待操纵的第一图像中要被渲染的像素是属于待操纵的第一图像的不属于待操纵的第一图像的识别出的锐利区域的像素。识别待操纵的第一图像的锐利区域比选择要被离焦渲染的区域更加地用户友好，这是因为用户倾向于知道图像中他想要焦点对准的对象。

根据本发明的方法的优点在于，它使用户能够针对待操纵图像的给定区域、给定颜、给定深度或者给定像素等选择要应用的散景的形状。

例如，应用于待操纵图像的操纵可以是合成孔径重新聚焦。

根据本发明的实施例，所述第一输入包括深度范围的下界和上界，使得待操纵的所述第一图像中具有所述深度范围内的深度值的像素要被对焦渲染，所述深度范围小于或等于待操纵的所述第一图像的深度范围。

所述深度范围的所述下界和所述上界可以被提供为两个数值。

所述第一输入还可以包括在所述深度范围的所述下界和所述上界之间移动在图形用户界面上显示的至少一个滚动条。

所述第一输入还可以包括：使用例如指点设备来选择待操纵图像的两个点，这两个点的深度定义了所述深度范围的下界和上界。

根据本发明的实施例，所述第一输入包括：对待操纵的所述第一图像内的所述锐利区域的边界进行限定的像素的坐标。

在这种情况下，通过借助于例如指点设备在图形用户界面上绘制锐利区域的边界来识别所述锐利区域。

还可以通过在图形用户界面的一部分上划扫指点设备来识别锐利区域。

最后，可以通过应用对待操纵图像上的锐利区域的边界进行限定的掩模来识别锐利区域。

根据本发明的实施例，所述第一输入至少包括：滤除要被离焦渲染的像素的锐度过滤器。

这样的过滤器可以例如使得面、待操纵图像的显著部分或者待操纵图像的某些像素(例如，其颜为给定的一片红的像素)被渲染得锐利。

根据本发明的实施例，所述方法还包括：

-检测第三输入，所述第三输入用于选择要被应用于待操纵的所述第一图像中要被离焦渲染的像素的散景的权重。

选择要应用于待操纵图像的散景的权重有助于改善最终图像的美感/真实感。

根据本发明的实施例，所述方法还包括：

-检测第四输入，所述第四输入提供数值，所述数值等于或大于待操纵的所述第一图像的深度D(x)与所述最终图像的至少像素要被渲染的深度d(x)之间的差的绝对值。

通过将上界设置为待操纵的所述第一图像的深度D(x)与最终图像的至少像素要被渲染的深度d(x)之间的差的绝对值，可以修改用于要进行离焦渲染的像素的散景的权重。

本发明的另一目的涉及一种用于操纵由相机阵列获取的至少第一图像的设备，包括：

-显示器，用于至少显示待操纵的所述第一图像，

-用户界面，

所述设备还包括至少一个硬件处理器，所述至少一个硬件处理器被配置为：

-在所述用户界面上检测第一输入，所述第一输入识别待操纵的所述第一图像的至少一个区域，所述至少一个区域被称为锐利区域，在所述至少一个区域中的像素要被对焦渲染，

-在所述用户界面上检测第二输入，所述第二输入用于选择要被应用于待操纵的所述第一图像中要被离焦渲染的像素的散景的形状，

-在所述显示器上对通过将散景的所选形状应用于待操纵的所述第一图像的识别出的离焦像素所获得的最终图像进行渲染。

在本发明的实施例中，这种设备可以是例如智能电话、平板电脑等，该设备嵌入图形用户界面，例如触摸屏,而不是显示器和用户界面。

根据该设备的实施例，所述第一输入包括深度范围的下界和上界，使得待操纵的所述第一图像中具有所述深度范围内的深度值的像素要被对焦渲染，所述深度范围小于或等于待操纵的所述第一图像的深度范围。

根据该设备的实施例，所述第一输入包括：待操纵的所述第一图像内的所述锐利区域的边界。

根据该设备的实施例，所述第一输入至少包括：滤除要被离焦渲染的像素的锐度过滤器。

根据该设备的实施例，所述硬件处理器还被配置为：

-检测第三输入，所述第三输入用于选择要被应用于待操纵的所述第一图像中要被离焦渲染的像素的散景的权重。

根据该设备的实施例，所述硬件处理器还被配置为：

-检测第四输入，所述第四输入提供数值，所述数值等于或大于待操纵的所述第一图像的深度D(x)与所述最终图像的至少像素要被渲染的深度d(x)之间的差的绝对值。

由本发明的元件实现的一些处理可以是计算机实现的。从而，本发明可以采取全硬件实施例、全软件实施例(包括固件、驻留软件、微代码等)或组合了软硬件方面的实施例的形式，它们在在本文中可以统称为“电路”、“模块”或“系统”。此外，本发明可以采取由在任意有形介质中具体实现的计算机可用程序代码表达的具体实现于所述介质中的计算机程序产品的形式。

由于本发明的元件可以实现为软件，所以本发明可以具体实现为计算机可读代码，用于提供给任意合适载体介质上的可编程装置。有形载体介质可以包括存储介质，例如软盘、CD-ROM、硬盘驱动器、磁带设备或固态存储器设备等。瞬时载体介质可以包括信号，例如电信号、电子信号、光信号、声信号、磁信号或电磁信号(例如,微波或RF信号)。

现在仅通过示例的方式并参考附图来描述本发明的实施例，在附图中：

图1表示根据本发明实施例的用户界面，

图2表示当执行根据本发明实施例的用于操纵图像的方法时的用户界面，

图3是表示以用户的角度说明的根据本发明的用于操纵光场图像的方法的步骤的流程图，

图4是表示根据本发明实施例的当嵌入用户界面的设备执行时用于操纵光场图像的方法的步骤的流程图，

图5是一维的函数d(x)的图形表示，

图6是示出了能够执行根据本发明实施例的方法的设备的示例的示意性框图。

本领域技术人员应当认识到，本发明原理的各方面可以被具体实现为系统、方法或计算机可读介质。因此，本发明原理的各方面可以采用全硬件实施例的形式、全软件实施例(包括固件、驻留软件、微代码等)的形式或组合了软硬件方面的实施例的形式，它们在本文中可以统称为“电路”、“模块”或“系统”。此外，本发明原理的各个方面可以采用计算机可读存储介质的形式。可以使用一个或多个计算机可读存储介质的任意组合。

本发明涉及一种用于操纵光场数据或内容的用户界面。光场内容是指由光学设备直接获取的光场图像或计算机图形图像(CGI)光场数据，其中，计算机针对给定的场景描述完全或部分地模拟该计算机图形图像(CGI)光场数据。光场数据的另一来源可以是经修改的后制备数据，例如从光学设备或CGI获得的经颜分级的光场图像。此外，现在在电影工业中常见的是具有使用光学获取设备获取的图像和CGI数据两者的混合的数据。

图1表示根据本发明实施例的用户界面。在本发明的第一实施例中，这样的用户界面1包括键盘10和/或指点设备11(例如，鼠标)，其连接到显示器12。在本发明的第二实施例中，用户界面1可以是触摸屏。

图2表示当执行根据本发明实施例的用于操纵图像的方法时图1的用户界面1。

在用户界面1的显示器12上显示光场图像20。在用户界面1的显示器12上还显示多个按钮21-25。用户借助于键盘10或指点设备11或者通过用手指触摸触摸屏的显示有按钮21-25的区域来激活按钮21-25。

图3是表示以用户的角度说明的根据本发明的用于操纵光场图像的方法的步骤的流程图。

在步骤E1中，在显示器12上显示待操纵的光场图像。

在步骤E2中，用户通过例如使用指点设备11激活在显示器12上显示的按钮21，来选择所显示图像或待操纵图像的图2上的至少一个区域A、B、C或D，以渲染得锐利。一旦按钮21被激活，则用户可以选择待操纵图像的第一区域，该区域将通过以下任一方式被渲染得锐利：

-提供深度范围的下界和上界，使得待操纵图像中具有深度范围内的深度值的像素要被对焦渲染，所述深度范围小于或等于待操纵图像的深度范围；在此情况下，用户可以在键盘10上键入与下界和上界相对应的数值。

-使用指点设备11或用户的手指绘制所述待操纵图像内的所述锐利区域的边界。在此情况下，提供限定锐利区域的边界的像素的坐标，

-至少选择锐度过滤器，从而滤除待操纵图像中要被离焦渲染的像素，

-或者，通过在下界与上界之间滑动条24。

在本发明的实施例中，通过分割算法预先确定锐利区域。例如，“Light-FieldSegmentation using a Ray-Based Graph Structure”Hog,Sabater,Guillemot,ECCV’16he UI中的算法可以借助于码向用户提议不同的区域。然后，用户例如通过将指点设备指点在他选择的区域上来选择该区域。

在另一实施例中，用户可以通过激活按钮来选择面或显著区域或感兴趣的对象。

在本发明的另一实施例中，通过学习策略(深度学习(LeCun Bengio,Hinton,Nature 2015))向用户提议锐利区域。该学习策略已经学习了图像的哪个部分应该是锐利的或模糊的。

在步骤E3中，用户激活按钮22，用于选择要被应用于待操纵图像中未被渲染得锐利的区域的散景的形状和权重，以便修改待渲染图像的审美。应注意，针对待操纵图像的每个所选区域，散景的形状和权重可以是不同的。

在本发明的另一实施例中，代替激活按钮22，用户可以激活按钮23，这导致应用预计算的模糊过滤器。

在本发明的另一实施例中，为了修改被应用于待操纵图像中要被离焦渲染的区域的散景的大小，用户可以以捏合手势触摸待操纵图像中与要被离焦渲染的区域相对应的区。通过借助于该捏合手势改变圆的直径，用户可以修改散景的大小。

在可选步骤E4中，一旦用户选择了将应用于待操纵图像的离焦区域的散景的形状、权重和大小，则用户可以通过修改渲染待操纵图像的离焦像素的深度来修改将应用的散景的最终渲染。这可以通过在下界与上界之间滑动条24来进行。

这样的用户界面是用户友好的，这是因为它使得用户能够易于直观且容易地操纵如光场图像那样复杂的内容。

图4是表示根据本发明实施例的当嵌入用户界面的设备执行时用于操纵光场图像的方法的步骤的流程图。

在步骤F1中，在用户界面1的显示器12上显示待操纵光场图像。

在步骤F2中，检测用户界面1的给定区上的第一输入。检测到第一输入触发对待操纵图像中将被渲染得锐利的至少一个区域A、B、C或D的识别。通过以下任一方式来识别待操纵图像中将被渲染得锐利的区域：

-提供深度范围的下界和上界，使得待操纵图像中具有深度范围内的深度值的像素要被对焦渲染，所述深度范围小于或等于待操纵图像的深度范围，

-绘制所述待操纵图像内的所述锐利区域的边界，

-至少选择锐度过滤器，从而滤除待操纵图像中待被离焦渲染的像素。

在步骤F3中，检测用户界面1的与检测到第一输入的区域不同的区域上的第二输入。检测到第二输入会触发选择要被应用于待操纵图像中未被渲染得锐利的区域的散景的形状和权重，以便修改待渲染图像的审美。应注意，针对待操纵图像的每个所选区域，散景的形状和权重可以是不同的。在本发明的实施例中，由在图形用户界面1上检测到第三输入来触发对要应用的权重的选择。

在步骤F4中，如下计算与待操纵图像上表示的场景(以其对应的模糊)渲染的深度相对应的函数d(x)：

其中，Dm和DM是场景的深度范围D的最小值和最大值，Ωsharp是要渲染得锐利的像素区域，并且D(x)是场景的实际深度。

函数d(x)的图形表示如图5所示。为了说明，图5以一维示出。实线表示实际深度，并且点线表示用于新渲染的深度。

在可选步骤F5中，在用户界面的区域上检测第四输入。检测到第四输入会触发接收与场景的深度D(x)与最终图像的至少一个像素要渲染的深度d(x)之间的差的绝对值相等或更大的数值。

这样的步骤使得能够通过修改待操纵图像的离焦像素将进行渲染的深度来修改要应用的散景的最终渲染。

在步骤F6中，基于通过用户界面提供的所有参数，计算要渲染图像。最终，可以以交互方式进行渲染。这样，每当用户进行更改时，这些更改都会在所得到的图像上直接可视。

在步骤F7中，然后在显示器12上显示最终图像。

图6是示出了能够执行根据本发明实施例的方法的设备的示例的示意性框图。

装置600包括通过总线606连接的处理器601、存储单元602、输入设备603、显示设备604和接口单元605。当然，计算机装置600的组成元件可以通过除总线连接之外的连接来连接。

处理器601可以控制装置600的操作。存储单元602存储将由处理器601执行的至少一个程序以及各种数据，包括由光场相机捕捉和提供的4D光场图像的数据、由处理器601执行的计算所使用的参数、由处理器601执行的计算的中间数据等。处理器601可以由任何已知和合适的硬件、或软件或硬件和软件的组合形成。例如，处理器601可以由诸如处理电路之类的专用硬件形成，或者由执行存储在其存储器中的程序的诸如CPU(中央处理单元)之类的可编程处理单元形成。

存储单元602可以由能够以计算机可读方式存储程序、数据等的任何合适的存储器或装置形成。存储单元602的示例包括诸如半导体存储器器件之类的非暂时性计算机可读存储介质以及被加载到读取和写入单元中的磁、光或磁光记录介质。该程序使得处理器601执行如参考图3-图4所述的根据本公开的实施例的操纵光场图像的过程。

输入设备603可以由键盘10、诸如鼠标之类的指点设备11等而形成以供用户用于输入命令，以使用户选择要渲染得锐利的区域、要应用于离焦区域的散景的形状和权重等。输出设备604可以由显示设备12形成，以显示例如图形用户界面(GUI)、根据本公开的实施例生成的图像。例如，输入设备603和输出设备604可以由触摸屏面板一体地形成。

接口单元605提供装置600与外部装置之间的接口。接口单元605能够经由电缆通信或无线通信与外部装置进行通信。在实施例中，外部装置可以是光场相机。在此情况下，由光场相机捕捉的4D光场图像的数据可以通过接口单元605从光场相机输入到装置600，然后存储在存储单元602中。

在该实施例中，装置600被示例性地讨论为它与光场相机分离，并且装置600和光场相机能够通过电缆通信或无线通信彼此通信，然而应该注意，装置600可以与这样的光场相机集成。在后一种情况下，装置600可以是例如便携式设备，例如嵌入光场相机的智能电话或平板电脑。

虽然上文针对具体实施例对本发明进行了描述，但本发明不限于具体实施例，并且在本发明的范围内的修改对于本领域技术人员是显而易见的。

对本领域技术人员而言，通过参照上述说明性实施例，将设想许多另外的修改和变形。其中该说明性实施例仅作为示例给出而不意在限制仅由所附权利要求确定的本发明的范围。具体地，在适当的情况下，来自不同实施例的不同特征可以互换使用。