表面颜分割

本发明涉及一种用于分割视图的方法，更具体地涉及一种用于分割光场内容的方法。

在图像处理中，图像分割是将图像或视图划分成多个分段(即，像素集)的过程。分割的目的是将图像的表示简化和/或改变为更有意义且更易于分析的事物。图像分割通常用于在图像中定位对象和边界(直线、曲线等)。更准确地说，图像分割是给图像中的每个像素指派标签以使得具有相同标签的像素共享特定特性的过程。

图像分割的结果是总体地覆盖整个图像的分段集，或者是从图像中提取的轮廓集。区域中的每个像素在特定特性(例如，强度或纹理)方面类似。相邻区域在相同特性方面存在显著差异。

在图像分割中，通常假定场景的所有表面都以完全散射或朗伯方式反射光。然而，大多数现有表面是非朗伯表面。非朗伯表面的示例是镜面、光泽表面或类似镜子的表面，其外观可能根据场景的视点而变化。

考虑到前述内容而设想了本发明。

根据本发明的第一方面，提供了一种用于分割至少一个视图的计算机执行的方法，该方法包括：

-针对所述视图确定调板，所述调板的颜的数量与用于分割至少所述视图的标签的数量相对应，

-根据所述视图的至少一个像素的实际颜与标签的颜之间的距离或差异，将所述视图的至少一个像素与所述标签之一相关联。

根据本发明的实施例的方法不限于由光学设备直接获取的图像。这些数据可以是由计算机针对给定场景描述完全或部分地模拟的计算机图形图像(CGI)。图像的另一个来源可以是修改后的后期制作数据，例如从光学设备或CGI获得的颜分级图像。在电影行业中，具有使用光学获取设备获取的图像类型和CGI数据的混合的数据现在也很普遍。

与现有技术中使用的其他度量(例如k均值聚类)相比，使用调板确定用于分割视图的标签的数量提供了更鲁棒的估计。此外，使用调板确定标签的数量不需要用户进行设置标签数量的交互。

根据本发明的实施例的方法通过提供考虑到由于表面的性质而引起的外观变化的表面颜分割而未假设视图中的对象的表面是完全的朗伯反射面。

根据本发明的实施例，将所述视图的至少一个像素与所述标签之一相关联包括：对由以下等式给出的能量函数进行优化：

其中：ψu(i)＝∑c∈a，b|αc(xi)-fc(ri)|是单一势，

是成对势，并且

τ(i，j)＝||log(α(xi))-log(α(xj))||1

并且其中f(ri)＝[x′，y′，L，a，b]是表示视图的像素的向量，x′，y′是像素在视图中的坐标，并且L，a，b表示像素的颜；αc(xi)是颜通道的值，α(xi)是标签的颜，τ(i，j)是针对标签兼容性的惩罚，并且w是具有对要应用于f(ri)的每个坐标的权重加以表示的五个坐标的向量。

在这样的实施例中，单一势对具有与标签的颜完全不同的颜的视图的每个像素进行惩罚，并且成对势迫使具有类似特征向量的像素具有类似的标签。

在本发明的实施例中，使用了CIELab颜空间，但是也可以使用其他颜空间，例如YUV、RGB、XYZ、YCbCr或YCpCt。

用于优化能量函数的优化方法是例如“P. andV.Koltun.Efficient Interference in Fully Connected CRFs With Gaussian EdgePotentials.In Advances in Neural Information Processing Systems，pages 109-117，2011”中公开的方法。

根据本发明的实施例，当至少一个视图属于光场内容时，该方法还包括：

-从光场内容中选择参考视图和至少另一视图，所述调板是根据所述参考视图来确定的，

-针对参考视图和该另一视图来确定至少一个超光线集，超光线是属于具有一致颜的场景的相同区域的光线组，

-通过确定超光线集是否与相同像素集中的其标签具有类似颜的像素组之间的边界相交，对所述像素组进行重新分组，

为了捕获更大的场景，相机装备的相机之间的间距必须更大。相机之间的宽空间导致稀疏的光场。

处理光场内容依赖于角域中的导数以施加约束或拟合参数模型以提取表面特性。在稀疏光场的情况下，这些导数的估计可能不可靠，从而不允许使用针对光场设计的现有处理技术。

稀疏光场的一个缺点是稀疏光场中可用的信息量不允许进行丰富的表面预测。在非朗伯表面(例如，镜面、光泽表面或类似镜子的表面，其外观可能根据场景的视点而变化)的情况下，稀疏光场的稀疏性变得至关重要。实际上，在稀疏光场的不同视图中，相同的光泽表面可能具有不同的颜。为了将具有光泽表面的对象的表面分割成其不同的颜，需要考虑光场的视图之间的差异。

为了克服该缺点，本发明的发明人提出了将稀疏光场的视图过度分割成超光线。这种过度分割提供了场景的软几何分解。

参考视图与相机装备的中心视图相对应，其他视图与从位于相机装备的每个角落的相机获取的视图相对应。使用这些视图能够考虑遮挡和依赖于视图的效果，同时保持较低的计算复杂度，这是因为只考虑了光场的少量视图。可以选择较大的视图集，在这种情况下，计算复杂度较高，但是可以提高准确度。

根据本发明的实施例，该方法还包括：将代表所述像素集的参数传播到光场内容的其他视图。

因此，用户不必将分割技术独立地应用于光场的每个视图。

根据本发明的实施例，确定超光线集B(ci，ck)是否与所述像素组ci，ck之间的边界相交包括：针对超光线，执行以下操作：

-确定颜一致性其中σ(αc(xi))是针对超光线p内的像素组{ri}的颜通道c中的标准偏差，

qk＝{i|ri∈p∧φ(ri)＝ck∧ck∈φu(p)∧|ck|＞μ|p|}，其中φu(p)是超光线中存在的不同像素组，

-确定模糊度ρp＝max({λp(ck)|ck∈φu(p)})，

-基于这些度量，生成图G＝(V，E)，其中V是与分段相对应的节点vi的集合，并且E是加权边集，

-确定权重其中B(ci，ck)＝{p|ci，ck∈φu(p)∧ci≠ck∧p∈P(L)}，

-如果wi，k小于给定的阈值，则合并节点。

根据本发明的实施例，在确定调板之前，该方法包括：

-在所述参考图像中选择对象，

-在光场内容的其他视图中传播所述选择的对象。

本发明的另一目的涉及一种能够分割至少一个视图的设备，该设备包括至少一个硬件处理器，该至少一个硬件处理器被配置为：

-针对所述视图确定调板，所述调板的颜的数量与用于分割所述视图的标签的数量相对应，

-根据视图的至少一个像素的实际颜与标签的颜之间的差异，将所述视图的至少一个像素与所述标签之一相关联。

根据本发明的一个实施例，将所述视图的至少一个像素与所述标签之一相关联包括：对由以下等式给出的能量函数进行优化：

其中：ψu(i)＝∑c∈a，b|αc(xi)-fc(ri)|；

并且

τ(i，j)＝||log(α(xi))-log(α(xj))||1，

并且其中f(ri)＝[x′，y′，L，a，b]是表示视图的像素的向量，x′，y′是像素在视图中的坐标，并且L，a，b表示像素的颜；αc(xi)是颜通道的值，α(xi)是标签的颜，τ(i，j)是针对标签兼容性的惩罚，并且w是具有对要应用于f(ri)的每个坐标的权重加以表示的五个坐标的向量。

根据本发明的实施例，当所述至少一个视图属于光场内容时，所述硬件处理器还被配置为：

-从光场内容中选择参考视图和至少另一视图，所述调板是根据所述参考视图确定的，

-针对参考视图和该另一视图来确定至少一个超光线集，超光线是属于具有一致颜的场景的相同区域的光线组，

-通过确定超光线集是否与相同像素集中的其标签具有类似颜的像素组之间的边界相交，对所述像素组进行重新分组。

根据本发明的实施例，代表所述像素集的参数被传播给光场内容的其他视图。

由本发明的元件执行的一些过程可以是计算机执行的。因此，这样的元件可以采取以下形式：完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或组合了在本文中通常都被称为“电路”、“模块”或“系统”的软件和硬件的实施例。此外，这样的元件可以采取具体实现在任何有形表达介质中的计算机程序产品的形式，该计算机程序产品具有具体实现在该介质中的计算机可用程序代码。

由于本发明的元件可以用软件实现，因此本发明可以具体实现为计算机可读代码，以提供给任何合适的载体介质上的可编程装置。有形载体介质可以包括诸如软盘、CD-ROM、硬盘驱动器、磁带设备或固态存储设备等的存储介质。瞬态载体介质可以包括诸如电气信号、电信号、光信号、声信号、磁信号或电磁信号(例如，微波或RF信号)等的信号。

现在将仅通过示例的方式并参考以下附图来描述本发明的实施例，在附图中：

图1是示出了能够执行根据本发明的实施例的方法的设备的示例的示意性框图。

图2是表示根据本发明的实施例的用于分割图像或视图的方法的步骤的流程图。

如本领域技术人员将理解的，本原理的各方面可以具体实现为系统、方法或计算机可读介质。因此，本原理的方面可以采取以下形式：完全硬件实施例、完全软件实施例(包括固件、驻留软件、微代码等)或组合了通常可以在本文中称为“电路”、“模块”或“系统”的软件和硬件方面的实施例。此外，本原理的各个方面可以采取计算机可读存储介质的形式。可以利用一个或多个计算机可读存储介质的任何组合。

表1概述了贯穿本发明的不同实施例的以下描述所使用的符号。

表格1

图1是示出了能够执行根据本发明的实施例的方法的设备的示例的示意性框图。

装置100包括通过总线106连接的处理器101、存储单元102、输入设备103、显示设备104和接口单元105。当然，可以通过除总线连接以外的连接对计算机装置100的组成元件进行连接。

处理器101控制装置100的操作。存储单元102存储要由处理器101执行的至少一个程序以及各种数据，所述数据包括由相机捕获并提供的图像的数据、由处理器101执行的计算所使用的参数、由处理器101执行的计算的中间数据等。处理器101可以由任何已知且合适的硬件或软件或硬件和软件的组合形成。例如，处理器101可以由诸如处理电路之类的专用硬件、或者由执行存储在其存储器中的程序的可编程处理单元(例如，中央处理单元(CPU))形成。

存储单元102可以由能够以计算机可读方式存储程序、数据等的任何合适的存储设备或装置形成。存储单元102的示例包括诸如半导体存储设备之类的非暂时性计算机可读存储介质、以及加载到读取和写入单元中的磁、光或磁光记录介质。程序使处理器101执行如参考图2所描述的根据本公开的实施例的用于分割图像的过程。

输入设备103可以由键盘10、诸如鼠标之类的定点设备11等形成，以由用户使用以输入命令等。输出设备104可以由显示设备12形成，以显示例如图形用户界面(GUI)、根据本公开的实施例生成的图像。例如，输入设备103和输出设备104可以由触摸屏面板一体地形成。

接口单元105提供装置100与外部装置之间的接口。接口单元105可以经由电缆或无线通信与外部装置进行通信。在一个实施例中，外部装置可以是相机。在这种情况下，由相机捕获的数据图像可以通过接口单元105从相机输入到装置100，然后存储在存储单元102中。在另一个实施例中，设备100接收由计算机针对给定场景描述完全或部分地模拟的计算机图形图像(CGI)数据。另一个数据源可以是修改后的后期制作数据，例如从光学设备或CGI获得的颜分级图像。在电影行业中，具有使用光学获取设备获取的图像和CGI数据的混合的数据现在也很普遍。

在该实施例中，当装置100与相机分离并且它们可以通过电缆或无线通信彼此通信时示例性地讨论了装置100，然而应当注意，装置100可以与这种相机集成在一起。在该后一种情况下，装置100可以是例如诸如嵌入有相机的平板计算机或智能电话的便携式设备。

图2是表示根据本发明实施例的用于分割图像或视图的方法的步骤的流程图。这种用于分割图像的方法适用于经典的二维(2D)图像和光场图像两者。

在步骤200中，设备100根据其是否连接到相机来获取或接收图像I。在本发明的第一实施例中，图像I是经典的2D图像。在本发明的第二实施例中，图像I是包括多个视图的光场图像。可以通过全光相机或也称为相机装备的相机阵列来获取这样的光场图像。

当图像I是光场图像时，所述光场图像被表示为光线空间L(x，y，u，v)上的两平面参数化，其中光线r∈L穿过两个平行平面：传感器平面IIuv、以及虚拟相机平面或图像平面Ωxy。Li，j(x，y)或Li，j表示在坐标(u＝i，v＝j)处切割相机的传感器平面的光场视图。对于尺寸为m×n的传感器平面，光场的参考视图被定义为其中并且

根据本发明的实施例的方法的一个目标是到跨越光场的多个视图具有一致表面颜的分段集Φ＝{ck}。

在步骤201中，当图像I是光场图像时，设备100的处理器101选择光场图像I中的关键视图L′。关键视图例如是来自光场图像的参考视图和至少另一视图，所述调板是根据所述参考视图确定的。在本发明的实施例中，关键视图L′是参考视图和极值视图，在相机装备的情况下，极值视图与由位于相机装备的角落处的相机获取的视图相对应，这是因为在遮挡和颜随视点变化而变化方面，它们覆盖了最高的可变性。

在步骤202中，处理器101针对关键视图L′中的每一个来确定超光线集P(L)＝{p}。超光线是光线组，其属于具有近似一致的颜并在多个视图中成像的场景的相同区域。超光线针对光场图像I的每个光线提供视差值d(x，y，u，v)。

然后，使用视差值来将光场图像I的所有光线重新参数化为参考视图。因此，光场图像I的每个光线可以在参考视图中具有新的坐标x′＝x+(u-uc)d(x，y，u，v)和y′＝y+(v-vc)d(x，y，u，v)，其中x、y、u、v是光线的以前的坐标。

在最佳步骤203中，设备100的处理器101在输入设备103上检测到与用户选择图像I中的对象相对应的输入。步骤203可以在经典的2D图像上或光场上运行。

当图像I是光场图像时，处理器101使用诸如“M.Hog，N.Sabater andC.Guillemot.Super-rays for Efficient Light-Field Processing.IEEE Journal ofSelected Topics in Signal Processing，2017”中公开的技术的已知传播技术将选择传播到光场图像的所有视图。

在步骤204中，处理器101确定图像I的调板当图像I是光场图像时，处理器确定光场图像的参考视图的调板可以使用“J.Delon，A.Desolneux，J-L.Lisani andA.B.Petro.A Non-parametric Approach of Histogram Segmentation.IEEETransactions on Image Processing，16(1)/253-261，2007”中公开的方法来确定调板

然后，处理器101确定用于分割图像工的标签的数量，这是因为标签的数量与调板的颜的数量相对应。

在步骤205中，处理器101根据图像I的像素的实际颜与标签的颜之间的差异，将像素与所述标签之一相关联。当图像I是光场图像时，处理器对在步骤201期间选择的每个关键视图执行步骤205。

将所述标签与图像I的像素相关联包括：优化由以下等式给出的能量函数：

其中：ψu(i)＝∑c∈a，b|αc(xi)-fc(ri)|是单一势，

是成对势，并且

τ(i，j)＝||log(α(xi))-log(α(xj))||1

并且其中f(ri)＝[x′，y′，L，a，b]是表示视图的像素的向量，x′，y′是像素在视图中的坐标，并且L，a，b表示像素的颜；αc(xi)是颜通道的值，α(xi)是标签的颜，τ(i，j)是针对标签兼容性的惩罚，并且w是具有对要应用于f(ri)的坐标中的每一个的权重加以表示的五个坐标的向量。

在这样的实施例中，单一势对具有与标签的颜完全不同的颜的视图的每个像素进行惩罚，并且成对势迫使具有类似特征向量的像素具有类似的标签。

用于优化能量函数的优化方法是例如“P. andV.Koltun.Efficient Interference in Fukky Connected CRFs With Gaussian EdgePotentials.In Advances in Neural Information Processing Systems，pages 109-117，2011”中公开的方法。

在步骤206中，处理器101通过确定超光线集是否与相同的像素集中的其标签具有类似颜的像素组之间的边界相交，来对所述像素组进行重新分组。步骤205产生图像I的颜分割，该图像I可能由于例如阴影或强光而被过度分割。这可能影响图像I的最终分割。

为了克服这个问题，执行步骤206。合并与相同表面相对应的图像I的分段。由于处理器101在执行步骤206时使用与超光线有关的信息，因此仅在执行步骤202时才执行该步骤。

确定超光线集B(ci，ck)是否与所述像素组ci，ck之间的边界相交包括：针对每个超光线，计算以下各项：

颜一致性其中σ(αc(xi))是针对超光线p内的像素组{ri}的颜通道c中的标准偏差，

qk＝{i|ri∈p∧φ(ri)＝ck∧ck∈φu(p)∧|ck|＞μ|p|}，其中φu(p)是超光线中存在的不同像素组，

模糊度ρp＝max({λp(ck)|ck∈φu(p)})。

然后，基于针对每个超光线的这些度量，图G＝(V，E)，其中V是与分段相对应的节点vi的集合，即V＝{vi＝ci}，并且E是加权边集，其中当两个节点在光场图像的图像平面中以4-邻域连通时，这两个节点是邻居。

通过给出权重wi，j，其中

B(ci，ck)＝{p|ci，ck∈φu(p)∧ci≠ck∧p∈P(L)}，这是与分段ci和ck之间的边界相交的超光线。如果wi，k小于给定的阈值，则合并节点。例如，在本发明的实施例中，wi，k＜0.02。

在步骤207中，处理器101使用已知的传播技术将在步骤206期间确定的合并传播给光场图像的所有视图。

根据本发明的方法可以提供表示图像I的分割的图像，即，其中每个分段具有与其标签相对应的颜的图像、或者提供其中图像I的像素与分段及其标签相关联的数据文件。

在执行根据本发明的实施例的方法之后获得的图像I的分割可以用作本征光场分解方法的输入数据。

本征分解是对图像形成过程进行逆向工程的过程。更具体地，由相机记录的任何像素与已经从场景中的表面反射的光相对应。本征分解将图像I分成表示被成像的表面的反射率R的第一分量和表示入射到该表面上的照度的第二分量S，使得I＝R⊙S。在经典的2维图像以及I＝L的光场图像中，这是一个欠约束的问题。

然而，在光场图像中，在不同的视图中从不同的有利位置对相同场景点进行成像。光场图像的基线越宽，在该方面所述光场图像提供的分析潜力就越大。使用根据本发明的不同实施例的分割方法能够进行有意义的本征分解。

在分解中使用从执行根据本发明的实施例的方法而得到的分割使得能够通过例如根据“E.Garces，A.Munoz，J.Lopez-Moreno，and D.Gutierrez.Intrinsic Images byClustering.Computer Graphics Forum(Proc.EGSR)，31(4)，2012”中公开的方法而使线性方程组最小化，来获得灰度阴影分量s＝logS。

作为对光场图像进行分割的结果，针对每个分段ck仅剩下一个未知量，因此可以在相邻分段对之间施加阴影平滑度约束：

其中ck和cl是光场图像平面中的相邻分段，并且阴影分量sk和sl被计算为：

其中，rk表示反射。另外，是针对分段k内的所有光线的平均值。对于整个光场图像，可以以闭合形式全局地解决该优化，这是因为通过处理分段而不是光线可以显著地减少未知量的数量。然后，根据每个像素和每个通道划分来确定光场图像反射率R：

尽管以上已经参考具体实施例描述了本发明，但是本发明不限于具体实施例，并且对于本领域技术人员而言，在本发明的范围内的修改将是显而易见的。

在参考前述说明性实施例时，本领域技术人员将想到许多进一步的修改和变化，其中所述说明性实施例仅以示例的方式给出，并且无意于限制本发明的范围，本发明的范围仅由所附权利要求来确定。具体地，在适当的情况下，可以互换来自不同实施例的不同特征。