1.Mingming Cheng,Global Contrast based Salient Region Detection,CVPR2011
1) HC：基于直⽅图对⽐度的⽅法，每⼀个像素的显著性值是由它与图像中所有其他像素的颜⾊差异来确定，得到全分辨率显著性图像； 2) RC：基于局部对⽐度的⽅法，先将图像分割成⼩区域，采⽤的分割⽅法是基于图的分割，基本分割思想是将每个像素点作为⽆向图的顶点，两个像素点之间的不相似度作为边的权重，要求连接相同区域内的两个顶点的边的最⼤权重要⼩于连接不同区域的顶点的边的最⼩权重，在迭代过程中进⾏顶点归纳与区域合并，具体参见论⽂Efficient graph-based image segmentation；每个区域的显著性值由它与其他所有区域的空间距离和区域像素数加权的颜⾊差异来确定；空间距离为两个区域重⼼的欧⽒距离，较远区域分配较⼩权值；
3) 细节加速：
① 基于直⽅图的加速：将每个颜⾊通道由256个颜⾊值量化到12个颜⾊值后，对输⼊图像计算颜⾊直⽅图，保留⾼频颜⾊，覆盖95%图像像素，剩下颜⾊舍弃，⽤直⽅图中距离最近的颜⾊代替； ② 颜⾊空间平滑：减⼩量化误差，每个颜⾊的显著性值被替换为相似颜⾊显著性的加权平均；在RGB
空间进⾏量化，⽤Lab空间度量距离；
4) 评价：基于HC的理论⽅法很简单，根据全局对⽐度计算显著度，计算速度快，对于背景较简单的图像效果也不错；RC改变了处理单元，由单个像素到图像块，速度较慢，效果并没有⽐HC提⾼很多，个⼈认为基于图的分割结果不够好，导致saliency map不均匀。
2.Yulin Xie，Visual Saliency Detection Based on Bayesian Model,ICIP2011
1) 基本流程：
① 检测显著⽬标的⾓点：颜⾊增强Harris⾓点检测。对输⼊的彩⾊图像计算颜⾊增强矩阵Mboost，⽤Mboost对输⼊图像进⾏颜⾊转换，计算颜⾊增强后的图像的Harris⾓点能量函数得到能量图，选取能量图中能量值最⼤的⼏个点，并剔除图像边界附近的点，得到较准确的显著点；
② ⽤⼀个凸包将所有显著点包围起来，得到显著区域的⼤致位置；
③ 将显著度计算等价为贝叶斯后验概率的计算：
a. 先验概率p(sal)：计算每个像素显著度。将输⼊图像进⾏超像素分割，计算每个超像素的平均颜⾊和空间位置；对凸包内外的超像素分别进⾏K-means聚类，计算凸包内每个cluster与凸包外所有clusters的平均颜⾊距离，最⼤距离对应的那个cluster为显著cluster；其他所有超像素的显著度由它与显著cluster内的超像素的空间和颜⾊距离来确定；将计算的所有显著值归⼀化到[0,1]，作为贝叶斯框架的先验概率。
b. 观测概率p(x|sal)，p(x|bk)：分别计算凸包内区域和凸包外区域的Lab颜⾊直⽅图，对于任意像素点x特征值为Lab，分别凸包内外直⽅图相同Lab值对应的各通道bin，计算各通道bin包含像素个数占总像素个数的百分⽐，三个百分⽐相乘。即框内外元素在框内和框外直⽅图占的⽐例。
电子设备制造④ 由贝叶斯公式计算最终的saliency map
2) 评价：对于简单背景，效果也很好。Saliency map的准确度也很⼤部分取决于凸包的准确性，稍复杂背景会有很多的⾓点被检测到，经常会有显著范围过⼤的情况，即false positive。
3.Yun Zhai,Mubarak Shah,Visual Attention Detection in Video Sequences Using Spatiotemporal Cues,ACM2006
旱獭油1) 系统框架：
① 时域显著度模型
检测连续视频帧中的兴趣点，⽤SIFT建⽴兴趣点之间的对应，根据对应点计算单应性矩阵检测运动平⾯，RANSAC算法估计多个单应性矩阵来描述不同的运动模块；根据单应性矩阵得到投影点与实际点之间的投影误差计算该像素点的运动对⽐度，并加⼊单应性矩阵的跨越区域作为权重调节，避免纹理变化导致显著点分布不均匀的问题。
② 空域显著度模型
计算像素级的saliency map：该像素点颜⾊与图像中所有其他像素点的color distance map与其他像素点颜⾊直⽅图频率的乘积；
计算区域级的saliency map：采⽤区域增长算法，根据前⾯计算的显著点对显著区域进⾏初始化，以其为中⼼⽣成种⼦区域，通过计算区域边缘的能量进⾏迭代扩张，最终得到⼀个矩形显著区域。扩展的区域重叠时，采⽤区域合并技术；
③ 时域空域模型结合
动态结合，运动对⽐度较⼤时给时域显著度模型赋予较⼤权重，否则给空域显著度模型赋予较⼤权重。
2) 评价：基于视频的显著度检测，考虑帧间运动显著性信息，和图像⾃⾝显著性，值得进⼀步探索。速度较快，效果也⽐较稳定。
4.Xiaohui Shen,Ying Wu,A Unified Approach to Salient Object Detection via Low Rank Matrix Recovery,CVPR2012
1) 基本流程：⽂章提出了⼀种新的图像表⽰⽅法，将其表⽰为⼀个低秩矩阵（⾮显著区域）加上稀疏噪⾳（显著区域），再利
⽤Robust PCA技术进⾏低秩矩阵恢复，得到的噪⾳就是显著区域，再根据⾼层次的先验知识来帮助修正显著区域。
2) 图像矩阵：
① 提取特征：R，G，B，hue，saturation，3尺度下4个⽅向共12个steerable pyramids响应，3尺度8⽅向共12个Gabor fileters响应，加起来⼀共53维。
② 矩阵构造：先利⽤Mean-shift算法将图像分割成很多较⼩的segments再⽤每个segment中所有特征向量的均值来表⽰这个segment，从⽽构造成为矩阵。
③ 特征空间变换：保证特征向量为低秩。
垃圾分拣机器人3) ⾼层先验融合：位置先验（基于图像中⼼⾼斯分布），语义先验（⼈脸检测），颜⾊先验（暖⾊更明显）
4) 评价：对图像的表⽰⽐较新颖，但实验效果⼀般，saliency map不均匀，提取特征多，计算量⼤，低秩矩阵恢复速度也⽐较慢
6.Ali Borji,Boosting Bottom-up and Top-down Visual Features for Saliency Estimation,CVPR2012
1) 主要贡献：
① 本⽂的主要出发点是⼀个贝叶斯公式的推导，在具有特征f的某位置x是salient的概率p是等式的左边，有如下：
此处假设f与x相互独⽴，且先验概率p(s)相同，所以可以得到正相关最右。⼜有：
即与图⽚中⼼点的欧式距离相关，所以本⽂主要研究的是特征点和salient的对应关系。
② 将bottom-up和top-down联合，底层特征有⽅向，颜⾊，强度，颜⾊通道直⽅图及概率，⾦字塔模型，现有的底层显著图例
如GBVS，Torralba模型，AWS模型；⾼层特征包括⽔平线检测，⼈车检测，⼈脸检测等。底层和⾼层加起来，每个pixel就对应⼀个34维的feature。
③ 测试了多种分类器对于显著图计算的贡献，采⽤online learning，先将feature matrix归⼀化，使其
平均数是0，标准差是1，然后建⽴⼀个等⼤⼩的label map，每个点取值+1/-1，⼈眼观测的预测结果，top 20%标注+1，bottom 40% 标注-1。他将数据集分为N组，然后使
⽤leave-one-out的⽅式进⾏训练和测试。测试分类器有回归分类器（regression），线性核的SVM和AdaBoost⾮线性分类器。实验表
明Adaboost效果最好。
④ 评估指标：AUC值为ROC曲线与x轴之间距离的积分；NSS归⼀化扫描路径的显着性，描述saliency可以描述fixation的程度；线性相关系数CC表⽰saliency map和⼈眼关注map之间的线性关系，计算协⽅差。
2) 评价：论⽂内容上新意不⼤，底层特征与⾼层知识的结合，倒是提供了不少特征提取参考，以及各种分类器和评估准则的测试；没有进⾏代码测试，觉得计算量应该很⼤。
7.Federico Perazzi，Philipp Krahenbuhl，Saliency Filters: Contrast Based Filtering for Salient Region Detection
无尘涂装1) 基本思想：⼀直以来都被认为应该是⼀个滤波器，该⽂作者想到了将其使⽤滤波器的⽅法进⾏加速。这篇⽂章主要是对局部和全局两种显著特征的公式进⾏了分析，提出了⼀种可以再线性时间内计
算的⽅法。
2) ⽅法流程：
① 图像分割：采⽤略微修改的超像素分割，根据CIElab空间的测地线图像距离进⾏K-means聚类，产⽣⼤体上均匀尺⼨，并且可以保持颜⾊边界的超像素分割。
② 颜⾊独⽴性：
其中的权重与超像素空间位置的距离有关，如果这个值给予长距离很低的权重，这个颜⾊独⽴性就类似于中央周边的对⽐度，即距离远的像素对其显著性贡献较低；如果这个权重为常数，这个颜⾊权重就类似于Mingming Cheng论⽂⾥⾯的区域对⽐度。
这个公式也可以写成：
第⼀项的Σ结果是1，第⼆和第三项都可以看做是以ω为核的滤波器，分别对cj 和cj2滤波。本⽂将这个核写成了⾼斯的形式，并且借
助Adams提出的permutohedral lattice embedding 滤波器来实现线性时间的计算。
③ 空间颜⾊分布：
权重是颜⾊的差距，前⾯是空间距离。根据ω(ci,cj)定义，颜⾊越接近近权重越⼤，即距离远但颜⾊相近的像素分布值⼤，和前⼀个特征刚好是相反，这个特征可以表⽰某种颜⾊在空间分布的⼴度。例如
某种颜⾊分散在图像中，但是⾯积都很⼩，那么第⼀个特征计算出来这个颜⾊的独⽴性就⽐较⾼，但是第⼆个特征会告诉你这个颜⾊的分布很⼴，并不显著。
cielab
通过类似的推导，这个公式也可以写成⾼斯滤波的形式，借助Adams提出的permutohedral lattice embedding 滤波器来实现线性时间的计算，具体参考论⽂Fast High-Dimensional Filtering Using thePermutohedral Lattice。
④ 显著性融合：
由于空间颜⾊分布的区分度更⼤，因此作者将其放在了指数的位置，并加了⼀个权重调节。Di越⼤即颜⾊分布越⼴，对应显著性值越
⼩；Ui越⼤对应颜⾊独⽴性越⾼，对应显著性值越⼤。
最后，特征被从超像素级映射到像素级。每个像素的显著性是通过其所在超像素以及周围的超像素进⾏⾼斯线性加权，权重取决于和颜⾊，位置的距离。最终的归⼀化也很重要，要求显著图⾄少包含10%的显著像素，这种归⼀化⽅式也会提升算法最终的评价指标。
3) 论⽂评价：考虑到颜⾊⾃⾝独⽴性与颜⾊分布对显著度的贡献结合，算法均在时域进⾏，并采⽤⾼斯滤波加速，得到很不错的效果。实际测试结果saliency map较均匀，但公布的代码缺少⼀些实验细
感温元件节，没有论⽂的公布结果好。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议