稀疏表⽰分类（SRC）
重奖转载 2015年11⽉07⽇ 10:51:57
林希翎标签：/
如决策树、神经⽹络、贝叶斯⽅法、Fisher线性分析(Fld)以及⽀持向量机(Support ⽬前已有很多⽅法和技术⽤于构造分类模型，如
第六套幼儿广播体操Vector Machine, SVM)。
基于超完备字典的信号稀疏分解是⼀种新的信号表⽰理论，其采⽤超完备的冗余函数系统代替传统的正交基函数，为信号基于超完备字典的信号稀疏分解是⼀种新的信号表⽰理论 ⾃适应的稀疏扩展提供了极⼤的灵活性。稀疏分解可以实现数据压缩的⾼效性，更重要的是可以利⽤字典的冗余特性捕捉信号内在的本质特征。 信号稀疏分解的基本思想是：使⽤超完备的冗余函数字典作为基函数，字典的选择尽可能地符合被逼近信号的结构，字典中信号稀疏分解的基本思想是
的元素被称为原⼦。利⽤贪婪算法或者⾃适应追踪算法，从字典中到具有最佳线性组合的很少的⼏项原⼦来表⽰⼀个信号，也称作⾼度⾮线性逼近。本⽂主要利⽤字典的冗余特性可以更好地捕捉信号本质特征这⼀特点，提出数据分类算法SRC。实验结果表明，SRC算法在分类准确性上优于SVM和Fld算法，不平衡数据集的分类实验结果显⽰了该算法的鲁棒性。
⼏个专业名词解析：
原⼦：字典的列向量。
原⼦
完备字典与过完备字典：如果字典D中的原⼦恰能够张成n维的欧式空间，则字典D是完备的。如果m》n，字典D是冗余的，完备字典与过完备字典
同时保证还能张成n维的欧式空间，则⼤字典D是过完备的。青岛电视台生活在线
三个关键问题需要解决，如下:
⾯对稀疏表⽰模型，有三个关键问
1.如何有效获取图像在字典中下最稀疏的分解系数。
2.如何设计与构建有效的图像稀疏表⽰字典。
3.如何将图像稀疏表⽰模型应⽤于具体的图像处理反问题中。
⾸先，Dictionary是⼀种sparse representation（稀疏表⽰）的模型。⽐如你的数据是y，字典是D，y=Dx，其中x是稀疏的。如果你的D是⽅阵或者长⽅形矩阵（正交矩阵除外），字典很可能是不确定的。相反的，如果你的D是个fat matrix 冗余矩阵，形象地讲，你拥有多于必要的列来表达这个数据（冗余）。这样的字典称为Overcomplete dictionary。这种字典的优势是更有利于表达highly diversified（⾼度多元化）的数据（图像）。
投影
原始特征Yi的维数也为N。假设原始特征投影特征学习的过程中，假设学习的码书
码字的维数为N。每个原始特征
码书D的⼤⼩为M。每个码字的维数为
到码书上以后的特征向量是Xi（M维的⽮量），那么⽤D和Xi对Yi重建的过程就是：Yi=D*Xi。
coding的过程就变成了已知Yi和D，求Xi的过程了。显然这是⼀个⾮齐次⽅程组求解的问题，⽅程组有解的条件是rank(D)≤M，其中取等号时⽅程组有唯⼀解。过完备的定义是M>>N，所以此时 rank(D)≤N<<M，此时⽅程组有⽆穷多解。（你可能会问，这和最⼩化平⽅误差为⽬标函数不⼀样啊！其实求个导，就变成这个⽅程组了。）这就是过完备造成的问题了。怎么办呢？办法就是对Xi 做约束------稀疏的约束，这样Xi就有唯⼀解了。这就是需要加约束的原因。⽽为什么是稀疏的约束，这个再谈。
个样本，每个样本有个measurement（这个measurement可以是regression中的
有n个样本
特征选择的过程，也是⼀样的。假设此时有崔芝昆
每个样本的特征是p维的，n个样本的特征组成n*p的矩阵A。⽬标是对这p维特征做output，也可以是classification中的label）。每个样本的特征是
记录。此时将如下图所⽰：
⼀个选择，选择的系数⽤
选择的系数⽤x记录
这与第⼀个图是等价的，特征选择过程中的over-complete是指p>>n，不加约束的情况下x将有⽆穷多组解，所以和特征学习⼀样，加系数的约束。xi为0表⽰相应的特征不被选择。（⽽xi<0，等价于取⼀个|xi|，⽽将相应的特征的值取负号。）
如果measurement不是⼀维的咋办？⽐如multi-label的问题。我猜测把x的列维数也扩展成相应⼤⼩，然后根据label之间的correlation加低秩等约束吧。
农业科技网络书屋稀疏表⽰是最近⼏年信号处理领域的热点之⼀，简单来说，它其实是⼀种对原始信号的分解过程，该分解过程借助⼀个事先得到的字典（也有⼈称之为过完备基，overcomplete basis，后⾯会介绍到），将输⼊信号表⽰为字典的
线性近似的过程。即：
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议