⼈脸Pose检测：ASM、AAM、CLM⽅法总结
⼈脸的Pose检测可以使⽤基于位置约束的特征点的⽅法。⼈脸特征点定位的⽬的是在⼈脸检测的基础上，进⼀步确定脸部特征点（眼睛、眉⽑、⿐⼦、嘴巴、脸部外轮廓）的位置。定位算法的基本思路是：⼈脸的纹理特征和各个特征点之间的位置约束结合。经典算法是ASM和AAM。 ⼀不⼩⼼听懂了ASM、AAM、CLM算法，还是记录下来......................
参考⽂献：An Introduction to Active Shape Models. Constrained Local Model for FaceAlignment. Xiaoguang
中国电镀网
Yan(2011).
Kass et al [15] introduced Active Contour Models (or ‘snakes’) which are energy minimising curves. In the original formulation the energy has an internal term which aims to impose smoothness on the curve, and an external term which encourages movement toward image features. They are particularly useful for locating the outline of general amorphous objects, such as some cells (see Chapter 3, secion 3.1 for the application of a snake to microscope images). However, since no model (other than smooth
中国建筑的特征教案ness) is imposed, they are not optimal for locating objects which have a known shape. As the constraints are weak, this can easily converge to incorrect solutions.
ASM模型起源于snake模型（作为动态边缘分割的snake模型），该⽅法⽤⼀条由n个控制点组成的连续闭合曲线作为snake模型，再⽤⼀个能量函数作为匹配度的评价函数，⾸先将模型设定在⽬标对象预估位置的周围，再通过不断迭代使能量函数最⼩化，当内外能量达到平衡时即得到⽬标对象的边界与特征。
1989年yuille等⼈此提出使⽤参数化的可变形模板来代替snake模型，可变形模板概念的提出为aam的产⽣奠定了理论基础。
1995年cootes等⼈提出的asm算法是aam的直接前⾝，asm采⽤参数化的采样形状来构成对象形状模型，并利⽤pca⽅法建⽴描述形状的控制点的运动模型，最后利⽤⼀组参数组来控制形状控制点的位置变化从⽽逼近当前对象的形状，该⽅法只单纯利⽤对象的形状，因此准确率不⾼. 海关总署公告2012年第15号1998年，cootes等⼈在asm算法的基础上⾸先提出aam，与asm的不同之处是他不仅利⽤了对象的形状信息⽽且利⽤了对象的纹理信息。
Snake模型
中国邮政华为合作
在学⽣时期，使⽤Snake模型主要是⽤于场景分割和⽬标分割，记忆中是基于⽔平集⽅法的改进。参考⽂章：
⾃1987年Kass提出Snakes模型以来，各种基于主动轮廓线的图像分割理解和识别⽅法如⾬后春笋般蓬勃发展起来。Snakes模型的基本思想很简单，它以构成⼀定形状的⼀些控制点为模板（轮廓线），通过模板⾃⾝的弹性形变，与图像局部特征相匹配达到调和，即某种能量函数极⼩化，完成对图像的分割。再通过对模板的进⼀步分析⽽实现图像的理解和识别。 简单的来讲，SNAKE模型就是⼀条可变形的参数曲线及相应的能量函数，以最⼩化能量⽬标函数为⽬标，控制参数曲线变形，具有最⼩能量的闭合曲线就是⽬标轮廓。
模型的形变受到同时作⽤在模型上的许多不同的⼒所控制，每⼀种⼒所产⽣⼀部分能量，这部分能量表⽰为活动轮廓模型的能量函数的⼀个独⽴的能量项。
Snake模型⾸先需要在感兴趣区域的附近给出⼀条初始曲线，接下来最⼩化能量泛函，让曲线在图像中发⽣变形并不断逼近⽬标轮廓。
Kass等提出的原始Snakes模型由⼀组控制点：v(s)=[x(s), y(s)] s∈[0, 1]组成，这些点⾸尾以直线相连构成轮廓线。其中x(s)和
y(s)分别表⽰每个控制点在图像中的坐标位置。 s是以傅⽴叶变换形式描述边界的⾃变量。在Snakes的控制点上定义能量函数（反映能量与轮廓之间的关系）：
.................................................
此外由不同的参数不同的函数值，表⽰为轮廓能量表达式，通过最⼩化轮廓能量来控制轮廓的演化，完成图像分割。
效果：原始的snake模型倾向于⽣成光滑的边缘，对边缘变化剧烈的图像分割效果不明显....
其他⽅法：基于轮廓内外函数差值的图像分割⽅法
ASM模型
参考⽂献：An Introduction to Active Shape Models ；参考⽂献：
算法理论查看论⽂即可，在此处只列出ASM算法其中的⼏个关键点，也是当初起疑的地⽅。
概述：
ASM是⼀种基于点分布模型（Point Distribution Model, PDM）的算法。在PDM中，外形相似的物体，例如⼈脸、⼈⼿、⼼脏、肺部等的⼏何形状可以通过若⼲关键特征点（landmarks）的坐标依次串联形成⼀个形状向量来表⽰。本⽂就以⼈脸为例来介绍该算法的基本原理和⽅法。⾸先给出⼀个标定好68个关键特征点（怎么标的？？）的⼈脸⾯部图⽚，如下所⽰：
三维框显⽰了⾯部的位姿。ASM在实际应⽤中，包括了⼀般的ML训练和搜索两个部分。年级⼤了，就显得憔悴......................
ASM模型：训练/学习过程
1、建⽴形状模型
搜集N个训练样本：
搜集的图⽚只要有⼈脸的⾯部区域就可以了，暂时不需要考虑尺⼨的归⼀化问题。以便完成⼈脸区域的ASM训练。
⼿动记录每个样本中的k个关键点：
对于训练集中的⼀个图⽚⽽⾔，你需要⼿动标记下（68）个关键点的位置坐标信息，并且将它们保存在⽂本中。最好⽤程序实现半⾃动化标定。
构建训练集的形状向量：
将⼀幅图⽚中的K个关键点组成⼀个形状向量 X( Xi,Y ), 其中，Xi 为 i 个位置坐标组成的向量，这样所有N个图像便⽣成N个训练样本，构成了N个形状向量组成的集合S(X |X(Xi,Y ) ,N )。
形状归⼀化：
改步骤的⽬的在于对前⾯⼿动标定的⼈脸形状进⾏归⼀化或者对齐操作，从⽽消除图⽚中⼈脸由于不同⾓度、距离远近、姿态变换等外界因素造成的⾮形状⼲扰，从⽽使点分布模型更加有效。 ⼀般，使⽤Procrusts⽅法进⾏归⼀化：把⼀系列的点分布模型通过适当的平移、旋转和缩放变换，在不改变点分布模型的基础上对齐到⼀个点分布模型，从⽽改变原始的 ⾮形状⼲扰。
期望理论Procrusts归⼀化⽅法⼀般为使⽤⼀个四元数：旋转⾓度a, 缩放尺度s，⽔平位移x, 垂直位移y 。可以⽤⼀个 4X4 的矩阵来完成转换过程。
在ASM模型中，利⽤Procrusts转换 完成 点分布模型的对齐操作，具体过程为：
（1）、将训练集中的所有⼈脸模型对齐到第⼀个⼈脸模型（典型意义，可以⾃主选择）；
（2）、计算平均⼈脸模型 X0,
（3）、将所有⼈脸模型对齐到平均⼈脸 X0,
（4）、重复（2）（3），直⾄X0收敛或者到⼀定时间停⽌。
灰度模型：
⽅法请参考原始论⽂
选择是否PCA：
若考虑到某些特征的影响可以忽略，可以考虑PCA。
⽰意图：
模型描述：
X 为平均脸，b表⽰⼀个脸与平均脸的差的参数化，可以描述为图像到参数空间的变化。任意的⼀个脸可以由平均脸和参数b来进⾏描述，参数b描述了平均脸到⼈脸的细微变化。
ASM模型：搜索/使⽤过程
通过训练样本集得到ASM模型之后即可进⾏ASM搜索，⾸先对平均形状进⾏仿射变换得到⼀个初始模型：
X = M( Tp ) + Xc
⽤初始模型在新的图像中搜索⽬标形状，使搜索中的特征点和相对应的特征点最为接近，搜索过程可以通过仿射变换Tp和参数b变化（Xc）完成。
进⾏迭代搜索，持续优化Xc，计算最接近模型。
初始化过程：
依据上述描述，⽬标向量的初始化是由 初始模型在图像中搜索得到，这是个得到近似结果的过程。也可以借由其他的⼈脸检测算法检测出⼈脸，再由初始模型按照固定参数起始点进⾏搜索，得到⽬标形状向量。
迭代匹配过程：
原始过程描述：
通过模型由平均脸 y0 寻 ⽬标向量 Y, 来获得仿射转换参数Tp；
---------由 Y 经 Tp的逆 得到 平均脸的接近值 y；
通过向y 的 切平⾯ 投影得到原始尺度 y1；
得到模型描述的残差b = y1 - y0 ；再由 b 更新 Y------------
反复迭代，直到 残差b ⼩到⼀定范围...
结果：得到形状和Pose（x,y,z，旋转）最匹配 平均脸 的结果Y，完成对齐过程，和得到⼀个收敛的 b来描述结果。
ASM的搜索过程：
持续更新Y：根据灰度模型来更新Y；
东晋玄言诗
由更新的 Y 获得 y, y1, 更新b 。
AAM模型：
参考⽂献：Active Appearance Models
ASM是基于统计形状模型的基础上进⾏的，⽽AAM则是在ASM的基础上，进⼀步对纹理（将⼈脸图像变形到平均形状⽽得到的形状⽆关图像g）进⾏统计建模，并将形状和纹理两个统计模型进⼀步融合为表观模型。
AAM模型相对于ASM模型的改进为：使⽤两个统计模型融合 取代 ASM的灰度模型。主要对特征点的特征描述⼦进⾏了改进，增加了描述⼦的复杂度和鲁棒性。
CLM模型
参考链接：
Patch模型/Local模型：
在ASM构建好形状模型之后，我们就可以在检测到的⼈脸上初始化⼀个⼈脸形状模型，接下来的⼯作
就是让每个点在其邻域范围内寻最佳匹配点。ASM使⽤灰度来更新Y，是沿着边缘的⽅向进⾏块匹配。匹配⾼错误率导致ASM的性能不是很好。后续各种改进版本⼤部分做法都是对候选匹配特征点邻域内的块--局部 进⾏建模，我们统称他们为有约束的局部模型：CLM。
局部特征提取：
建议提取laws特征，⽐较有普遍适⽤性。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议