最近在学习ML(Machine Learning)，注意到了一个有趣的东西：Least Squares Estimator。
先从简单说起吧。看下面的式子：
\[ y = ax + e \]
这是一个非常简单的直线方程。如果赋予y、a、x、b具体的意义，这个式子就有意思了：
1.假设x是一个统计变量（预先就知道的），譬如，x代表人的年龄。 2.假设y是关于x的一个label量（预先就知道的），譬如，y代表的是年龄为x时的人的智商。
1.假设y和x存在线性关系，那么可以有 y = ax。这个式子表明年龄为x时，智商为ax。
2.当x、y的取值只有一对时，a = y/x，但当x、y不只一对时，y = ax可能会无解（因为求解的是方程组 \( y_{i} = ax_{i} \) 了）
zhengzhoudaxue3.为了使方程组 \( y_{i} = ax_{i} \) 可以求解，需要把方程组扩展成 \( y_{i} = ax_{i} + e_{i} \) 。
4.\( y_{i} = ax_{i} + e_{i} \)使得我们有机会求出a，但同时也产生了很多个\( e_{i} \)。每对<y,>都有它自己的error系数的话，这个a的意义就减弱了。
5.为了使得a变得更有意义，我们希望每个error系数尽可能地小（无限逼近0最好了），同时又能求出唯一的a。
6.又因为现实生活中，智商肯定不只跟年龄x有关系，还和其他参数有关系，那么可以再把公式扩展成:
\[ y_{i} = a_{1}x_{i1} + a_{2}x_{i2} + \cdots + a_{k}x_{ik} + e_{i} , 1\le i\le n, k\ge 1 \]
江门发票
\[ \vec y = X\vec a + \vec e \]
\[ \left[ \begin{matrix} y_{1}\\ y_{2}\\ \vdots \\ y_{n}\\ \end{matrix} \right] = \left[ \begin{matrix} x_{11}& x_{12}& \cdots & x_{1k}\\ x_{21}& x_{22}& \cdots & x_{2k}\\ \vdots & \vdots & \ddots & \vdots \\ x_{n1}& x_{n2}& \cdots & x_{nk}\\ \end{matrix} \right] \left[ \be
gin{matrix} a_{1}\\ a_{2}\\ \vdots \\ a_{k}\\ \end{matrix} \right] + \left[ \begin{matrix} e_{1}\\ e_{2}\\ \vdots \\ e_{n}\\ \end{matrix} \right] \]
再回到上面的第7点：为了使得\(\vec a\)变得更有意义，我们希望\(\vec e\)的每个分量尽可能地小。明确这一点非常重要。
那么，这个目标完成情况应该如何衡量？其实很简单，既然\(\vec e\)是一个向量（n维空间），那么\(\vec e\)的长度就是我们需要的指标：
\[ |\vec e| = \sqrt { \sum ^{n}_{i=1}e_{i}^{2} } \]
开根号是不必要的，我们可以换成下面这个指标：
\[ |\vec e|^{2} = \sum ^{n}_{i=1}e_{i}^{2} = \vec e\vec e = \vec e^{T}\vec e \]
小结一下：当\( \vec e^{T}\vec e \)取得最小值时，\(\vec a\)能取得最优解。
继续推导。
由上文可知：
亨利定律\( \vec e = \vec y - X\vec a \)
\( \vec e^{T} = (\vec y - X\vec a)^{T} \)
\( \vec e^{T}\vec e = (\vec y - X\vec a)^{T}(\vec y - X\vec a) \)
\( = (\vec y^{T} - \vec a^{T}X^{T})(\vec y - X\vec a) \)
\( = \vec y^{T}\vec y - \vec a^{T}X^{T}\vec y - \vec y^{T}X\vec a + \vec a^{T}X^{T}X\vec a \)
注意，中间的2个子项是可以合并的。首先，仔细观察\( \vec a^{T}X^{T}\vec y \)这个子项，发现它是一个值，那么就有：
\( \vec a^{T}X^{T}\vec y = (\vec a^{T}X^{T}\vec y)^{T} \)
（一个数值可认为是一个1维的方阵，1维方阵的转置矩阵是它本身）
而又有：
\( (\vec a^{T}X^{T}\vec y)^{T} = \vec y^{T}(\vec a^{T}X^{T})^{T} \)
\( = \vec y^{T}(X\vec a) = \vec y^{T}X\vec a \)
服务质量分析得：
\( \vec a^{T}X^{T}\vec y = \vec y^{T}X\vec a \)
所以上面的方程可变为：
\[ \vec e^{T}\vec e = \vec y^{T}\vec y - 2\vec y^{T}X\vec a + \vec a^{T}X^{T}X\vec a \]
如何让\( \vec e^{T}\vec e \)取得最小值？此时需要使用新的招数：矩阵微分。 矩阵微分
矩阵微分公式：
设：
\[ \vec y = A\vec x \]
y是一个\(m \times 1\)的矩阵，A是一个\(m \times n\)的矩阵，x是一个\(n \times 1\)的矩阵。
则有：
\[ \frac {\partial \vec y}{\partial \vec x} = A 【公式1】 \]
（MatrixCalculus.pdf的Proposition 5）
这是如何得到的呢？实际上超级简单，上面这个式子指的是，\(\vec y \)的每一个分量对\(\vec x \)的每一个分量的微分，结果显然就是一个\(m \times n\)矩阵。
扩展公式：
设：
\[ \alpha = \vec y^{T}A\vec x \]
其中的\( \vec y\)是m x 1，\( \vec x\)是n x 1, \( A \)是m x n, 因此\( \alpha \) 是一个标量(scalar)。
可以得到：
旱獭皮\[ \frac {\partial \alpha }{\partial \vec x} = \vec y^{T}A 【公式2】 \]
（MatrixCalculus.pdf的Proposition 7）
把\( \vec y^{T}A \)看成一个A'，就是公式1了，很好理解。
然后还有：
\[ \frac {\partial \alpha }{\partial \vec y} = \vec x^{T}A^{T} 【公式3】 \]
（MatrixCalculus.pdf的Proposition 7）
这个是基于\( \alpha \) 是一个标量(scalar)的事实，标量转置后不变：
\[ \alpha = \alpha ^{T} = \vec x ^{T}A^{T} \vec y \]
再应用公式1就得到了公式3。
再设：
\[ \alpha = \vec x^{T}A\vec x \]
且A是对称矩阵，
则有：
\[ \frac {\partial \alpha }{\partial \vec x} = 2\vec x^{T}A 【公式4】 \]
（MatrixCalculus.pdf的Proposition 8和9）
Proposition 9的证明基于Proposition 8，Proposition 8的证明比较复杂建议看原文。Proposition 9只是基于A是对称矩阵A的转置等于A这个事实。
公式2、3、4都可以在文末的MatrixCalculus.pdf链接里到推导过程。下文将会用到这几条公式，敬请注意。
应用矩阵微分公式铁皮石斛组培
再来看下刚才的\( \vec e^{T}\vec e \)方程：
\[ \vec e^{T}\vec e = \vec y^{T}\vec y - 2\vec y^{T}X\vec a + \vec a^{T}X^{T}X\vec a \]
对等号右边的式子求关于\(\vec a\)的微分，得到：
\( \frac {\partial \vec y^{T}\vec y}{\partial \vec a} - 2\frac {\partial \vec y^{T}X\vec a}{\partial \vec a} + \frac {\partial \vec a^{T}X^{T}X\vec a}{\partial \vec a} \)
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议