一元线性回归，代价函数，相关系数决定系数

⼀元线性回归，代价函数，相关系数决定系数

回归

最早由英国科学家弗朗西斯⾼尔顿提出，⽣物学家，他发现⼀个现象，虽然有⼀个趋势“⽗母⾼，⼉⼥也⾼；⽗母矮，⼉⼥也矮”，但给定⽗母的⾝⾼，⼉⼥的⾝⾼却趋向于（回归于）全体⼈⼝的平均⾝⾼，换句话说就是，即使⽗母都异常⾼或者异常矮，⼉⼥的⾝⾼也会趋近于平均⾝⾼，这就是普遍的回归规律。

⼀元线性回归

回归分析：⽤来建⽴⽅程模拟两个或者多个变量之间如何关联。

铝箔被预测的变量叫做因变量，被⽤来进⾏预测的变量叫⾃变量，⼀元线性回归包含⼀个⾃变量和⼀个因变量，通常就是线性关系，若包含两个以上的⾃变量则称为多元回归分析。

求解⽅程系数：

有⽅程，有数据集，将数据集带⼊⽅程，求解得到，，知道了斜率和截距，对于⼀元回归来说，就相当于构建了⼀个关于这个数据集的模型。

赛宾反馈抑制器

代价（损失）函数（Cost Function）

晚清政府运⽤的是最⼩⼆乘法

真实值y，预测值，则误差平⽅为

到合适的参数，使得误差平⽅和：

最⼩

于井子

代价函数等于真实值减去预测值的平⽅和，再除以样本个数m，这⾥平⽅的作⽤就是让数据为整数，那为啥不⽤绝对值呢？既然除以的是样本个数，为啥除以的是2呢？

不⽤绝对值的原因是绝对值对于后⾯的运算不友好，不好运算，所以就⽤平⽅代替，⽽2m是因为有⼀个平⽅，求导之后会多⼀个2，多除以⼀个2就是⽤来和求导后的系数低消的，⽐较好看，⾄于为啥要求导，后⾯会说。

定义代价函数的意义就是为了让代价函数最⼩，说明拟合的效果越好，

《中华人民共和国突发事件应对法》

例⼦：

现在为0，必经过原点，我们只调整使得代价函数最⼩，左边是有3个样本点，右边横轴为斜率，纵轴为代价函数值，

此时令=1，则曲线为左图，求解代价函数值=（(1-1)^2+(2-2)^+(3-3)^2）/2*3=0，如下图（右）：

当=0.5，计算代价函数值=（（1-0.5）^2+（2-1）^2+（3-1.5）^2）/2*3=0.6，如下图：

当=0，计算代价函数值=（（1-0）^2+（2-0）^2+（3-0）^2）/2*3=2.33，如下图：

取很多的值后会变成：

可以看出当为1的时候代价函数的值最⼩，返回去看当=1时的曲线，可以发现确实与数据点拟合的最好的。