[机器学习-回归算法]⼀元线性回归⽤最⼩⼆乘法的推导过程 ⼀元线性回归⽤最⼩⼆乘法的推导过程
在数据的统计分析中，数据之间即变量x与Y之间的相关性研究⾮常重要，通过在直⾓坐标系中做散点图的⽅式我们会发现很多统计数据近似⼀条直线，它们之间或者正相关或者负相关。虽然这些数据是离散的，不是连续的，我们⽆法得到⼀个确定的描述这种相关性的函数⽅程，但既然在直⾓坐标系中数据分布接近⼀条直线，那么我们就可以通过画直线的⽅式得到⼀个近似的描述这种关系的直线⽅程。当然，从前⾯的描述中不难看出，所有数据都分布在⼀条直线附近，因此这样的直线可以画出很多条，⽽我们希望出其中的⼀条，能够最好地反映变量 之间的关系。换⾔之，我们要出⼀条直线，使这条直线“最贴近”已知的数据点，设此直线⽅程为：① 这⾥的是为了区分Y的实际值y（这⾥的实际值就是统计数据的真实值，我们称之为观察值），当x取值(i=1，2，3……n)时，Y的观察值为，近似值为（或者说对应的纵坐标是）。其中①式叫做Y对x的回归直线⽅程，b叫做回归系数。要想确定回归直线⽅程①，我们只需确定a与回归系数b即可。设x，Y的⼀组观察值为： i = 1，2，3……n
其回归直线⽅程为：
当x取值(i=1，2，3……n)时，Y的观察值为，差刻画了实际观察值与回归直线上相应点纵坐标之间的偏离程度，见下图：
实际上我们希望这n个离差构成的总离差越⼩越好，只有如此才能使直线最贴近已知点。换句话说，我们求回归直线⽅程的过程其实就是求离差最⼩值的过程。 ⼀个很⾃然的想法是把各个离差加起来作为总离差。可是，由于离差有正有负，直接相加会互相抵消，如此就⽆法反映这些数据的贴近程度，即这个总离差不能⽤n个离差之和来表⽰，见下图：
⼀般做法是我们⽤离差的平⽅和，即：
作为总离差 ，并使之达到最⼩。这样回归直线就是所有直线中Q取最⼩值的那⼀条。由于平⽅⼜叫⼆
乘⽅，所以这种使“离差平⽅和为最⼩”的⽅法，叫做最⼩⼆乘法。
=y
^a +bx y
^x i y i y
^=y ^a +bx (x ,y )i i =y
^a +bx (y −i =1∑
n
i )y
i ^Q =(y −i =1∑n i )=y
i ^2(y −i =1∑n
i a −bx )i 2
空间贴图
求偏导
由第⼀个偏导式化简的到
Q
∂a
∂Q
∂b
∂Q电源技术
=(y−)=(y−a−bx)
i=1
∑
i
y i^2i=1
∑
i i
2
=2[y−(a+bx)]∗(−1)=2[a+bx−y]=0 i=1
植物抗体∑n
i i i=1
∑n
i i
=2[y−(a+bx)]∗(−x)=2x[a+bx−y]=0 i=1
∑n
i i i i=1
∑n
i i i
[a+bx−y]=0
i=1
∑
i i
=0
n
(a+bx−y)
5252ss∑i=1
n
i i
a+b−=0
x y
a=−b
y x
有第⼆个偏导式化简的到
由以上两个偏导式化简可得：其中为和的均值，
x(a+bx−y)=0
i=1
∑
i i i
x(−b+bx−y)=0 i=1
∑n
i
y x i i
(x−b(x+x)−x y)=0 i=1
∑n
i
y i x i2i i
(x−x y)=b(x−x) i=1
∑n
i
y i i i=1
∑n
jiangzhemini x i
2
b(x−x)=(x−x y)
i=1
∑n
i x i
2
i=1
∑n
i
y i i b=(x−x)
∑i=1n i x i2
(x−x y)
∑i=1n i y i i
b=(x−x)
∑i=1n i2i x
(x y−x)
∑i=1n i i i y
b=x−x
∑i=1
n
i
2x∑
i=1
n
i
x y−x
∑i=1
n
i i
y∑i=1n i
b=x−n
∑i=1
n
i
甲胺磷
2x2
x y−n
∑i=1
n
i i x y
(3){
b=x−n
∑i=1
n
i
2
x2
x y−n
∑i=1i i x y
a=−
y b^x
,x y x i y i
我们先给出推导过程中⽤到的两个关键变形公式的推导过程。⾸先是第⼀个公式：
接着是第⼆个公式：
把上⾯这两个公式（1）（2）代⼊下⾯的公式（3）式得：
其中为和的均值， ， 。
a、b的上⽅加“︿”表⽰是由观察值按最⼩⼆乘法求得的估计值，a、b求出后，回归直线⽅程也就建⽴起来了。
{
b =
=
=
x −n ∑i =1n i 2
x 2
x y −n ∑i =1i i x y (x −)∑i =1n
i x 2
(x −)(y −)
∑i =1i x i y S xx
S xy a =−y b ^x ,x y x i y i S =xy (x −∑i =1n
i )(y −x i )y S =xx (x −∑i =1n
i )x 2
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议