在进⾏线性回归时,有这样⼀个想法,为什么不⽤这样的直线,它使得每个点到直线的 距离 之和最⼩?这个 距离 (点与直线在 y轴 上的距离)之和叫做 least absolute deviation,也有⼈叫它 最⼩⼀乘法: 那我们为什么不⽤点到直线的 垂直距离 来作为我们的最⼩距离呢?
山西大同大学学报
最⼩⼀乘法是线性回归理解起来最直观的做法,⽽且拟合效果也很好,据说有实验表明,最⼩⼀乘法做的线性拟合,和靠⼈眼估计做的拟合⾮常接近。关键问题是,最⼩⼆乘法是让误差的平⽅和最⼩,江苏省栟茶高级中学
这个可以⽤偏导数来研究,甚⾄只靠配⽅法就能直接给出最优解,所以可以给出参数的公式,虽然最⼩⼀乘法相⽐最⼩⼆乘估计相⽐有更好的 稳健性,对异常值更不敏感(因为平⽅嘛,它让较⼩值更⼩,较⼤值更⼤)但
最⼩⼀乘法因为在x=0时不可导,不利于数值计算,这是它的证明:
关于最⼩绝对偏差和最⼩⼆乘法的⽂章:
贺州民心网
所以⼀般选择最⼩⼆乘。⽽最⼩⼀乘法是让误差的绝对值之和最⼩,数学上解决这个问题⽐最⼩⼆乘法复杂得多,它只是 看起来简单:
永芳化妆品当然这些是其他原因,最主要的原因是:正态分布模型下 BLUE( best linear unbiased estimator)
参考:kkman
>抗体效价