线性回归最小二乘法最小绝对值偏差

线性回归最⼩⼆乘法最⼩绝对值偏差
在进⾏线性回归时,有这样⼀个想法,为什么不⽤这样的直线,它使得每个点到直线的 距离 之和最⼩?这个 距离 (点与直线在 y轴 上的距离)之和叫做 least absolute deviation,也有⼈叫它 最⼩⼀乘法:
那我们为什么不⽤点到直线的 垂直距离 来作为我们的最⼩距离呢?
山西大同大学学报
最⼩⼀乘法是线性回归理解起来最直观的做法,⽽且拟合效果也很好,据说有实验表明,最⼩⼀乘法做的线性拟合,和靠⼈眼估计做的拟合⾮常接近。关键问题是,最⼩⼆乘法是让误差的平⽅和最⼩,江苏省栟茶高级中学
这个可以⽤偏导数来研究,甚⾄只靠配⽅法就能直接给出最优解,所以可以给出参数的公式,虽然最⼩⼀乘法相⽐最⼩⼆乘估计相⽐有更好的 稳健性,对异常值更不敏感(因为平⽅嘛,它让较⼩值更⼩,较⼤值更⼤)但
最⼩⼀乘法因为在x=0时不可导,不利于数值计算,这是它的证明:
关于最⼩绝对偏差和最⼩⼆乘法的⽂章:
贺州民心网
所以⼀般选择最⼩⼆乘。⽽最⼩⼀乘法是让误差的绝对值之和最⼩,数学上解决这个问题⽐最⼩⼆乘法复杂得多,它只是 看起来简单:
永芳化妆品当然这些是其他原因,最主要的原因是:正态分布模型下 BLUE( best linear unbiased estimator)
参考:kkman
>抗体效价

本文发布于:2024-09-22 17:38:43,感谢您对本站的认可!

本文链接:https://www.17tex.com/xueshu/403335.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:乘法   直线   拟合
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议