在科学实验和生产实践中,有许多函数关系仅能用由实验或观测得到的一组数据表来表示,例如某种物质的化学反应,能够测得生成物的浓度与时间关系的一组数据表.而它们的解析表达式是不知道的。但是为了要知道化学反应速度,必须要利用已知数据给出它的近似表达式,有了近似表达式,通过求导数便可知道化学反应速度。可见已知一组数据求它的近似表达式是非常有意义的.如何求它的近似表达式呢?第二章介绍的插值方法是一种有效的方法.但是由于数据是由测量或观测得到的,它本身就有误差,作插值时一定要通过型值点似乎没有必要;其次当很大时,采用插值(特别是多项式插值)很不理想(会出现龙格现象),非多项式插值计算又很复杂。为此,本章介绍一种“整体”近似的方法,即对于给定的数据,选一个线性无关函数系,以它们为基底构成的线性空间为 .
在此空间内选择函数
其中为待定常数。要求它逼近真实函数的误差尽可能小,这就是数据拟合问题. §12018年刘伯温全年资料 最小二乘法
一、最小二乘法
设有数据,令
.
并称为残向量,用去拟合的好坏问题变成残量的大小问题。判断残量大小的标准,常用的有下面几种:
(1) 确定参数,使残量绝对值中最大的一个达到最小,即
为最小。
(2) 确定参数,使残量绝对值之和达到最小,即
为最小。
(3) 确定参数,使残量的平方和达到最小,即
最小
(1)和(2)两个标准很直观,但因为有绝对值,所以实际应用很不方便;而标准(3)既直观,使用又很方便。按标准(3)确定待定参数,得到近似函数的方法,通常称为最小二乘法。
在实际问题中如何选择基函数是一个复杂的问题,一般要根据问题本身的性质来决定。如果从问题本身得不到这方面的信息,那么通常可取的基函数有多项式、三角函数、指数函数、样条函数等。下面重点介绍多项式的情况。
设基函数取为. 已知列表函数,且. 用多项式
(1.1)
去近似,问题是应该如何选择使能较好地近似列表函数. 按最小二乘法,应选择使得
(1.2)
滤水管取最小。
注意到是非负的,且是的二次多项式,它必有最小值。求对的偏导数,并令其等于零,得到
雷经天
再将方程组写成矩阵形式
. (1.3)
若令
则(1.3)可简单地表示为
定义1 方程组(1.4)称为法方程组(也叫正规方程组或正则方程组),而
(个未知量,个方程式) (1.5)
称为超定方程组(也叫做矛盾方程组).
可以证明为超定方程组(1.4)中国海军护航11年的最小二乘解的充分必要条件是满足(1.3).
定理1 法方程组(1.4)有唯一一组解。
定理2 设是法方程组(1.4)的解,则多项式是问题的解。
正规方程组方按下表来构造:
表4.1 多项式拟合方程组的构造
例1 已知数据为
| 0.2 | 0.5 | 0.7 | 0.85 | 1 |
| 1.221 | 1.649 | 2.014 | 2. 340 | 2.718 |
| | | | | |
试按最小二乘法求的二次近似多项式.
解 列表
| | | | | | |
0.2 | 1.221 | 0.244 | 0.04 | 0.049 | 0.008 | 0.002 |
0.5 | 1.649 | 0.824 | 0.25 | 0.412 | 0.125 | 0.063 |
0.7 | 2.014 | 1.410 | 0.49 | 0.997 | 0.343 | 0.240 |
0.85 | 2.340 | 1.989 | 0.723 | 1.690 | 0.614 | 0.522 |
1 | 2.718 | 2.718 | 1 | 2.718 | 1 | 1 |
3.250 | 9.942 | 7.185 | 2.503 | 5.857 | 2.090 | 1.826 |
| | 信息技术的负面影响 | | | | |
法方程组为
解得
故
下表给出了在节点处的误差:
| 0.2 | 0.5 | 0.7 | 0.85 | 1 |
| 1.221 | 1.649 | 2.014 | 2.340 | 2.718 |
| 1.223 | 1.644 | 2.017 | 2.344 | 2.715 |
| -0.002 | 0.005 | -0.003 | -0.004 | 0.003 |
| | | | | |
在利用最小二乘法建立和式(1.2)时,所有点都起到了同样的作用,但是有时依据某种理由认为中某些项的作用大些,而另外一些作用小些(例如,一些是由精度高的仪器或由操作上比较熟练的人员获得的,自然应该予比较大的信任),在数学上常表现为用