本文介绍一个在统计分析中特别是在统计模型的选择而后在那个有着广泛应用的信息量准则，这个准则叫赤池信息准则（Akaike’s Information Criterion；AIC）即AIC准则，它是衡量统计模型拟合优良性的一种标准，是日本统计学家赤池弘次在研究信息论特别是解决时间序列定阶问题中提出来的，因此又称赤池信息量准则。它建立在熵的概念基础上，可以权衡所估计模型的复杂度和此模型拟合数据的优良性。 一、AIC的定义
AIC的定义为：
AIC=(-2)Ln(模型的极大似然函数)+2(模型独立参数个数) 或者：AIC=-2ln(L)+2k，
其中：k是参数的数量，L是似然函数（就暂时理解为用于估计模型参数时写出来的方程）。假设条件是模型的误差服从独立正态分布。让n为观察数，RSS为剩余平方和，那么AIC变为：AIC=nln(RSS/n)+2k。
二、AIC值的用法
五里墩立交桥赤池建议，当欲从一组可供选择的模型中选择一个最佳模型时，选择AIC值最小的模型时可取的。当在两个模型之间存在着相当大的差异时，这个差异出现于上式右边第一项，而当第一项不出现显著性差异时，第二项起作用，从而参数个数少的模型是好的模型，因此，AIC在理论结构上可以看做是采用了最小限度的假定这一“吝啬原理（principle of parsimony）”的一个具体化。
用AIC处理统计问题大致分为下列三个步骤：
（1）提出统计模型；
（2）由极大似然估计法进行参数估计；
（3）由AIC的极小化来选择模型；
在公式中右边增加自由参数的数目提高了拟合的优良性，AIC鼓励数据拟合的优良性但是尽量避免出现过度拟合(Overfitting)的情况。所以优先考虑的模型应是AIC值最小的那一个。赤池信息准则的方法是寻可以最好地解释数据但包含最少自由参数的模型。
《国务院机构改革和职能转变方案》
黑帮之地2经常地，对一堆数据进行建模的时候，特别是分类和回归模型，我们有很多的变量可供使用，选择不同的变量组合可以得到不同的模型，例如我们有5个变量，2的5次方，我们将有32个变量组合，可以训练出32个模型。但是哪个模型更加的好呢？目前常用有如下方法：
AIC=-2 ln(L) + 2 k 中文名字：赤池信息量 akaike information criterion
BIC=-2 ln(L) + ln(n)*k 中文名字：贝叶斯信息量 bayesian information criterion
HQ=-2 ln(L) + ln(ln(n))*k hannan-quinn criterion
构造这些统计量所遵循的统计思想是一致的，就是在考虑拟合残差的同时，依自变量个数施加“惩罚”。但，倘若因此就说它们是同一个指标，恐怕还是有些不妥，毕竟“惩罚”的力度还是不尽相同的。此外，这些信息量的用途不仅限于选择模型，还能用于选取合适的变换等等。而在那些时候，这些信息量又是另一个模样，也就是说它们有许多变体。因此，它们也被称为AIC准则、BIC准则等等。它们中的每一个体现的都是一系列的标准，而非单独的一个简单式子。
网剧中披露他人手机号码构成侵权注意这些规则只是刻画了用某个模型之后相对“真实模型”的信息损失（因为不知道真正的模型是什么样子，所以训练得到的所有模型都只是真实模型的一个近似模型），所以用这些规则不能说明某个模型的精确度，即三个模型A, B, C，在通过这些规则计算后，我们知道B模型是三个模型中最好的，但是不能保证B这个模型就能够很好地刻画数据，因为很有可能这三个模型都是非常糟糕的，B只是烂苹果中的相对好的苹果而已。这些规则理论上是比较漂亮的，但是实际在模型选择中应用起来还是有些困难的，例如上面我们说了5个变量就有32个变量组合，如果是10个变量呢？2的10次方，我们不可能对所有这些模型进行一一验证AIC, BIC，HQ规则来选择模型，工作量太大。
三、SPSS中如何求AIC
一般在SPSS软件中不会直接给出模型的AIC值，需要我们根据结果进一步计算AIC值，
上图是spss回归分析后给出的方差分析表。在spss16.0版本的分析结果报表中是第三个。
在Cox&Logistic&Linear 等回归中用到图中的红圈中的值：
利用上述SPSS报告的值带入AIC公式中即可求出AIC值
AIC=nIn(残差平方和)+2(p+1)‐nIn(n)
BIC= nIn(残差平方和)+(p+1)In(n)‐nIn(n)
其中In为对数运算符，n为样本量（个案的个数、样方的数量等），p为回归方程中自变量的个数。
四、在R软件中求AIC
超导失超R软件中一般结果中会直接给出AIC值，
中山舰事件之谜例如建立回归模型
f<>
则summary(f)即可报告AIC值
或者直接
AIC(res) ＃说明：res为lm回归的结果
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议