热点文学决定系数均⽅误差mse_机器学习的性能度量 机器学习评估⽅法讲的是可⾏的实验估计⽅法。⽽为了评价模型的泛化能⼒，不仅需要可⾏的实验估计⽅法，还需要有衡量泛化能⼒的评估标准，这就是性能度量。使⽤不同的性能度量可能会导致不同的评判结果。
因此，模型的“好坏“”是相对的，关于模型“好坏”的判断，不仅取决于算法和数据， 还取决于当前任务需求。双缩脲
1、回归的性能度量
1.1 平均绝对误差 MAE
平均绝对误差MAE(Mean Absolute Error)⼜被称为L1范数损失
MAE计算公式
1.2 均⽅误差MSE
均⽅误差MSE(Mean Squared Error)⼜被称为L2范数损失
MSE计算公式
1.3 均⽅根误差 RMSE
RMSE计算公式
但是MAE、MSE、RMSE的取值⼤⼩与具体使⽤场景有关，⽐如说利⽤机器学习算法预测上海的房价RMSE在2000元，我们是可以接受的，但是当四五线城市的房价RMSE为2000元，我们还可以接受吗？有没有⼀种与应⽤场景⽆关的，统⼀的评价指标呢？这就推出了决定系数R^2。 1.4 决定系数R^2
决定系数计算公式
其中，SST = SSR + SSE，因此决定系数是⼀个0-1之间的数值。
2、分类的性能度量
狂想曲数码相⽐于回归，分类的性能指标更加复杂。
2.1 错误率与精度
精度计算公式
其中
错误率等于 Err = 1 - Acc
2.2 查准率与查全率
要计算查准率和查全率，并理解他们的含义，⾸先需要得到混淆矩阵。
混淆矩阵电除尘器设计
查准率和查全率
含义：
查准率表⽰预测为正例的样本中，真正的正样本所占的⽐例。⽐如模型将5个样本预测为正例，其中有3个样本是正本，2个是负样本，则查准率为3/5=0.6。
查全率表⽰正样本中，预测为正样本的样本数所占的⽐例。⽐如模型共有10个正样本，有8个正样本被预测为正样本，其余的被预测为负样本，则查全率为8/10=0.8。
查准率和查全率是⼀对⽐较⽭盾的度量。例如，我想提⾼查准率，那么只挑出最有把握的样本预测为正例。这样的话，⼀些正样本被误判为负例，查全率下降。反之亦然。
3、Fβ Score
如上所说，查准率和查全率是相互⽭盾的，在不同的场景中，侧重不同，有的要求查准率⾼，有的要求查全率⾼，因此⽤ Fβ Score来均衡两个指标。
Fβ Score计算公式
β越⼤，查全率所占⽐重越⼤。β越⼩，查准率⽐重越⼤。β=1时，两者权重相等。
4、ROC 和 AUC
ROC(Receiver Operating Characteristic)，翻译为“受试者⼯作特征”。听起来⽐较拗⼝。那ROC曲线是怎么得到的呢？朴东生
我们根据学习器的预测结果，对样本依概率从⾼到低进⾏进⾏排序，然后按照顺序逐个把样本作为正例进⾏预测，计算出此时的TPR(真正例率)作为纵坐标，FPR(假正例率)作为横坐标，画出的曲线就是ROC曲线。
这就相当于将判定阈值不断变⼩，如图所⽰，阈值从A到B再到C，不断变⼩，相应的TPR=T1/(T1+T2)逐渐增⼤，FPR=F1/(F1+F2)也逐渐增⼤。
阈值从⼤到⼩变化
在阈值分别取A、B、C时，坐标变化如下图
ROC曲线
阈值的选取根据具体任务选择。对样本排序的质量体现了综合考虑学习器在不同任务下泛化能⼒的好坏。如何根据ROC曲线去衡量泛化能⼒呢，我们⽤⼀个标量值AUC来量化它。AUC值为ROC曲线所覆盖的区域⾯积，AUC越⼤，分类器分类效果越好。
假处分AUC物理意义：
AUC就是从所有1样本中随机选取⼀个样本， 从所有0样本中随机选取⼀个样本，然后根据你的分类器
对两个随机样本进⾏预测，把1样本预测为1的概率为p1，把0样本预测为1的概率为p0，p1>p0的概率就等于AUC。所以AUC反应的是分类器对样本的排序能⼒。
AUC计算⽅法：
我们⾸先把所有样本按照score(概率⼤⼩)排序，依次⽤rank表⽰他们。例如：最⼤score的样本，rank=n (n为样本总数，n=n0+n1，其中n0为负样本个数，n1为正样本个数)，其次为n-1。
那么对于正样本中rank最⼤的样本，rank_max，有(n1-1)个其他正样本⽐他score⼩，那么就有(rank_max-1)-(n1-1)个负样本⽐他score⼩。其次为(rank_second-1)-(n1-2)。以此计算，最后我们得到正样本⼤于负样本的概率为
iAUC计算公式
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议