Kappa （cappa ）系数只需要看这⼀篇就够了，算法到python 实现 站主近期建⽴了⼀个⾃⼰的⽹站来发博⽂，⽂章已经搬运到了下⾯的地址：
1 定义
百度百科的定义：
它是通过把所有地表真实分类中的像元总数（N）乘以混淆矩阵对⾓线（Xkk）的和，再减去某⼀类地表真实像元总数与被误分成该类像元总数之积对所有类别求和的结果，再除以总像元数的平⽅减去某⼀类中地表真实像元总数与该类中被误分成该类像元总数之积对所有类别求和的结果所得到的。 这对于新⼿⽽⾔可能⽐较难理解。什么混淆矩阵？什么像元总数？ 我们直接从算式⼊⼿：
是每⼀类正确分类的样本数量之和除以总样本数，也就是总体分类精度 皮革化学品>粤东门户
假设每⼀类的真实样本个数分别为⽽预测出来的每⼀类的样本个数分别为总样本个数为n
则有：1.1 简单例⼦
学⽣考试的作⽂成绩，由两个⽼师给出 好、中、差三档的打分，现在已知两位⽼师的打分结果，需要计算两位⽼师打分之间的相关性kappa
系数：
从上⾯的公式中，可以知道我们其实只需要计算即可：
Po = (10+35+15) / 87 = 0.689
a1 = 10+2+8 = 20; a2 = 5+35+5 = 45; a3 = 5+2+15 = 22;西南宽频
b1 = 10+5+5 = 20; b2 = 2+35+2 = 39; b3 = 8+5+15 = 28;
Pe = (a1b1 + a2b2 + a3b3) / (8787) = 0.455
K = (Po-Pe) / (1-Pe) = 0.4293578
2 指标解释
kappa计算结果为[-1,1]，但通常kappa是落在 [0,1] 间
第⼀种分析准则–可分为五组来表⽰不同级别的⼀致性：
0.0~0.20极低的⼀致性(slight)
0.21~0.40⼀般的⼀致性(fair)
0.41~0.60 中等的⼀致性(moderate)
k =1−p e
p −p 0e
p 0a ,a ,...,a 12c
b ,b ,...,b 12c
p =e a ×1b +1a ×2b +2...+a ×c b /n ×c n
p ,p 0e
0.61~0.80 ⾼度的⼀致性(substantial)
0.81~1⼏乎完全⼀致(almost perfect)
3 python实现（可直接⽤于深度⽹络中）
def eval_qwk_lgb_regr(y_true, y_pred):
# Fast cappa eval function for lgb.
dist = Counter(reduce_train['accuracy_group'])
for k in dist:
dist[k] /= len(reduce_train)
reduce_train['accuracy_group'].hist()
# reduce_train['accuracy_group']将会分成四组
acum = 0
bound = {}
for i in range(3):
acum += dist[i]
bound[i] = np.percentile(y_pred, acum * 100)
def classify(x):
if x <= bound[0]:
return 0
elif x <= bound[1]:
return 1
elif x <= bound[2]:
return 2
else:
return 3面子理论
y_pred = np.array(list(map(classify, y_pred))).reshape(y_true.shape)
kappa系数大学教育问题return 'cappa', cohen_kappa_score(y_true, y_pred, weights='quadratic'), True
以上代码是本⼈在kaggle⽐赛中使⽤的，因为kappa系数的算法⾮常好写，但是⼜要根据实际问题进⾏微⼩的调整，所以就不修改了。如果能提供帮助⾃然好，如果没有头绪的话，就去第⼀⼆章节好好看看，理解⼀下kappa系数的算法。
4 总结
其实kappa系数就是⼀种检验⼀致性的⽅法，可以⽤在深度⽹络中的metric函数中，也可以⽤在统计学上的⼀致性检验上。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议