特征⼯程：缺失值填充总结（众数，中数,KNN近邻填充，预测填充） ⾯试不仅仅是⼀个⼯作的过程，还是⼀个向⾯试官交流学习的过程。之前的某次⾯试中，聊到了缺失值填充⽅法，经⾯试官指点学到了⼀些技能，下⾯简要总结⼀下。 常见的缺失值填充⽅法有填充默认值、均值、众数、KNN填充、以及把缺失值作为新的label通过模型来预测等⽅式，为了介绍这⼏种填充⽅法的使⽤以及填充效果，本⽂将在真实数据集上进⾏简单⽐较。 1. 数据集介绍
数据集来源于 。该数据集共有1000条数据，特征共83维，加上id和label共85列，每维特征缺失数量范围为0~911。为了简单⽐较各种填充⽅法的效果，我们选取最简单的⼆分类模型（逻辑回归），选取F1 score作为评测指标。
读取数据集代码如下：
1.
train_data = pd.read_csv(
'train_data.csv', encoding=
'gbk')
# 读取数据集
2.
3.
filter_feature = [
'id',
'label']
'label']
抽象函数
# 过滤⽆⽤的维度
4.
features = []
5.
for x
in lumns:
# 取特征
叶绿素a6.夹具装配图
if x
not
in filter_feature:
7.
features.append(x)
8.
9.
train_data_x = train_data[features]
10.
train_data_y = train_data[
'label']
11.
X_train, X_test, y_train, y_test = train_test_split(train_data_x, train_data_y, random_state=
1)
# 划分训练集、测试集
# 划分训练集、测试集
政如农工
2. 常见的填充⽅法
（1）填充固定值
选取某个固定值/默认值填充缺失值。
train_data.fillna(0, inplace=True) # 填充 0
（2）填充均值
对每⼀列的缺失值，填充当列的均值。
train_data.fillna(an(),inplace=True) # 填充均值
（3）填充中位数
哈尔滨工程大学学报对每⼀列的缺失值，填充当列的中位数。
train_data.fillna(dian(),inplace=True) # 填充中位数
（4）填充众数
里约欢迎你
对每⼀列的缺失值，填充当列的众数。由于存在某列缺失值过多，众数为nan的情况，因此这⾥取的是每列删除掉nan值后的众数。
1.
train_data.fillna(de(),inplace=
True)
# 填充众数，该数据缺失太多众数出现为nan的情况
2.
features_mode = {}
3.
for f in features:
4.
print f,
':',
list(train_data[f].dropna().mode().values) 5.
features_mode[f] =
list(train_data[f].dropna().mode().values)[
0]
6.
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议