⾼维不平衡数据的特征（属性）较多，类标号中的类别分布不均匀的数据。 ⾼维数据分类难本质问题：
1.密度估计难问题;
2.维数灾难：特征数增加意味着分类所需的样本数量的增加;
3.Hughes问题：给出了⼀个⼴义上的数据测量复杂度，训练样本数量和分类精度三者间的关系即对有限样本⽽⾔，存在⼀个最
优的数据复杂度，可使分类精度达到最优。若数据特征数很多，量过精度过⾼，都会导致分类精度下降。
分类中的数据不平衡有两种：类间不平衡和类内不平衡，本⽂研究的是类间不平衡。
数据不平衡的分类困难的本质原因：
1.不恰当的评估标准：传统的分类算法通常在假设类别平衡的前提下，采⽤分类准确率作为评价标准， 以平均准确率最⼤化为⽬
标当类别不平衡时，为达到精度最⼤化，往往会牺牲少数类的性能;
2.数据稀疏：数据稀缺分为两种：绝对稀缺和相对稀缺绝对稀缺是指样本数量绝对过少，导致该类信息⽆法在训练数据中充分表
达，⽽相对稀缺是指少数类本⾝数量并不过少，只是相对⼤类⽽⾔，占有的⽐例相对过少;
3.数据碎⽚：采⽤分治类的算法，如决策树算法，将原始问题划分为多个⼦问题来处理对于少数类⽽⾔，本⾝的数据量就不充
分，划分后的⼦空间包含的数据信息就更少，使得⼀些跨空间的数据规律不能被挖掘出来，形成数据碎⽚;
4.不恰当的归纳偏差：不恰当的归纳算法往往不利于少数类的分类学习;
5.噪声。在噪声过滤的⽅法中，有些是将少数类作为噪声，删除后则少数类的数量将更稀疏。另外，由于少数类和噪声难以区
分，往往把噪声数据包含在训练过程中，导致⼀些真正的少数类⽆法得到好的训练。
⾼维数据分类有两种解决思路：
（1）在预处理阶段降维，减少特征数量;
（2）设计适⽤于⾼维数据分类的新算法。
分类前通过降维可⼀定程度解决⾼维数据引起的维数灾难常⽤的降维⽅法有两类：特征变换状语从句：特征选择。
1）特征变换：将原有特征空间进⾏某种形式的变换，重新产⽣⼀个低维且各维间更为独⽴的特征空间，包含线性变换和⾮线性变换两种。
2）特征选择：共从原始特征空间中选择⼀部分重要属性，组成新的特征空间，通过特征选择，删除⼀些和任务⽆关或者冗余的特征，简化的数据集常常会得到更精确地模型，也更容易理解。
根据特征选择中⼦集的选择的⽅式不同，特征选择算法被划分为三类：
1）过滤式（过滤器）：把特征选择作为分类的⼀个预处理步骤，仅从特征本⾝出发，根据特征间的相关度选择⼦集，不考虑选择特征后的应⽤，选择过程独⽴于分类算法;
2）封装式（包装器）：把分类算法作为选择的⼀个部分，研究发现，特征的最优⼦集依赖于分类算法的特定偏差，因此特征选择应考虑分类器的特性;
3）嵌⼊式（嵌⼊式）：将特征选择过程与学习器训练过程融为⼀体，两者在同⼀优化过程中完成，即在学习器的训练过程中⾃动的进⾏了特征选择。
⼀般⽽⾔，封装式的⽅法⽐单个过滤⽅法具有更⾼的准确率，但是由于需要在每个⼦集上进⾏评估，更为耗时。
降维⽅法可以⼤量减少特征数量，使普通算法能够分类⾼维数据，但降维算法所获得的结果是单个特征⼦集，这将损失其他特征所带来的信息，特征⼦集选取的好坏对于算法的性能将有较⼤的影响。为解决这⼀问题，⼀些适⽤于⾼维数据分类的算法相继提出，SVM是统计学习理论基础上发展起来的分类算法，适⽤于解决⼩样本和⾼维数据分类，但SVM存在两个问题：（1）对⼤型数据集，计算量⼤，速度慢;（2）⾯对⾼维数据集，分类结果难以解释⽽基于规则的分类⽅法可以解决的SVM 。存在的问题，其将关联规则挖掘与分类结合，先挖掘特征属性和类属性之间的关联规则，利⽤这些规则进⾏分类但其⾯临：规则表⽰，规则剪枝以及规则选择问题。
不平衡数据分类⽅法可以划分为三类：
1）数据层：在训练前采⽤重取采样技术重构数据集，降低不平衡度，包括过采样状语从句：⽋采样。
2）算法层：针对不平衡数据特点构造新算法或改造现有算法，如单类学习状语从句：代价敏感学习。
3）混合⽅法：将两者结合起来，如集成学习⽅法。
集成学习⽅法来源于机器学习的研究。机器学习关注的⼀个基本问题就是算法的泛化能⼒（新数据上的处理能⼒），提⾼泛化能⼒是机器学习永远的追求。在⾯临不平衡数据时，由于基分类器仍然是由假设平衡的分类算法所产⽣，集成学习并不能直接应⽤于不平衡数据集，但是集成学习提供了⼀个统⼀的框架，即可以将数据层和算法层的⽅法结合起来，。更好的处理不平衡数据分类问题⽬前⽤集成学习⽅法分类⾼维数据有以下⼏类⽅法：
1）先降维，再集成学习。是⼀种最简单的思路，利⽤降维技术降低数据数量，再采⽤集成学习⽅法提⾼准确率的本质特征，提⾼分类的准确率。
2）先对集成构建的个体⼦集降维，最后集成投票。是对第⼀种⽅法的改进，由于⼦集的划分保证了多样性，不同⼦集上的降维结果将有所区别，在特征减少的同时，可以利⽤多个⼦集弥补由于降维效果不佳所带来的损失。
3）基于特征的集成学习。是⼀种融合降维和集成的⽅法。集成学习的有效前提基础是基分类器具有多样性和准确性.Boosting和装袋都是基于数据⼦集的划分。⽽基于特征的集成学习的思想在于基分类器的构成是在特征⼦集上，⽽⾮整个特征空间。
根据最终特征⼦集产⽣的不同⽅式，基于特征的集成学习⽅法可以分为两类：
1）基于随机的⽅式，以随机的⽅式产⽣特征⼦空间，如随机⼦空间算法，随机森林算法等;
2）基于选择的⽅式，采⽤⼀定原则从特征⼦空间中选择部分特征⼦空间集成。通常此类⽅法都与搜索⽅法相关，基于⼀定的度量原则或⽬标，利⽤搜索算法，从特征⼦空间中搜索符合要求的特征⼦空间集合，再构造集成分类器。
分析⽤于⾼维数据分类的两类集成学习算法可以发现，基于随机的⽅式的⽅法主要⾯临随机⼦空间中属性数的选择，⽽在随机森林中除此之外还需要确定树的数量。这两个参数的选择对于算法有⼀定的影响。基于选择的⽅式的⽅法⾯临两个问题：特征选择⽅法和搜索⽅法，即如何选择合适的特征⼦集，使得构造的集成学习⽅法算法具有多样性和准确性；选择何种搜索⽅法使得在有限时间和空间中获得最优特征⼦集。
基于特征的集成学习在特征⼦集上构造基分类器的⽅式降低特征维度，利⽤集成学习⽅式提⾼算法泛
化能⼒，具有适合解决⾼维数据分类问题的特性。但集成学习在解决不平衡数据分类时，其本⾝并不具有独特性，集成学习的基分类器的产⽣仍然⾯临着传统分类算法在⾯对不平衡数据时所⾯临的问题。之所以将其⽤于不平衡数据分类，在于其提供了⼀个统⼀的算法框架，可以将常⽤的不平衡处理⽅法，如取样技术和代价敏感⽅法融合在集成学习算法中，在解决不平衡分类问题时，充分利⽤集成学习提⾼算法的泛化能⼒的特性，可构造出⼀系列的算法。
分类不平衡的数据的集成⽅法：
1）代价敏感集成：⽬前解决不平衡分类问题的代价敏感集成⽅法主要采⽤不同的⽅法更新的Adaboost算法的权重，使得算法对于不同的类别区别对待;
2）基于Boosting的数据预处理和集成学习：此类⽅法将取样技术嵌⼊到推进算法中，朝着⼩类的⽅向改变⽤于训练下⼀个分类器的数据分布;
3）基于Bagging的数据预处理和集成学习：装袋⽅法由于其简单性及具有较好的泛化能⼒，常常与预处理⽅法组合处理不平衡数据分类问题，采⽤这种⽅法的关键在于处理不平衡获得有效分类器的同时保证基分类器的多样性;
4）混合⽅法的数据预处理和集成学习：混合⽅法不同于前⾯两类⽅法之处是采⽤了双重混合，也就是将装袋和推进组合起来。
集成学习并⾮某⼀个算法，⽽是⼀系列的算法。通常集成学习分为两个步骤：构建和组合。第⼀步产⽣多个⽤于集成的基分类器，第⼆步在此基础上，组合基分类器的结果。根据产⽣基分类器的算法个数，集成学习可以分为同构集成学习和异构集成学习。同构集成学习采⽤单个分类器算法，有构建策略产⽣不同的基分类器；⽽异构集成学习（多分类器系统）则采⽤不同的分类算法，利⽤分类算法间的差异性获得不同的基分类器。⼀般意义上的集成学习是指同构集成学习。
根据不同构造⽅法，集成学习算法可分为以下四种：
1）基于数据样本的（Boosting，Bagging）;
2）基于特征的（Random Subspace）;
3）基于输出类别的（ECOC）;
4）基于随机性的（神经⽹络，决策树）。
根据组合形式，集成学习算法分为组合全部基分类器的算法，选择性集成算法，⽽选择性集成算法主要由以下四类：1）基于聚类的⽅法，将聚类算法应⽤于各基分类器的预测结果。每个基分类器对验证集中的各个实例军有⼀个预测结果，由此
可获得⼀个T * N的矩阵，其中Ť为基分类器个数，N为验证集实例个数。把验证集矩阵作为聚类算法的输⼊数据，即可获得具有类似预测的基分类器聚类，根据聚类结果修剪基分类器集合，选择出具有代表性的基分类器;
2）基于排序的⽅法，是⼀种直观的⽅法，分为两个步骤，先基于某种衡量标准对基分类器排序，再采取适当的停⽌准则选取⼀定数量的基分类器;
3）基于选择的⽅法，根据是否采⽤统⼀模型对验证集中的所有个体进⾏预测，分为静态选择法和动态选择法，排序算法实际上是选择算法的⼀种。静态选择算法的特点是从已有基分类器中选择部分构建集成分类器，并⽤于预测验证集中的所有实例。动态选择法则是针对验证集的每个实例，动态选择合适的部分基分类器预测，即每个实例可能选择不同的基分类器组合;
4）基于优化的⽅法，其核⼼思想是对每个基分类器赋予⼀定的权重，采⽤优化算法获得最优权重向量，根据预设的阈值选择相应的基分类器。通常采⽤遗传算法（GA）优化基分类器权重，所不同的是采⽤的遗传算法编码⽅式。
基于集成特征选择的集成学习⽅法的关键是利⽤⼀定的度量获得选择的特征⼦空间集合。所以，此类算法的关键是特征⼦空间选择度量和获得⽅法的研究，⽽特征⼦空间选择度量的⼀个关键因素就是基分类器多样性的度量。
多样性度量⽅法主要分为两类：成对多样性度量，⾮成对多样性度量。
成对多样性度量有以下5种：相关性度量，Q统计量，评判间⼀致性K，不⼀致度量，双错度量。
成对⾮多样性度量主要由以下6种：熵度量，Kohavi-沃伯特⽅差，者间⼀致性度量，“困难”度量，泛化多样性，偶然错误多样
性。
预处理⾼维不平衡数据
maybridge⾼维不平衡数据分类的解决思路有两种：预处理后再分类和直接分类，⼀般预处理⽅法⼜包括降维⽅法和取样⽅法。
降维⽅法
Filter特征选择⽅法的评估直接依赖于数据集本⾝，通常认为相关性较⼤的特征或特征⼦集可获得较⾼的分类准确率。常见的
Filter特征选择评估⽅法有信息增益，类间距离，关联度和不⼀致度等。
Wrapper器特征选择的核⼼思想是：与学习算法⽆关的过滤特征评价与后续的分类算法产⽣较⼤的偏差不同的学习算法偏好不同的特征⼦集，特征选择后的特征⼦集最终将⽤于后续的学习算法，则该学习算法的性能就是最好的评估标准。选择不同的分类算法以及特征空间搜索策略，则可产⽣各种Wrapper特征选择算法，常见的搜索⽅式有最佳优先搜索，随机搜索和启发式搜索。
除水器
取样⽅法
根据其取样⽅向可以分为两类，过采样和⽋采样。根据取样策略可分为随机取样和算法取样。
过取样：增加⼩类实例;
⽋取样：减少⼤类实例;
随机取样：以随机的⽅式删除或增加实例;
算法取样：根据⼀定的原则取样，如删除靠近⼤类边界的实例或增加任意产⽣的⼩类样例等⼀般来说，算法取样会产⽣⼀定的导向性。
分类算法评价⽅法
传统的分类算法假定类别分布平衡。但真实数据常常出现类不平衡、类分布偏斜的情况。当处理类不平衡数据时，由于多数类占优势，分类边界偏置于优势数据，传统的分类算法将⾯临对少数类预测能⼒下降的问题，从⽽影响整体预测性能。因⽽，应⽤通常的Acc（准确率）或Err（错误率）可能会出现偏差。⽬前不平衡数据分类的算法的评价⽅法包括：正确率、错误率、召回率、F-measure、Gmean、AUC、ROC曲线、precision-recall曲线和cost曲线等。⽽混淆矩阵表达实例分布的分布情况，是计算分类器性能度量的基础。
基于随机森林的不平衡特征选择算法
不平衡数据特征选择
1）基于预报风险误差的EasyEnsemble算法PREE
EasyEnsemble算法分为两步：
a)⽋采样，从⼤类数据中随机抽取多个与⼩类数据⼀致的实例⼦集，并与⼩类⼀起组成多个新的训练数据集⽤于训练
分类器；
b)所有分类器通过AdaBoost算法集成为最终的分类器。
PREE算法也为两步：
a)使⽤EasyEnsemble算法建⽴分类模型；
b)利⽤分类器模型获得特征⼦集。
2）基于抽样集成的特征选择算法EFSBS
EFSBS的思路⽐较简单，算法有以下三个步骤：
a)⽋采样，采⽤随机有放回⽅法从⼤类中产⽣多个与⼩类数量相等的数据⼦集，再与⼩类数据⼀起组成新的训练数据
集；
b)通过FCBF特征选择算法获得特征⼦集；
c)对产⽣的特征⼦集多数投票，获得最终的特征⼦集。
PREE和EFSBS共同之处在于都采⽤了集成学习算法，利⽤⽋采样⽅法先平衡数据集。区别在于PREE算法严格意义应属于Wrapper⽅法，利⽤了集成学习算法的分类效果进⾏特征选择，EFSBS则
属于Filter⽅法，在特征⼦集的选择上没有利⽤来⾃于分类算法的反馈。
电石发气量
随机森林变量选择
随机森林变量选择（RVS）是随机森林的⼀种隐式特征选择⽅法。当⼀个重要特征（对预测准确率有贡献）出现噪声时，预测的准确率应该会明显减少，若此特征是不相关特征，则其出现噪声对预测准确率的影响应该不⼤。基于这⼀思想，利⽤袋外数据（Out of Bag Data）预测随机森林性能时，若想知道某特征的重要程度，只需随机修改该特征数值，⽽保持其他特征不变，由此获得的袋外数据预测准确率与原始袋外数据预测准确率之差体现了该特征的重要程度其具体过程如下：
对于每个⾃举数据集袋内数据（InOfBagi），构建决策树Treei
1）确认袋外数据OutOfBagi;
2）同Treei预测OutOfBagi中实例的类标号，计算正确预测次数Sumoutofbagi;
3）对于每个随机变量FJ（J = 1 ... M）：
⼀个）对OutOfBagi中的特征FJ的值随机排序，获得变化后的袋外数据集OutOfBagCij;
B）⽤Treei对OutOfBagCij中的实例进⾏预测，计算正确预测次数Sumoutofbagcij;
C）⽤原始OutOfBag正确预测次数减去改变特征Ĵ值后的袋外数据的正确预测次数。
对于特征Ĵ，先计算所有所有原始袋外数据预测正确率与改变特征Ĵ值后袋外数据的正确预测率之差，其在所有树上的平均值即代表了特征Ĵ的变量重要性。
随机森林变量选择⽅法实际上也是⼀种嵌⼊式的特征选择算法，充分利⽤了集成分类器构建过程所产⽣的分类模型。与PREE不同之处在于，PREE利⽤的是在特定特征上的结构风险变化，PREE在计算特定特征的AUC时，采⽤的是取特征平均值的⽅式;⽽随机森林变量选择⽅法基于的是⽆关特征对模型性能影响不⼤的思想，通过施加⼲扰来测试特征的准确程度，且这种⽅法乐意同时处理离散型和连续性数据，弥补了PREE的缺陷。
不平衡随机森林变量选择算法
⾼维数据处理的⼀种有效途径即通过特征选择降低特征数，⽽不平衡数据处理的有效途径是通过取样⽅法平衡数据。随机森林的两个步骤综合了此两项机制。不平衡随机森林变量选择算法（BRFVS）受随机森林算法启发，利⽤随机森林的构造过程，对不平衡数据集进⾏特征选择。
在随机⼦空间上构造决策树，是⼀种缩⼩特征空间的有效办法，⽽决策树算法计算分裂属性的过程也就是⼀个属性选择的过程，可以直接利⽤此过程选择重要特征。在每个UndeSamplingD数据集上都可
以构造⼀棵在随机⼦空间中产⽣的决策树，也即获得⼀个特征重要性度量。N 个UndeSamplingD可以获得N个特征重要性度量。这些特征重要性度量体现了各特征在不同UndeSamplingD数据集上的重要程度。但是每个UndeSamplingD所获得特征重要性度量的可信度是不⼀样的，在此体现为权重，也即可信度越⾼，所赋予的权重越⾼。
特征重要性度量
BRFVS采⽤RVS来计算特征重要性度量值.RVS中特征重要性度量的计算是基于袋外数据样本的。基于袋外数据样本测试算法性能或计算算法参数是当前常⽤的⼀种⽅法。这种⽅法的好处是可以减少计算时间。但在BRFVS中，由于采⽤的⽋采样⽅法平衡数据集中的类别，如果按照袋外数据样本的获取⽅法，则会导致出现袋外数据的⼤类数据过多。因此，BRFVS采⽤ķ层交叉验证的⽅法来获取特征重要性度量。
权重计算⽅法
当⼤类数据和⼩类数据严重不平衡时，对⼤类数据⽋采样时可能会产⽣差异性较⼤的UndeSamplingD数据⼦集。在此数据⼦集上建⽴的树的准确率也将有所区别。实际上，由于UndeSamplingD的多样性，其准确性是不同的.BRFVS算法认为最终集成判定⼀致度⾼的基决策树应该具有更⾼的权重，其所获得的特征重要性度量值具有更好的可信度。
漆雾净化器
基于随机森林的⾼维不平衡分类算法
分类⾼维不平衡数据的⽅法有两种：预处理再分类和直接分类。尽管预处理后能够达到⼀定的分类效果，但是由于预处理后获得的结果是单个数据集，也就是说最终⽤于分类的数据集将损失⼀部分特征和实例信息。直接分类则是在分类时充分考虑数据的⾼维和不平衡特性，使算法在⾯临此类数据时，能够有较好的性能。
有关集成学习解决不平衡数据分类问题的综述中，代价敏感集成学习是⼀种不平衡数据分类算法。⼤部分的代价敏感集成⽅法主要是与Boosting相结合，通过在AdaBoost的权重更新公式中引⼊不同代价，修改权重更新公式，使之能够有效处理不平衡问题。但是Boosting算法每次建树时都是考虑整个特征空间，不利于⾼维数据的处理。
针对不平衡数据分类问题，有⼈提出平衡随机森林算法（BRF）和权重随机森林（WRF）：
研究表明，对于树分类器⽽⾔，通过⽋采样或过采样的⽅式⼈为地使数据平衡是⼀种有效解决不平衡数据分类问题的⽅式。⽋取样看起来优于过取样，但是⽋取样⼤类也可能会导致信息丢失，通过集成的⽅式可以弥补这⼀点。
BRF算法的思想的来源于此，算法步骤如下：
1）对随机森林中的每⼀轮迭代从⼩类中抽取Bootstrap样本。从⼤类中，以有放回的⽅式随机抽取同样数量的实例；
2）从产⽣的数据中以不剪枝的⽅式产⽣决策树。树产⽣算法为CART算法。但对CART算法修改如下：在每个节点上，不是在所有特征中搜索最优分裂，仅在固定的随机选择的特征中搜索最优分裂；
3）按照指定次数重复上述两个步骤，集成预测结果获得最终的预测。
由于RF分类器偏向于⼤类准确，WRF对误分类⼩类设置更重的惩罚。WRF给每个类别分配⼀个权重，⼩类赋予更⼤的权重。类权重以两种⽅式整合在RF算法中，WRF算法步骤如下：
1）树的构建过程中，在计算分类的Gini系数中加⼊类权重；
2）每棵树的终端结点上，每个端点类别的预测采取有权重的投票⽅式决定。例如，⼀个类别的权重投票使⽤该类别的权重乘以终端结点上的实例数。
RF的最终预测是由来⾃各个树的带权重投票集成，权重是终端结点的平均权重。类权重本质上⽽⾔就是通过参数调整来达到理想的性能。权重可以通过袋外数据（Out-of-Bag）来估计获得。WRF设置⼤类和⼩类的初始权重均为0.5，通过调整权重，获得ROC曲线，确定最优权重设置。
实验显⽰，BRF和WRF相⽐于之前的⼀些经典算法⽽⾔，具有更好的性能。但BRF和WRF之间性能不相上下。BRF虽平衡了数据，但是改变了数据分布，可能会引⼊数据的不确定性；WRF赋予⼩类更多权重的同时，可能使得算法在⾯临噪声时更为脆弱。，隐蔽有⼈提出了⼀个融合B RF和W RF的改进的平衡随机森林算法（IBRF）。IBRF算法在⽋采样时，并⾮取与⼩类实例数量相等的固定数量的实例，⽽是引⼊区间参数，使得⼩类和⼤类的取样数量可以根据需要调整。IBRF算法描述如下：
输⼊：训练数据{（x1,y1）,...,（x n,y n）}，区间变量m和d，树的数量n tree；
过程如下：
For t=1，...，ntree，
1）在区间m-d/2和m+d/2间产⽣变量a；
2）以有放回形式随机从负类训练数据集D-中抽取n a个实例，从正类训练数据集D+中抽取n(1-a)个实例；
3）分配权重w1给负类，w2给正类，其中w1=1-a，w2=a；
4）产⽣不剪枝的分类决策树；
输出：最终排名。计算每个测试实例的负例得分，即预测为负类的树的数量，越多树将该实例预测为负类，该实例所获得的负例得分就越⾼。对所有实例的负例得分排序获得最终序列。
变量a直接决定了每轮迭代中负例和正例训练实例的平衡程度。a越⼤，意味着训练实例中负类的实例越多，也意味着赋予负类的权重越⼤。
代价敏感⽅法
低频放大器
代价敏感（Cost-Sensitive Learning，CSL）学习最初来源于医疗诊断中，将有病的病⼈诊断为⽆病所付出的代价将远⼤于将⽆病的⼈诊断为有病病⼈。也就是说错误分类的代价是不等的。代价敏感⽅法被提出⽤于解决占据少数类别，但其误判影响较⼤的问题。
黄油嘴代价是代价敏感学习的基础，在数据挖掘中，将代价分为测试代价和误分类代价。测试代价是指获得测试属性所需要的代价。误分类代价是指将训练数据实例错误分类所造成的损失。
针对⼆元分类问题，假设正类(+)表⽰少数类，负类(-)表⽰多数类。⼀个实例本应属于j，但被错误分为i，C(i，j)表⽰将j错误分为i的代价。代价矩阵定义如下：
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议