第一章
1.6
(1)数据特征化是目标类数据的一般特性或特征的汇总。 中北大学学报例如,在某商店花费1000元以上的顾客特征的汇总描述是:年龄在40—50岁、有工作和很好的信誉等级。
(2)数据区分是将目标类数据对象的一般特性与一个或多个对比类对象的一般特性进行比较。国企备忘录
例如,高平均分数的学生的一般特点,可与低平均分数的学生的一般特点进行比较.由此产生的可能是一个相当普遍的描述,如平均分高达75%的学生是大四的计算机科学专业的学生,而平均分低于65%的学生则不是.
(3)关联和相关分析是指在给定的频繁项集中寻相关联的规则.
例如,一个数据挖掘系统可能会发现这样的规则:专业(X,“计算机科学”)=〉拥有(X,”个
人电脑“)[support= 12%,confidence = 98%],其中X是一个变量,代表一个学生,该规则表明,98%的置信度或可信性表示,如果一个学生是属于计算机科学专业的,则拥有个人电脑的可能性是98%。12%的支持度意味着所研究的所有事务的12%显示属于计算机科学专业的学生都会拥有个人电脑。
(4)分类和预测的不同之处在于前者是构建了一个模型(或函数),描述和区分数据类或概念,而后者则建立了一个模型来预测一些丢失或不可用的数据,而且往往是数值,数据集的预测。它们的相似之处是它们都是为预测工具:分类是用于预测的数据和预测对象的类标签,预测通常用于预测缺失值的数值数据。 例如:某银行需要根据顾客的基本特征将顾客的信誉度区分为优良中差几个类别,此时用到的则是分类;当研究某只股票的价格走势时,会根据股票的历史价格来预测股票的未来价格,此时用到的则是预测。
(5)聚类分析数据对象是根据最大化类内部的相似性、最小化类之间的相似性的原则进行聚类和分组。聚类还便于分类法组织形式,将观测组织成类分层结构,把类似的事件组织在一起。
例如:世界上有很多种鸟,我们可以根据鸟之间的相似性,聚集成n类,其中n可以认为规定.
(6)数据演变分析描述行为随时间变化的对象的规律或趋势,并对其建模。这可能包括时间相关数据的特征化、区分、关联和相关分、分类、预测和聚类,这类分析的不同特点包括时间序列数据分析、序列或周期模式匹配和基于相似性的数据分析。
例如:假设你有纽约股票交易所过去几年的主要股票市场(时间序列)数据,并希望投资高科技产业公司的股票。股票交易数据挖掘研究可以识别整个股票市场和特定的公司的股票的演变规律。这种规律可以帮助预测股票市场价格的未来走向,帮助你对股票投资做决策。
1.11 一种是聚类的方法,另一种是预测或回归的方法。
(1)聚类方法:聚类后,不同的聚类代表着不同的集数据。这些数据的离点,是不属于任何集。在各种各样的聚类方法当中,基于密度的聚类可能是最有效的。
(2)使用预测或回归技术:构建一个基于所有数据的概率(回归)模型,如果一个数据点的预
测值有很大的不同给定值,然后给定值可考虑是异常的.
用聚类的方法来检查离点更为可靠,因为聚类后,不同的聚类代表着不同的集数据,离点是不属于任何集的,这是根据原来的真实数据所检查出来的离点。而用预测或回归方法,是通过构建一个基于所有数据的(回归)模型,然后根据预测值与原始数据的值比较,当二者相差很大时,就将改点作为离点处理,这对所建立的模型有很大的依赖性,另外所建立的模型并不一定可以很好地拟合原来的数据,因此一个点在可能某个模型下可能被当作离点来处理,而在另外一个模型下就是正常点.所以用聚类的方法来检查离点更为可靠
1.15
挖掘海量数据的主要挑战是:
1)第一个挑战是关于数据挖掘算法的有效性、可伸缩性问题,即数据挖掘算法在大型数据库中运行时间必须是可预计的和可接受的,且算法必须是高效率和可扩展的。
2)另一个挑战是并行处理的问题,数据库的巨大规模、数据的广泛分布、数据挖掘过程的
高开销和一些数据挖掘算法的计算复杂性要求数据挖掘算法必须具有并行处理的能力,即算法可以将数据划分成若干部分,并行处理,然后合并每一个部分的结果。
第二章
2.11 三种规范化方法:
(1)最小—最大规范化(min-max规范化):对原始数据进行线性变换,将原始数据映射到一个指定的区间。
(2)z-score规范化(零均值规范化):将某组数据的值基于它的均值和标准差规范化,是其规范化后的均值为0方差为1。
,其中是均值,是标准差
(3)小数定标规范化:通过移动属性A的小数点位置进行规范化。
(a)min—max规范化
其中v是原始数据,min和max是原始数据的最小和最大值,new_max和new_min是要规范化到的区间的上下限
原始数据 | 200 | 300 | 400 | 600 | 1000 |
[0,1] 规范化 | 徐渭传0 | 0。125 | 0.25 | 0.5 | 1 |
| | | | | |
(b)z—score规范化
,其中是均值,是标准差
原始数据 | 200 | 300 | 400 | 600 | 1000 |
z—score | -1.06 | —0.7 | -0.35 | 0。35 | 1.78 |
| | | | | |
2.13
(1)逐步向前选择
开 始
初始化属性集,设置初始归约集为空集
确定原属性集中最好的属性
所选属性是否超出停止界限?
把选中的属性添加到归约集中以减少属性设置潍坊学院外国语学院
否
在初始设置中是否还有更多的属性?
(2)逐步向后删除
开 始
初始化属性设置为整个属性集
确定原属性集中最差的属性
所选属性是否超出停止界限?
否
删除选中的最差属性,以减少属性的设置
壶奥在初始设置中有更多的属性设置?
是
否
(3)向前选择和向后删除的结合
选择最好的属性加入到归约集中,并在剩余的属性中删除一个最差的属性
开 始
初始化属性设置为空集
确定原属性集中最好和最差的属性
所选的最好的属性是否超出停止界限?
否
所选的最差的属性是否超出停止界限?
合并设置为减少属性所设置的初始工作的所有剩余的属性
是
否
从最初的工作集属性中删除选定属性