基于大数据的计算机数据挖掘方法



1.本发明涉及数据挖掘技术领域,具体涉及一种基于大数据的计算机数据挖掘方法。


背景技术:



2.随着通信的发展,各行各业的运行模式与大数据紧密相关,例如产品营销行业,通过对大数据的数据挖掘来获取目标产品信息,并通过对象匹配进行更好的产品营销。大数据的挖掘技术主要分为数据的收集、数据的预处理、数据的挖掘以及进行决策。
3.常规的产品营销对于描述产品的文本信息大数据挖掘过程中一般使用基于信息熵增益值的决策树算法进行数据的提纯以及数据特征的匹配,但是利用基于信息熵增益值的决策树进行大数据的提纯时,各种描述产品的主要属性进行子集划分的时候,每个产品属性的权值相等,即未考虑到产品各属性之间的相互影响,而对于产品营销时产品的某些属性有着不同程度的相互影响以及相互依赖的作用,不考虑产品各属性之间的相互影响进行决策树的生成以及利用决策树对数据进行提纯时,容易使数据提纯的不准确,造成产品营销时目标客户的选择不精准,并导致成本的增加。


技术实现要素:



4.为了解决上述技术问题的不足,本发明提供一种基于大数据的计算机数据挖掘方法,该方法通过产品的属性以及收集到的对待挖掘大数据,利用加权信息熵增益值对待挖掘大数据进行提纯,再通过提纯后数据匹配来实现产品营销数据挖掘的精准化。
5.本发明的一种基于大数据的计算机数据挖掘方法,包括以下步骤:获取描述产品的文本信息;根据文本信息提取产品的多个属性;通过计算机获取描述该产品的待挖掘文本信息,形成待挖掘大数据;根据待挖掘大数据中每个属性出现的次数,及与其余属性之间的距离获取每个属性的综合影响程度;根据待挖掘大数据中任一属性的综合影响程度,及出现该属性的置信度,获取待挖掘大数据中任一属性的依赖度,依次获取每个属性的依赖度;对每个属性的依赖度进行归一化获取归一化后的依赖度;根据待挖掘大数据和每个属性与其对应归一化后的依赖度,获取每个属性的加权信息熵增益值;根据每个属性的加权信息熵增益值构建产品属性的决策树,根据决策树对待挖掘大数据进行提纯。
6.在一实施例中,所述每个属性的综合影响程度是按照以下步骤获取:根据待挖掘大数据中第个属性出现的次数,及第个属性第次出现时距离首次出现的第个属性的距离获取第个属性的正影响程度;
根据待挖掘大数据中第个属性出现的次数,和第个属性第次出现时距离首次出现的第个属性的距离,及第个属性出现的次数,获取第个属性的负影响程度;根据第个属性的正影响程度和负影响程度获取待挖掘大数据中第个属性的综合影响程度。
7.在一实施例中,所述第个属性的正影响程度的计算公式如下:式中,表示第个属性的正影响程度;表示第个属性对于第个属性的正影响程度;表示属性的总数量;其中,第个属性对于第个属性的正影响程度计算公式如下:式中,表示第个属性第次出现时距离首次出现的第个属性的距离;为第个属性总体出现次数;表示第个属性出现的次数。
8.在一实施例中,所述第个属性的负影响程度的计算公式如下:式中,表示第个属性的负影响程度;表示第个属性对于第个属性的负影响程度;表示属性的总数量;其中,第个属性对于第个属性的负影响程度的计算公式如下:式中,表示第个属性第次出现时距离首次出现的第个属性的距离;为第个属性第次出现时距离首次出现的第个属性的距离;为第个属性总体出现次数;表示第个属性出现的次数;为第个属性出现的次数;表示非第个属性和非第个属性的其余属性的总数。
9.在一实施例中,所述每个属性的依赖度是按照以下步骤获取:根据待挖掘大数据中第个属性的综合影响程度,及在待挖掘大数据中出现第
个属性时出现第个属性的置信度获取待挖掘大数据中第个属性的依赖度。
10.在一实施例中,所述第个属性的依赖度计算公式如下:式中,表示第个属性的依赖度;表示待挖掘大数据中出现第个属性时出现第个属性的置信度;表示属性的总数量;表示第个属性的综合影响程度。
11.在一实施例中,所述形成待挖掘大数据的过程中还按照以下步骤进行筛选:根据待挖掘大数据中的待挖掘文本信息和产品的文本信息获取每个待挖掘文本信息与文本信息的亲近度;将与文本信息的亲近度小于等于零的待挖掘文本信息进行清洗获取清洗后的待挖掘大数据;根据产品的多个属性对清洗后的待挖掘大数据中的待挖掘文本信息进行筛选,获取与多个属性相同的待挖掘文本信息,形成筛选后的待挖掘大数据。
12.在一实施例中,所述每个属性的加权信息熵增益值计算公式如下:式中,表示第个属性的加权信息熵增益值;表示待挖掘大数据的信息熵;表示利用第个属性划分待挖掘大数据后的信息熵;表示第个属性归一化后的依赖度;表示属性的总数量。
13.在一实施例中,所述与其余属性之间的距离是文本中字符间的距离。
14.本发明的有益效果是:本发明提供的一种基于大数据的计算机数据挖掘方法,该方法基于收集的待挖掘大数据,通过对产品所描述的文本信息提取有关目标产品的属性对待挖掘大数据进行分析,获取每个属性对应的一个关于信息熵增益的值的权值,其中,通过计算每个属性的综合影响程度及依赖度,使得该权值的设计包含了产品属性之间的相互影响作用,并对不同属性之间的影响程度和依赖度进行量化,再通过所有属性的加权信息熵的增益值获得有关所有产品属性的决策树,利用决策树对待挖掘大数据进行提纯。使得在对产品营销的大数据挖掘中数据提纯的效果更加具体精确。
15.本发明主要通过中文对目标产品所描述的文本信息提取有关目标产品的属性,如,目标产品的型号、材质、体积、规格、颜等属性,可见属性主要是描述目标产品的相关的形容词和名词。通过提取的属性对有关目标产品的文本信息大数据进行挖掘,挖掘出也目标产品所描述的文本信息最相关的文本信息,再通过挖掘出的文本信息定位获取潜在的营销客户。
16.本发明通过产品的属性以及收集到的对待挖掘大数据,利用加权信息熵增益值对待挖掘大数据进行提纯,在通过提纯后数据匹配来实现产品营销数据挖掘的精准化。
附图说明
17.为了更清楚地说明本发明实施例或现有技术中的技术方案,下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍,显而易见地,下面描述中的附图仅仅是本发明的一些实施例,对于本领域普通技术人员来讲,在不付出创造性劳动性的前提下,还可以根据这些附图获得其他的附图。
18.图1为本发明的一种基于大数据的计算机数据挖掘方法的实施例总体步骤的流程图。
具体实施方式
19.下面将结合本发明实施例中的附图,对本发明实施例中的技术方案进行清楚、完整地描述,显然,所描述的实施例仅仅是本发明一部分实施例,而不是全部的实施例。基于本发明中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本发明保护的范围。
20.本发明针对的情景是:在对产品营销的过程中利用基于信息熵的数据挖掘技术进行文本信息大数据的挖掘时,因为不同重要程度的数据特征的信息熵增益权值的相等从而使得数据提纯和特征匹配的不准确,使得在进行产品营销时目标客户的选择不精准造成成本的增加。因此,本发明通过产品的属性以及收集到的对待挖掘大数据,利用加权信息熵增益值对待挖掘大数据进行提纯,再通过提纯后数据匹配来实现产品营销数据挖掘的精准化。
21.本发明主要通过中文对目标产品所描述的文本信息提取有关目标产品的属性,如,目标产品的型号、材质、体积、规格、颜等属性,可见属性主要是描述目标产品的相关的形容词和名词。再通过提取的属性对有关目标产品的文本信息大数据进行挖掘,挖掘出也目标产品所描述的文本信息最相关的文本信息,再通过挖掘出的文本信息定位获取潜在的营销客户。
22.本发明提供的一种基于大数据的计算机数据挖掘方法,参见图1所示,该方法包括:s1、获取描述产品的文本信息;根据文本信息提取产品的多个属性;通过计算机获取描述该产品的待挖掘文本信息,形成待挖掘大数据;在本实施例中,选取所要挖掘的产品信息,就要先确定描述该产品的文本信息,以及提取该产品的多个属性,具体产品属性提取的过程如下:从描述产品的文本信息中提取属性,文本信息中的属性为对产品进行描述的文本,以形容词和名词为主,所以对产品的文本信息中的形容词和名词进行提取,提取方式为利用人工进行标注,标注方式为对形容词和名词标记为“1”,其余文本信息标记为“0”。而后对所有的标记为“1”的文本信息进行提取即可,提取出的文本信息即为产品的属性。
23.在本实施例中,待挖掘的大数据的收集,其收集来源为已经投放含有本产品文本描述信息广告的所有网站或app的待挖掘文本信息。
24.s2、对待挖掘大数据进行筛选;对形成待挖掘大数据的过程中还按照以下步骤进行筛选:
根据待挖掘大数据中的待挖掘文本信息和产品的文本信息获取每个待挖掘文本信息与文本信息的亲近度;将与文本信息的亲近度小于等于零的待挖掘文本信息进行清洗获取清洗后的待挖掘大数据;根据产品的多个属性对清洗后的待挖掘大数据中的待挖掘文本信息进行筛选,获取与多个属性相同的待挖掘文本信息,形成筛选后的待挖掘大数据。
25.需要说明的是,计算亲近度对待挖掘大数据进行初步清洗,利用产品的属性对初步清洗的待挖掘大数据进行二次清洗。大数据的清洗是为在诸多的文本大数据信息中获得模糊的与本产品相关的数据。
26.在本实施例中,亲近度以第条待挖掘文本信息为例,其亲近度的计算方式如下所示:式中,表示第条待挖掘文本信息的总长度;表示第条待挖掘文本信息与产品的文本信息中相同的文本的个数;表示第条待挖掘文本信息中与产品的文本信息中同音字的个数;表示第条待挖掘文本信息与产品的文本信息中同音字的但非本产品相关的专属名词的文本数据个数;表示产品的文本信息的长度。
27.通过计算亲近度,主要是利用待挖掘文本信息中与商品描述产品的文本信息相同的文本信息的个数以及同音字的个数作为产品的亲近度的计算,其优点在于对于大数据的筛选挖掘中对于数据处理计算量的精简,所获得数据并非绝对与产品的文本信息有关的数据,为大数据分析的模糊集数据。
28.需要说明的是,从大数据中进行有关于描述产品的文本信息的挖掘首先应对所获得的数据中相同的文本数据进行匹配,而考虑到输入法以及输入习惯产生的同音字情况,故结合同音字进行匹配,而相应的同音字设有权值,当同音字大幅度出现时权重大于相同文本,反之则反。而后以相同以及同音文本在描述产品的文本信息中的占比作为整体权值,使得相同以及同音文本在描述产品的文本信息中的占比进行放大缩小,占比越大,亲近度越高,占比越小,亲近度越小。
29.利用上述计算方式可获得所有待挖掘文本信息的亲近度,而后利用亲近度进行待挖掘大数据的清洗,待挖掘大数据的清洗为对所有亲近度小于等于零的待挖掘文本信息进行抛弃,认为其为无用信息。
30.至此,完成待挖掘大数据的初次清洗。
31.在本实施例中,根据产品的多个属性对清洗后的待挖掘大数据中的待挖掘文本信息进行筛选时,主要是利用产品的属性对初步清洗的待挖掘大数据进行二次清洗;具体为初次清洗的待挖掘大数据中具有与属性相同的文本信息所在区域进行保留,其余筛选,仅获得含有产品属性的待挖掘大数据的信息数据。至此,完成待挖掘大数据的二次清洗。
32.s3、获取每个属性的综合影响程度;根据待挖掘大数据中每个属性出现的次数,及与其余属性之间的距离获取每个属
性的综合影响程度;所述每个属性的综合影响程度是按照以下步骤获取:根据待挖掘大数据中第个属性出现的次数,及第个属性第次出现时距离首次出现的第个属性的距离获取第个属性的正影响程度;根据待挖掘大数据中第个属性出现的次数,和第个属性第次出现时距离首次出现的第个属性的距离,及第个属性出现的次数,获取第个属性的负影响程度;根据第个属性的正影响程度和负影响程度获取待挖掘大数据中第个属性的综合影响程度。
33.在本实施例中,对上述中经二次清洗后的待挖掘大数据分别对每个属性的权值进行计算,所述权值计算具体为以第个属性为例,计算剩余属性对于的依赖程度和影响程度,依赖程度为其余属性出现时出现的概率,而影响程度为与其他属性同时出现时,其他属性对于的影响程度的量化。首先进行对于第个属性的综合影响程度的计算,所述的综合影响程度分为正影响和负影响;其中,第个属性的正影响程度的计算公式如下:式中,表示第个属性的正影响程度;表示第个属性对于第个属性的正影响程度;表示属性的总数量;表示第个属性至第-1个属性对第个属性的正影响程度的加和;表示第个属性至最后1个属性对第个属性的正影响程度的加和。表示所有属性中除过第个属性的其它所有属性对第个属性的正影响程度的平均值。
34.其中,第个属性对于第个属性的正影响程度计算公式如下:式中,表示第个属性第次出现时距离首次出现的第个属性的距离;为第个属性总体出现次数;表示第个属性出现的次数。
35.表示第个属性的第次出现时相对于第个属性首次出现的平均距离;表示第个属性在第个属性中的密度,通过确定范围内属性与其余属性的距离的均值作为基础以及其余属性对于属性出现的密度,作为权值,即其余属性与属性
的平均距离越小,且其余属性的密度越大,说明该属性对于属性的正影响程度越高。
36.获取正影响程度过程中,需要说明的是,在一定的范围内,包含两种或者两种以上的属性同时出现,并包含属性,且属性出现的次数大于其余属性出现的次数,则说明其余属性对于属性具有一定的描述作用,即正向的影响作用。而计算正影响的方式为通过确定范围内属性与其余属性的距离的均值作为基础以及其余属性对于属性出现的密度,作为权值,即其余属性与属性的平均距离越小,且其余属性的密度越大,说明该属性对于属性的正影响程度越高,而后通过对其余所有属性对于属性的影响程度的平均值计算,获得属性的整体的受影响程度,而影响是相对的,即为属性对其余属性的正影响程度。
37.上述计算正影响程度过程中,是以属性为例,因为所有属性都是来源于描述产品的文本信息,而属性使用来描述产品的文本信息的特征文本,所以其余所有属性对于属性一定有潜在的影响作用,本实施例利用属性之间的距离以及密度进行正向影响的计算,计算出每个属性对于属性的正向影响程度,而后通过求取平均值的方式,确定出属性在其余属性中的平均影响程度,相对而言,即为属性对于其他属性的影响程度。较现有的数据影响程度的计算,在简单不用设置过多复杂的逻辑的基础上,更加准确的来突出属性的重要性以及挖掘的必要性。需要说明的是,与其余属性之间的距离是文本中字符间的距离。
38.具体的,第个属性的负影响程度的计算公式如下:式中,表示第个属性的负影响程度;表示第个属性对于第个属性的负影响程度;表示属性的总数量;表示第个属性至第-1个属性对第个属性的负影响程度的加和;表示第个属性至最后1个属性对第个属性的负影响程度的加和。表示所有属性中除过第个属性的其它所有属性对第个属性的负影响程度的平均值。
39.其中,第个属性对于第个属性的负影响程度的计算公式如下:式中,表示第个属性第次出现时距离首次出现的第个属性的距离;为第个属性第次出现时距离首次出现的第个属性的距离;为第个属性总体出现次数;
表示第个属性出现的次数;为第个属性出现的次数;表示非第个属性和非第个属性的其余属性的总数。
40.表示第个属性的第次出现时相对于第个属性首次出现的平均距离;表示第个属性在第个属性中的密度中的平均密度,即除了第个属性与第个属性之外的属性的平均密度,主要是从侧面取计算负影响。
41.获取负影响程度过程中,需要说明的是,在一定的范围内,包含两种或者两种以上的属性同时出现,并包含,但在提取出的产品的所有属性中,在待挖掘大数据中某些属性没有出现,或者随着某个属性出现的次数增多,属性出现的次数密度变小,则说明某些没有出现的属性对于属性有着一定的抑制的作用,即负向影响作用。所以通过范围内属性出现的次数和其他出现属性对于属性的变化率作为基础,以其余出现的属性出现的相对应属性的频率作为权值来反应属性对于未出现的属性的负影响。
42.上述计算负影响程度过程中,以属性为例,因为所有属性都是来源于描述产品的文本信息,而属性使用来描述产品的文本信息的特征文本,但是属性较其余属性有着一定的影响和冲突,即属性出现时,一定范围内某个或者某几个属性不会出现,或者属性出现次数变多,其余属性出现次数变少。所以通过该特征来对属性相对于其余属性的量化,负影响程度越大,则说明属性相对于其余属性来说越不受欢迎。
43.利用上述计算方式可获得所有属性的正影响程度和负影响程度,而后将所有的正影响程度进行归一化,负影响程度归一化,用来计算综合影响程度。
44.在本实施例中,每个属性的综合影响程度计算公式如下:式中:表示第个属性的综合影响程度;表示第个属性的负影响程度归一化后的负影响程度,表示第个属性的负影响程度归一化后的正影响程度。
45.s4、获取每个属性的依赖度;根据待挖掘大数据中任一属性的综合影响程度,及出现该属性的置信度,获取待挖掘大数据中任一属性的依赖度,依次获取每个属性的依赖度;对每个属性的依赖度进行归一化获取归一化后的依赖度;所述每个属性的依赖度是按照以下步骤获取:根据待挖掘大数据中第个属性的综合影响程度,及在待挖掘大数据中出现第个属性时出现第个属性的置信度获取待挖掘大数据中第个属性的依赖度。
46.在本实施例中,利用上述方法对所有属性进行计算,可获得所有个属性的综合影
响度,而后在整体文本大数据中属性出现的频率的基础上,利用每个属性的综合影响度,计算每个属性的依赖度;第个属性的依赖度计算公式如下:式中,表示第个属性的依赖度;表示待挖掘大数据中出现第个属性时出现第个属性的置信度;表示属性的总数量;表示出现第个属性至第-1个属性时出现第个属性的置信度的加和;表示出现第个属性至最后1个属性时出现第个属性的置信度的加和。表示出现除过第个属性的其它所有属性时出现第个属性的置信度的平均值。
47.需要说明的是,为置信度计算,即在所有待挖掘大数据中出现第个属性时出现第个属性的概率;置信度的可采用现有技术进行计算,在此不做赘述。
48.上述计算每个属性依赖度的过程中,属性的依赖度为精准的计算除属性外,在其余属性出现的基础上的条件下,属性出现的加权概率值,而后对所有的加权概率值求取平均数;来作为属性的依赖度,越大,说明属性越依赖于其余数据,即说明属性与其余属性的关联性越高,说明属性的挖掘价值更高。
49.在二次清洗后的待挖掘大数据中,利用属性的依赖度对属性进行描述,不仅包含其余属性对于属性的影响,且能直观地保留属性与其余属性的联系,以此来达到一种属性在整体待挖掘大数据中所有的属性中的重要程度的量化。
50.依照上述方式对所有的属性的依赖度进行计算,而后将计算获得的所有依赖度进行归一化获取归一化后的依赖度,将归一化后的依赖度作为每个属性对应信息熵增益值的加权值。
51.s5、获取每个属性的加权信息熵增益值;根据待挖掘大数据和每个属性与其对应归一化后的依赖度,获取每个属性的加权信息熵增益值;所述每个属性的加权信息熵增益值计算公式如下:式中,表示第个属性的加权信息熵增益值;表示待挖掘大数据的信息熵;表示利用第个属性划分待挖掘大数据后的信息熵;表示第个属性归一化后的依赖度;表示属性的总数量。需要说明的是,通过待挖掘大数据的信息熵减去利用
第个属性划分待挖掘大数据后的信息熵获取第个属性的加权信息熵增益值,由于在整体文本大数据中属性出现的频率的基础上,利用每个属性的综合影响度,计算每个属性的依赖度,将每个属性的依赖度作为每个属性的加权信息熵增益值的权值,也就是利用上述方式对所有属性的信息熵的加权值进行计算,可获得所有属性对应的加权信息熵增益值。
52.至此,获得了所有属性的加权信息熵增益值。
53.s6、根据每个属性的加权信息熵增益值构建产品属性的决策树,根据决策树对待挖掘大数据进行提纯。
54.上述中获得了所有属性的加权信息熵的增益值,而后利用现有技术进行基于加权信息熵增益值的决策树的生成即可获得有关所有产品属性的决策树,而后利用决策树对待挖掘大数据进行提纯。通过提纯后的数据匹配来实现产品营销数据挖掘的精准化。其中,决策树的生成可采用贪心算法获取。
55.以上仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内,所作的任何修改、等同替换、改进等,均应包含在本发明的保护范围之内。

技术特征:


1.一种基于大数据的计算机数据挖掘方法,其特征在于,包括以下步骤:获取描述产品的文本信息;根据文本信息提取产品的多个属性;通过计算机获取描述该产品的待挖掘文本信息,形成待挖掘大数据;根据待挖掘大数据中每个属性出现的次数,及与其余属性之间的距离获取每个属性的综合影响程度;根据待挖掘大数据中任一属性的综合影响程度,及出现该属性的置信度,获取待挖掘大数据中任一属性的依赖度,依次获取每个属性的依赖度;对每个属性的依赖度进行归一化获取归一化后的依赖度;根据待挖掘大数据和每个属性与其对应归一化后的依赖度,获取每个属性的加权信息熵增益值;根据每个属性的加权信息熵增益值构建产品属性的决策树,根据决策树对待挖掘大数据进行提纯。2.根据权利要求1所述的一种基于大数据的计算机数据挖掘方法,其特征在于,所述每个属性的综合影响程度是按照以下步骤获取:根据待挖掘大数据中第个属性出现的次数,及第个属性第次出现时距离首次出现的第个属性的距离获取第个属性的正影响程度;根据待挖掘大数据中第个属性出现的次数,和第个属性第次出现时距离首次出现的第个属性的距离,及第个属性出现的次数,获取第个属性的负影响程度;根据第个属性的正影响程度和负影响程度获取待挖掘大数据中第个属性的综合影响程度。3.根据权利要求2所述的一种基于大数据的计算机数据挖掘方法,其特征在于,所述第个属性的正影响程度的计算公式如下:式中,表示第个属性的正影响程度;表示第个属性对于第个属性的正影响程度;表示属性的总数量;其中,第个属性对于第个属性的正影响程度计算公式如下:式中,表示第个属性第次出现时距离首次出现的第个属性的距离;为第个属性总体出现次数;表示第个属性出现的次数。4.根据权利要求2所述的一种基于大数据的计算机数据挖掘方法,其特征在于,所述第个属性的负影响程度的计算公式如下:
式中,表示第个属性的负影响程度;表示第个属性对于第个属性的负影响程度;表示属性的总数量;其中,第个属性对于第个属性的负影响程度的计算公式如下:式中,表示第个属性第次出现时距离首次出现的第个属性的距离;为第个属性第次出现时距离首次出现的第个属性的距离;为第个属性总体出现次数;表示第个属性出现的次数;为第个属性出现的次数;表示非第个属性和非第个属性的其余属性的总数。5.根据权利要求1所述的一种基于大数据的计算机数据挖掘方法,其特征在于,所述每个属性的依赖度是按照以下步骤获取:根据待挖掘大数据中第个属性的综合影响程度,及在待挖掘大数据中出现第个属性时出现第个属性的置信度获取待挖掘大数据中第个属性的依赖度。6.根据权利要求5所述的一种基于大数据的计算机数据挖掘方法,其特征在于,所述第个属性的依赖度计算公式如下:式中,表示第个属性的依赖度;表示待挖掘大数据中出现第个属性时出现第个属性的置信度;表示属性的总数量;表示第个属性的综合影响程度。7.根据权利要求1所述的一种基于大数据的计算机数据挖掘方法,其特征在于,所述形成待挖掘大数据的过程中还按照以下步骤进行筛选:根据待挖掘大数据中的待挖掘文本信息和产品的文本信息获取每个待挖掘文本信息与文本信息的亲近度;将与文本信息的亲近度小于等于零的待挖掘文本信息进行清洗获取清洗后的待挖掘大数据;根据产品的多个属性对清洗后的待挖掘大数据中的待挖掘文本信息进行筛选,获取与多个属性相同的待挖掘文本信息,形成筛选后的待挖掘大数据。8.根据权利要求1所述的一种基于大数据的计算机数据挖掘方法,其特征在于,所述每个属性的加权信息熵增益值计算公式如下:
式中,表示第个属性的加权信息熵增益值;表示待挖掘大数据的信息熵;表示利用第个属性划分待挖掘大数据后的信息熵;表示第个属性归一化后的依赖度;表示属性的总数量。9.根据权利要求1所述的一种基于大数据的计算机数据挖掘方法,其特征在于,所述与其余属性之间的距离是文本中字符间的距离。

技术总结


本发明涉及一种基于大数据的计算机数据挖掘方法,涉及数据挖掘技术领域。包括以下步骤:获取描述产品的文本信息;根据文本信息提取产品的多个属性;通过计算机获取描述该产品的待挖掘文本信息,形成待挖掘大数据;获取每个属性的依赖度;对每个属性的依赖度进行归一化获取归一化后的依赖度;获取每个属性的加权信息熵增益值;根据每个属性的加权信息熵增益值构建产品属性的决策树,根据决策树对待挖掘大数据进行提纯。本发明通过产品的属性以及收集到的对待挖掘大数据,利用加权信息熵增益值对待挖掘大数据进行提纯,再通过提纯后数据匹配来实现产品营销数据挖掘的精准化。配来实现产品营销数据挖掘的精准化。配来实现产品营销数据挖掘的精准化。


技术研发人员:

尹大伟 杨霞

受保护的技术使用者:

莱芜职业技术学院

技术研发日:

2023.02.15

技术公布日:

2023/3/27

本文发布于:2024-09-23 21:27:01,感谢您对本站的认可!

本文链接:https://www.17tex.com/tex/4/83045.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:属性   数据   信息   依赖度
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议