(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910553755.7
(22)申请日 2019.06.25
(71)申请人 北京工业大学
地址 100124 北京市朝阳区平乐园100号
(72)发明人 刘磊 孙应红 陈浩 李静
(74)专利代理机构 北京思海天达知识产权代理
有限公司 11203
代理人 吴荫芳
(51)Int.Cl.
G06F 16/35(2019.01)
G06F 17/27(2006.01)
G06N 3/08(2006.01)
(54)发明名称
一种结合注意力机制的深度学习多分类情
(57)摘要
本发明涉及一种结合注意力机制的深度学
力机制的深度学习多分类情感分析模型。该模型
运用注意力机制将CNN网络提取的局部特征和
LSTM模型提取的语序特征相融合，并在分类层采
用集成模型的思想，分别将CNN网络和LSTM网络
提取的情感特征拼接，作为模型最终提取的情感
特征。通过对比实验，发现该模型的准确率有了
显著的提高。权利要求书3页 说明书7页 附图1页CN 110287320 A 2019.09.27
C N 110287320
A
1.一种结合注意力机制的深度学习多分类情感分析方法，其特征在于包括以下步骤：
步骤(1)数据预处理
设情感数据集表示为：G＝[(segtxt1,y1),(segtxt2,y2),...,(segtxt N,y N)]，其中，segtxt i表示第i个样本，y i则为对应的情感类别标签，N表示数据集G中样本个数，对G中样本进行数据预处理， 数据集G经预处理后，表示为G′＝[(seg1,y1),(seg2,y2),...,(seg M,y M)]，其中：seg i表示为数据集G′中第i个样本，y i则为对应的情感类别标签，M表示数据集G′中样本个数；
步骤(2)构建模型的输入
对于数据集G′中任意一个待分析样本数据(seg,y)，将其进一步细化表示为：
seg＝[w1,w2,...,w i,...,w d]T (1)
y＝[0,0,1,...,0] (2)
其中：w i∈Rε是指依据词表wordList对待分析文本中第i词语的one-hot编码，ε为词表wordList的大小，d表示该文本的句长，y∈R p是依据情感类别的one-hot编码，p表示模型待分的类别数目，则该样本的词向量嵌入矩阵可表示为：
X＝seg*E T (3)
其中：X∈R d×m，X＝[x1,x2,...,x d]T为待分析文本的词向量矩阵表示，m为词向量的维度，x i∈R m为该文本中第i个词汇的词向量表示，E为词向量嵌入层表示；
步骤(3)构建深度学习多分类情感分析模型
深度学习多分类情感分析模型包括基于CNN网络的局部特征提取阶段和基于LSTM网络的语序关系特征提取阶段，将基于CNN网络的局部特征提取阶段的池化层结果C Cnn和基于LSTM网络的语序关系特征提取阶段的结果C'Rnn拼接，即向量[C Cnn；C'Rnn]作为模型最终提取的特征向量，然后将特征向量[C C n n；C'R n n]经过全连接层得到最终的模型输出向量
其中p表示模型待分的类别数目，
所述的基于CNN网络的局部特征提取阶段，包括以下内容：
局部特征提取阶段输入为公式3的待分析文本的词向量矩阵表示X；
局部特征提取阶段基于CNN网络，一共包括两层，即一层卷积层、一层池化层，其中：卷积层采用n种不同尺度的卷积核对待分析文本进行卷积，且同一尺度卷积核的滤波器即神经元各k个；
池化层采用最大池化层的方法将卷积所得的向量做下采样，选出局部最优特征，因此每个滤波器通过最大池化层变为一个标量，该标量代表着该滤波器中最优的情感特征；
局部特征提取模块的输出为C Cnn＝[c1,c2,...,c nk]，即将池化层中不同尺寸的多个滤波器选取的最优特
征拼接到一起C Cnn＝[c1,c2,...,c nk]作为本模块的输出，其中，C Cnn∈R nk，nk 为卷积层中所有滤波器的个数；
所述的基于LSTM网络的语序关系特征提取阶段，包括以下内容：
多尺度CNN网络局部特征提取：将基于CNN网络的局部特征提取阶段中卷积层同一卷积尺度的k个滤波器的卷积结果拼接，得到集合Z Cnn，然后将集合Z Cnn中的每个向量Z i输入到GLU机制中，即门控卷积网络，得到的结果记为{π1,π2,...,πn}，完成多尺度CNN网络局部特征的提取，
其中，Z Cnn＝{Z1,Z2,...,Z n}，Z i为尺度为i的多个滤波器卷积结果的拼接；
其中，Z i代表某一尺度的k个滤波器卷积结果的拼接，W1，W2∈Rλ×q为权重矩阵，λ表示对应权重矩阵的维度，b1，b2∈R q为偏置量，σ表示sigmoid 函数，πi∈R q，q为LSTM网络的输出维度；
然后，利用注意力机制，将多尺度CNN网络局部特征提取结果{π1,π2,...,πn}融入到L S T M网络中，得到基于L S T M网络的语序关系特征提取阶段的输出结果C'R n n，即
其中，表示待分析文本中最后一个词语所对应的LSTM模块的输出，表示待分析文本中第一个词语所对
应的LSTM模块的输出，本发明采用双向LSTM模型，即BiLSTM模型，
采用正向传播，具体计算过程如下：
d为待分析文本的长度，该文本中每一个词语顺序对应一个LSTM模块，，
正向传播过程中，第t-1个LSTM模块的输出为则第t个LSTM模块的输出计算公式如下：
其中：是两个向量的点乘，也称打分函数，是用来计算前一词语的LSTM的
输出和当前局部特征向量的相似度，
其中：αt,i∈R代表特征πi的权重，
其中：s t-1∈R q是多个卷积特征的加权结果，利用s t-1代替结合当前词语的词向量x t 求得当前LSTM模块的输出公式如下：
采用反向传播，具体计算过程与正向传播一样，此处不再赘述；
步骤(4)模型训练：将训练数据输入多分类情感分析模型，采用交叉熵损失函数，结合反向传播BP算法调整参数，利用softmax回归作为分类算法，完成训练；
步骤(5)模型分析：将待分析文本输入训练完成的模型，最终输出对该文本分析后的情感分类结果。
2.根据权利要求1所述的一种结合注意力机制的深度学习多分类情感分析方法，其特征在于，所述的预处理过程包括以下步骤：
1)分词、去除停用、英文大写转小写、繁体转简体，
2)选取数据集G中频率大于等于σ的词语，构造词汇表wordList＝{word1,word2, ...wordε}，其中，word i表示词汇表wordlist中第i个词语，ε表示数据集G中词频超过σ的词语总数，
3)对数据集G中每一个样本，若长度大于d，则删除该样本，若长度小于d，则用符号</>补齐。
3.根据权利要求1所述的一种结合注意力机制的深度学习多分类情感分析方法，其特征在于，所述的基于CNN网络的局部特征提取模块的卷积层计算公式如下：z＝f(∑W T*x i:i+s-1+b) (8)
其中:z表示一个神经元对待分析文本的卷积所得的特征向量，f(·)表示激活函数，W ∈R s×m表示神经元的权重矩阵，同一个神经元参数共享，s×m表示卷积核尺寸的大小，b表示阈值，x i:i+s-1表示由文本句子中的第i个词到i+s-1个词语的词向量。
4.根据权利要求1所述的一种结合注意力机制的深度学习多分类情感分析方法，其特征在于，所述的训练数据为经过预处理之后的数据。
5.根据权利要求1所述的一种结合注意力机制的深度学习多分类情感分析方法，其特征在于，所述的基于CNN网络的局部特征提取阶段的卷积层采用4种不同尺度的卷积核。
6.根据权利要求1所述的一种结合注意力机制的深度学习多分类情感分析方法，其特征在于，所述的训练结束条件是准确率不再改变或达到设置迭代次数。
一种结合注意力机制的深度学习多分类情感分析模型
技术领域
[0001]本发明属于文本信息处理领域，涉及一种结合注意力机制的深度学习多分类情感分析模型。
背景技术
[0002]随着微博、Twitter等社交网络的不断兴起，互联网已不仅仅是人们获取日常信息的来源，同时也成为人们表达自己观点不可或缺的平台。人们在网络社区评论热点事件、抒写影评观点以及描述产品体验等，都会产生大量的带有情感彩(如：喜怒哀乐等)的文本信息，而对这些文本信息进行有效的情感分析，可以更好地了解用户的兴趣倾向和关注程度。但随着人们对网络信息关注度的增加，网络社区每天都有海量的带有情感彩的文本产生，如果仅仅依靠人工标记，已经远远无法完成这一任务，这就使得文本情感分析成为自然语言处理领域的一个研究热点。
[0003]随着深度学习方法在计算机视觉方向的成功应用，越来越多的深度学习技术也被应用于自然语言处理方向。深度学习的优势在于，不仅可以自动提取文本的特征，而且对大数据有较强的表达能力。目前主流的基于深度学习的文本情感分析方法主要包括卷积神经网络(Convolutional Neural Network ，CNN)和循环神经网络(Recurrent Neural Network，RNN)两种，基于这两种方法的情感分析模型的准确率都较低，主要有以下几个方面的原因：
[0004]首先，在文本的情感分析过程中，卷积神经网络通过扩大卷积核尺寸，有效地捕捉到不同位置的情感信息，进而获取到文本的局部情感特征。但卷积的过程中，往往忽略了文本中语序间的前后关系。但在文本情感分析过程中，语序的先后关系又十分重要，没有语序的特征信息必导致结果有一定的偏差。
[0005]其次，循环神经网络网络利用前后依赖关系，有效模拟文本数据的先后顺序，能够提取到文本的语序关系和语义信息，因此在文本的情感分析中能达到很好的效果。但当样本数据较长或者语言场景较复杂时，有用的情感信息的间隔有大有小，长短不一，长短记忆网络(Long Short -Term Memory，LSTM)的性能也因此受到限制。
[0006]本发明充分利用了注意力机制、CNN网络、LSTM网络，提出并实现了一种结合注意力机制的深度学习多分类情感分析模型。此模型能够有效的提高文本情感分析的准确率。发明内容
[0007]本发明提出了一种基于注意力机制的深度学习多分类情感分析模型。该模型结合CNN网络和LSTM网络进行情感特征融合。首先利用CNN网络的多尺度卷积核提取出待分析文本的局部特征，然后利用注意力机制，将CNN网络提取的局部特征融入到LSTM网络中。最后利用集成模型的思想，将CNN网络的池化层结果和LSTM网络的特征提取结果进行拼接，作为最终的模型输出。实验表明，在文本情感分析中，该模型的准确率有了显著的提高。
[0008]为实现上述目的，本发明采用如下的技术方案：
说 明 书1/7页CN 110287320 A
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议