数字信号处理系统
文章编号:１００１￣９０８１(２０１８)１１￣３０５３￣０４ＤＯＩ:１０.１１７７２/ｊ.ｉｓｓｎ.１００１￣９０８１.２０１８０４１３６３基于迁移学习的分层注意力网络情感分析算法 曲昭伟１王㊀源１∗王晓茹２
体育学刊１.北京邮电大学网络技术研究院北京１００８７６ ㊀２.北京邮电大学计算机学院北京１００８７６
∗通信作者ｗｙｕａｎ＠ｂｕｐｔ.ｅｄｕ.ｃｎ
摘㊀要：文本情感分析的目的是判断文本的情感类型ꎮ传统的基于神经网络的研究方法主要依赖于无监督训练的词向量ꎬ但这些词向量无法准确体现上下文语境关系ꎻ常用于处理情感分析问题的循环神经网络(ＲＮＮ)ꎬ模型参数众多ꎬ训练难度较大ꎮ为解决上述问题ꎬ提出了基于迁移学习的分层注意力神经网络(ＴＬＨＡＮＮ)的情感分析算法ꎮ首先利用机器翻译任务训练一个用于在上下文中理解词语的编码器ꎻ然后ꎬ将这个编码器迁移到情感分析任务中ꎬ并将编码器输出的隐藏向量与无监督训练的词向量结合ꎮ在情感分析任务中ꎬ使用双层神经网络ꎬ每层均采用简化的循环神经网络结构 最小门单元(ＭＧＵ)ꎬ有效减少了参数个数ꎬ并引入了注意力机制提取重要信息ꎮ实验结果证明ꎬ所提算法的分类准确率与传统循环神经网络算法㊁支持向量机(ＳＶＭ)算法相比分别平均提升了８.７％及２３.４％ꎮ关键词：情感分析ꎻ循环神经网络ꎻ迁移学习ꎻ分布式表示ꎻ注意力机制 中图分类号:ＴＰ３８９.１㊀㊀文献标志码:Ａ
电子管风琴
高中英语写作教学
Ｔｒａｎｓｆｅｒｌｅａｒｎｉｎｇｂａｓｅｄｈｉｅｒａｒｃｈｉｃａｌａｔｔｅｎｔｉｏｎｎｅｕｒａｌｎｅｔｗｏｒｋｆｏｒｓｅｎｔｉｍｅｎｔａｎａｌｙｓｉｓ
ＱＵＺｈａｏｗｅｉ１ＷＡＮＧＹｕａｎ１∗ＷＡＮＧＸｉａｏｒｕ２
１.ＩｎｓｔｉｔｕｔｅｏｆＮｅｔｗｏｒｋＴｅｃｈｎｏｌｏｇｙ ＢｅｉｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＰｏｓｔｓａｎｄＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｂｅｉｊｉｎｇ１００８７６Ｃｈｉｎａ
陇东学院学报２.ＣｏｌｌｅｇｅｏｆＣｏｍｐｕｔｅｒＳｃｉｅｎｃｅ ＢｅｉｊｉｎｇＵｎｉｖｅｒｓｉｔｙｏｆＰｏｓｔｓａｎｄＴｅｌｅｃｏｍｍｕｎｉｃａｔｉｏｎｓ Ｂｅｉｊｉｎｇ１００８７６ＣｈｉｎａＡｂｓｔｒａｃｔ Ｔｈｅｐｕｒｐｏｓｅｏｆｄｏｃｕｍｅｎｔ￣ｌｅｖｅｌｓｅｎｔｉｍｅｎｔａｎａｌｙｓｉｓｉｓｔｏｐｒｅｄｉｃｔｕｓｅｒｓ ｓｅｎｔｉｍｅｎｔｅｘｐｒｅｓｓｅｄｉｎｔｈｅｄｏｃｕｍｅｎｔ.Ｔｒａｄｉｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋ￣ｂａｓｅｄｍｅｔｈｏｄｓｒｅｌｙｏｎｕｎｓｕｐｅｒｖｉｓｅｄｗｏｒｄｖｅｃｔｏｒｓ.Ｈｏｗｅｖｅｒ ｔｈｅｕｎｓｕｐｅｒｖｉｓｅｄｗｏｒｄｖｅｃｔｏｒｓｃａｎｎｏｔｅｘａｃｔｌｙｒｅｐｒｅｓｅｎｔｔｈｅｃｏｎｔｅｘｔｕａｌｒｅｌａｔｉｏｎｓｈｉｐｏｆｃｏｎｔｅｘｔａｎｄｕｎｄｅｒｓｔａｎｄｔｈｅｃｏｎｔｅｘｔ.ＲｅｃｕｒｒｅｎｔＮｅｕｒａｌＮｅｔｗｏｒｋＲＮＮ ｇｅｎｅ
ｒａｌｌｙｕｓｅｄｔｏｐｒｏｃｅｓｓｓｅｎｔｉｍｅｎｔａｎａｌｙｓｉｓｐｒｏｂｌｅｍｓｈａｓｃｏｍｐｌｅｘｓｔｒｕｃｔｕｒｅａｎｄｎｕｍｅｒｏｕｓｍｏｄｅｌｐａｒａｍｅｔｅｒｓ.Ｔｏａｄｄｒｅｓｓｔｈｅａｂｏｖｅｉｓｓｕｅｓ ａＴｒａｎｓｆｅｒＬｅａｒｎｉｎｇｂａｓｅｄＨｉｅｒａｒｃｈｉｃａｌＡｔｔｅｎｔｉｏｎＮｅｕｒａｌＮｅｔｗｏｒｋＴＬＨＡＮＮ ｗａｓｐｒｏｐｏｓｅｄ.Ｆｉｒｓｔｌｙ ａｎｅｎｃｏｄｅｒｗａｓｔｒａｉｎｅｄｔｏｕｎｄｅｒｓｔａｎｄｔｈｅｃｏｎｔｅｘｔｗｉｔｈｍａｃｈｉｎｅｔｒａｎｓｌａｔｉｏｎｔａｓｋｆｏｒｇｅｎｅｒａｔｉｎｇｈｉｄｄｅｎｖｅｃｔｏｒｓ.Ｔｈｅｎ ｔｈｅｅｎｃｏｄｅｒｗａｓｔｒａｎｓｆｅｒｒｅｄｔｏｓｅｎｔｉｍｅｎｔａｎａｌｙｓｉｓｔａｓｋｂｙｃｏｎｃａｔｅｎａｔｉｎｇｔｈｅｈｉｄｄｅｎｖｅｃｔｏｒｇｅｎｅｒａｔｅｄｂｙｔｈｅｅｎｃｏｄｅｒｗｉｔｈｔｈｅｃｏｒｒｅｓｐｏｎｄｉｎｇｕｎｓｕｐｅｒｖｉｓｅｄｖｅｃｔｏｒ.Ｔｈｅｃｏｎｔｅｘｔｕａｌｒｅｌａｔｉｏｎｓｈｉｐｏｆｃｏｎｔｅｘｔｃｏｕｌｄｂｅｂｅｔｔｅｒｒｅｐｒｅｓｅｎｔｅｄｂｙｄｉｓｔｒｉｂｕｔｅｄｒｅｐｒｅｓｅｎｔａｔｉｏｎ.Ｆｉｎａｌｌｙ ａｔｗｏ￣ｌｅｖｅｌｈｉｅｒａｒｃｈｉｃａｌｎｅｔｗｏｒｋｗａｓａｐｐｌｉｅｄｔｏｓｅｎｔｉｍｅｎｔａｎａｌｙｓｉｓｔａｓｋ.ＡｓｉｍｐｌｉｆｉｅｄＲＮＮｕｎｉｔｃａｌｌｅｄＭｉｎｉｍａｌＧａｔｅＵｎｉｔＭＧＵ ｗａｓａｒｒａｎｇｅｄａｔｅａｃｈｌｅｖｅｌｌｅａｄｉｎｇｔｏｆｅｗｅｒｐａｒａｍｅｔｅｒｓ.Ｔｈｅａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍｗａｓｕｓｅｄｉｎｔｈｅｍｏｄｅｌｆｏｒｅｘｔｒａｃｔｉｎｇｉｍｐｏｒｔａｎｔｉｎｆｏｒｍａｔｉｏｎ.Ｔｈｅｅｘｐｅｒ
ｉｍｅｎｔａｌｒｅｓｕｌｔｓｓｈｏｗｔｈａｔ ｔｈｅａｃｃｕｒａｃｙｏｆｔｈｅｐｒｏｐｏｓｅｄａｌｇｏｒｉｔｈｍｉｓｉｎｃｒｅａｓｅｄｂｙａｎａｖｅｒｖａｇｅｏｆ８.７％ａｎｄ２３.４％ｃｏｍｐａｒｅｄｗｉｔｈｔｈｅｔｒａｄｉｔｉｏｎａｌｎｅｕｒａｌｎｅｔｗｏｒｋａｌｇｏｒｉｔｈｍａｎｄＳｕｐｐｏｒｔＶｅｃｔｏｒＭａｃｈｉｎｅＳＶＭ .
存在主义哲学Ｋｅｙｗｏｒｄｓ ｓｅｎｔｉｍｅｎｔａｎａｌｙｓｉｓ ＲｅｃｕｒｒｅｎｔＮｅｕｒａｌＮｅｔｗｏｒｋＲＮＮｔｒａｎｓｆｅｒｌｅａｒｎｉｎｇ ｄｉｓｔｒｉｂｕｔｅｄｒｅｐｒｅｓｅｎｔａｔｉｏｎ ａｔｔｅｎｔｉｏｎｍｅｃｈａｎｉｓｍ
㊀㊀随着互联网技术的发展和社交网络的普及ꎬ越来越多的用户选择在社交网站上发表自己的观点ꎬ产生了大量的评论信息ꎬ这些评论信息表达了用户的情感彩和情感倾向性ꎬ因此ꎬ通过对评论文本进行情感分析可以判断评论文本中的情感取向ꎬ应用于市场分析以及相关产品推荐上ꎮ
１㊀相关工作
文本情感分析又称为观点挖掘ꎬ利用自然语言处理㊁文本分析等方法对带有情感彩的文本进行分析㊁处理㊁推理和归纳[１]ꎮ
情感分析方法主要有基于情感词典匹配的方法以及基于机器学习的方法ꎮ随着深度学习逐渐成为自然
语言处理领域研究热点ꎬ利用深度学习的方法解决情感分析问题的技术飞速发展[２]ꎮ在自然语言处理领域ꎬ例如循环神经网络(ＲｅｃｕｒｒｅｎｔＮｅｕｒａｌＮｅｔｗｏｒｋꎬＲＮＮ)等深度神经网络在处理情
感分析问题时具有明显优势ꎮ长短期记忆网络(ＬｏｎｇＳｈｏｒｔ￣ＴｅｒｍＭｅｍｏｒｙꎬＬＳＴＭ)可以捕捉到评论语句中的长期依赖关系ꎬ从整体上理解文本的情感语义ꎬ与卷积神经网络(ＣｏｎｖｏｌｕｔｉｏｎａｌＮｅｕｒａｌＮｅｔｗｏｒｋꎬＣＮＮ)相比ꎬＲＮＮ更适合处理序列信息ꎮＬｉ等[３]研究了树结构的ＬＳＴＭ网络ꎻＣｈｏ等[４]提出了门循环单元(ＧａｔｅｄＲｅｃｕｒｒｅｎｔＵｎｉｔꎬＧＲＵ)ꎬ与ＬＳＴＭ网络相比ꎬ具有更少的参数ꎻＲａｖａｎｅｌｌｉ等[５]将一种加权循环单元应用于语音识别领域ꎬ实验结果证明该结构具有较好的语音识别效果ꎮ
ＪｏｕｒｎａｌｏｆＣｏｍｐｕｔｅｒＡｐｐｌｉｃａｔｉｏｎｓ
计算机应用２０１８ ３８ １１ ３０５３－３０５６ ３０６２㊀ＩＳＳＮ１００１￣９０８１
ＣＯＤＥＮＪＹＩＩＤＵ㊀
２０１８￣１１￣１０
ｈｔｔｐ //ｗｗｗ.ｊｏｃａ.ｃｎ
㊀㊀收稿日期:２０１８￣０４￣２９ꎻ修回日期:２０１８￣０６￣２８ꎻ录用日期:２０１８￣０７￣０５ꎮ㊀㊀基金项目：国家自然科学基金资助项目(６１６７２１０８)ꎮ
㊀㊀作者简介：曲昭伟(１９７０ )ꎬ男ꎬ吉林辽源人ꎬ教授ꎬ博士ꎬ主要研究方向：数据挖掘㊁人工智能ꎻ㊀王源(１９９４ )ꎬ女ꎬ吉林长春人ꎬ硕士研究生ꎬ主要研究方向：人工智能㊁深度学习ꎻ㊀王晓茹(１９８０ )ꎬ女ꎬ北京人ꎬ副教授ꎬ博士ꎬ主要研究方向：计算机视觉㊁人工智能ꎮ
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议