(19)中华人民共和国国家知识产权局
(12)发明专利申请
(10)申请公布号 (43)申请公布日 (21)申请号 201910326878.7
(22)申请日 2019.04.22
(71)申请人 成都新希望金融信息有限公司
地址 610000 四川省成都市高新区仁和街
39号6栋2层3号
(72)发明人 韩景光 赵小诣
(74)专利代理机构 成都智言知识产权代理有限
公司 51282
代理人 李龙
(51)Int.Cl.
G06N 3/08(2006.01)
G06N 20/20(2019.01)
G06N 3/04(2006.01)
(54)发明名称
(57)摘要
本发明公涉及人工智能领域的深度学习领
域，开了一种基于双向LSTM的多任务学习模型，
用以同时完成自然语言处理中的词性标注、语块
识别、命名实体识别等任务。主要方案包括S1、定
义单个长短记忆网络(LSTM)神经网络；S2、定义 双向LSTM的使用方法为使用一张LSTM网络对输
络对输入数据串从右往左的顺序输入LSTM网络
(R2L )，同时输出结果为
合并L2R与R2L网络的输出结果，即S4、合并输出层结果得到单词级的各子任务的输出。本发明不仅适用于自然语言学习领域，在其他领域皆
可使用。权利要求书2页 说明书6页 附图2页CN 110046709 A 2019.07.23
C N 110046709
A
1.一种基于双向LSTM的多任务学习模型，其特征在于，包括以下步骤：
S1、定义单个LSTM神经网络；
S2、定义双向LSTM的使用方法为使用一张LSTM网络对输入数据串从左往右的顺序输入到LSTM网络L2R，
同时输出结果为
使用一张LSTM网络对输入数据串从右往左的顺序输
入LSTM网络R2L，同时输出结果为
S3、合并LSTM网络L2R与LSTM网络R2L网络的输出结果，
即
S4、合并输出层结果得到单词级的各子任务的输出，以三个子任务为例可以得到如下
公式：其中m为不同子任务的编号，b为偏置，softmax为softmax函数；
S5、构造句子级各子任务的输入如下所示：
x ′t ＝H t +y m +y m+1+y m+2
S6、运用S5中构造的输入作为下一级任务的输入，重复S1至S4可得到下一级任务的输出；
针对多个单词级或多个句子级任务，执行步骤S1-S4，针对同时存在单词级与句子级任务执行步骤S1-S6。
2.根据专利要求1所述的一种基于双向LSTM的多任务学习模型，其特征在于，单个LSTM 神经网络构造如下：
f t ＝σ
g (W f x t +U f
h t -1+b f )
i t ＝σg (W i x t +U i h t -1+b i )
o t ＝σg (W o x t +U o h t -1+b o )
c t ＝f t ·c t -1+i t ·σc (W c x t +U c h t -1+b c )
h t ＝o t ·σh (c t )
其中x t 为t时刻的输入；W为不同输出对应的输入权重，即W f 为t时刻输出f t 对应的输入权重，W i 为t时刻输出i t 对应的输入权重，W o 为t时刻输出o t 对应的输入权重，W c 为t时刻输出c t 对应的输入权重；U为不同输出对应的输出权重，即U f 为t时刻输出f t 对应的输出权重，U i 为t时刻输出i t 对应的输出权重，U o 为t时刻输出o t 对应的输出权重，U c 为t时刻输出c t 对应的输出权重；b为不同输出对应的偏置；σ为ReLu激活函数。
3.根据专利要求1所述的一种基于双向LSTM的多任务学习模型，其特征在于，步骤S2包括以下步骤：
S2.1、设置神经网络输入层，并配置初始权重；
S2.2、设置神经网络隐藏层，隐藏层设置为1层或2层的长短期记忆网络，并结合S2.1中
权 利 要 求 书1/2页2CN 110046709 A
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议