一种端到端的藏文La格浅层语义分析方法

一种端到端的藏文la格浅层语义分析方法

技术领域

：
：1.本发明涉及藏文la格浅层语义分析

技术领域

：
：，具体地说，涉及一种端到端的藏文la格浅层语义分析方法。

背景技术

：
：：2.藏文la格浅层语义分析的目标是首先出给定句子的谓词，然后以该谓词为核心，确定相关的主要语义成分，并标记相应的语义标签，进而得到给定句子的类型及各语义成分所充当的语义角。3.la格是藏文语法典籍《三十颂》和《音势论》中的重点和难点，也是八格中的主要研究内容，所以面向自然语言处理，研究基于机器学习方法的藏文la格浅层语义分析技术可以对很多上层藏语自然语言理解任务起到帮助作用，比如语义角标注、语义分析、信息抽取、自动问答、阅读理解、机器翻译等。此外，la格是藏语文课本中必学的一个重点知识，唯有熟练掌握其概念和用法，才能准确区分藏文la的类型，准每个句子的主要语义成分，并进一步分析每个句子的实际含义。可见研究基于机器学习方法的藏文la格浅层语义分析技术在la格的学习中也具备一定的实际应用价值。4.传统的浅层语义分析任务与句法分析密切相关，严重依赖于句法分析结果，这导致增加了浅层语义分析的复杂性。近几年，随着深度学习技术的不断成熟，没有句法输入的端到端的模型在浅层语义分析任务上取得了很好的结果。有文献研究了端到端的lstm浅层语义分析方法，取得了优于传统引入句法信息方法的效果，这些端到端模型的成功揭示了lstm处理句子潜在句法结构的潜在能力，也为进一步研究和改进提供了理论基础和参考依据。目前，尚未查阅到有关基于端到端模型的藏文浅层语义分析方法，更未见到有关la格浅层语义分析的文献报道。技术实现要素：5.本发明的内容是提供一种端到端的藏文la格浅层语义分析方法，其能够克服现有技术的某种或某些缺陷。6.根据本发明的一种端到端的藏文la格浅层语义分析方法，其包括以下步骤：7.一、将输入以词为单元的特征序列和对应的标记序列映射成低维实值向量；8.二、在lstm的垂直方向上装置门控高速连接机制gm，采用bilstm学习输入句子的时序特征和上下文语义信息；gm包含对单元内部输入和输出的线性连接，使信息可以通畅地在不同层之间传播；9.三、使用softmax计算每一时刻语义标签的局部归一化分布，以供输出层进行约束解码；10.四、使用维特比算法进行解码时通过强制执行设定的bio和la格浅层语义标注约束，规范输出语义标签之间的结构关系。11.作为优选，步骤一中，用表示已训练好的glove词向量，用v表示词汇表，用c∈{0,1}表示标记集合，则最原始的输入序列{w1,w2,…,wt}和标记序列{m1,m2,…,mt}通过查表lookuptable映射成低维实值向量e(wt)和e(mt)，其中wt∈v和对应标记mt∈c；至此，可将向量e(wt)和e(mt)拼接成xl,t作为lstm第一层的输入：12.xl,t＝[e(wt),e(mt)][0013]其中，xl,t是第l层t时刻到lstm的输入，此处l＝1，t＝[1,t]。[0014]作为优选，步骤二中，使用第一个lstm正向处理输入的句子，然后以这层的输出作为下一层的输入进行反向处理，为提高时序特征的学习能力和充分获取各个时刻的上下文语义信息奠定基础；lstm的定义如下：[0015][0016][0017][0018][0019]其中，δl代表第l层lstm的方向，当δl＝-1时lstm方向为正向，当δl＝1时方向为反向；[0020]为了以交织模式堆叠lstm，按以下方式排列特定层的输入xl,t和方向参数δl：[0021][0022]输入向量xl,t是字符wt的单词嵌入和表示wt的单词是否为给定谓词的二元特征(t＝v)的嵌入的拼接。[0023]作为优选，步骤二中，通过在lstm的垂直方向上装置gm来控制层之间线性和非线性变换权重，其作用为平衡垂直方向上信息的传递；用λl,t表示gm的门控装置，则使用gm后隐藏层的输出hl,t可更改为：[0024][0025]hl′,t＝lstm(hl-1,t,hl,t-1)。[0026]作为优选，步骤二中，为了减少过度拟合，使用辍学率dropout，通过共享dropout掩码dl应用于隐藏状态：[0027][0028]输入la格句子的特征序列x＝{w1,w2,…,wn}，相应的正确语义标签序列y＝{y1,y2,…,yn}的对数似然为：[0029][0030]作为优选，步骤三中，根据模型的隐藏状态hl,t，使用softmax可计算输出语义标签yt上的局部归一化分布：[0031][0032]上式中的wo是softmax的参数矩阵，是kroneckerdelta，维度与语义标签的个数一致；模型训练目标是在给定输入的时候最大化正确标签的概率。[0033]本发明首先借鉴lstm的设计思路，通过在lstm的垂直方向上装置门控高速连接机制(gm)来平衡垂直方向上信息的传递。通过gm，信息可以在空间和时间维度上更通畅地传播，且只存在较小的信息损失。最重要的是gm包含一个“门控”函数，可以动态地选择或者忽略信息在垂直方向上的传播，这样不同层次的抽象表示就可以更方便地被传递到输出层。然后使用softmax计算每一时刻语义标签的局部归一化分布，以供输出层进行约束解码。最后使用维特比算法进行解码时通过强制执行本文设定的bio和la格浅层语义标注约束，规范了输出语义标签之间的结构关系，进而提高了最终预测语义标签的准确性。附图说明[0034]图1为实施例中la格的浅层语义分析模型架构示意图；[0035]图2为实施例中gm与lstm的差异图；[0036]图3为实施例中gm对实验性能的影响示意图；[0037]图4为实施例中约束解码对实验性能的影响示意图；[0038]图5为实施例中时序特征学习方式对实验性能的影响示意图。具体实施方式[0039]为进一步了解本发明的内容，结合附图和实施例对本发明作详细描述。应当理解的是，实施例仅仅是对本发明进行解释而并非限定。[0040]实施例[0041]本实施例提供了一种端到端的藏文la格浅层语义分析方法，其包括以下步骤：[0042]一、将输入以词为单元的特征序列和对应的标记序列映射成低维实值向量；[0043]二、在lstm的垂直方向上装置门控高速连接机制gm，采用bilstm学习输入句子的时序特征和上下文语义信息；gm包含对单元内部输入和输出的线性连接，使信息可以通畅地在不同层之间传播；[0044]三、使用softmax计算每一时刻语义标签的局部归一化分布，以供输出层进行约束解码；[0045]四、使用维特比算法进行解码时通过强制执行设定的bio和la格浅层语义标注约束，规范输出语义标签之间的结构关系。[0046]由于语义角标注(semanticrolelabeling，srl)作为一种浅层语义表示形式，具有简单易用、多语言适用、模型和算法研究比较深入等优点，且藏文la格的浅层语义分析的目标与语义角标注任务的目标类似，故通过参考和借鉴语义角标注任务中的代表性研究，即基于基于深层bi-lstm和self-attention框架的工作，设计了如图1所示的模型架构，主要由以下几部分组成：[0047](1)嵌入层：将输入以词为单元的特征序列和对应的标记序列映射成低维实值向量；[0048](2)lstm层：以提高模型时序特征的学习能力和增强模型的语义空间表达能力为目的，本实施例采用bilstm学习输入句子的时序特征和上下文语义信息；[0049](3)门控高速链接：为了缓解训练bilstm时梯度消失的问题，本实施例使用gm，控制层之间线性和非线性变换的权重；[0050](4)softmax层：使用softmax函数，将各时刻可能输出的语义标签映射成(0,1)的局部归一化分布，以供输出层进行约束解码；[0051](5)约束解码层：为了在解码时对输出语义标签之间的结构关系进行约束，本实施例使用维特比算法进行解码时强制执行本实施例设定的bio和la格浅层语义标注约束。[0052]嵌入层[0053]在藏文la格的浅层语义分析任务中，用表示已训练好的glove词向量，用v表示词汇表，用表示标记集合，则最原始的输入序列{w1,w2,…,wt}和标记序列{m1,m2,…,mt}通过查表lookuptable映射成低维实值向量e(wt)和e(mt)，其中wt∈v和对应标记mt∈c；至此，可将向量e(wt)和e(mt)拼接成xl,t作为lstm第一层的输入：[0054]xl,t＝[e(wt),e(mt)][0055]其中，xl,t是第l层t时刻到lstm的输入，此处l＝1，t＝[1,t]。[0056]双向lstm[0057]本实施例将藏文la格的浅层语义分析转化成了端到端的序列标注任务。序列标注任务对时序特征的学习能力和文本上下文信息的依赖度较高，所以使用第一个lstm正向处理输入的句子，然后以这层的输出作为下一层的输入进行反向处理，为提高时序特征的学习能力和充分获取各个时刻的上下文语义信息奠定基础；lstm的定义如下：[0058][0059][0060][0061][0062]其中，δl代表第l层lstm的方向，当δl＝-1时lstm方向为正向，当δl＝1时方向为反向；[0063]为了以交织模式堆叠lstm，按以下方式排列特定层的输入xl,t和方向参数δl：[0064][0065]输入向量xl,t是字符wt的单词嵌入和表示wt的单词是否为给定谓词的二元特征(t＝v)的嵌入的拼接。[0066]基于lstm的gm[0067]为了缓解训练bilstm时梯度消失的问题，通过在lstm的垂直方向上装置gm来控制层之间线性和非线性变换权重，其作用为平衡垂直方向上信息的传递；用λl,t表示gm的门控装置，则使用gm后隐藏层的输出hl,t可更改为：[0068][0069]h′l,t＝lstm(hl-1,t,hl,t-1)。[0070]为了清楚起见，给出了基于lstm的gm和普通lstm的差异图，详见图2。[0071]图2中，hl-1,t表示上一层的输出，也是当前层的输入。h′l,t表示候选输出，也是lstm的输出。gm对hl-1,t和h′l,t进行了线性连接，这为信息在垂直方向上的高速传递起到了巨大的作用，λl,t决定了下一层有多少信息可以被传递到上一层。在训练过程中，λl,t越趋近于1，意味着传递到下一层的信息越多，当λl,t＝1时，输入将不经过任何变化直接拷贝给输出，经过gm机制，底层的信息可以更加通畅地传递到顶层。反之，λl,t越趋近于0，意味着传递到下一层的信息越少，当λl,t＝0时，gm就退化为传统的lstm。因gm发生在神经元内部，故不影响底层信息在时间方向上的传递。[0072]为了减少过度拟合，使用辍学率dropout，通过共享dropout掩码dl应用于隐藏状态：[0073][0074]输入la格句子的特征序列x＝{w1,w2,…,wn}，相应的正确语义标签序列y＝{y1,y2,…,yn}的对数似然为：[0075][0076]softmax层[0077]根据模型的隐藏状态hl,t，使用softmax可计算输出语义标签yt上的局部归一化分布：[0078][0079]上式中的wo是softmax的参数矩阵，是kroneckerdelta，维度与语义标签的个数一致；模型训练目标是在给定输入的时候最大化正确标签的概率。[0080]约束解码层[0081]为了在解码时合并对输出结构的约束，本实施例根据bio序列标注方法和la格的浅层语义标记规范，设定了bio和la格浅层语义标注约束。最后使用维特比算法进行解码时强制执行上述两个约束，约束示例如下：[0082](1)bio约束[0083]bio是nlp中常用的序列标注方法，b表示标注片段的开头，i表示标注片段的中间或结尾，o表示其它。其约束拒绝任何不会产生有效bio转换的序列，例如b-a0紧接着i-a1等。[0084](2)la格浅层语义标注约束[0085]唯一语义标签：语义标签a0、a1、a2和表1中的专有标签对于每个la格句型最多只能出现一次；[0086]受限语义标签：拒绝任何表1中的专有标签交叉出现在不同句型中，例如am-bas紧接着am-l2等。[0087]顺序语义标签：拒绝任何表1中的专有标签am-li序列出现在在另一个专有标签之前的情况，例如am-l1紧接着am-bas等。[0088]延续语义标签：延续语义标签仅在其基本语义标签在其之前实现时才可以存在，例如b-a0紧接着i-a0等。[0089]表1专有语义标签和共有语义标签的界定表[0090][0091]因la格中的虚词在业格、为格、依格、同格和时格五种用法中，原则上可以随机代替其余虚词和故统称它们为la格la格包括自由虚词和不自由虚词两种，其中为不自由虚词，添接受限于前一音节的后加字，和为自由虚词，添接不受前一音节的限制。[0092]根据la格虚词的语义功能、添接规则及不同用法，可以将la格虚词的用法分为表业格、为格、依格、同格和时格的五类句型：[0093]业格句：表示在某一实施处所已经实施或正在实施地动作及将要实施动作的句子[9]。业格句的一个特征是句中有实施处所实施地动作和la格虚词三个主要语义成分，三者缺一不可。如““(在图书馆学习)”中，实施动作的处所是“(书店)”，实施地动作是“(学习)”和la格虚词是机器若能正确识别并区分这些语义成分，则基本可以正确理解其语义。[0094]为格句：表示为达到某一目的而实施动作行为的句子。为格句的一个特征是句中有目的为达到某一目的而实施地动作行为为达到某一目的而实施地动作行为和la格虚词三个主要语义成分，三者缺一不可。如“(为了获得知识而努力)”中，目的是“(知识)”，为达到目的而实施地动作行为是“(努力)”，la格虚词是机器若能正确识别并区分这些语义成分，则基本可以正确理解其语义。[0095]依格句：表示某物依存于添接la格虚词的某一地点的句子。依格例句的主要特征有二，一是句中有添接la格虚词的某一地点某依存物和la格虚词三种主要语义成分。如““(教室里学生多)”中，地点是“(教室)”，依存物是“(学生)”，la格虚词是机器若能正确识别并区分这些语义成分，则基本可以正确理解其语义；二是当该类句型中的谓词为存在助词和等时，可以没有第一个特征中的依存物这一成分，如中，地点是“(教室)，存在助词是“(有)”，la格虚词是机器若能正确识别并区分这些语义成分，也基本可以正确理解其语义。[0096]同格句：表示某一事物改变成另一种事物，使两者在动作行为变化的结果上具有“同一体”性质的句子。同格例句的特征主要有二，一是句中有某一事物改变成的另一种事物和la格虚词和la格虚词三种主要语义成分。如“(汉文翻译成藏文)”中，某一事物是“(汉文)”，变成的另一种事物是“(藏文)”，la格虚词是机器若能正确识别并区分这些语义成分，则基本可以正确理解其语义；二是句中有动作行为变化的结果动作行为和la格虚词三种主要语义成分。如“(让他开心)”中，动作行为变化的结果是“(藏文)”，动作行为是“(让)”，la格虚词是机器若能正确识别并区分这些语义成分，也基本可以正确理解其语义。[0097]时格句：表示实施某一动作行为时间的句子。该类句型的主要特征有二，一是句中有实施某一动作行为的时间实施地某一动作行为和la格虚词三种主要语义成分，如“(研究了三年)”中，实施动作行为的时间是“(三年)”，实施的动作行为是““(研究)”，la格虚词是机器若能正确识别并区分这些语义成分，则基本可以正确理解其语义；二是句中只有实施某一动作行为的时间动作行为的时间和la格虚词两种语义成分，没有实施地某一动作行为这一语义成分的现象较常见，如“(他三年)”中，实施动作行为的时间是“(三年)”，la格虚词是机器若能正确识别并区分这些语义成分，也基本可以正确理解其语义。[0098]实验[0099]由于目前没有公开的藏文la格浅层语义分析数据集，故本实施例首先从实验室课题组构建的藏语文本生语料库中抽取了2万条仅含一个la格虚词的句子。然后通过对这些句子进行预处理后精选出了12000句用于标记la格浅层语义。最后根据本实施例制定的la格浅层语义标记规范，采用人工标注的方式完成了藏文la格浅层语义分析数据集的构建，为了便于后期使用，简称其为tlsd。实验时，将tlsd数据集按8:1:1的比例划分成了训练集、验证集和测试集。[0100]在实验过程中，为了确保实验结果的可对比性，对所有模型的超参数进行了调参范围限定，经过多次调参，最终在有限的范围内选择了当前最优的超参数组合，模型参数详见表2。[0101]表2模型参数[0102][0103]基线方法[0104]由于目前尚未查阅到有关藏文la格浅层语义分析的文献，加上没有公开的藏文la格浅层语义分析数据集，所以无法直接通过与前人的工作进行对比来验证本实施例模型的效果。[0105]基于上述原因，我们将选择几个在搭建本实施例模型时所参考文献中的方法作为基线模型，验证本实施例模型的效果。[0106](1)lstm+crf：是一种基于深度双向rnn的语义角标注方法。[0107](2)dblstm：是一种基于深度双向lstm的语义角标注方法。[0108](3)self-attention：是一种基于自注意力机制的语义角标注方法。[0109](4)end-to-end：是一种基于跨度的端到端的语义角标注方法。[0110](5)bilstm+gm+cd和bilstm+gm+cd(v)为本实施例模型，分别指句子中的谓词需要模型进行预测和提前给定时的藏文la格浅层语义分析模型。[0111]评价指标[0112]本实施例选用序列标注任务中常用的评价指标准确率(acc)对模型性能进行了评价。令tp表示预测为正的正样本，fp表示预测为正的负样本，fn表示预测为负的正样本，tn表示预测为负的负样本，则准确率(acc)的计算为：[0113][0114]实验结果与分析[0115]模型在tlsd数据集上的性能对比[0116]为了验证本实施例模型的有效性和优越性，对比了基线模型与本实施例模型的藏文la格浅层语义分析性能，各模型的实验对比结果见表3。[0117]表3各模型的实验对比结果[0118][0119]从表3中的实验结果可以看出，本实施例模型相比几种基线模型，性能均有所提升。模型自行预测谓词时，在测试集上比lstm+crf、dblstm、self-attention和end-to-end的la格浅层语义分析准确率分别提高了3.33、3.01、1.58和1.87个百分点，表明本实施例模型的藏文la格浅层语义分析性能更佳。另外，可以看出，本实施例模型联合预测谓词及对应的其它语义标签时也取得了很好的效果，在测试集上，la格浅层语义分析准确率只比提前给定谓词时低0.93％，验证了本实施例模型的优越性。[0120]藏文la格浅层语义分析任务在几种基线模型和本实施例模型上均取得了不错的效果，主要原因有三，一是tlsd数据集中的所有句子为仅包含一个la格虚词的藏文单句；二是tlsd数据集中的句子都不长，长度在4到30个词之间；三是相较语义角标注任务，la格的浅层语义标签易于识别和标记。另外，本实施例模型相对基线模型性能更好的原因主要有二，一是通过装置gm平衡了信息在垂直方向上的传递，进而缓解了梯度消失的问；二是在解码时通过约束输出结构，得到了更加合理的输出语义标签结构。[0121]gm的有效性验证[0122]为了验证gm的有效性，分别考查了使用gm的bilstm时和使用普通bilstm时模型的la格浅层语义分析效果。方式一为使用普通bilstm的方式，方式二为使用gm的bilstm方式，在测试集上的实验结果见图3。[0123]从图3中可以看出，使用gm的bilstm时的准确率比使用普通bilstm时高1.06％，验证了gm的有效性。[0124]约束解码方法的有效性验证[0125]为了验证约束解码方法的有效性，分别考查了使用和不使用约束解码时模型的la格浅层语义分析效果。方式一为不使用约束解码的方法，方式二为使用约束解码的方法，在测试集上的实验结果见图4。[0126]从图4中可以看出，使用约束解码时模型的la格浅层语义分析准确率比不使用时高0.76％，验证了约束解码方法的有效性。[0127]时序特征学习方式对模型性能影响[0128]为了考查时序特征学习方式对模型性能的影响，分别对比了使用lstm和使用bilstm时模型的la格浅层语义分析效果。方式一为使用lstm学习时序特征的方法，方式二为使用bilstm学习时序特征的方法，在测试集上的实验结果见图5。[0129]从图5中可以看出，使用bilstm学习时序特征时模型的la格浅层语义分析准确率比使用lstm学习时序特征时高2.57％，表明使用bilstm学习时序特征时模型的性能更佳。[0130]结语[0131]本实施例提出了一种端到端的长短记忆神经网络藏文la格浅层语义分析方法，为了缓解梯度消失问题和平衡垂直方向上信息的传递，本实施例通过在lstm的垂直方向上装置gm来混合线性和非线性信息，使信息在空间和时间维度上更通畅地传播。为了规范输出语义标签之间的结构关系和提高预测语义标签的准确性，使用维特比算法进行解码时强制执行了本实施例设定的bio和la格浅层语义标注约束。实验结果显示，在测试集上，本实施例方法的la格浅层语义分析准确率达到了90.59％，性能均优于几种基线模型。[0132]以上示意性的对本发明及其实施方式进行了描述，该描述没有限制性，附图中所示的也只是本发明的实施方式之一，实际的结构并不局限于此。所以，如果本领域的普通技术人员受其启示，在不脱离本发明创造宗旨的情况下，不经创造性的设计出与该技术方案相似的结构方式及实施例，均应属于本发明的保护范围。当前第1页12当前第1页12

技术特征：

1.一种端到端的藏文la格浅层语义分析方法，其特征在于：包括以下步骤：一、将输入以词为单元的特征序列和对应的标记序列映射成低维实值向量；二、在lstm的垂直方向上装置门控高速连接机制gm，采用bilstm学习输入句子的时序特征和上下文语义信息；gm包含对单元内部输入和输出的线性连接，使信息可以通畅地在不同层之间传播；三、使用softmax计算每一时刻语义标签的局部归一化分布，以供输出层进行约束解码；四、使用维特比算法进行解码时通过强制执行设定的bio和la格浅层语义标注约束，规范输出语义标签之间的结构关系。2.根据权利要求1中所述的一种端到端的藏文la格浅层语义分析方法，其特征在于：步骤一中，用表示已训练好的glove词向量，用v表示词汇表，用c∈{0,1}表示标记集合，则最原始的输入序列{w1,w2,
…
,w
t
}和标记序列{m1,m2,
…
,m
t
}通过查表lookup table映射成低维实值向量e(w
t
)和e(m
t
)，其中w
t
∈v和对应标记m
t
∈c；至此，可将向量e(w
t
)和e(m
t
)拼接成x
l,t
作为lstm第一层的输入：x
l,t
＝[e(w
t
),e(m
t
)]其中，x
l,t
是第l层t时刻到lstm的输入，此处l＝1，t＝[1,t]。3.根据权利要求1中所述的一种端到端的藏文la格浅层语义分析方法，其特征在于：步骤二中，使用第一个lstm正向处理输入的句子，然后以这层的输出作为下一层的输入进行反向处理，为提高时序特征的学习能力和充分获取各个时刻的上下文语义信息奠定基础；lstm的定义如下：lstm的定义如下：lstm的定义如下：lstm的定义如下：其中，δ
l
代表第l层lstm的方向，当δ
l
＝-1时lstm方向为正向，当δ
l
＝1时方向为反向；为了以交织模式堆叠lstm，按以下方式排列特定层的输入x
l,t
和方向参数δ
l
：输入向量x
l,t
是字符w
t
的单词嵌入和表示w
t
的单词是否为给定谓词的二元特征(t＝v)的嵌入的拼接。4.根据权利要求3中所述的一种端到端的藏文la格浅层语义分析方法，其特征在于：步骤二中，通过在lstm的垂直方向上装置gm来控制层之间线性和非线性变换权重，其作用为平衡垂直方向上信息的传递；用λ
l,t
表示gm的门控装置，则使用gm后隐藏层的输出h
l,t
可更改为：
h
′
l,t
＝lstm(h
l-1,t
,h
l,t-1
)。5.根据权利要求4中所述的一种端到端的藏文la格浅层语义分析方法，其特征在于：步骤二中，为了减少过度拟合，使用辍学率dropout，通过共享dropout掩码d
l
应用于隐藏状态：输入la格句子的特征序列x＝{w1,w2,
…
,w
n
}，相应的正确语义标签序列y＝{y1,y2,
…
,y
n
}的对数似然为：6.根据权利要求1中所述的一种端到端的藏文la格浅层语义分析方法，其特征在于：步骤三中，根据模型的隐藏状态h
l,t
，使用softmax可计算输出语义标签y
t
上的局部归一化分布：上式中的w
o
是softmax的参数矩阵，是kronecker delta，维度与语义标签的个数一致；模型训练目标是在给定输入的时候最大化正确标签的概率。

技术总结

本发明涉及藏文La格浅层语义分析技术领域，涉及一种端到端的藏文La格浅层语义分析方法，包括：一、将输入以词为单元的特征序列和对应的标记序列映射成低维实值向量；二、在LSTM的垂直方向上装置门控高速连接机制GM，采用BiLSTM学习输入句子的时序特征和上下文语义信息；GM包含对单元内部输入和输出的线性连接，使信息可以通畅地在不同层之间传播；三、使用softmax计算每一时刻语义标签的局部归一化分布，以供输出层进行约束解码；四、使用维特比算法进行解码时通过强制执行设定的BIO和La格浅层语义标注约束，规范输出语义标签之间的结构关系。本发明能较佳地进行藏文La格浅层语义分析。分析。分析。