一、人工智能语义分析技术
语义分析(SemanticAnalysis)是人工智能
(ArtificialIntelligence)的一个分支是自然语言处理技术的 几个核心任务涉及语言学、计算语言学、机器学习以及认知语言 等多个学科语义分析任务有助于促进其他自然语言处理任务的快 速发展。人工智能中的语义分析技术特别是深度学习
(DeepLearning)技术近年来发展迅猛已经在围棋对弈、自动驾 驶、图像识别、语音识别等多个领域取得了突破性进展。
语义分析指运用各种方法学习与理解一段文本所表示的语义 内容任何对语言的理解都可以归为语义分析的范畴。一段文本通 常由词、句子和段落来构成根据理解对象的语言单位不同语义分 析又可进一步分解为词汇级语义分析、句子级语义分析以及篇章 级语义分析。一般来说词汇级语义分析关注的是如何获取或区别 单词的语义句子级语义分析则试图分析整个句子所表达的语义而 篇章语义分析旨在研究自然语言文本的内在结构并理解文本单元 (可以是句 子从句或段落)间的语义关系。简单地讲语义分析的 目标就是通过建立有效的模型和系统实现在各个语言单位(包括 词汇、句子和篇章等)的自动语义分析从而实现理解整个文本表 达的真实语义。
二、语义分析技术
(1)基础技术(按照词语分析、句子分析、篇章分析来写) 分别从词汇级、句子级和篇章级三个层次描述语义分析相关 技术。
1.词语级语义分析
词汇层面上的语义分析主要体现在如何理解某个词汇的含义 主要包含两个方面：词义消歧和词义表示 搁物架(1)词义消歧
词汇的歧义性是自然语言的固有特征。词义消歧根据一个多 义词在文本中出现的上下文环境来确定其词义作为各项自然语言 处理的基础步骤和必经阶段被提出来。词义消歧包含两
个必要的 步骤：(a)在词典中描述词语的意义；(b)在语料中进行词义 自动消歧。例如“苹果”在词典中描述有两个不同的意义：一种 常见的水果；美国一家科技公司。对于下面两个句子：
视讯系统她的脸红得像苹果。
最近几个月苹果营收出现下滑。
词义消歧的任务是自动将第一个苹果归为“水果”而将第二 个苹果归为“公司"。从上面的例子中我们发现词义消歧主要面 临如下两个关键问题：隐藏滑轨(a)词典的构建；(b)上下文的建模。
(2)词义表示和学习
对于词义表示早期的做法将某个词义表示为从该词义在同义 词网络中出现的位置到该网络根节点之间的路径信息。词义表示 的另一个思路是将其数字化。最直观也是到目前为止最常用的词 表示方法是one-hot表示方法这种方法把每个词表示为一个很长 的向量。这个向量的维度是词表大小其中绝大多数元素为0只有 一个维度的值为1这个维度就代表了当前的词。不难想象这种表 示方法存在一个重要的问题：任意两个词之间都是孤立的。造成 的结
果是：光从两个向量中看不出两个词是否有关系即使这两个 词是同义词例如“计算机”和“电脑”、“上海”和“上海 市”。
随着机器学习算法的发展目前更流行的词义表示方式是词嵌 入(WordEmbedding又称词向量)。其基本想法是：通过训练将某 种语言中的每一个词映射成一个固定维数的向量将所有这些向量 放在一起形成一个词向量空间而每一向量则可视为该空间中的一 个点在这个空间上引入“距离"则可以根据词之间的距离来判断 它们之间的(词法、语义上的)相似性。
2.句子级语义分析
句子级的语义分析试图根据句子的句法结构和句中词的词义 等信息推导出能够反映这个句子意义的某种形式化表示。根据句 子级语义分析的深浅又可以进一步划分为浅层语义分析和深层语 义分析。
(1)浅层语义分析
语义角标注(Seman t i cRo 1 eLabe ling简称SRL)是一种浅 层的语义分析。给定一个句子SRL的任务是出句子中谓词的相 应语义角成分包括核心语义角(如施事者、受事者
等)和附 属语义角(如地点、时间、方式、原因等)。
目前老人发明智能车SRL的实现通常都是基于句法分析结果即对于某个给定 的句子首先得到其句法分析结果然后基于该句法分析结果再实现 SRLo
电渣重熔
(2)深层语义分析
深层的语义分析(有时直接称为语义分析SemanticParsing) 不再以谓词为中心而是将整个句子转化为某种形式化表示例如： 谓词逻辑表达式(包括lambda演算表达式)、基于依存的组合式 语义表达式(dependency-
大肠杆菌培养basedpositionalsemanticrepresentation) 等。以下给出了 GeoQuery数据集中的一个中英文句子对以及对应的一阶谓词逻辑 语义表达式：
中文：列出在科罗拉多州所有的河流
英文:Namea11theriversinCo1orado
语义表达式：answer (river (loc_2 (stateid ("Colorado"))))
虽然各种形式化表示方法采用的理论依据和表示方法不一样 但其组成通常包括關系谓词(如上例中的loc_2、river等)、实 体(如Colorado)等。语义分析通常需要知识库的支持在该知识 库中预先定义了一序列的实体、属性以及实体之间的关系。
3.篇章级语义分析
篇章是指由一系列连续的子句、句子或语段构成的语言整体 单位在一个篇章中子句、句子或语段间具有一定的层次结构和语 义关系篇章结构分析旨在分析出其中的层次结构和语义关系。具 体来说给定一段文本其任务是自动识别出该文本中的所有篇章结 构其中每个篇章结构由连接词两个相应的论元以及篇章关系类别 构成。篇章结构可进一步分为显式和隐式显式篇章关系指连接词 存在于文本中而隐式篇章关系指连接词不存在于文本中但可以根 据上下文语境推导出合适的连接词。对于显式篇章关系类别连接 词为判断篇章关系类别提供了重要依据关系识别准确率较高；但 对于隐式篇章关系由于连接词未知关系类别判定较为困难也是篇 章分析中的一个重要研究内容和难点。
（二）深度学习技术（深度学习在NLP中的研究内容）
在深度学习技术中循环神经网络
（RecurrentNeuralworksRNNs ）被证明在自然语言处理中是最有 效的下面将介绍循环神经网络。
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议