基于多轮对话的专利检索方法及装置

本发明涉及信息交互技术领域，特别涉及一种基于多轮对话的专利检索方法及装置。

随着我国科技事业的蓬勃发展，“大众创业，万众创新”发展成为动力之源。2018年，中国发明专利申请量为154.2万件。共授权发明专利43.2万件，其中，国内发明专利授权34.6万件。专利作为科研成果的主要呈现形式之一，是科技发展和成果转化的重要参照和依靠。然而随着专利资源库的飞速扩张，如何在巨大的资源库中检索出与自身需求匹配的专利已经成为科技成果转化中的一个重要问题，目前主要的检索方式有：

1)直接通过检索框或表格的方式进行关键字匹配。该方案是最基础也是目前应用最广泛的一种解决方案。用户将专利的相关筛选条件输入对应的一个或多个检索框中，系统将检索内容与专利库中的专利进行关键字匹配，若有多个检索条件，则通过逻辑表达式的方式对条件进行组合，最终将匹配内容作为检索答案进行返回。

2)通过主题匹配的方式。该方案通过带约束非负矩阵分解等技术，将专利文档转化为原始文档矩阵，并抽取文档特征作为该专利的特征。当用户输入专利需求后，将用户需求与专利特征进行匹配，到特征最相近的专利，并将其作为检索结果进行返回。

3)采用智能问答的方式。该方案采用自然语言处理领域相关技术，用户对想要查的专利进行描述，并将描述语句输入系统，系统采用自然语言处理相关技术对用户的描述进行编码，采用语义解析的方式将用户的需求描述解析为查询语句，在系统中查询对应专利；或采用文本检索的方式，利用神经网络等技术将用户的需求描述映射为特征向量，与专利库中的专利进行匹配，将最相近的专利作为检索结果进行输出。

如上所述，目前的专利检索方式主要有如下三种：1)直接通过检索框或表格的方式进行关键字匹配；2)基于专利文档的主题进行匹配；3)采用智能问答的方式进行匹配。

方案1)基础、复杂度低，对于能熟练检索专利的专业人员而言效率高，但是对用户要求高，对于绝大部分没有专利检索经验的普通用户而言，很难将自身需求转化为精确的关键字进行检索，从而导致很难检索到满足需求的专利。方案2)对专利的特征提取可以离线完成，因此检索的复杂度低，对于用户要求低，只需输入专利需求的关键词，操作简单，但是在提取专利特征的过程中会丢失大量细节信息，因此查询结果准确率难以保障。方案3)采用了语义分析、内容检索等自然语言处理领域的先进技术，能更好的理解用户输入的专利检索需求并返回匹配的专利，采用的机器学习算法模型可以离线训练，因此专利检索复杂度低，对用户要求低；但是智能问答缺少上下文信息，用户必须一次输入所有需求，当用户对于需求无法很清晰的描述时，准确率难以保障。

上述目前主流的三种专利检索方案还存在一个共同问题，即无法对用户的需求描述进行反馈，例如当用户对于需求的描述与主流、精确的描述有一定偏差时，无法对用户进行提示和确认，影响用户最终的检索结果。

本发明旨在至少在一定程度上解决相关技术中的技术问题之一。

为此，本发明的一个目的在于提出一种基于多轮对话的专利检索方法，该方法可规范用户的需求描述，显著提高专利检索的准确率。

本发明的另一个目的在于提出一种基于多轮对话的专利检索装置。

为达到上述目的，本发明一方面实施例提出了一种基于多轮对话的专利检索方法，包括：

获取输入方的输入语句，并对所述输入语句进行分词生成多个分词；

对所述多个分词进行命名实体识别处理，得到与所述输入语句对应的多个实体；

对所述多个实体进行意图检测得到与所述输入语句对应的意图结果；

获取所述输入方的历史对话信息，并根据所述历史对话信息和所述意图结果更新当前状态信息；

获取与更新后的当前状态信息对应的执行动作，并根据所述执行动作生成与所述输入语句对应的查询请求；

将所述查询请求输入专利知识库，得到查询结果，将所述查询结果加入预设模板返回给所述输入方。

本发明实施例的基于多轮对话的专利检索方法，通过利用多轮对话的方式呈现当前检索结果，辅助用户进行专利检索需求，并利用知识库中信息对用户需求描述进行反馈，辅助用户修正需求描述。

另外，根据本发明上述实施例的基于多轮对话的专利检索方法还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述对所述输入语句进行分词生成多个分词，包括：

添加用户词典，将高频、误切分的专利名称和公司名称加入所述用户词典来辅助分词。

进一步地，在本发明的一个实施例中，获取所述输入方的输入语句后，生成所述输入方所能产生的所有动作，在所有动作中获取与更新后的当前状态信息对应的执行动作。

进一步地，在本发明的一个实施例中，采用了BERT+BiLSTM+CRF的模型结构进行命名实体识别任务，BERT为预训练模型，BiLSTM是双向的LSTM模型，CRF是条件随机场模型，所述BERT+BiLSTM+CRF的模型结构分为三层，第一层是BRET预训练层，将输入语句序列表示为稠密的二维向量矩阵；第二层是双向LSTM层，自动提取输入语句特征，将一个输入语句的各个词的embedding依次输入LSTM中，再将正向LSTM输出的隐状态序列与反向LSTM的在各个位置输出的隐状态进行按位置拼接，得到完整的隐状态序列；第三层是CRF层，进行句子级的序列标注，利用维特比算法计算序列标注的最优解，得到分词标注结果。

进一步地，在本发明的一个实施例中，所述查询结果包括所述输入语句对应的提示信息和专利查询结果。

为达到上述目的，本发明另一方面实施例提出了一种基于多轮对话的专利检索装置，包括：

分词模块，用于获取输入方的输入语句，并对所述输入语句进行分词生成多个分词；

实体识别模块，用于对所述多个分词进行命名实体识别处理，得到与所述输入语句对应的多个实体；

意图检测模块，用于对所述多个实体进行意图检测得到与所述输入语句对应的意图结果；

状态更新模块，用于获取所述输入方的历史对话信息，并根据所述历史对话信息和所述意图结果更新当前状态信息；

生成模块，用于获取与更新后的当前状态信息对应的执行动作，并根据所述执行动作生成与所述输入语句对应的查询请求；

输出模块，用于将所述查询请求输入专利知识库，得到查询结果，将所述查询结果加入预设模板返回给所述输入方。

本发明实施例的基于多轮对话的专利检索装置，通过利用多轮对话的方式呈现当前检索结果，辅助用户进行专利检索需求，并利用知识库中信息对用户需求描述进行反馈，辅助用户修正需求描述。

另外，根据本发明上述实施例的基于多轮对话的专利检索装置还可以具有以下附加的技术特征：

进一步地，在本发明的一个实施例中，所述对所述输入语句进行分词生成多个分词，包括：

添加用户词典，将高频、误切分的专利名称和公司名称加入所述用户词典来辅助分词。

进一步地，在本发明的一个实施例中，采用了BERT+BiLSTM+CRF的模型结构进行命名实体识别任务，BERT为预训练模型，BiLSTM是双向的LSTM模型，CRF是条件随机场模型，所述BERT+BiLSTM+CRF的模型结构分为三层，第一层是BRET预训练层，将输入语句序列表示为稠密的二维向量矩阵；第二层是双向LSTM层，自动提取输入语句特征，将一个输入语句的各个词的embedding依次输入LSTM中，再将正向LSTM输出的隐状态序列与反向LSTM的在各个位置输出的隐状态进行按位置拼接，得到完整的隐状态序列；第三层是CRF层，进行句子级的序列标注，利用维特比算法计算序列标注的最优解，得到分词标注结果。

进一步地，在本发明的一个实施例中，获取所述输入方的输入语句后，生成所述输入方所能产生的所有动作，在所有动作中获取与更新后的当前状态信息对应的执行动作。

进一步地，在本发明的一个实施例中，所述查询结果包括所述输入语句对应的提示信息和专利查询结果。

本发明附加的方面和优点将在下面的描述中部分给出，部分将从下面的描述中变得明显，或通过本发明的实践了解到。

本发明上述的和/或附加的方面和优点从下面结合附图对实施例的描述中将变得明显和容易理解，其中：

图1为根据本发明一个实施例的基于多轮对话的专利检索方法流程图；

图2为根据本发明一个实施例的基于多轮对话的专利检索方法流程框图；

图3为根据本发明一个实施例的基于多轮对话的专利检索装置结构示意图。

下面详细描述本发明的实施例，所述实施例的示例在附图中示出，其中自始至终相同或类似的标号表示相同或类似的元件或具有相同或类似功能的元件。下面通过参考附图描述的实施例是示例性的，旨在用于解释本发明，而不能理解为对本发明的限制。

下面参照附图描述根据本发明实施例提出的基于多轮对话的专利检索方法及装置。

首先将参照附图描述根据本发明实施例提出的基于多轮对话的专利检索方法。

图1为根据本发明一个实施例的基于多轮对话的专利检索方法流程图。

如图1所示，该基于多轮对话的专利检索方法包括以下步骤：

在步骤S101中，获取输入方的输入语句，并对输入语句进行分词生成多个分词。

具体地，如图2所示，在用户需要进行专利检索的时候，向系统的自然语言理解模块中输入输入语句，考虑到数据规模以及效果的稳定性，自然语言处理模块为基于Pipeline结构的，自然语言理解模块中包括分词处理子模块、实体识别子模块和意图识别子模块。在Pipeline中，用户的输入语句依次进入每个处理子模块，上一个子模块的输出为下一个子模块的输入，最后一个子模块的输出为整个自然语言理解模块的输出。

首先，通过分词处理子模块对输入语句进行分词处理，得到多个分词。

分词是将连续的字序列按照一定的规范重新组合成词序列的过程。本方法主要面向中文专利，中文分词拥有十分成熟的解决方案，因此分词处理子模块是基于开源分词引擎完成分词任务的。

进一步地，在本发明的一个实施例中，对输入语句进行分词生成多个分词，包括：

添加用户词典，将高频、误切分的专利名称和公司名称加入用户词典来辅助分词。

专利领域包含了大量的专有名词，例如专利名称和机构名称，该类名词在使用通用分词引擎进行时会产生大量误切分现象，严重影响后续的实体识别等工作。在综合考虑了复杂度以及资源库规模的基础上，本方法采用了添加用户词典的方式，将高频、误切分的专利名称和公司名称加入用户词典辅助分词。

在步骤S102中，对多个分词进行命名实体识别处理，得到与输入语句对应的多个实体。

在对输入语句进行分词后得到多个分词，多个分词为分词处理子模块的输出，也就是实体处理子模块的输入，通过实体处理子模块对多个分词进行命名实体识别处理，获得相应的实体。

具体地，实体识别子模块的作用在于对已经分词的用户语句进行命名实体识别(NER)任务，获得相应的实体。预定义实体如表1所示，表1为预定义实体表。

表1

进一步地，本方法采用了BERT+BiLSTM+CRF的模型结构进行命名实体识别任务。BERT是目前主流的预训练模型，BiLSTM是双向的LSTM模型，CRF是条件随机场模型。整个模型分为三层，第一层是BRET预训练层，将语句序列表示为稠密的二维向量矩阵。第二层是双向LSTM层，自动提取句子特征，将一个句子的各个词的embedding依次输入LSTM中，再将正向LSTM输出的隐状态序列与反向LSTM的在各个位置输出的隐状态进行按位置拼接，得到完整的隐状态序列。第三层是CRF层，进行句子级的序列标注。利用维特比算法计算序列标注的最优解，最终得到标注结果。

在步骤S103中，对多个实体进行意图检测得到与输入语句对应的意图结果。

在进行实体识别得到多个实体后，再通过意图识别子模块对实体识别子模块输出的多个实体进行意图检测，检测用户输入语句的意图。

具体地，意图识别子模块的作用在于对用户的语句进行意图检测。预定义的用户意图如表2所示，表2为预定义意图表。

表2

序号 意图名称 意图含义 1 Greet 问候 2 Confirm 确认 3 Goodbye 告别 4 Thanks 感谢 5 Deny 否认 6 P_search 专利查询 7 chitchat 闲聊，即与上述几个意图无关的其他意图

本方法采用了BERT+全连接层+softmax的模型结构进行用户意图检测。第一层为预训练层，与实体识别类似，采用BERT作为预训练模型，利用其开头的CLS字符的隐层变量作为预训练的输出。第二层为全连接层，全连接层将该输出的维度转化为意图数。第三层为softmax层，通过softmax进行分类，完成意图检测。

在通过三个子模块的输入和输出后，得到自然语言理解模块的输出为输入方的输入语句的意图结果。将意图结果再输入系统的对话管理模块中。

在步骤S104中，获取输入方的历史对话信息，并根据历史对话信息和意图结果更新当前状态信息。

对话管理模块接收自然语言理解模块的输入，对接收到的信息进行处理，对话管理模块包括四个子模块，分别为：对话追踪子模块、对话动作子模块、对话决策子模块和语句生成子模块。

具体地，对话追踪子模块的作用为追踪对话动态，主要为对话槽、对话历史以及用户输入的信息。对话槽的作用为存储对话过程中的信息，预定义的对话槽如表3所示，表3为预定义对话槽表。

表3

在该子模块中，将每一个能改变对话的最小单位称为“事件”。在每一次“事件”后，对话追踪模块都会根据当前状态更新自身信息。

在用户输入语句后，对话追踪子模块获取输入方的历史对话信息，根据历史对话信息更好的体会输入方的意图，根据历史对话信息和意图结果更新当前的状态信息。其中，历史对话信息为用户当前轮次对话之前的对话信息，根据多轮对话信息更新当前对话状态信息。

在步骤S105中，获取与更新后的当前状态信息对应的执行动作，并根据执行动作生成与输入语句对应的查询请求。

进一步地，获取输入方的输入语句后，生成输入方所能产生的所有动作，在所有动作中获取与更新后的当前状态信息对应的执行动作。

在对当前的状态进行更新后，对话决策子模块根据当前的状态选择对应的执行动作，主要说明的是，选择的动作为对话动作子模块产生的。对话动作子模块定义了对话管理模块基于用户输入所能产生的所有动作，如表4所示，表4为预定义动作表。

表4

对话决策子模块决定在当前状态下执行哪一个动作。本方法采用了LSTM+全连接层+softmax的结构。整个模型分为三层，第一层是LSTM，将对话历史以编码形式依次输入网络，得到各时间状态下的隐层变量，并将最后一个隐层变量作为该层的输出。第二层是全连接层，将隐层变量从隐藏层维度映射到动作个数的长度。第三次是softmax层，用于预测下一步动作。

在确定下一步的动作之后生成对应的查询请求，利用多轮对话的方式呈现当前检索结果，辅助用户进行专利检索需求。

在步骤S106中，将查询请求输入专利知识库，得到查询结果，将查询结果加入预设模板返回给输入方。

将查询请求输入专利知识库中进行检索，得到查询结果，查询结果中包含对应的提示信息和专利查询结果。在得到查询结果后通过语句生成子模块返回给输入方。输入方根据查询结果调整下一轮的输入，辅助输入方进行专利检索。

语句生成子模块用于生成返回给用户的信息，包括了相应的提示信息以及专利结果。本方法采用了基于模板的生成方式，通过将信息加入模板，生成返回结果。加入的模板可以根据实际需求进行设定，供输入方更好的查看，更加有条理。

返回给用户的查询结果中包含的提示信息对用户的需求描述进行反馈，辅助用户修正需求的描述，使用户在下一轮的检索中而更加精确的输入并得到所需的检索结果。

综上，本方法与现有的专利检索方法相比，优势在于：

1)现有方法采用智能问答的方式完成相应的专利服务，无法利用上下文信息，这要求用户必须一次性描述专利检索需求，加大了用户的使用难度，且易导致用户描述不准确从而无法精确检索用户真正需要的专利。而本方法采用的是多轮对话的方式，用户可以在每轮对话中输入最关键的检索信息，并根据当前的检索结果动态决定后续的检索信息，可以显著提高用户体验以及最终的检索准确率。

2)现有方法没有针对专利需求描述的反馈，无法辅助用户修正需求描述。普通用户在进行专利检索时极有可能会使用一些不规范的描述，本方法利用多轮对话的优势，基于知识库信息以及正则表达式对用户在每一轮对话中的需求描述进行修正，并返回给用户确认，该方法可规范用户的需求描述，显著提高专利检索的准确率。

根据本发明实施例提出的基于多轮对话的专利检索方法，通过利用多轮对话的方式呈现当前检索结果，辅助用户进行专利检索需求，并利用知识库中信息对用户需求描述进行反馈，辅助用户修正需求描述。

其次参照附图描述根据本发明实施例提出的基于多轮对话的专利检索装置。

图3为根据本发明一个实施例的基于多轮对话的专利检索装置结构示意图。

如图3所示，该基于多轮对话的专利检索装置包括：分词模块100、实体识别模块200、意图检测模块300、状态更新模块400、生成模块500和输出模块600。

其中，分词模块100，用于获取输入方的输入语句，并对输入语句进行分词生成多个分词。

实体识别模块200，用于对多个分词进行命名实体识别处理，得到与输入语句对应的多个实体。

意图检测模块300，用于对多个实体进行意图检测得到与输入语句对应的意图结果。

状态更新模块400，用于获取输入方的历史对话信息，并根据历史对话信息和意图结果更新当前状态信息。

生成模块500，用于获取与更新后的当前状态信息对应的执行动作，并根据执行动作生成与输入语句对应的查询请求。

输出模块600，用于将查询请求输入专利知识库，得到查询结果，将查询结果加入预设模板返回给输入方。

进一步地，在本发明的一个实施例中，对输入语句进行分词生成多个分词，包括：

添加用户词典，将高频、误切分的专利名称和公司名称加入用户词典来辅助分词。

进一步地，在本发明的一个实施例中，采用了BERT+BiLSTM+CRF的模型结构进行命名实体识别任务，BERT为预训练模型，BiLSTM是双向的LSTM模型，CRF是条件随机场模型，BERT+BiLSTM+CRF的模型结构分为三层，第一层是BRET预训练层，将输入语句序列表示为稠密的二维向量矩阵；第二层是双向LSTM层，自动提取输入语句特征，将一个输入语句的各个词的embedding依次输入LSTM中，再将正向LSTM输出的隐状态序列与反向LSTM的在各个位置输出的隐状态进行按位置拼接，得到完整的隐状态序列；第三层是CRF层，进行句子级的序列标注，利用维特比算法计算序列标注的最优解，得到分词标注结果。

进一步地，在本发明的一个实施例中，获取输入方的输入语句后，生成输入方所能产生的所有动作，在所有动作中获取与更新后的当前状态信息对应的执行动作。

进一步地，在本发明的一个实施例中，查询结果包括输入语句对应的提示信息和专利查询结果。

需要说明的是，前述对基于多轮对话的专利检索方法实施例的解释说明也适用于该实施例的装置，此处不再赘述。

根据本发明实施例提出的基于多轮对话的专利检索装置，通过利用多轮对话的方式呈现当前检索结果，辅助用户进行专利检索需求，并利用知识库中信息对用户需求描述进行反馈，辅助用户修正需求描述。

此外，术语“第一”、“第二”仅用于描述目的，而不能理解为指示或暗示相对重要性或者隐含指明所指示的技术特征的数量。由此，限定有“第一”、“第二”的特征可以明示或者隐含地包括至少一个该特征。在本发明的描述中，“多个”的含义是至少两个，例如两个，三个等，除非另有明确具体的限定。

在本说明书的描述中，参考术语“一个实施例”、“一些实施例”、“示例”、“具体示例”、或“一些示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不必须针对的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任一个或多个实施例或示例中以合适的方式结合。此外，在不相互矛盾的情况下，本领域的技术人员可以将本说明书中描述的不同实施例或示例以及不同实施例或示例的特征进行结合和组合。

尽管上面已经示出和描述了本发明的实施例，可以理解的是，上述实施例是示例性的，不能理解为对本发明的限制，本领域的普通技术人员在本发明的范围内可以对上述实施例进行变化、修改、替换和变型。