基于专利数据的语料生成方法及装置

本发明涉及自然语言处理技术领域，尤其涉及一种基于专利数据的语料生成方法及装置。

机器翻译，又称为自动翻译，是利用计算机将一种自然语言(源语言)转换为另一种自然语言(目标语言)的过程。而随着经济全球化及互联网的飞速发展，机器翻译技术在促进政治、经济、文化交流等方面起到越来越重要的作用。机器翻译系统可划分为基于规则(Rule-Based)和基于语料库(Corpus-Based)两大类。其中，基于语料库的机器翻译系统是以语料的应用为核心，由经过划分并具有标注的语料库构成知识库。可见，基于语料库的机器翻译系统就需要大量的语料。

而在实际应用中，在不同的翻译场景中，相同的自然语言表述会具有不同的翻译结果，因此，对于机器翻译系统就需要针对不同应用场景或领域中的语料。目前，已有的一些语料生成方法都是具有较强的领域属性，比如基于网页的语料生产方案、基于字幕的语料生产方案、基于小说的语料生产方案等等。这些技术方案适用于特定的场景和数据要求，比如基于网页内容和网页结构的网页语料生产方案，比如基于字幕的时间戳、字幕文本的字幕语料生产方案，以及基于小说的标题、作者名等联合信息的小说语料生产。可见，现有的机器翻译系统在跨场景、跨领域应用的通用性上还有待提高。

鉴于上述问题，本发明提出了一种基于专利数据的语料生成方法及装置，主要目的在于利用不同语言专利数据生成专利语料，以便应用于更具通用性的机器翻译系统。

为达到上述目的，本发明主要提供如下技术方案：

一方面，本发明提供一种基于专利数据的语料生成方法，具体包括：

获取使用不同语言描述的多份专利文件；

在所述多份专利文件中获得具有对应关系的专利文件对；

在所述具有对应关系的专利文件对中，提取具有对应关系的语句对，作为翻译的训练语料。

另一方面，本发明提供一种基于专利数据的语料生成装置，具体包括：

获取单元，用于获取使用不同语言描述的多份专利文件；

分析单元，用于在所述获取单元得到的多份专利文件中获得具有对应关系的专利文件对；

提取单元，用于根在所述分析单元得到的具有对应关系的专利文件对中，提取具有对应关系的语句对，作为翻译的训练语料。

另一方面，本发明提供一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述的基于专利数据的语料生成方法。

借由上述技术方案，本发明提供的一种基于专利数据的语料生成方法及装置，是利用专利数据中的多语种以及多领域的特性，针对专利数据的格式对专利数据中的文本信息进行提取，以生成具有多语言对应关系的语料数据，将这些语料应用于机器翻译系统，可以大大提高机器翻译系统翻译的准确性以及通用性。

上述说明仅是本发明技术方案的概述，为了能够更清楚了解本发明的技术手段，而可依照说明书的内容予以实施，并且为了让本发明的上述和其它目的、特征和优点能够更明显易懂，以下特举本发明的具体实施方式。

通过阅读下文优选实施方式的详细描述，各种其他的优点和益处对于本领域普通技术人员将变得清楚明了。附图仅用于示出优选实施方式的目的，而并不认为是对本发明的限制。而且在整个附图中，用相同的参考符号表示相同的部件。在附图中：

图1示出了本发明实施例提出的一种基于专利数据的语料生成方法的流程图；

图2示出了本发明实施例提出的另一种基于专利数据的语料生成方法的流程图；

图3示出了本发明实施例提出的一种基于专利数据的语料生成装置的组成框图；

图4示出了本发明实施例提出的另一种基于专利数据的语料生成装置的组成框图。

下面将参照附图更详细地描述本发明的示例性实施例。虽然附图中显示了本发明的示例性实施例，然而应当理解，可以以各种形式实现本发明而不应被这里阐述的实施例所限制。相反，提供这些实施例是为了能够更透彻地理解本发明，并且能够将本发明的范围完整的传达给本领域的技术人员。

当前世界上拥有多种语言的专利文本，而言每种语言的专利数量每年都在稳定增长。由于专利文本中所记载的技术方案可以涉及目前大多数的行业领域，因此，从专利中产出的语料数据不仅可以应用于通用的机器翻译模型，更可以应用于专业领域的机器翻译模型。并且，由于专利文件对于所使用的语言表述有着严格要求，其语言表述的准确性要明显高于其他文本，因此，使用专利数据的语料能够提高机器翻译模型的翻译准确性。为此，本发明以下实施例提出了一种基于专利数据的语料生成方法，以便于对大批量的专利数据进行语料生产，本发明实施例的具体步骤如图1所示，包括：

步骤101、获取使用不同语言描述的多份专利文件。

其中，本步骤中的专利文件包括由不同语言描述的专利文本，这些专利文本是经过不同国家或地区组织的专利管理部分所公开的文本，比如，中国专利局使用中文作为专利文本的语言，日本专利局则使用日文公开专利文本等等。

本步骤在获取不同语言描述的专利文件时，还需要对专利文件的格式进行统一处理得到专利文本数据，以便于后续的语料生产，比如，将所获取的专利文本的格式统一为PDF格式。

步骤102、在多份专利文件中获得具有对应关系的专利文件对。

本步骤所处理的专利文件是以专利文本为单位进行文本数据获取的。该文本数据中包括专利文本中的图片、文字、表格以及公式等信息。而在这些信息中能够用于机器翻译系统并作为训练语料的主要为文字以及数字符号等信息，其中也包括从图片信息中提取对应的文字信息。对于文字的提取方式，现有的文本识别与提取技术能够有效获取不同语言专利文本中的文字信息，以得到对应语言的文本数据，因此，本实施例对此不做具体限定。

由于存在将同样的专利技术以多种语言向多个国家或地区组织申请，因此，对于同样的特征表述就可能存在于多个不同语言描述的专利文本中。而本步骤就是要从上述的文本数据中出具有对应关系的专利文件对，该对应关系是指对相同技术方案的表述采用不同语言描述，因此，本步骤所得到的专利文件对中所具有的两篇专利文本是采用不同语言描述的。

确定专利文件对可以从多个维度进行对比确定，比如，从专利文本的著录项信息中对比申请人、发明人、专利号以及优先申请的专利号等信息对比，还可以基于专利文本中的文字信息进行语义分析以确定两篇专利文本的语义相似性，其中，该相似性分析需要先将两篇专利文本的语言描述进行统一处理，或者也可以基于专利文本中的词语统计来分析专利文本的相似性。对此，本步骤对于对应关系的具体分析方式不做具体限定。

步骤103、在具有对应关系的专利文件对中，提取具有对应关系的语句对，作为翻译的训练语料。

由于专利文件对中各专利文本所使用的语言不同，说明其所对应申请的国家与地区组织也不同，而不同国家与地区组织的专利管理部门对于专利申请文件的格式结构会有所差异，比如，对于申请文件中所共有各个组成部分，如权利要求、说明书、摘要等，不同国家与地区组织的专利管理部门对其的排列顺序的要求是不同的。这就导致专利文件对不能简单地按照专利文本中的句子进行对比提取，需要先根据不同国家与地区组织的专利管理部门所要求格式结构对专利文本进行拆分，到专利文件对中相同的组成部分或段落，之后，再进行语句对的提取，得到专利语料，即用于翻译的训练预料。其中，专利语料是指由不同语言表述相同意思的语句对。

通过上述实施例的说明，本发明提供的一种基于专利数据的语料生成方法，是从专利文件中提取含有语句的文本信息，并基于文本信息匹配出具有对应关系的专利文件对，实现对使用不同语言来表述同一技术方案的专利文件进行配对，并基于专利文件对将专利文本进行拆分，根据对应的格式结构匹配其中相同内容的部分或段落，并从中提取对应的语句对，生成用于翻译的训练语料。可见，本发明实施例提供的是针对专利数据的处理方法，能够根据专利数据的结构特点，从专利数据中提取出双语的专利语料。

由于本发明实施例所生成的语料是基于专利数据得到的，而专利数据本身就具有对语言表述的严谨性，因此，基于专利数据所得到的语料在训练翻译模型时就具有了更加准确的效果，因此，本发明实施例所得到的语料更加适用于对翻译准确性有较高要求的场景，比如翻译软件企业、专利代理事务所、专利局或者是其他具有翻译需求的企业与用户，这些用户可以通过本发明实施例中所得到的语料来训练自己的翻译模型，从而提高其翻译模型的准确性。当然，本发明实施例也可以利用得到的语料数据来训练翻译模型，并未上述的用户直接提供可用的翻译模型。

进一步的，对于上述图1中所述的语料生成方法，本发明以下实施例将针对上述各步骤的具体实现进行详细说明，具体如图2所示，包括：

步骤201、获取使用不同语言描述的多份专利文件。

步骤202、对多份专利文件进行预处理，提取多份专利文件中的文本信息。

具体的，针对所获取的多份专利文件以专利文本为单位进行文本信息的提取，从而得到文本数据。其中，文本数据中包括文字、数字以及符号等信息。而为了提高文本数据的可用性，本步骤还需要对所提取的文本数据按照预设规则进行清洗，该预设规则至少包括去除多余空格，tab等转空格，不可见字符转空格，全角字符转半角等等，还包括去除段落中的一些不必要的符号或数字，比如段首编号等，在专利数据中含有的大量形如：“[0001]”这样的编号数字，而对于使用不同语言申请的专利文本中，有可能这些为段落编号的数字符号是不同的，这会影响后续对专利语料的提取，因此，需要去除这些内容。

一般的，在申请专利时，申请人会将申请信息以请求书的方式提交，而在公开该专利申请时，这些申请信息会以著录项信息的形式一同公开，并且，大多是记载于专利文件的开头或首页中。著录项信息包括有发明人信息、申请人信息、申请国家信息、专利申请号、优先权信息等信息。因此，根据专利文本的格式结构可以快速提取专利文本的著录项信息，而这些著录项信息是用于专利文件对匹配的关键信息。比如，一般情况下，同一技术方案的专利文本在以不同语言向不同国家或地区组织申请专利时，其申请人、发明人是相同的，对于中国发明人的人名而言，其对应的英文专利申请中的发明人则是该人名的拼音。而优先权信息则可以确定该专利文件与在先申请所对应的专利文件属于同族专利。可见，本步骤中所得到的文本信息中还包括从专利文本信息中所抽取的如著录项信息等用于匹配专利文件对的关键信息。

步骤203、对专利文本信息进行语言种类识别，将识别得到的语种标识记录于对应的专利文件中。

对于一篇专利文件所使用的语言并不能仅仅通过该专利本文的标题确定，因此，本步骤进行的语言种类识别需要综合专利文件中的著录项信息，标题以及内容等进行多维度的识别，从而确定专利文件数据所采用的语言种类，并该对应的语种标识标记在该专利文件中，以便在后续确定专利文件对时进行判断。

步骤204、在多份专利文件中获得具有对应关系的专利文件对。

具体的，专利文件对的确定可以通过以下步骤实现：

首先，对文本信息进行分词。

利用自然语言处理技术对文本信息中的语句进行分词，该分词可以是中文的，也可以是英文或其他语种的。

其次，利用预设词典以及预设语言种类对词粒度的文本信息进行翻译。

该预设词典为双语词典，根据上述的语种标识，选择对应的双语词典，比如，预设语言为中文，文本信息对应的语种标识为日文，则选择中日词典，将日文专利文本按照上述的分词结果进行逐一翻译。如此，可以统一所有专利文件的语言描述方式。

最后，利用倒排索引统计翻译后的文本数据中具有对应关系的专利文件对。

其中，这里的对应关系是指专利文本的内容近似且语言种类不同，可以通过上述的语种标识进行判断。而通过倒排索引的统计则是以分词位置的维度对专利文件进行相似性的评价，确定出可能是同一技术方案的专利文件对。

进一步的，在利用倒排索引的方式挖掘出潜在的候选专利文件对后，本发明实施例还可以通过其他方式的对比对所挖掘出的候选专利文件对进行筛选过滤，以提高确定专利文件对的准确率。具体的，可以根据预设的分词组合数量统计候选专利文件对的第一相似度值，比如，通过利用n-gram确定，其中，n为相连在一起的分词个数，n-gram词组相同的个数即为第一相似度值；还可以对比候选专利文件对中的发明人信息，得到第二相似度值，而由于发明人的个数可能不同，因此，相同发明人的个数即为第二相似度值；此外，还可以根据候选专利文件对中的优先权信息、申请号确定第三相似度值，若候选专利文件对中一篇专利文本中记录的优先权信息、申请号与另一篇专利文本中的申请号或优先权信息相同，则可以确定这两个专利文本互为专利文件对。

利用上述第一相似度值、第二相似度值以及第三相似度值判断候选专利文件是否为具有对应关系的专利文件对时，还可以为不同的相似度值定义对应的权值，或者是选择其中任意一个或多个相似度值的组合进行判断。

进一步的，针对上述筛选得到的专利文件对，本发明实施例还可以检测不同的专利文件对中是否存在相同的专利文本；若存在，则将不同的专利文件对中不相同的两个专利文件组成新的专利文件对。即利用对应关系的传递性对得到的专利文件对进行进一步挖掘，获得更多具有对应关系的专利文件对，比如，得到的专利文件对有(a，b)与(b，c)，那么根据专递性，还可以确定(a，c)也为专利文件对。

步骤205、根据专利文本中的语种标识确定对应的格式结构。

其中，格式结构用于将专利文件中的不同文件内容按照预设顺序进行组合。该格式结构是预先设置的，比如，中国发明专利的格式结构是按照“摘要”，“权利要求书”，“说明书”的顺序进行组织的，而美国发明专利的格式结构则是按照“摘要”，“说明书”，“权利要求书”的顺序进行组织的。

步骤206、根据格式结构匹配专利文件对中的文件对。

本步骤是将专利文件以文件为单位进行拆分，比如将“摘要”，“权利要求书”，“说明书”分为三个部分，由于不同语言的专利文本都需要由这些文件所组成，因此，将拆分后的文件再进行匹配，得到对应的文件对，比如摘要对，说明书对，权利要求对等。即按照格式结构，将不同语言的专利文件进行对应。

步骤207、在相同的格式结构中，将专利文件对中的句子进行句对齐，得到具有对应关系的语句对。

具体的，将专利文件对中的句子进行句对齐可以采用动态规划算法进行相似匹配，之后，对匹配出的语句对按照预设策略进行筛选，得到具有对应关系的语句对。

采用动态规划算法相对于全量的句子到句子相似度计算而言可以减少计算量，避免对计算资源的大量占用，提高系统的处理效率。并且针对句子的动态规划算法已经广泛地应用于句子相似度计算，因此，本步骤对于该动态规划算法的具体实施方式不再详细说明。

对于匹配出的语句进行筛选的目的是提高语句对匹配的准确性，经过动态规划匹配得到的语句对中是相似性较高的语句，由于存在句子顺序不一致的问题，依然存在相似度符合要求但其语句的意思并不具有对应关系的情况，为此，本步骤采用预设策略进一步筛选，该预置策略可以为句子长度比，即过滤句子长度比大于阈值的语句对，对于不同语言的语句，在表述相同意思的情况下，其句子的长度大致是相同的，其句子长度比一般不会大于某一阈值，比如3，即一个句子的分词数量是另一句子分词数量的3倍。因此，利用句子长度比可以验证语句对是否表述了相同的意思。此外，预置策略还可以采用概率得分，过滤概率得分低于阈值的语句对。该概率得分是基于预置的概率词典统计的语句互译得到的分数值，其中，概率词典是指将一个分词从一种语言翻译到另一中语言的概率，该概率会根据上下文内容，具体应用领域的不同而不同。

进一步的，当本步骤中基于动态规划算法得到的语句对的数量低于阈值时，还可以对该文件对进行全量的句子到句子相似度计算，得到具有对应关系的语句对。如此，在处理大量专利数据的过程中，可以用动态规划算法来减小计算资源的占用，仅在个别文件对识别不佳的情况下，使用全量的句子到句子相似度计算，实现对语句对匹配的过程优化。

进一步的，作为对上述图1、2所示方法的实现，本发明实施例提供了一种基于专利数据的语料生成装置，该装置主要目的在于利用不同语言专利数据生成专利语料，以便应用于更具通用性的机器翻译系统。为便于阅读，本装置实施例不再对前述方法实施例中的细节内容进行逐一赘述，但应当明确，本实施例中的装置能够对应实现前述方法实施例中的全部内容。该装置如图3所示，具体包括：

获取单元31，用于获取使用不同语言描述的多份专利文件；

分析单元32，用于在所述获取单元31得到的多份专利文件中获得具有对应关系的专利文件对；

提取单元33，用于根在所述分析单元32得到的具有对应关系的专利文件对中，提取具有对应关系的语句对，作为翻译的训练语料。

进一步的，如图4所示，所述装置还包括：

预处理单元34，用于对所述获取单元31得到的多份专利文件进行预处理，提取所述多份专利文件中的文本信息。

进一步的，所述预处理单元34具体用于，根据预设规则，对提取到的所述多份专利文件中的文本信息进行清洗。

进一步的，所述预处理单元34中的清洗包括以下操作的至少一项：

去除多余空格，tab转空格，不可见字符转空格，全角字符转半角，去除段首编号。

进一步的，如图4所示，所述装置包括：

抽取单元35，用于在所述预处理单元34提取所述多份专利文件中的文本信息之后，在所述文本信息中抽取关键信息，所述关键信息包括以下信息的至少一项：申请国家信息、发明人信息、优先权信息、专利申请号。

进一步的，如图4所示，所述分析单元32包括：

分词模块321，用于对所述文本信息进行分词；

翻译模块322，用于利用预设词典以及预设语言种类对所述分词模块321处理得到的词粒度的文本信息进行翻译；

统计模块323，用于利用倒排索引统计所述翻译模块322翻译后的文本信息中具有对应关系的专利文件对，其中所述对应关系是指所述专利文本的内容近似且语言种类不同。

进一步的，所述统计模块323具体用于：

利用倒排索引统计所述文本信息中的分词，得到候选专利文件对；

根据预设的分词组合数量统计所述候选专利文件对的第一相似度值；

对比所述候选专利文件对中的发明人信息，得到第二相似度值；

根据所述候选专利文件对中的优先权信息、申请号确定第三相似度值；

利用第一相似度值、第二相似度值以及第三相似度值判断所述候选专利文本是否为具有对应关系的专利文件对。

进一步的，如图4所示，所述提取单元33还用于在所述分析单元32在多份专利文件中获得具有对应关系的专利文件对之后，根据对应关系的传递性，获得更多具有对应关系的专利文件对。

进一步的，如图4所示，所述提取单元33包括：

匹配模块331，用于按照格式结构，将不同语言的专利文件进行对应，所述格式结构用于将所述专利文件中的不同文件内容按照预设顺序进行组合；

提取模块332，用于在相同的所述格式结构中，将所述匹配模块331确定的专利文件对中的句子进行句对齐，得到具有对应关系的语句对。

进一步的，所述提取模块332具体用于，基于动态规划算法对所述专利文件对中的句子进行相似匹配；对匹配出的语句对按照预设策略进行筛选，得到具有对应关系的语句对。

进一步的，所述提取模块332在对匹配出的语句对按照预设策略进行筛选时具体用于：过滤句子长度比大于阈值的语句对；利用预置的概率词典统计所述语句对互译的概率得分，过滤所述得分低于阈值的语句对。

进一步的，所述提取模块332还用于，如果基于动态规划算法匹配得到的语句对的数量低于阈值，则对所述专利文件对进行全量的句子到句子相似度计算，得到具有对应关系的语句对。

另外，本发明实施例还提供了一种处理器，所述处理器用于运行程序，其中，所述程序运行时执行上述任意一个实施例提供的基于专利数据的语料生成方法。

在上述实施例中，对各个实施例的描述都各有侧重，某个实施例中没有详述的部分，可以参见其他实施例的相关描述。

可以理解的是，上述方法及装置中的相关特征可以相互参考。另外，上述实施例中的“第一”、“第二”等是用于区分各实施例，而并不代表各实施例的优劣。

所属领域的技术人员可以清楚地了解到，为描述的方便和简洁，上述描述的系统，装置和单元的具体工作过程，可以参考前述方法实施例中的对应过程，在此不再赘述。

在此提供的算法和显示不与任何特定计算机、虚拟系统或者其它设备固有相关。各种通用系统也可以与基于在此的示教一起使用。根据上面的描述，构造这类系统所要求的结构是显而易见的。此外，本发明也不针对任何特定编程语言。应当明白，可以利用各种编程语言实现在此描述的本发明的内容，并且上面对特定语言所做的描述是为了披露本发明的最佳实施方式。

此外，存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存

(flash RAM)，存储器包括至少一个存储芯片。

本领域内的技术人员应明白，本申请的实施例可提供为方法、系统、或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

本申请是参照根据本申请实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器，使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。

这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中，使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品，该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。

这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上，使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理，从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。

在一个典型的配置中，计算设备包括一个或多个处理器(CPU)、输入/输出接口、网络接口和内存。

存储器可能包括计算机可读介质中的非永久性存储器，随机存取存储器(RAM)和/或非易失性内存等形式，如只读存储器(ROM)或闪存(flash RAM)。存储器是计算机可读介质的示例。

计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括，但不限于相变内存(PRAM)、静态随机存取存储器(SRAM)、动态随机存取存储器(DRAM)、其他类型的随机存取存储器(RAM)、只读存储器(ROM)、电可擦除可编程只读存储器(EEPROM)、快闪记忆体或其他内存技术、只读光盘只读存储器(CD-ROM)、数字多功能光盘(DVD)或其他光学存储、磁盒式磁带，磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质，可用于存储可以被计算设备访问的信息。按照本文中的界定，计算机可读介质不包括暂存电脑可读媒体(transitory media)，如调制的数据信号和载波。

还需要说明的是，术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含，从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素，而且还包括没有明确列出的其他要素，或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下，由语句“包括一个……”限定的要素，并不排除在包括要素的过程、方法、商品或者设备中还存在另外的相同要素。

本领域技术人员应明白，本申请的实施例可提供为方法、系统或计算机程序产品。因此，本申请可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且，本申请可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、CD-ROM、光学存储器等)上实施的计算机程序产品的形式。

以上仅为本申请的实施例而已，并不用于限制本申请。对于本领域技术人员来说，本申请可以有各种更改和变化。凡在本申请的精神和原理之内所作的任何修改、等同替换、改进等，均应包含在本申请的权利要求范围之内。