一种专利数据采集方法

本发明涉及数据采集领域，具体为一种专利数据采集方法。

随着科学技术的迅速发展及企业间竞争的日趋激烈，分析、研究和利用专利信息以成为企业在竞争中获益、处于有利竞争地位的重要手段之一，其中在专利分析过程中首先解决的便是对专利数据的采集，足够多的专利数据是专利分析过程中不可或缺的。但是现有的专利数据采集方法不够科学严谨，造成专利数据采集过程中效率低下，同时对于数据缺乏保护，难以将其从繁复的获取流程中分离。

本发明的目的在于提供一种专利数据采集方法，以解决上述背景技术中提出的问题。

为实现上述目的，本发明提供如下技术方案：一种专利数据采集方法，包括以下步骤：

S1：配置管理与配置检索，在正式的数据获取流程开始之前，集中对整个数据获取流程中用到的实际数据和控制数据进行编辑和导入；

S2：数据下载，将实际的数据检索与下载流程与其他流程分隔开，集中的执行从远程服务器获取数据的过程；

S3：数据预处理与数据抽取，对于之前系统已经下载到本地的数据文件中保存的数据进行预处理和数据抽取的操作。

优选的，所述S1中配置管理能够保存和配置各次检索之间通用的数据，包括检索页面地址、等待时间。

优选的，所述S1中配置管理与配置检索采用对指定XML配置文件的读写实现。

优选的，所述S1中配置管理能够避免对相同数据进行重复的配置和存储提高效率，同时避免再重复设置。

优选的，所述S1中配置检索能够从结构上降低了实际数据获取部分的开发和测试的复杂性和难，同时将这些重要的基础性数据从繁复的获取流程中分离出来，达到数据保护的作用。

优选的，所述S2中数据下载能避免重复获取资源而导致效率降低，同时最大程度上避免了由于网络连接资源异常而导致的数据获取中断、延迟、系统崩溃状况的发生。

优选的，所述S3中数据抽取采用正则表达式实现。

一种专利数据采集系统，包括检索配置与管理模块、数据检索与下载模块、数据预处理与抽取模块、全局管理模块，其中检索配置与管理模块用于集中对整个数据获取流程中用到的实际数据和控制数据进行编辑和导入，数据检索与下载模块用于将实际的数据检索与下载流程和其他流程分隔开，集中的执行从远程服务器获取数据的过程，数据预处理与抽取模块用于实现对于已经下载到本地的数据文件进行数据抽取和重组工作，全局管理模块用于为了保存和配置各次检索之间通用的数据。

与现有技术相比，本发明的有益效果是：本发明的采集方法更加的科学合理，通过采用检索配置与管理模块能够从结构上降低了实际数据获取部分的开发和测试的复杂性和难度，并有助于将这些重要的基础性数据，从繁复的获取流程中分离出来，达到了一定的数据保护作用，通过采用数据检索与下载模块一方面能够避免重复获取资源而导致效率降低，另一方面可以最大程度上避免由于网络连接资源异常而导致的数据获取中断、延迟、系统崩溃等状况的发生，通过采用全局管理模块保存和配置各次检索之间通用的数据来避免对相同数据进行重复的配置和存储，提高效率，同时避免再重复设置。

图1本发明的数据采集流程图；

图2本发明的检索配置与管理模块处理流程图；

图3本发明的数据检索与下载模块处理流程图。

下面对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例，都属于本发明保护的范围。

实施例一

请参阅图1-3，本发明提供一种技术方案：

如图1所示，一种专利数据采集方法，包括以下步骤：

S1：配置管理与配置检索，如图2所示，利用检索配置与管理模块在正式的数据获取流程开始之前，集中对整个数据获取流程中用到的实际数据和控制数据进行编辑和导入，提前将这些数据配置好，一方面从结构上降低了实际数据获取部分的开发和测试的复杂性和难度，另一方面有助于将这些重要的基础性数据，从繁复的获取流程中分离出来，达到了一定的数据保护作用，并且使用全局管理模块保存和配置各次检索之间通用的数据，如检索页面地址、等待时间等，避免对相同数据进行重复的配置和存储，提高效率，同时避免再重复设置，其中全局管理模块通过对于指定XML配置文件的读写，实现数据的编辑和存储功能，即通过XmlDocument对象的Load()方法载入指定的配置文件，然后通过XmlDocument对象的SelectNote方法定位包含需要的信息的XmlNode对象，并通过XmlNode对象的InnerText属性获得配置数据；

S2：数据下载，如图3所示，利用数据检索与下载模块将实际的数据检索与下载流程与其他流程分隔开，集中的执行从远程服务器获取数据的过程，避免由于网络连接资源的不稳定性和稀缺性，使得资源重复获取而导致效率降低，同时最大程度上避免了由于网络连接资源异常而导致的数据获取中断、延迟、系统崩溃等状况的发生；

S3：数据预处理与数据抽取，对于之前系统已经下载到本地的数据文件中保存的数据进行预处理和数据抽取的操作，其中数据抽取的核心过程，是通过正则表达式实现的，可以将数据文件中的各个数据字段相对固定的格式作为检索的基础；如果出现“一对多”的情况，例如一条专利对应多个发明人的情况，则需要使用“先匹配整个数据区域，再通过Regex类型的Matches进行多相匹配，最后应用循环结构遍历所有匹配结果”的算法，对于每个数据字段进行匹配，利用HTML中的

标签到整个表格的所有内容，再通过标签逐行的匹配表格中的各个行，其中Match类型是正则表达式的匹配结果对象类型，正则表达式每匹配到一个字符串结果，将会产生一个Match类型的对象；而Regex类型的静态方法Matches将返回一组Match对象，其中每个Match对象对应一个匹配到的字符串。

一种专利数据采集系统，包括检索配置与管理模块、数据检索与下载模块、数据预处理与抽取模块、全局管理模块，其中检索配置与管理模块用于集中对整个数据获取流程中用到的实际数据和控制数据进行编辑和导入，数据检索与下载模块用于将实际的数据检索与下载流程和其他流程分隔开，集中的执行从远程服务器获取数据的过程，数据预处理与抽取模块用于实现对于已经下载到本地的数据文件进行数据抽取和重组工作，全局管理模块用于为了保存和配置各次检索之间通用的数据。

本发明的采集方法更加的科学合理，通过采用检索配置与管理模块能够从结构上降低了实际数据获取部分的开发和测试的复杂性和难度，并有助于将这些重要的基础性数据，从繁复的获取流程中分离出来，达到了一定的数据保护作用，通过采用数据检索与下载模块一方面能够避免重复获取资源而导致效率降低，另一方面可以最大程度上避免由于网络连接资源异常而导致的数据获取中断、延迟、系统崩溃等状况的发生，通过采用全局管理模块保存和配置各次检索之间通用的数据来避免对相同数据进行重复的配置和存储，提高效率，同时避免再重复设置。

尽管已经示出和描述了本发明的实施例，对于本领域的普通技术人员而言，可以理解在不脱离本发明的原理和精神的情况下可以对这些实施例进行多种变化、修改、替换和变型，本发明的范围由所附权利要求及其等同物限定。

留言与评论（共有 0 条评论）

验证码：