一种基于人工智能的大数据采集存储系统及方法

本发明属于大数据技术领域，公开了一种基于人工智能的大数据采集存储系统及方法。

随着信息化时代的到来,云计算技术、数字技术、互联网技术等获得了进一步的发展和应用,信息产业的竞争力也在不断的加剧，对大企业而言，大数据的兴起部分是因为计算能力可用更低的成本获得，且各类系统如今已能够执行多任务处理。其次，内存的成本也在直线下降，企业可以在内存中处理比以往更多的数据，还有就是把计算机聚合成服务器集越来越简单，把那些具有潜在价值,可以给商业带来巨大利润,但是需要经过复杂处理的数据信息，因此本申请提出所能人工智能大数据采集存储系统及方法，充分利用数据信息进行分析及利用。

针对上述的传统管理平台缺陷，本发明的目的是提供一种基于人工智能的大数据采集存储系统及方法，其包括大数据管理平台、大数据抓取及方法、大数据存储及方法。

大数据管理平台对大数据抓取和大数据存储进行数据管理及方法管理；

所述的大数据抓取用于公开全网站抓取，分别通过百度、搜狗、360、微博、及其他公开全网站的公开数据进行抓取；

进一步的，所述大数据存储基于大数据抓取的数据进行数据存储，用分布式进行数据存储；

本发明提供一种大数据抓取方法，包括步骤如下：

①分布式抓取：利用分布式原理搭建分布式方法进行分布式智能抓取；

②意外断开后接着抓取：因特殊原因导致系统意外断开，当重新连接后能有效的接着上次抓取的数据继续抓取剩余的信息，防止特殊情况带来的损失；

③能反抓取：具有了自我管理和学习进步的能力，能够针对现有的知识进行快速的学习并且进行后续改进防止别人进行抓取；

④时间判断：每天抓取的内容都不一样，通过时间判断能有效的抓取当前的数据，过滤掉昨天以前的数据；

⑤防止重复抓取：各个公开全网站及各个页面的数据有可能是完全一样的，为了避免重复数据的的出现，需对数据标题及内容进行分析再抓取，避免出现重复抓取，减少资源消耗；

⑥关键词抓取：通过关键词进行数据抓取，能精准有效的抓取网络公开数据；

⑦定期和持续抓取：定期抓取就是在一定的时间内进行数据抓取，过了这段时间将不再进行抓取，持续抓取将一直保持数据抓取；

⑧记忆采集点：人工智能记忆法，只要采集过的公开全网站，就像人的记忆一样能智能识别并且准确的进行采集所需数据，智能过滤没用的数据，只保留图文信息，在采集过程中因意外导致停止工作时，能有效的记住采集进度，当重新工作时能接着完成未完成的工作。

⑨自动分析归类：自动分析过滤广告等没用的信息，存储所需的图文信息；自动分析生产采集规则，智能抓取各个公开全网站的图文信息；自动分析纠正，能够智能学习人工纠错的内容，使准确率越来越精准。

本发明提供一种数据存储的方法，包括步骤如下：

①利用分布式文件系统：hdfs为管理大数据资源池和支撑相关大数据分析应用提供了一个具有高可靠性的工具，为分布式数据库做好铺垫；

②分布式数据库：hbase、mongodb、elasticsearch充分利用它们的存储原理将抓取过滤过的数据进行存储；

③分布式内存存储：redis缓存，使平台保证访问速度的同时减少数据库的访问；

与现有技术相比，本发明具有的明显优点与效果：本发明属于大数据技术领域，公开了一种基于人工智能的大数据采集存储系统及方法，包括以下步骤：利用所能大数据管理平台获取指定公开全网站的网络公开资源，利用大数据抓取网络信息，具备分布式抓取，意外断开后智能抓取，反抓取，智能判断时间，智能防重，定期抓取及持续抓取等方法，精准完整得获取网络信息，最后把抓取的数据都分布式存储到hbase、MongoDB、elasticsearch中以此解决千万级的数据处理，大大提升了大数据采集效率以及减少大数据采集过程中技术人员的工作量。

下面结合附图和具体实施例对本发明作进一步详细描述。

图1是本发明的所能人工智能大数据采集存储系统构成图；

其中，附图标记为：大数据管理平台模块1、大数据抓取模块2及大数据存储模块3；

图2是流程图

下面将结合本发明实施例中的附图，对本发明实施例中的技术方案进行清楚、完整地描述，显然，所描述的实施例仅仅是本发明一部分实施例，而不是全部的实施例。基于本发明中的实施例，本领域普通技术人员在没有作出创造性劳动前提下所获得的所有其它实施例，都属于本发明保护的范围。

如图1所示，实现本发明技术方案如下：一种基于人工智能的大数据采集存储系统及方法，其包括大数据管理平台、大数据抓取及方法、大数据存储及方法；

大数据管理平台对大数据抓取和大数据存储进行数据管理及方法管理；

所述的大数据抓取用于公开全网站抓取，分别通过百度、搜狗、360、微博、及其他公开全网站的公开数据进行抓取；

进一步的，所述大数据存储基于大数据抓取的数据进行数据存储，用分布式进行数据存储；

本发明提供一种大数据抓取方法，包括步骤如下：

①分布式抓取：利用分布式原理搭建分布式方法进行分布式抓取；

②意外断开后接着抓取：因特殊原因导致系统意外断开，当重新连接后能有效的接着上次抓取的数据继续抓取剩余的信息，防止特殊情况带来的损失；

③能反抓取：具有了自我管理和学习进步的能力，能够针对现有的知识进行快速的学习并且进行后续改进防止别人进行抓取；

④时间判断：每天抓取的内容都不一样，通过时间判断能有效的抓取当前的数据，过滤掉昨天以前的数据；

⑤防止重复抓取：各个公开全网站及各个页面的数据有可能是完全一样的，为了避免重复数据的的出现，需对数据标题及内容进行分析再抓取，避免出现重复抓取，减少资源消耗；

⑥关键词抓取：通过关键词进行数据抓取，能精准有效的抓取网络公开数据；

⑦定期和持续抓取：定期抓取就是在一定的时间内进行数据抓取，过了这段时间将不再进行抓取，持续抓取将一直保持数据抓取；

⑧记忆采集点：人工智能记忆法，只要采集过的公开全网站，就像人的记忆一样能智能识别并且准确的进行采集所需数据，智能过滤没用的数据，只保留图文信息，在采集过程中因意外导致停止工作时，能有效的记住采集进度，当重新工作时能接着完成未完成的工作。

⑨自动分析归类：自动分析过滤广告等没用的信息，存储所需的图文信息；自动分析生产采集规则，智能抓取各个公开全网站的图文信息；自动分析纠正，能够智能学习人工纠错的内容，使准确率越来越精准。

本发明提供一种数据存储的方法，包括步骤如下：

①利用分布式文件系统：hdfs为管理大数据资源池和支撑相关大数据分析应用提供了一个具有高可靠性的工具，为分布式数据库做好铺垫；

②分布式数据库：hbase、mongodb、elasticsearch充分利用它们的存储原理将抓取过滤过的数据进行存储；

③分布式内存存储：redis缓存，使平台保证访问速度的同时减少数据库的访问；

与现有技术相比，本发明具有的明显优点与效果：本发明属于大数据技术领域，公开了一种基于人工智能的大数据采集存储系统及方法，包括以下步骤：利用所能大数据管理平台获取指定公开全网站的网络公开资源，利用大数据抓取网络信息，具备分布式抓取，意外断开后智能抓取，反抓取，智能判断时间，智能防重，定期抓取及持续抓取等方法，精准完整得获取网络信息，最后把抓取的数据都分布式存储到hbase、MongoDB、elasticsearch中以此解决千万级的数据处理，大大提升了大数据采集效率以及减少大数据采集过程中技术人员的工作量。

为了描述的方便，描述以上装置时以功能分为各种单元、模块分别描述。当然，在实施本申请时可以把各单元、模块的功能在同一个或多个软件和/或硬件中实现。通过以上的实施方式的描述可知，本领域的技术人员可以清楚地了解到本申请可借助软件加必需的通用硬件平台的方式来实现。基于这样的理解，本申请的技术方案本质上或者说对现有技术做出贡献的部分可以以软件产品的形式体现出来，该计算机软件产可以存储在存储介质中，如 ROM/RAM、磁碟、光盘等，包括若干指令用以使得一台计算机设备 (可以是个人计算机，服务器，或者网络设备等)执行本申请各个实施方式或者实施方式的某些部分所述的方法。

以上所描述的装置实施方式仅仅是示意性的，其中所述作为分离部件说明的单元可以是或者也可以不是物理上分开的，作为单元显示的部件可以是或者也可以不是物理单元，即可以位于一个地方，或者也可以分布到多个网络单元上。可以根据实际的需要选择其中的部分或者全部模块来实现本实施方式方案的目的。本领域普通技术人员在不付出创造性劳动的情况下，即可以理解并实施。

本申请可用于众多通用或专用的计算系统环境或配置中。例如：个人计算机、服务器计算机、手持设备或便携式设备、平板型设备、多处理器系统、基于微处理器的系统、置顶盒、可编程的消费电子设备、网络 PC、小型计算机、大型计算机、包括以上任何系统或设备的分布式计算环境等等。本申请可以在由计算机执行的计算机可执行指令的一般上下文中描述，例如程序模块。一般地，程序模块包括执行特定任务或实现特定抽象数据类型的例程、程序、对象、组件、数据结构等等。也可以在分布式计算环境中实践本申请，在这些分布式计算环境中，由通过通信网络而被连接的远程处理设备来执行任务。在分布式计算环境中，程序模块可以位于包括存储设备在内的本地和远程计算机存储介质中。在本说明书的描述中，参考术语“一个实施例”、“示例”、“具体示例”等的描述意指结合该实施例或示例描述的具体特征、结构、材料或者特点包含于本发明的至少一个实施例或示例中。在本说明书中，对上述术语的示意性表述不一定指的是相同的实施例或示例。而且，描述的具体特征、结构、材料或者特点可以在任何的一个或多个实施例或示例中以合适的方式结合。

以上内容仅仅是对本发明结构所作的举例和说明，所属本技术领域的技术人员对所描述的具体实施例做各种各样的修改或补充或采用类似的方式替代，只要不偏离发明的结构或者超越本权利要求书所定义的范围，均应属于本发明的保护范围。