图片简介:
本技术属于校对技术领域，介绍了一种基于人工智能的大数据图文识别系统及方法，包括以下步骤：利用所能大数据管理平台获取指定公开全网站的网络公开资源，利用大数据抓取网络信息，具备分布式抓取，意外断开后智能抓取，反抓取，智能判断时间，智能防重，定期抓取及持续抓取等方法，精准完整得获取网络信息，最后把抓取的数据都进行图文识别校对，以此达到健康文明的大数据平台。 技术要求
1.一种基于人工智能的大数据图文识别系统及方法，其包括大数据管理平台、大数据抓取及方法、大数据图文识别及方法；
大数据管理平台对大数据抓取和大数据存储进行数据管理及方法管理；
所述的大数据抓取用于全网抓取公开数据，包括但不限于百度、搜狗、360、微博、微
信及其他网站的公开数据进行抓取；
进一步的，所述大数据图文识别系统，用于过滤掉大数据抓取图文信息的不健康的图文
信息，达到健康文明的所能大数据平台；
本技术提供一种大数据抓取方法，包括步骤如下：
①分布式抓取：利用分布式原理搭建分布式方法进行分布式抓取；
②意外断开后接着抓取：因特殊原因导致系统意外断开，当重新连接后能有效的接着上
次抓取的数据继续抓取剩余的信息，防止特殊情况带来的损失；
③能反抓取：具有了自我管理和学习进步的能力，能够针对现有的知识进行快速的学习并且进行后续改进防止别人进行抓取；
④时间判断：每天抓取的内容都不一样，通过时间判断能有效的抓取当前的数据，过滤掉昨天以前的数据；
⑤防止重复抓取：各个公开全网站及各个页面的数据有可能是完全一样的，为了避免重复数据的的出现，需对数据标题及内容进行分析再抓取，避免出现重复抓取，减少资源消耗；
⑥关键词抓取：通过关键词进行数据抓取，能精准有效的抓取网络公开数据；
⑦定期和持续抓取：定期抓取就是在一定的时间内进行数据抓取，过了这段时间将不再进行抓取，持续抓取将一直保持数据抓取；
⑧记忆采集点：人工智能记忆法，只要采集过的公开全网站，就像人的记忆一样能智能识别并且准确的进行采集所需数据，智能过滤没用的数据，只保留图文信息，在采集过程中因意外导致停止工作时，能有效的记住采集进度，当重新工作时能接着完成未完成的工作；
⑨自动分析归类：自动分析过滤广告等没用的信息，存储所需的图文信息；自动分析生产采集规则，智能抓取各个公开全网站的图文信息；自动分析纠正，能够智能学习人工纠错的内容，使准确率越来
越精准；
本技术提供一种大数据图文识别的方法，包括步骤如下：
①通过大数据抓取图文信息资料，通过tess4j技术进行图文识别；
②获取图文中的文字及图片信息后进行校对；
③全文检索图文信息过滤多脏词等不良信息，一旦发现该类词将直接过滤整条图文信息；
④通过自定义脏词来全文检索图文信息；
⑤关键词库：人工智能学习类似新华词典的关键词库来进行分析图文信息是否积极信息；
⑥智能分析图文：通过关键词库智能分析图文内容
⑦智能判断分析结果：通过智能分析图文和关键词库的对比智能判定分析结果，判断结果：积极信息、中性信息及消极信息等结果；
⑧智能添加新词：有新词出现时能智能学习新词，并且自动添加新词到关键词库中，并且也提供手动添加新词；
⑨智能分析图片文字：当图片有文字时，能智能分析出该文字的信息结果，并且给出结果；
⑩自动分析归类：自动分析过滤图片文字的信息，分类总结图文信息，并且给出相应的分析结果；
与现有技术相比，本技术具有的明显优点与效果：本技术属于校对技术领域，介绍了一种基于人工智能的大数据图文识别系统及方法，包括以下步骤：利用所能大数据管理平台获取指定公开全网站的网络公开资源，利用大数据抓取网络信息，具备分布式抓取，意外断开后智能抓取，反抓取，智能判断时间，智能防重，定期抓取及持续抓取等方法，精准完整得获取网络信息，最后把抓取的数据都进行图文识别校对，以此达到健康文明的所能大数据平台。
2.根据权利需求1所述的一种所能人工智能大数据采集存储系统及方法，其特征在于：所述大数据管理模块用于对用户操作管理过程中存在异常行为进行判定，以识别异常用户，并将异常用户的账号进行安全控制。
3.根据权利要求2所述的一种所能人工智能大数据采集存储系统及方法，其特征在于：所述的大数据抓取过程中存在并发中出现的异常进行判定，以识别出异常数据，并将异常数据进行安全控制。
4.根据权利需求3所述的一种基于人工智能的大数据图文识别系统及方法，其特征在于：所述的大数据图片识别模块用于识别大数据抓取的图文信息，并且针对该图文信息进行识别，过滤不健康的图文信息。
技术说明书
一种基于人工智能的大数据图文识别系统及方法
技术领域
本技术属于大数据技术领域，介绍了一种基于人工智能的大数据图文识别系统及方法。背景技术
随着信息化时代的到来，云计算技术、数字技术、互联网技术等获得了进一步的发展和应用，信息产业的竞争力也在不断的加剧，对大企业而言，大数据的兴起部分是因为计算能力可用更低的成本获得，且各类系统如今已能够执行多任务处理。其次，内存的成本也在直线下降，企业可以在内存中处理比以往更多的数据，还有就是把计算机聚合成服务器集越来越简单，把那些具有潜在价值，可以给商业带来巨大利润，但是需要经过复杂处理的数据信息，而很多图文信息是需要通过技术领域才能解决不良图文信息，因此本申请提出所能人工智能大数据图文识别系统及方法，充分利用数据信息进行分析及利用。
技术内容
针对上述的传统管理平台缺陷，本技术的目的是提供一种基于人工智能的大数据图文识别系统及方法，其包括大数据管理平台、大数据抓取及方法、大数据图文识别及方法；
大数据管理平台对大数据抓取和大数据图文识别进行数据管理及方法管理；
所述的大数据抓取用于全网抓取公开数据，包括但不限于百度、搜狗、360、微博、及其他网站的公开数据进行抓取；
进一步的，所述大数据图文识别系统，用于过滤掉大数据抓取图文信息的不健康的图文信息，达到健康文明的所能大数据平台；
本技术提供一种大数据抓取方法，包括步骤如下：
①分布式抓取：利用分布式原理搭建分布式方法进行分布式抓取；
②意外断开后接着抓取：因特殊原因导致系统意外断开，当重新连接后能有效的接着上次抓取的数据继续抓取剩余的信息，防止特殊情况带来的损失；
③能反抓取：具有了自我管理和学习进步的能力，能够针对现有的知识进行快速的学习并且进行后续改进防止别人进行抓取；
④时间判断：每天抓取的内容都不一样，通过时间判断能有效的抓取当前的数据，过滤掉昨天以前的数据；
⑤防止重复抓取：各个公开网站及各个页面的数据有可能是完全一样的，为了避免重复数据的的出现，需对数据标题及内容进行分析再抓取，避免出现重复抓取，减少资源消耗；
⑥关键词抓取：通过关键词进行数据抓取，能精准有效的抓取网络公开数据；
⑦定期和持续抓取：定期抓取就是在一定的时间内进行数据抓取，过了这段时间将不再进行抓取，持续抓取将一直保持数据抓取；
⑧记忆采集点：人工智能记忆法，只要采集过的公开网站，就像人的记忆一样能智能识别并且准确的进行采集所需数据，智能过滤没用的数据，只保留图文信息，在采集过程中因意外导致停止工作时，能有效的记住采集进度，当重新工作时能接着完成未完成的工作；
⑨自动分析归类：自动分析过滤广告等没用的信息，存储所需的图文信息；自动分析生产采集规则，智能抓取各个公开全网站的图文信息；自动分析纠正，能够智能学习人工纠错的内容，使准确率越来越精准；
本技术提供一种大数据图文识别的方法，包括步骤如下：
①通过大数据抓取图文信息资料，通过tess4j技术进行图文识别；
②获取图文中的文字及图片信息后进行校对；
豫公网安备41160202000603
站长QQ:729038198
关于我们
投诉建议