网络爬虫系统及方法[发明专利]

专利名称：网络爬虫系统及方法专利类型：发明专利

发明人：郭星星

申请号：CN201910017134.7申请日：20190108

公开号：CN109783715A

公开日：

20190521

专利内容由知识产权出版社提供

摘要：本公开提供了一种网络爬虫系统及方法，所述网络爬虫系统可以在用户授权的情况下自动抓取网络特定信息，所述用户交互模块获取了用户授权信息之后用把相关的授权信息提交到调度处理模块，由调度模块处理抓取相应的规则，解决了普通网络爬虫无法对于特定私有信息的自动化获取。同时，所述网络爬虫系统使用消息队列，作为中间件，来实现异步解耦，所述网络爬虫系统采用异步的请求方式来处理任务，系统结构易于拓展，各层连接通过消息队列来处理，使爬虫任务有了下发式，避免了重复任务的情况，增加了系统的稳定性，大大提高了用户响应时间，充分利用了系统资源，提高了系统的并发量，系统利用率大大提升。

申请人：鑫涌算力信息科技(上海)有限公司

地址：200090 上海市杨浦区黄兴路2218号第28层2808室

国籍：CN

代理机构：上海翰信知识产权代理事务所(普通合伙)

代理人：张维东

本文发布于:2024-09-22 06:59:33，感谢您对本站的认可！

本文链接：https://www.17tex.com/tex/4/417393.html

上一篇：交互系统[实用新型专利]

下一篇：一种数字林业大数据系统的构建方法[发明专利]