首页 > 学术百科

数据爬取方法、装置、计算机设备及存储介质[发明专利]

专利名称：数据爬取方法、装置、计算机设备及存储介质专利类型：发明专利

发明人：蔡俊

申请号：CN201810594254.9

申请日：20180611

公开号：CN108897788A

公开日：

20181127

专利内容由知识产权出版社提供

摘要：本发明公开了一种数据爬取方法、装置、计算机设备及存储介质，所述方法包括，通过采用网络标识信息访问第一网页，若访问成功，且第一网址为非域名，则对第一网址进行解析，得到第一网址对应的域名，访问域名对应的第一网站的首页，若访问成功，且所述第一网址为域名或访问域名对应的第一网站的首页成功，则遍历各个第二网页，若访问成功，对第二网页内容进行解析，得到需要爬取的数据，若访问第一网址对应的第一网页不成功，或者访问域名对应的第一网站的首页不成功，或者遍历各个第二网页不成功，则采用Tornado分派新的网络标识信息至标识频道，返回执行采用网络标识信息访问对应的第一网页的步骤，从而提高了数据爬取的稳定性。

申请人：平安科技(深圳)有限公司

地址：518000 广东省深圳市福田区八卦岭工业区平安大厦六楼

国籍：CN

代理机构：深圳众鼎专利商标代理事务所(普通合伙)

代理人：胡志桐

本文发布于:2024-09-20 15:31:09，感谢您对本站的认可！

本文链接：https://www.17tex.com/xueshu/764502.html

上一篇：内容推荐方法及装置[发明专利]

下一篇：一种信息处理方法、装置及计算机可读存储介质[发明专利]