Robots标准制作方法

<标准制作方法
摆平就是水平
一个网站,可以有标准,也可以没有。但是如果要有,那就必须做的规范,下面就个人经验来说下的制作方法。
文件命令包括:
张思来
 Disallow - 告诉蜘蛛不要抓取某些文件或目录。如下面代码将阻止蜘蛛抓取所有的网站文件:
 User-agent: *永吉十中
 Disallow: /黄竹白毫
 Allow - 告诉蜘蛛应该抓取某些文件。Allow和Disallow配合使用,可以告诉蜘蛛某个目录下,大部分都不抓取,只抓取一部分。如下面代码将使蜘蛛不抓取ab目录下其他文件,而只抓取其中cd下的文件:中国电梯网
 User-agent: *
 Disallow: /ab/
邢源高 Allow: /ab/cd

本文发布于:2024-09-22 12:52:48,感谢您对本站的认可!

本文链接:https://www.17tex.com/xueshu/133786.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:抓取   蜘蛛   文件   标准
留言与评论(共有 0 条评论)
   
验证码:
Copyright ©2019-2024 Comsenz Inc.Powered by © 易纺专利技术学习网 豫ICP备2022007602号 豫公网安备41160202000603 站长QQ:729038198 关于我们 投诉建议