软件下载 | 资讯教程 | 最近更新 | 下载排行 | 一键转帖 | 发布投稿
您的位置:最火下载站 > 站长之家 > 经验心得 > 通过robots.txt限制搜索引擎抓取压力和速度

通过robots.txt限制搜索引擎抓取压力和速度

大家都知道谷歌站长管理员工具提供了搜索引擎抓取压力管理工具,站长可以在后台自行调整抓取速度,现在百度站长平台也提供了这款工具,但是有的同学还是想通过robots.txt来控制,那么如何实现?请看权威人士的写法:

User-agent:Baiduspider
  Visit-time:0855-1700
说明:指定每天允许百度蜘蛛采集的时间段,格式为mmss-mmss,例如0855-1700

User-agent:Baiduspider
  Request-rate:1/5 0900-1045
说明:限制百度蜘蛛在允许的时间段内(0900-1045)隔多少秒采集一次网页,例如1/5 0900-1045。

User-agent:Baiduspider
  Crawl-delay:3600
说明:限制百度蜘蛛两次抓取的间隔时间,单位为秒。建议在蜘蛛的抓取频率过高时,可以制定蜘蛛抓取时间间隔,来降低服务器的负担,减少流量的不必要流失。

    相关阅读
    网友评论
    栏目导航
    推荐软件