软件下载 | 资讯教程 | 最近更新 | 下载排行 | 一键转帖 | 发布投稿
您的位置:最火下载站 > 站长之家 > 搜索优化 > 如何验证谷歌 Googlebot(抓取机器人)

如何验证谷歌 Googlebot(抓取机器人)

  近我听到一些聪明 人士要求搜索引擎提供一种方法来验证一个抓取机器人是正宗的。毕竟,任何垃圾制造者都可以用Googlebot来命名他们的抓取机器人,并声称自己是Google的。那么,你应该信任哪些抓取机器人,又应该阻截哪些?

  我们听到最普遍的要求是把Googlebot的IP地址列表公布给大家。这个做法的问题是,如果/当我们的抓取工具的IP地址范围改变时,并非每个人都知 道去检查。事实上,爬行组几年前搬迁过Googlebot的IP地址,他们遇到的一个真正的麻烦是提醒一些把Googlebot的IP范围写在他们的程序 里的网管们。所以爬行组的成员们提供了另一种方法来验证Googlebot。这里是爬行组成员们提供的一个答案(经他们同意在此引述) :

  请告诉网站管理员们,最好的方法看来是使用域名解析服务器(DNS)来核实每个案例。我推荐的验证技术是做反向DNS查找,核实该名字是在googlebot.com域名内,然后使用该googlebot.com名做一个相应的正向DNS->IP的查找; 例如:

  (译者注:以下是Linux命令及执行结果)

  > host 66.249.66.1

  1.66.249.66.in-addr.arpa domain name pointer crawl-66-249-66-1.googlebot.com.

  (1.66.249.66.in-addr.arpa域名指针crawl-66-249-66-1.googlebot.com)

  > host crawl-66-249-66-1.googlebot.com

  crawl-66-249-66-1.googlebot.com has address 66.249.66.1

  (crawl-66-249-66-1.googlebot.com的IP地址是66.249.66.1)

  我认为只做反向DNS查找是不够的,因为一个垃圾制造者可以建立反向的DNS来指向crawl-a-b-c-d.googlebot.com。

  这个答案也是我们内部的技术帮助中心提供给我的,所以我认为这是一个验证Googlebot的官方方法。为了从“官方的”Googlebot IP范围内抓取,抓取机器人要尊重robots.txt和我们内部的主机负荷惯例,从而使Google不过分爬行您的网站。

  (感谢N.和J.为此文提供的帮助,他们介绍了爬行方面涉及的东西) 。

  来自:谷歌网站管理员中文博客

    相关阅读
    栏目导航
    推荐软件