软件下载 | 资讯教程 | 最近更新 | 下载排行 | 一键转帖 | 发布投稿
您的位置:最火下载站 > 资讯阅读 > 站长新闻 > 新信息中心关于检测爬虫错误增长的通知

新信息中心关于检测爬虫错误增长的通知

  当Googlebot抓取您的网站时,大多数URL地址将会返回一个200回应代码,有些是404回应代码,有些则被robots.txt禁止抓取。如果我们无法访问您的内容,我们会在网站站长工具的爬虫错误(Crawl errors)上显示该信息(尽管这可能是有意的,本质上来说并不是一个错误)。当我们检测到影响特定网站的爬虫错误数目明显增加时,我们将发送SiteNotice信息,向网站站长提供实用的可操作信息。这些通知旨在警告您与爬虫相关的潜在问题,并提供一组URL地址模板用来诊断和修复这些问题.

  例如,不可访问的URL地址数目明显增加时,SiteNotice将如下所示:

  我们希望您能注意到,SiteNotices可以帮您识别和处理那些稍不注意就可能对爬虫覆盖率带来负面影响的问题。只有您在网站站长工具中验证了您的网站,同时检测到您的网站爬虫错误数目显著变化时,您才会收到这些通知。如果您不希望遗漏任何重要信息,您可以使用电子邮件转发功能,在收件箱中接收这些警告通知。

  如果您有任何问题,请发布在我们的网站站长帮助论坛中或在此留下您的意见。

  发表者:Pooja ShahJonathan Simon

  原文链接:New Message Center notifications for detecting an increase in Crawl Errors

  网站站长级别:所有

    相关阅读
    网友评论
    栏目导航
    推荐软件