软件下载 | 资讯教程 | 最近更新 | 下载排行 | 一键转帖 | 发布投稿
您的位置:最火下载站 > 资讯阅读 > 站长新闻 > 必应新机器人爬虫Bingbot2010年10月启用

必应新机器人爬虫Bingbot2010年10月启用

  自2009 年11 月,Bing(必应) 团队就已开始忙于改进 Bing 的抓取机器人(也称爬虫),并且将在今年 10 月 1 日,新的Bing 机器人 Bingbot 将代替旧的 MSNbot 2.0b。

  更新后的UA 将是:

  Mozilla/5.0 (compatible; bingbot/2.0 +http://www.bing.com/bingbot.htm)

  HTTP 头也将附带如下 FROM 信息:

  From: bingbot(at)microsoft.com

  另外,robots.txt 中涉及 msnbot 的规则仍将生效,不过 bingbot 和其他旧版微软搜索引擎机器人共存情况下,bingbot 规则优先生效。

    相关阅读
    栏目导航
    推荐软件