软件下载 | 资讯教程 | 最近更新 | 下载排行 | 一键转帖 | 发布投稿
您的位置:最火下载站 > 资讯阅读 > 站长新闻 > 360综合搜索公布其爬虫名称:360Spider

360综合搜索公布其爬虫名称:360Spider

  近日,360综合搜索爬虫-360蜘蛛正式推出。站长可以通过设置网站robots.txt文件来决定是否允许360搜索蜘蛛(360Spider)抓取网站内容。

  以下是来自360综合搜索官方微博的消息:

  网站站长们请注意:隆重向大家介绍360搜索的蜘蛛(也叫爬虫)——360Spider。如果您希望自己的网站被360综合搜索收录,请检查一下您的网站robots.txt 文件是否允许360搜索蜘蛛抓取您的网站内容。如果您的网站还没有允许360搜索蜘蛛抓取,只要在robots.txt 文件中添加下面的代码就可以啦  

User-agent: 360Spider
Allow: /

  另外据最火软件站编辑发现,360蜘蛛的IP段是:182.118.20.* 爬虫服务器数量至少有数十台,可见360搜索不再是站长们心中所想的聚合搜索,而是具备一定抓取能力的搜索引擎了。

    相关阅读
    栏目导航
    推荐软件