软件下载 | 资讯教程 | 最近更新 | 下载排行 | 一键转帖 | 发布投稿
您的位置:最火下载站 > 站长之家 > 分析研究 > WukongSpider 悟空搜索蜘蛛的去留问题

WukongSpider 悟空搜索蜘蛛的去留问题

  今天在查看IIS日志时发现,“WukongSpider”竟然占了很大的量,在其中一天的日志中,WukongSpider竟然达1万多条,一万多PV啊,就这么被这个可恶的悟空搜索给霸占了,并且WukongSpider出现频率过高,已经超过Google / Baidu / Yahoo / Youdao / Soso等正规搜索引擎的抓取条数了。

  网上查了一下这个站:

唔箜搜索
唔箜搜索是综合型的手机搜索引擎,提供分类定向搜索,共有手机图片、手机铃声、mp3、手机地图、手机游戏等17个类别的搜索和下载.
wukong.net

  从界面上看是个手机浏览网站,Alexa排名在30多万位,但不知道手机终端浏览者是否多,烈火小编提示各位站长朋友,即使是手机访问量很大的站点,到目前为止在收入上也是一片空白,建议大家干掉悟空搜索的蜘蛛,不要再让它到处爬了。

  方法一:

  将WukongSpider添加到Robots.txt,相信这个家伙也是遵循搜索引擎抓取规则的。

  方法二:

  将WukongSpider的IP地址加入到黑名单中,禁止该IP来访,可以大大减轻服务器的压力。

  烈火推荐:以上两个方法都使用,PS:如果你的网站是手机类站点,就不要屏蔽了!

    相关阅读
    栏目导航
    推荐软件