-----解析几何以前使用过的主机都没有流量限制,所以从来没有留意过流量的问题。然而,参加了Jiang发起的主机合租计划后,新主机有每月5G的流量限制。本月初解析几何采用新主机,然而到今天还不足一个月,流量就已经超过了5G多,这对一个日平均独立IP只有120+的博客来说显然是不正常的,况且我博客的所有供下载文件和日志题图都使用的外链,基本上排除盗链的可能性。从CPanel中的awstats日志中也可以看到,非正常流量占据了总流量的70%左右。下面是我做的两张截图:
-----从第一张图上可以看到,Traffic not viewed *的流量有3.29G,总流量只有5G多;而第二张图上可以看到,一个未知的爬虫[Unknown robot (identified by 'spider')]带来了2G多的流量。
-----我不太明白这两点意味着什么,因为我查不到这个未知爬虫的真是身份,据说需要修改htaccess或者robots.txt中屏蔽相关的搜索引擎蜘蛛,本人对此基本一窍不通。对网站非正常流量的屏蔽,哪位朋友比较熟悉,希望能帮忙下,谢谢。
5 Responses
http://www.laifuer.cn/baidu-spider/
这个东东一点也不懂 呵呵
-----暂时禁止了百度爬虫的IP,试试看