屏弊垃圾流量-杀死搜狗蜘蛛

说实在的，我现在的这个博客一天要消耗掉2.5G的带宽，以前一直不知道，就是最近才关注。而我的博客一天的访客仅仅在一两百左右，这样的流量消耗确实让人吃惊。也因为我用的DH的主机，不限流量，所以一直顺其自然。后来买国内空间，做淘宝客站时，情况就大不一样了，2M的程序，一天没访客（百度都k完了）居然也会耗掉将近1G的带宽，而且动不动就把程序池给弄死了。这才让我一定要弄明白下原因。

使用国内win主机我是没办法查清楚具体的访客，包括蜘蛛的，所以买 的那些空间全废了。看到淘宝上的便宜的linux主机就买了个，而且是cpanel面板，然后我就天天去看一下访问统计，这才发现原因。tmd的，全是搜狗，搜搜的机器人，而且还超级勤快，每秒都在跑，都在干活。而我的那个淘客站它收录了一万多，所以这样算起来，流量耗尽也不奇怪了。

照例用百度，在网上搜了些屏弊的方法，cpanl面板自带就有屏弊ip的设置。实 际就是写入了htaccess文件里面。但我设置后，居然出现500错误，主要就是ip段那部分有问题。经过重新搜集一些资料，总算搞清楚了。
一，通过htaccess，这个仅限linux主机。我把我的代码直接帖过来。

也还有一些其它的，就是直接屏弊它的bot，类似下面这样，但貌似不管用。

第二种方法就是通过rotobs.txt，这种方法对于有些是肯定不管用的。

不管怎么说，我觉得百度还是不用屏的，而且更需要它，这里主要是屏搜狗搜搜的，因为它不会给我们带来任何的流量。当然也还有其它的机器人，什么yahoo,msn，他们倒不会很勤快，可以忽略。

我的站通过htaccess还是起了很大作用的，现在淘客站一天只消耗一百多兆，算是很正常了。