利用robots文件降低网络爬虫速度减小压力

有些站长经常抱怨自己的网站打开速度很慢，用了各种方法都不起效果。也找不开影响网站打开慢的真正原因。对于我们检测的一部分网站中，有一部分网站打开慢是由于网站被大量网络爬虫频繁的访问造成的。

我们网络爬虫也就是我们 SEO 课程中讲的搜索引擎蜘蛛，我们网站想要在搜索引擎上有排名，第一步就是让搜索蜘蛛抓取我们的网站。但是网络上有大量的垃圾蜘蛛，会肆无忌惮的不J ~ b \ 1 Y停访问我们的网站，这样会给自己的网站服务器增加很大的负担。这时我们需要降Z R O $ 6低网络爬虫速度减小压力。

降低网络爬虫速度的方法很简单，在 robots.txt 文件里就可以通过代码来降Z c E低速度。

由- U + 1 j于这个还没有完全的标准，两种都用了，Crawl-delay 是每秒访& d D ~ e c 6 4问的网页数，而 Request-rate 是页面& 2 U X { 0 N数/时间段，可以设置为比较小的值，Visit-time 为允许访问的时间段。

当然，我们也可以把一些常见的垃圾蜘蛛屏蔽掉，不让他们来抓取我们的网站v d A r ~。方法见：