新闻资讯频道
云计算数据中心领域最新资讯

nginx修改配置限制恶意爬虫频率

如何在nginx中限制恶意网络爬虫抓取内容呢?也就是限制下恶意爬虫的抓取频率。下面来一起看看。

今天这个处理方法很灵活,可以动态设定一个爬虫的频率,达到减轻服务器负载,并且不至于封杀爬虫。

1
2
3
4
5
6
7
8
9
10
11
12
13
#全局配置
limit_req_zone $anti_spider zone=anti_spider:10m rate=15r/m;
#某个server中
limit_req zone=anti_spider burst=30 nodelay;
if ($http_user_agent ~* “xxspider|xxbot”) {
set $anti_spider $http_user_agent;
}

超过设置的限定频率,就会给spider一个503。

总结

以上就是nginx修改配置限制恶意爬虫频率的全部内容,希望对大家的工作和学习能有所帮助,如果有疑问可以留言交流。

未经允许不得转载,内容均来自网上,如有侵权请联系删除,谢谢!中网科技新闻频道 » nginx修改配置限制恶意爬虫频率

分享到:更多 ()

评论 抢沙发

评论前必须登录!

 

域名、主机、云计算、服务器、机柜大带宽一站式服务平台

联系我们中网科技