屏蔽掉没用的蜘蛛爬虫YisouSpider和bingbot

屏蔽掉没用的蜘蛛爬虫YisouSpider和bingbot

在这一个星期中,两台云服务器的内存使用率一直持续在90%以上,TCP连接数均保持在1000个/s,导致网站打开巨卡。

还以为程序出了什么问题,后来查看Log,发现几个蜘蛛爬虫太吓人了,秒级请求。

必须搞掉。

在nginx的conf中配置如下:

//加上:

if ($http_user_agent ~* "YisouSpider|bingbot") {
        return 403;
}

发表评论

电子邮件地址不会被公开。 必填项已用*标注