标签： 面板
宝塔面板设置网站屏蔽垃圾蜘蛛
在网上找了两种方案，大家自行选择。
如果用的是宝塔面板！
宝塔-网站-设置-配置文件
把以下代码添加进去！
解决百分之90以上的垃圾蜘蛛！
服务器瞬间就清净了！
#禁止Scrapy等工具的抓取
if ($http_user_agent ~* (Scrapy|HttpClient|crawl|curb|git|Wtrace)) {
return 403;
}
#禁止指定UA及UA为空的访……