江门 · 佛山 · 中山 · 珠海 · 广州 | 网站建设 · 小程序 · 短视频运营 · GEO 优化 139-0288-5379 联系我们

【完美解决】爬虫攻击导致的服务器跑满问题!

2019-06-28 · 49262 次浏览

【完美解决】爬虫攻击导致的服务器跑满问题!
2019-06-28 · 网络营销干货 · 49262 次浏览

这几天服务器跑满问题,爬虫攻击让笔者不恼火,经过多次试验终于把问题解决了!

nginx在站点的设置,配置文件中 server{ } 中添加


 #禁止爬虫工具的抓取
    if ($http_user_agent ~* "Bytespider|FISPIDER|YisouSpider") {
      return 403;
    }

Appache:
在伪静态里设置 这里以thinkphp为例!

<IfModule mod_rewrite.c>
RewriteEngine on
RewriteCond %{REQUEST_FILENAME} !-d
RewriteCond %{REQUEST_FILENAME} !-f
RewriteRule ^(.*)$ index.php [L,E=PATH_INFO:$1]
 #禁止爬虫工具的抓取
RewriteCond %{HTTP_USER_AGENT} "^.*FISPIDER.*|.*YisouSpider.*$" [NC]
RewriteRule ^(.*)$ - [R=404,L]

</IfModule>


直接出解决方案,不说别的废话!

需要针对贵公司的具体建议?免费获取诊断方案 →