Apache禁止指定user_agent(防止爬虫扒取)-创新互联
该功能可以禁止部分我们不需要的访问名单(),通过改写rewrite模块来实现。
成都创新互联公司专注于博兴企业网站建设,自适应网站建设,商城网站建设。博兴网站建设公司,为博兴等地区提供建站服务。全流程按需定制开发,专业设计,全程项目跟踪,成都创新互联公司专业和态度为您提供的服务tail /tmp/
tail /usr/local/apache2/logs/test.com-access_20150121_log
在rewrite模块中添加如下信息:
RewriteCond %{HTTP_USER_AGENT} ^.*curl.* [NC,OR]
RewriteCond %{HTTP_USER_AGENT} ^.*chrome* [NC]
RewriteRule .* - [F]
保存退出
测试
apachectl -t
apachectl restart
curl -x127.0.0.1:80 www.test.com/data/forum.php(默认403错误)
curl -x192.168.11.160:80 www.test.com/data/forum.php(默认403错误)
vi /usr/local/apache2/conf/extra/httpd-vhosts.conf(注释掉)
# RewriteCond %{HTTP_USER_AGENT} ^.*curl.* [NC,OR]
apachectl -t
apachectl restart
curl -x192.168.11.160:80 www.test.com/adsjkf(404)
curl -x192.168.11.160:80 www.test.com/forum.php -I(200)
浏览器 www.test.com
curl -A "sdfsadsdfa" -x192.168.11.160:80 www.test.com/forum.php -I
curl -A "sdfsadchrome sdfa" -x192.168.11.160:80 www.test.com/forum.php -I
另外有需要云服务器可以了解下创新互联scvps.cn,海内外云服务器15元起步,三天无理由+7*72小时售后在线,公司持有idc许可证,提供“云服务器、裸金属服务器、高防服务器、香港服务器、美国服务器、虚拟主机、免备案服务器”等云主机租用服务以及企业上云的综合解决方案,具有“安全稳定、简单易用、服务可用性高、性价比高”等特点与优势,专为企业上云打造定制,能够满足用户丰富、多元化的应用场景需求。
网页标题:Apache禁止指定user_agent(防止爬虫扒取)-创新互联
本文来源:http://hbruida.cn/article/jejhp.html