apache使用.htaccess文件实现屏蔽wget下载网站内容
作者:hebedich 发布时间:2023-08-15 05:48:21
标签:屏蔽,wget下载,apache
经发现,虽然wget遵循 robots.txt 规则,但是那个还是可以绕过去,现在把我自己使用的屏蔽方法分享给大家:
1. 屏蔽下载任何文件
.htaccess
SetEnvIfNoCase User-Agent "^wget" bad_bot
<Limit GET POST>
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</Limit>
2. 屏蔽下载部分文件
.htaccess
SetEnvIfNoCase User-Agent "^Wget" bad_bot
SetEnvIfNoCase User-Agent "^Wget/1.5.3" bad_bot
SetEnvIfNoCase User-Agent "^Wget/1.6" bad_bot
<Files ~ "\.(html|pdf|mp3|zip|rar|exe|gif|jpe?g|png|php|jsp) $">
Order Allow,Deny
Allow from all
Deny from env=bad_bot
</files>
0
投稿
猜你喜欢
- 数据中心操作大量的数据。当数据遭到破坏时,这就是一场灾难。这正是定期进行备份的重要性。即使你有大量的备份数据都没有使用,备份也肯定不是在浪费
- 一. HTTP压缩概述HTTP压缩是在Web服务器和 浏览器间传输压缩文本内容的方法。HTTP压缩采用通用的压缩算法如gzip等压缩HTML
- 在局域网环境中,网管往往非常重视对Windows服务器硬盘中的用户数据文件的备份,而忽视了对Windows系统本身提供的各种服务的状态信息和
- 一、很多SEO文章里都提及301重定向,能说说它的作用吗? 当你的站点域名发生变化或者网页地址更改(网页更换存放目录或者网页文件的名称发生改
- 在卓越亚马逊久蛰待发的2009年初,当当网总裁李国庆(李国庆新闻,李国庆说吧)宣布了网站正式盈利的消息。当当网市场营销副总裁陈腾华这样解释&
- 前言springboot的配置文件中,配置文件的名字都有各自的意义跟用途dev 开发环境prod 生产环境(默认)test 测试环境加载指定
- 目前最新版本是Discuz! 7.2。本期教程笔者为大家讲解Discuz!论坛“阅读区域宽度”及“帖内图片最大宽度”的功能设置。“阅读区域宽
- 当网站没流量的时候,我们的站长该怎么做呢?我就拿我一个成功网站的(www.hngwyw.com)经验给大家说下,从以前的100到现在日IP5
- 在入门篇,我们学会了SQL注入的判断方法,但真正要拿到网站的保密内容,是远远不够的。接下来,我们就继续学习如何从数据库中获取想要获得的内容,
- 10月16日消息,据消息人士透露,网页游戏运营商51wan近日调开通新域名kaixin(http://kaixin.51wan.com/),
- 本文主要是记录一下在apache二级目录上面部署react和vue项目。根目录下面部署很简单,但是在二级目录下就需要在webpack的配置或
- FTP命令是Internet用户使用最频繁的命令之一,不论是在DOS还是UNIX操作系统下使用FTP,都会遇到大量的FTP内部命令。 熟悉并
- 10月21日消息,阿里巴巴B2B公司今日对外公布“中国中小企业商务服务伙伴计划”,与首批纳入计划的四家物流巨头签订战略合作协议,其中天天快递
- 任何一个事情都有重点,我在‘论坛营销成功学(一)’中就把论坛营销的重点基本都说出来了。看过以后你可能觉得这些东西都知道,没有必要往下看了。其
- 1.域名轰炸域名轰炸,英文称:domain spamSEO新手往往会认为,注册N个域名,都连向主站,这样就可以增加主站的PR。如果这N个域名
- 1、勤奋:我是很建议这样做的,如果一件事你根本没花多少精力去做就成功了,那我只能说你是GOD,佩服!2、动脑:光有勤奋不够,必须在勤奋的基础
- 我们一直致力于为发布商提供充足的数据信息,从而让您更好地了解自己的网站运营和广告效果。现在我们很高兴地告诉大家,AdSense 帐户将会融入
- 广告版块是对于很多网站、论坛来说是必须的版块之一。无规矩不成方圆,如果广告版块没有相应的规章制度,将会造成版块混乱,甚至可能影响到整个网站、
- 一、用拷贝的内容替换当发生拼写错误或者想要重命名标识符时,就需要用拷贝的内容来替换当前的名字。比如调用函数时写错了:void letus_f
- 最近发现Namecheap搞了个1.99美元域名优惠活动,就有人问有没有将域名从Godaddy转移到Namecheap的图文教程,因为笔者一