apache禁止搜索引擎收录、网络爬虫采集的配置方法
作者:junjie 发布时间:2023-11-02 19:42:05
标签:apache,禁止,搜索引擎,网络爬虫
Apache中禁止网络爬虫,之前设置了很多次的,但总是不起作用,原来是是写错了,不能写到Dirctory中,要写到Location中
<Location />
SetEnvIfNoCase User-Agent "spider" bad_bot
BrowserMatchNoCase bingbot bad_bot
BrowserMatchNoCase Googlebot bad_bot
Order Deny,Allow
#下面是禁止soso的爬虫
Deny from 124.115.4. 124.115.0. 64.69.34.135 216.240.136.125 218.15.197.69 155.69.160.99 58.60.13. 121.14.96. 58.60.14. 58.61.164. 202.108.7.209
Deny from env=bad_bot
</Location>
这是禁止了所有包含spider字符的爬虫。
如果要针对性的禁止爬虫,改成精确匹配的爬虫字符串,如果bingbot、Googlebot等等
0
投稿
猜你喜欢
- 1. 简要双网卡绑定技术在centos7中使用了teaming技术,而在rhel6/centos7中使用的是bonding技术,在cento
- 看大家的文章看多了,软文也发的多,现在也想自己写一篇原创的来秀秀,文笔不好,小学作文从来都是70分左右摇,有看不懂的,请别扔烟头!从毕业到现
- 什么是PPC广告?Pay-per-click (PPC)是通过互联网登广告的最好的办法之一,它也是让你的网站产生销售最快的办法之一。当你通过
- 企业管理工具开发商BeyondTrust近日表示,微软在Windows 7中对颇受争议的UAC(用户账户控制)所做的改进只是表面功夫,根本没
- 方法1、因为没有像PHP自带的ReWrite模块,所以需要下载IIS Rewrite模块:http://www.isapirewrite.c
- 很多站长都挂上了联盟的广告来赢利,而联盟大多都以百度、GG为主,站长们在通过了审核之后,放好广告,并想尽办法的去优化,以求获得更好的点击率,
- 作为Internet上的FTP服务器,系统的安全性是非常重要的,这是建立FTP服务器者所考虑的第一个问题。其安全性主要包括以下几个方面:一、
- 前些天在站长网看到一篇文章,大体是说写了一篇败坏百度的博文,被百度惩罚了,又写了一篇赞美百度的博文,立刻恢复收录了。加上留言里有人有相同的遭
- 1.下载httpd软件,编译Apache:。/configure ——enable-ssl(使之支持SSL)makemake install
- 新站,在去找人交换链接的时候,一般都是不愿意做的。所以,一般的新站,要么他要身就有人脉资源,要么就能只通过自己的努力,有的人用博客做外链,有
- apache 2.2# This is the main Apache server configuration file. It cont
- Apache模块 mod_rewrite 提供了一个基于正则表达式分析器的重写引擎来实时重写URL请求。它支持每个完整规则可以拥有不限数量的
- 李彦宏昨日在香港科技大学演讲时,首度披露了进军日本市场涉及的搜索内容,“我们在日本市场已经推出网页搜索、图像搜索、视频搜索,而我们进军全球市
- 当前,国内社交网站(SNS)的发展呈现多元化趋势,搜狐、新浪、盛大、腾讯等都在进入社交领域。现对大部分用户来说,到各种网站上建立自己的好友关
- 一、背景说明1.1 面临问题最近一份产品检测报告建议使用基于pki的认证方式,由于产品已实现https,商量之下认为其意思是使用双向认证以处
- 在Windows系统中,磁盘碎片是一个常见的问题,如果不注意,系统性能可能被侵蚀。Linux使用第二扩展文件系统(ext2),它以一种完全不
- 北京时间10月24日消息,据国外媒体报道,上网本销售强劲及微软Office销售疲软累及其2010财年第一财季业绩。至少有一位分析师预计,即使
- WebRTC,即Web Real-Time Communication,web实时通信技术。简单地说就是在web浏览器里面引入实时通信,包括
- 十二月份,百度算法调整,结合地域查询功能,自动过滤信息,提示用户所在省市,将同城(同省)商品搜索结果放在最前端。比如搜索长沙家教,长沙的家教
- 11月26日 360安全浏览器推出一年来迅速赢得了网民的认可,而安全无疑是这款浏览器最显著的特色。360总裁齐向东表示,90%的