如何禁止搜索引擎收录你的网站
作者：侯庆龙 来源：SEO优化 发布时间：2008-10-20 12:57:00
如果你的网站涉及个人隐私或者机密性非公开的网页，怎样告诉禁止搜索引擎收录抓取，下面侯庆龙说下以下方法，希望对不想被搜索引擎收录抓取网站有所帮助。
第一种、robots.txt方法
搜索引擎默认的遵守robots.txt协议，创建robots.txt文本文件放至网站根目录下，编辑代码如下:
User-agent: *
Disallow:
通过代码，即可告诉搜索引擎不要抓取采取收录本网站。
第二种、网页代码
在网站首页代码<head>与</head>之间，加入<meta name="robots" content="noarchive">代码，此标记禁止搜索引擎抓取网站并显示网页快照。
如何禁止百度搜索引擎收录抓取网页
1、编辑robots.txt文件，设计标记为:
User-agent: Baiduspider
Disallow: /
2、在网站首页代码<head>与</head>之间，加入<meta name="Baiduspider" content="noarchive">即可禁止百度搜索引擎抓取网站并显示网页快照。
3、联系百度管理人员，信箱地址为:webmaster@baidu.com，用网站联系人信箱发电邮，如实说明删除网页快照的情况，经百度核实后，网页停止收录抓取。
4、登陆百度自己的“百度快照”帖吧和“百度投诉”帖吧，发个帖子，表明删除网页收录网站快照的原因，当百度管理人员，看到会给予处理。
如何禁止Google搜索引擎收录抓取网页
1、编辑robots.txt文件，设计标记为:
User-agent: googlebot
Disallow: /
2、在网站首页代码<head>与</head>之间，加入<meta name="googlebot" content="noarchive">即可禁止百度搜索引擎抓取网站并显示网页快照。
0
投稿猜你喜欢
python配置matlab库1、确认配置版本matlab与python有相互对应的版本，需要两者版本兼容。如不兼容，需要调整matlab版- 一、错误代码：摘要和详细的url获取不到import asynciofrom bs4 import BeautifulSoupimport
- 本文实例为大家分享了vue使用canvas绘制圆环的具体代码，供大家参考，具体内容如下很多时候，会有绘制圆环的要求，比如渐变，圆环等等所以现
- 阅读上一篇：成为一个顶级设计师的第一准则限制你的色彩成为一个顶级设计师的7个简单原则的第二部分限制使用你的色彩。好象上个准则是让你限制用你的
- 享元模式（Flyweight Pattern）是什么享元模式是一种结构型模式，它通过共享对象来减少系统中的对象数量，从而降低了内存的使用和系
- MySQL主从配置及原理，供大家参考，具体内容如下一、环境选择：1.Centos 6.52.MySQL 5.7二、什么是MySQL主从复制M
- 背景index页面：首页品牌入口list页面：商品列表页面product页面：商品详情页面从index页面进入list的时候要刷新页面，从p
- 前言大家都知道Web运维总要关注相关域名的实时2xx/s、4xx/s、5xx/s、响应时间、带宽等这些指标，之前的日志是五分钟一分割，简单的
- 读写文件是最常见的IO操作。Python内置了读写文件的函数，用法和C是兼容的。读写文件前，我们先必须了解一下，在磁盘上读写文件的功能都是由
- 问题：根据数据某列进行分组，选择其中另一列大小top-K的的所在行数据解析：求解思路很清晰，即先用groupby对数据进行分组，然后再根据分
- 前言最近整理图片发现，好多图片都非常相似，于是写如下代码去删除，有两种方法：注：第一种方法只对于连续图片（例一个视频里截下的图片）准确率也较
- AJAX:Asynchronous JavaScript And XML--------异步JavaScript和XML
- python3 在服务器上打印资产信息pip3 install prettytableurl 为 资产信息接口地址，返回为json信息。#
- 前言公司的Ubuntu服务器对于各个系统的目录是放在不同的逻辑分区上的，比如存放mysql数据库文件的默认目录/var/lib/mysql所
- 介绍观察者模式：是一种行为型设计模式。主要关注的是对象的责任，允许你定义一种订阅机制，可在对象事件发生时通知多个"观察"
- 1.安装python3yum -y install wget gcc make zlib-devel readline-devel bzip
- 今天想用ruby on rails做一个小项目,需要用到mysql数据库,项目中的数据已经有了,只不过是保存在Sql Server中,用ra
- 1. 切片不执行越界检查和报错下面代码的输出结果将是什么？list = ['a', 'b', 'c&
- 误区 #21:数据库损坏可以通过重启SQL Server或是Windows,或是附加和分离数据库解决 错误 SQL Server中没有任何一
- 项目简介之前学python的时候 写了个游戏来练手 用的是 pygame 没有别的依赖只用了一两百行的代码就实现了 整体来说功能并不算完整项
