什么是代理劫持
作者:Zac 来源:chinamyhosting.com 发布时间:2008-03-11 11:13:00
像PR劫持一样,对一些比较难以预防的黑帽陷害手法,本来不太想积极讨论,因为有很多时候会对无辜的站长造成很大的伤害。
在前两天的SEO案例中,提到了代理劫持(proxy hijack),有人问是怎么回事,今天就解释一下。像这种东西都是 * 剑,不怀好意的人看了,又多了一个损人利己的工具。另一方面,已经深受其害的站长看了,也许对他们预防和恢复有正面意义。
代理劫持简单说就是搜索引擎收录了通过代理服务器浏览的网页,而把原本真正的网页惩罚或删除。
国内站长对代理服务器(proxy server)肯定都很熟悉。在使用代理服务器上其他网站时,浏览器显示的URL通常是类似于:
http://www.proxysite.com/proxy/www.proxysite.com
其中proxysite.com是代理服务器域名,proxysite.com是真正要访问的网站。
在浏览器打开这种URL当然没问题,但如果搜索引擎抓取了这种URL,就会对原来的网站形成完全复制内容网页。虽然复制内容网页在绝大部分情况下只是被忽略不计,但在某些情况下,搜索引擎判断错误,会把原始的版本当做是复制而被惩罚甚至被删除。
一般情况下,通过代理访问的URL不应该被收录。但如果有人恶意链接向这个代理URL,搜索引擎也会访问和抓取。
怎么预防或恢复被代理劫持的排名呢?
最简单的,如果看到自己的网页被代理劫持,查一下那个代理服务器的IP地址,自己服务器上把那个IP地址屏蔽掉,禁止抓取。
但有的时候,代理服务器的IP地址会有变化,而且代理服务器又那么多,很可能屏蔽不过来。更复杂的方法是服务器端通过程序鉴别来访问的是否是搜索引擎蜘蛛,是否是真正的搜索引擎蜘蛛。
有些情况下,搜索引擎蜘蛛通过代理URL访问时的浏览器类型(User Agent),还是搜索引擎的蜘蛛。不过,有的代理服务器可能设置为隐藏原始IP地址,隐藏User Agent,这就给判断是否是搜索引擎蜘蛛造成很大困难。
这时网站程序就需要主动验证来访的是否是真的搜索引擎蜘蛛。如果程序检验确实是真实的蜘蛛,就返回正常页面。如果检测不是蜘蛛是正常用户,或是假冒的蜘蛛,那么返回的网页都加入noindex,nofollow标签。这样这些原始网页通过代理访问时,都不能被搜索引擎所抓取。
Google2月份发表在黑板报及网站管理员博客的翻译Matt Cutts的怎样验证Google蜘蛛帖子(Matt Cutts的原贴没发在自己的博客,而是发在英文版网站管理员博客),不是发着玩的,而是有很深的意义。从目前零个引用链接和评论看,大部分人不知道这个帖子有什么用。
按说搜索引擎对这种代理劫持应该有办法判断,不然这就成了一些人可以陷害竞争对手的简易方法。不过,任何算法都有漏洞,就算算法能99%的正确判断,但是漏网的那一个错误就可能使无辜的网站被删除。
写这篇文章是希望介绍给跟多人,让大家能更好的预防。使用这种方法意图陷害他人,相信大家都会十分鄙视的。
很少写帖子时想,看懂的人越少越好。这是一篇。


猜你喜欢
- 由于ASP它本身是服务器提供的一贡服务功能,特别是最近由dVBbs的upfile文件出现漏洞以来,其高度的隐蔽性和难查杀性,对网站的安全造成
- 1.如果你是linux主机请使用.htaccess文件,无需看下去.2.如果你是独立主机,可以操作IIS,也无需看下去.3.如果你是动态文件
- 本来我想大喊一声“博客访问量就是狗屁”并将其作为本文标题,后来觉得似乎有“标题党
- 本文介绍了CentOS下MySQL的彻底卸载的几种方法,分享给大家,具体如下:1:查看MySQL是否安装:方式1:[root@localho
- 写在前面2014.6 发布《快速入门》2015.6 更新扩展阅读2016.1 更新扩展阅读1、VirtualBox虚拟机——这是什么?Vir
- docker 部署redis集群1、创建redis网卡docker network create redis --subnet 172.38
- 网络广告是主要的网络营销方法之一,在网络营销方法体系中具有举足轻重的地位,事实上多种网络营销方法也都可以理解为网络广告的具体表现形式,并不仅
- 对一个地方行业类门户网站来说,如果保持一个稳定的流量是个很重要的问题。很多类似的站点都存在着今天IP5000,明天有可能IP2000,后天1
- 对于搜索引擎来说,一个网页的<meta name="keywords" content=".......
- 应了那句“夺天下难守天下更难”的话,服务器的维护就好比“守天下&rdqu
- IIS安全安装 要构建一个安全的IIS服务器,必须从安装时就充分考虑安全问题。1. 不要将IIS安装在系统分区上。2. 修改IIS的安装默认
- 为WordPress做模板的时候我们经常可能遇到这样的问题,每个页面用的模板不一样,比如,这个页面有侧边,那个页面没侧边,这个页面用这个导航
- 最近有篇文章分析了一下超人气美国部落格Dooce,当前是Technorati排行榜的第47名部落格。网志背后的女博客叫做Heather Ar
- 目前很多用户已经宽带接入了Internet。包月的的宽带提供的带宽,已经足以使你的计算机成为互联网上的一台服务器。下面我就以易于在个人计算机
- 核心提示: 2.0的疲势在于盈利模式的不清晰,盈利模式的不清晰,又在于它没有一张清晰的脸,也就是首页。web2.0,有如digg、delic
- Twitter联合创始人比兹·斯通北京时间11月20日早间消息,据国外媒体报道,Twitter联合创始人比兹·斯通(Biz Stone)周四
- 1、勤奋:我是很建议这样做的,如果一件事你根本没花多少精力去做就成功了,那我只能说你是GOD,佩服!2、动脑:光有勤奋不够,必须在勤奋的基础
- 给大家收集了一些有关CGI/FastCGI的问题,供大家参考:GI脚本和程序上传到哪?如果你的托管帐户运行的是HostingConfigur
- 刚刚接触虚拟机,或者刚在虚拟机中安装linux的朋友们,因为是在虚拟机中安装的系统,所以需要自己配置IP地址。下面分几步来配置这个IP地址:
- 在linux安装软件的时候,我总会有这样的想法,软件到底安装到那个目录下。因为linux系统有别与Windows系统,不是在那个盘创建一个文