分词与索引库
来源：SEM 一言之家 发布时间：2009-09-22 15:17:00
分词是很多做SEO的人常听到的概念，为了让大家在这个方面不会有疑惑，现在要来讲一下分词以及索引库。这也是更深入的了解搜索引擎的开始。
搜索引擎每天都是在处理一个基本的需求：用户搜索一个关键词，搜索引擎马上找到相关的网页给用户。这个过程要怎么实现呢？下面就分步来了解这个过程。
首先搜索引擎要尽可能多的把互联网上的网页搜集下来，这样能提供大量的网页给用户查询。这一部分由爬虫来解决，顺着互联网上的链接一个个往下抓取。最后就有了一堆记录着网页各种信息的资料库。目前的现状，最后能使这个资料库里有大概100多亿个网页。资料库里记录了这些网页的URL，整个网页的HTML代码，网页标题等等信息。
然后，搜索引擎拿到用户输入的这个关键词后，要从这个资料库里把相关的网页找出来给用户。这里就碰到好几个问题了：
1，要怎么快速的从上100亿个网页里找出匹配的网页的呢？
要知道这是从上百亿的网页里找符合这个关键词内容的网页，如果像用word里那种用ctrl + F 轮询的查找方式的话，即使用超级计算机，也不知道要消耗多少时间。但是现在的搜索引擎，在几分之一秒里就实现了。所以一定是做了一些处理才实现的。
解决办法也倒简单，就是建立一份索引库。就像我们查《新华字典》一样，我们不会翻遍《新华字典》的每一页来查那个字在哪页，而是先去索引表那里找这个字，拿到页码后，直接翻到那页就可以了。搜索引擎也会为上百亿的网页建立一个索引库，用户查询信息的时候，是先到搜索引库里查一下要找的信息在哪些网页，然后就引导你去那些网页的。
如下图：
索引库
2，索引库里用什么样的分类方式？
我们知道，《新华字典》的索引表是用字母列表或者偏旁部首的分类方式的。那么搜索引擎的索引库里是怎么分类的？是不是也可以用字母列表的方式？
搜索引擎如果以字母列表的方式排列索引库，那么平均每个字母下要查询的网页数量是 100亿÷26＝3.85亿 ，也还是一个很大的数字。而且搜索引擎上，今天是100亿个网页，过不了多久就是300亿个网页了。
0
投稿猜你喜欢
- 我是一个农村的90后站长，搞网站4年了，对于网站宣传有一些研究。网站做好了肯定是想让更多的人看到，毕竟是咱的心血，没有人看怎么行。那么我们就
- 百度联盟网盟推广图文混排产品形式上线，全新产品形式将助您提升收益！图文混排是主题描述产品在文字、图片形式之外新增加的一种推广形式。它是一种除
- 1.新建用户wwweee000[root@localhost ~]# useradd wwweee000[root@localhost ~]
- 1、百度提交网址现在百度自动收录的速度已经让众人所知，所以提出以下的方法。仅供所有的SEO爱好者参详，学习。2、创建百度空间一般来说，创建的
- Adobe Dreamweaver支持HTML5 Xtalk社区聊天插件 v1.2 正式版5月19日发布。Xtalk是为Discuz！/UC
魔兽世界迎来五周年（腾讯科技配图）北京时间11月24日消息，据国外媒体报道，网络游戏《魔兽世界》11月23日（北京时间11月24日）迎来了五- SEO，你也许还不太清楚这是个什么东西;SEO，你也许已经发现它成了周围的站长和blogger们津津乐道的话题。无论如何，我希望谨以此文，还
- 什么是虚拟软件虚拟软件是一个可以使你在一台机器上同时运行二个或更多Windows、Linux等系统，它可以模拟一个标准PC环境。这个环境和真
- 上周，据国外媒体报道，英特尔再遭遇指控利用“贿赂和胁迫”手段垄断市场，而且这次是向全球第三大电脑生产
- 前面装过一次PHP5.2，但PHP5.3与PHP5.2相比，变化很多。由于PHP5.3的全新特效及改进，原有的isapi方式解析PHP脚本已
- DoS即Denial Of Service，拒绝服务的缩写。DoS是指故意攻击网络协议实现的缺陷，或直接通过野蛮手段耗尽被攻击对象的资源，目
- What's more important to your web site: pictures or text? If you h
- 最近听到很多站长都在说：“做完这个月就辞职，专心在家做站，争取的XX月内赚到多少多少”，同样的也会听到很多站长在说：“拿完google这个月
- 1 进入阿里云控制台，找到域名控制台，选择需要绑定的域名点击【解析】2 添加解析主机记录：www ：将域名解析为www.example.co
- 网易科技讯 5月13日凌晨消息，微软今天正式在全球发布了包括MS Office 2010在内的商用平台软件。和以往相比，新商用软件平台最大的
- 概要本文介绍了如何配置“域名系统”(DNS) 服务器，使其承载可从外部访问（即从Internet 访
- 2008新春大假宣告落幕。日前百度发布“2008春节热点报告”，报告通过对亿万网民的检索数据分析，反映了春节期间人们关注的焦点话题，如，春运
- 现在一般的行业门户网站为了业务的发展和网络推广，一般都会开通几个地区和子行业的分站。下面是一些解决思路，需要的朋友可以参考下。对于分站来说一
- 内容优是是任何一项SEO活动的关键所在。毕竟，你会不断地增加并升级网站内容和博客，因此，也就是有新的机会调整内容，并改善搜索引擎的整体可视性
- 目前，市场上有多种Internet邮件服务器产品供选择，这些邮件服务器产品价格各异，所提供的功能也有不少差别。对于网络管理员来说，如何根据自
