分词与索引库
来源：SEM 一言之家 发布时间：2009-09-22 15:17:00
分词是很多做SEO的人常听到的概念，为了让大家在这个方面不会有疑惑，现在要来讲一下分词以及索引库。这也是更深入的了解搜索引擎的开始。
搜索引擎每天都是在处理一个基本的需求：用户搜索一个关键词，搜索引擎马上找到相关的网页给用户。这个过程要怎么实现呢？下面就分步来了解这个过程。
首先搜索引擎要尽可能多的把互联网上的网页搜集下来，这样能提供大量的网页给用户查询。这一部分由爬虫来解决，顺着互联网上的链接一个个往下抓取。最后就有了一堆记录着网页各种信息的资料库。目前的现状，最后能使这个资料库里有大概100多亿个网页。资料库里记录了这些网页的URL，整个网页的HTML代码，网页标题等等信息。
然后，搜索引擎拿到用户输入的这个关键词后，要从这个资料库里把相关的网页找出来给用户。这里就碰到好几个问题了：
1，要怎么快速的从上100亿个网页里找出匹配的网页的呢？
要知道这是从上百亿的网页里找符合这个关键词内容的网页，如果像用word里那种用ctrl + F 轮询的查找方式的话，即使用超级计算机，也不知道要消耗多少时间。但是现在的搜索引擎，在几分之一秒里就实现了。所以一定是做了一些处理才实现的。
解决办法也倒简单，就是建立一份索引库。就像我们查《新华字典》一样，我们不会翻遍《新华字典》的每一页来查那个字在哪页，而是先去索引表那里找这个字，拿到页码后，直接翻到那页就可以了。搜索引擎也会为上百亿的网页建立一个索引库，用户查询信息的时候，是先到搜索引库里查一下要找的信息在哪些网页，然后就引导你去那些网页的。
如下图：
索引库
2，索引库里用什么样的分类方式？
我们知道，《新华字典》的索引表是用字母列表或者偏旁部首的分类方式的。那么搜索引擎的索引库里是怎么分类的？是不是也可以用字母列表的方式？
搜索引擎如果以字母列表的方式排列索引库，那么平均每个字母下要查询的网页数量是 100亿÷26＝3.85亿 ，也还是一个很大的数字。而且搜索引擎上，今天是100亿个网页，过不了多久就是300亿个网页了。
0
投稿猜你喜欢
- 通常利用Apache的rewrite模块对 URL 进行重写的时候， rewrite规则会写在 .htaccess 文件里。但要使
Discuz!7.1 的编辑器更为人性化，使用起来方便快捷。站长可以在管理后台设置编辑器模式及表情的显示; Discuz! 还自带了四种 D- SQL注入式攻击是利用是指利用设计上的漏洞，在目标服务器上运行Sql命令以及进行其他方式的攻击 。动态生成Sql命令时没有对用户输入的数据进
- 做网站已经有一段时间了，开始觉得那是专业人士才能做的，自己水平不够，只能学一些前辈们的经验，拿各种博客，联盟来做自己的内容，说到底也只能算是
- 7.网站经常无法访问也许你拥有最好的网页内容，最好的网络服务，但是如果你的网站因为各种原因经常无法访问，或者访问速度很慢，那么，你拥有的用户
- 现在这里还没有关于维护vsftp服务器的资料。vsFTP使用的一些补充补充一：如何有选择的把用户限制在家目录中呢？我们要自己建一个文件，在/
- Godaddy是世界第一大域名注册商，进军主机领域以后发展迅速，据多家监测机构显示，放置在Godaddy上的网站数量已经越居第一位。Goda
- 标题(Title)在HTML中用于定义页面文档的标题，如 Title 元素 仅可在 HEAD元素 内使用。位于 Title 标签 之内的文本
- 做网站有一段时间了，自己做的也是小网站，小网站刚起步内容比较少，流量少，所以暂时只能靠采集生存，但是怎么样采集呢，采集有哪些好处，又有哪些坏
- 核心提示：网站被挂马很头痛，站长心急如焚，不急站长哥们给您支招两招轻松搞定。网站被挂马很头痛，站长心急如焚，不急站长哥们给您支招两招轻松搞定
- 来自Windows Live Hotmail官方Space的公告指出，现有的Windows Live Hotmail Plus用户已开通了P
- 搜搜soso刚刚独立出来几天，针对以前的google提供信息做以对比，发现搜搜还是有许多变化的。从各个方面来看soso网站排名优化相关工作，
- 谷歌主要的收入来自搜索广告，在图片显示广告方面还是一片“处女地”。花旗集团一分析师预计说，明年，包括Youtube在内的网络资产可以为谷歌贡
- 邮件服务器是一个网站所必需的服务。在这里，我们可以通过MDaemon软件来完成邮件服务器的架设。1.安装MDaemon首先，到http://
- 英国一家游戏公司定于下月推出的一款网络游戏将监控摄像头连到互联网上，让游戏玩家从画面中寻找“不法行为&rdquo
- Apache James是最好用的开源java邮件服务器之一，在配置smtp服务过程中，有些步骤不对的话邮件就发送不出去。0.打开james
- EQ，是均衡器equalizer的缩写，它的基本作用是通过对声音某一个或多个频段进行增益或衰减，以达到调整音效的目的。EQ（均衡器）的出现，
- 10月16日消息，据国外媒体报道，知识搜索引擎Wolfram Alpha今天开放API，开发者们可以将其纳入自己的应用。Wolfram公司在
- Windows Server 2008系统事件日志功能记录了服务器系统中发生的各种重要事情，比方说网络访问、系统登录、程序运行、资源调用等，
- 今年新做了个地方网站 喀克网 www.kakew.com现在将我在宣传中的各项开支给大家报一下，或许对大家有帮助：1、设计LOGO 费用10
