分词与索引库（2）
来源：SEM 一言之家 发布时间：2009-09-22 15:17:00
最后，终于找到一个解决办法：索引库里用词语来分类。
因为尽管互联网上的网页是不断激增的，但是每一种语言里，词语的数量都是相对固定的。比如英语就是一百多万个单词，100亿 ÷ 1百万 = 1 万；汉语是8万多个词语，100亿÷8万=12万5千。都是计算机很容易处理得过来的。
用词语来分类还有一个好处，就是可以匹配用户查询的那个词语。本来用户就是要查这个词语的，那我就按这个词语去分类就是。
所以，搜索引擎的索引库，最后就是这个样子的：
模拟的索引库
理论上，当用户输入关键词“mp3 player”搜索时，搜索引擎就从 “mp3”那行 和 “player”那行里拿出同时都有的、交集的url来即可。
上图也是现在英文版的google.com上的真实排名情况，可以看到 www.winamp.com 这个网站在搜索“mp3”的时候排第4位，在搜索“player”的时候也排第4位。当搜索“mp3 player”的时候，因为没有其他网站比它更匹配这个词语，所以它排在了第一位。
排在第一
当搜索引擎把一个网站抓取下来后，接着要做的事情就是把网页里的词语分开放到索引库里。分词在这个时候就要应用到了，所谓的分词，其实很简单，就是把词语分开而已。
英语的分词好处理一点，因为英语的每个单词之间是用空格分开的，基本上就只要处理一些虚词、介词，还有一些词语的单复数，变形词等等。但是中文的分词就复杂很多了，句子中的每个字都连在一起，有时候即使是人来判断，都还有产生歧义的时候。中文的分词有很多方法，也很容易弄懂的，如正向切分法，逆向切分法等等，网上有很多相关的资料。
谷歌的中文分词方法是从国外一家第三方公司买的。百度的分词方法是自己创立的，可能在词库上面比谷歌有点优势。不过其他方面差了一些。
0
投稿猜你喜欢
当我们在计算机系统中运行一些容量较大的程序或者游戏时，系统常常会自动弹出“xx内存不能为read或written&- 日前，因QQ互联帐号接入政策限制在新浪微博上出现了广泛的争议，多个知名社区负责人表示无法申请QQ互联接入服务，随后有消息称Discuz将推独
- 无效HTML代码是什么？从字面意思来看，“无效”就是“没有效果”的意思，无效代码是由于标签元素书写错误、标签元素没有闭合等原因，造成页面无法
- WordPress作为最受欢迎的博客平台，它给用户提供了各种工具，用户可以使用这些工具发布文章、与读者保持互动。不过，更让人高兴的是，本月即
- 前几天说了几句做垃圾站的看法,有一个叫拒绝游泳的鱼给我加了点分,害我迫不及待的想落伍,别给破冷水，垃圾站我就不说了,我现在的那个垃圾站一天也
- 1. 简要双网卡绑定技术在centos7中使用了teaming技术，而在rhel6/centos7中使用的是bonding技术，在cento
- xiaoxue总不能这样耗下去了，为了爱，，为了我的家，我要赚钱。简单的介绍一下自己吧：1988年5月出生了一个牛逼闪闪的我，我小时候大病三
- 核心功能和服务IIS 6.0 引入了两种用于配置应用程序环境的操作模式：工作进程隔离模式和 IIS 5.0 隔离模式。在安装 IIS 6.0
- 10月14日，中国软件资讯网据外电报道，当苹果的市值又再度超越Google时，这次它能够一直保持领先吗？《BusinessWeek》专栏作家
- Linux是一个多用户的系统，一旦人家取得你的root用户之后，他就可以在你的系统上为所欲为了，由于单用户对系统有完全的控制权限，如果操作不
- DEDECMS程序首页的SEO优化,看来用DEDECMS程序的站长确实非常多，之前因为没有细分去讲解，所以虽然可能不够完善，但对于一般的个人
- 现在站长都忙于SEO，忙于采集后修改为伪原创，却忽视了网站最重要的平台--服务器提供商!欲知详情，接着看!现在我们看到，SEO的文章大行其道
- GoDaddy主机改操作系统很简单，如果发现你需要更改你的主机操作系统，可以随时进行。1. 登陆你的Account Manager.2. 在
- 下面是来自可能吧收集整理一份的博客词汇手册, 包括国内外一些常用的博客用词, 博客相关服务, Feed服务网站, 订阅服务网站和
- 什么是友情链接，友情链接的作用和好处： 友情链接是一种网站之间的简单合作形式，即分别在自己的网站上以文字、图片或其他形式的载体链接到对方的网
- 首先在这里先要鄙视一下那些所谓的黑客，基本上都是一群只会拾人牙慧的垃圾，高手发布了一些教程漏洞，然后找几个软件按图索骥黑了几个网站就把自己封
- 微软在MSDN IE blog上列举了开发者感兴趣的IE8 beta1的七大改进，其中包括CSS2.1的完整支持，HTML5的支持，内置开发
- 国庆60周年刚刚过去，美图秀秀就迎来了自己一周岁的生日，而不知不觉间，我使用美图秀秀的也有大半年了。这半年多的时间里，我看到了美图秀秀的用心
- 从三个方面来讲关键字如何在网站的内部来做优化!第一：网站的titletitle中关键字所占的权重是相当主要的，写好一个合理的title对优化
- 其实，在服务器的安全设置方面，我虽然有一些经验，但是还谈不上有研究，所以我写这篇文章的时候心里很不踏实，总害怕说错了会误了别人的事。本文更侧
