python中文分词,使用结巴分词对python进行分词(实例讲解)
作者：yangjiyue 发布时间：2023-03-15 13:37:30
标签：python,结巴,中文分词
在采集美女站时，需要对关键词进行分词，最终采用的是python的结巴分词方法。
中文分词是中文文本处理的一个基础性工作，结巴分词利用进行中文分词。
其基本实现原理有三点：
1.基于Trie树结构实现高效的词图扫描，生成句子中汉字所有可能成词情况所构成的有向无环图（DAG)
2.采用了动态规划查找最大概率路径, 找出基于词频的最大切分组合
3.对于未登录词，采用了基于汉字成词能力的HMM模型，使用了Viterbi算法
安装（Linux环境）
下载工具包，解压后进入目录下，运行：python setup.py install
模式
1.默认模式，试图将句子最精确地切开，适合文本分析
2.全模式，把句子中所有的可以成词的词语都扫描出来，适合搜索引擎
接口
• 组件只提供jieba.cut 方法用于分词
• cut方法接受两个输入参数：
• 第一个参数为需要分词的字符串
• cut_all参数用来控制分词模式
• 待分词的字符串可以是gbk字符串、utf-8字符串或者unicode
• jieba.cut返回的结构是一个可迭代的generator，可以使用for循环来获得分词后得到的每一个词语(unicode)，也可以用list(jieba.cut(...))转化为list
• seg=jieba.cut("http://www.gg4493.cn/"):
实例
#! -*- coding:utf-8 -*-
import jieba
seg_list = jieba.cut("我来到北京清华大学", cut_all = True)
print "Full Mode:", ' '.join(seg_list)
seg_list = jieba.cut("我来到北京清华大学")
print "Default Mode:", ' '.join(seg_list)
结果
来源：http://www.cnblogs.com/yangjiyue/archive/2017/11/13/7828810.html
0
投稿猜你喜欢
这段时间看了关于在SQL server 中通过日志和时间点来恢复数据。也看了一些网上的例子，看如何通过日志来恢复数据。 前提条件：数据库的故- 因为最近公司有python项目维护，所以把python的基础入门的书整理一遍，因为有些忘记了，同时在看<<python编程>
- 前言前段时间，因为项目需求，需要根据关键词搜索聊天记录，这不就是一个搜索引擎的功能吗？于是我第一时间想到的就是 ElasticSearch
- MGR全称MySQL Group Replication（Mysql组复制），是MySQL官方于2016年12月推出的一个全新的高可用与高扩
- 1.事件简介事件（event）是MySQL在相应的时刻调用的过程式数据库对象。一个事件可调用一次，也可周期性的启动，它由一个特定的线程来管理
- 本文实例讲述了Python多线程下载文件的方法。分享给大家供大家参考。具体实现方法如下：import httplibimport urlli
- 看例子:运行代码框<!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transiti
- Redis 在 3.2 版本以后增加了地理位置 GEO 模块，意味着我们可以使用 Redis 来实现摩拜单车「附近的 Mobike」、美团和
- 前言copy()与deepcopy()之间的区分必须要涉及到python对于数据的存储方式。深复制被复制对象完全再复制一遍作为独立的新个体单
- 本文实例讲述了Python多进程原理与用法。分享给大家供大家参考，具体如下：进程是程序在计算机上的一次执行活动。当你运行一个程序，你就启动了
- Table：用于标示删除的数据表的名称。 1：该表必须是一个事实存在的表，对于该处的表必须是一个实际存在于数据库中的表格，必能是由于sele
- input高级限制级用法1.取消按钮按下时的虚线框 在input里添加属性值 hideFocus 或者 HideFocus=true2.只读
- 本文实例讲述了Python基于Matplotlib库简单绘制折线图的方法。分享给大家供大家参考，具体如下：Matplotlib画折线图，有一
- 条件语句主要有三种形式：分别为if语句、if...else语句和if...elif...else 语句1.if语句条件语句中常用的比较运算符
- 加密接口怎么测试？(1)写个函数或者方法，把要加密的参数使用这个函数过滤一遍，等于就是说把数据丢进去，加密了之后，再通过这个加密好的数据传输
- 最近有朋友问js 如何打印预览，今天就来讲解一下，首先了解一下打印原理，其实局部打印页面很简单。就是把你需要打印的部分做一个起始标记，至于标
- 本文实例为大家分享了Python3连接MySQL模拟转账的具体实现代码，供大家参考，具体内容如下# coding:utf8import sy
- 当多个事务同时持有和请求同一资源上的锁而产生循环依赖的时候就产生了死锁。死锁发生在事务试图以不同的顺序锁定资源。以StockPrice表上的
- spark编程python实例ValueError: Cannot run multiple SparkContexts at once;
- 语音识别是人工智能中的一个领域，它允许计算机理解人类语音并将其转换为文本。该技术用于 Alexa 和各种聊天机器人应用程序等设备。而我们最常
