Python smallseg分词用法实例分析
作者：imzoer 发布时间：2023-02-09 01:04:26
标签：Python,分词
本文实例讲述了Python smallseg分词用法。分享给大家供大家参考。具体分析如下：
#encoding=utf-8
#import psyco
#psyco.full()
words = [x.rstrip() for x in open("main.dic",mode='r',encoding='utf-8') ]
from smallseg import SEG
seg = SEG()
print('Load dict...')
seg.set(words)
print("Dict is OK.")
def cuttest(text):
wlist = seg.cut(text)
wlist.reverse()
tmp = " ".join(wlist)
print(tmp)
print("================================")
if __name__=="__main__":
cuttest("这是一个伸手不见五指的黑夜。我叫孙悟空，我爱北京，我爱Python和C++。")
cuttest("我不喜欢日本和服。")
cuttest("雷猴回归人间。")
cuttest("工信处女干事每月经过下属科室都要亲 * 代24 * 换机等技术性器件的安装工作")
cuttest("我需要廉租房")
cuttest("永和服装饰品有限公司")
cuttest("我爱北京天安门")
cuttest("abc")
cuttest("隐马尔可夫")
cuttest("雷猴是个好网站")
cuttest("“Microsoft”一词由“MICROcomputer（微型计算机）”和“SOFTware（软件）”两部分组成")
cuttest("草泥马和欺实马是今年的流行词汇")
cuttest("伊藤洋华堂总府店")
cuttest("中国科学院计算技术研究所")
cuttest("罗密欧与朱丽叶")
cuttest("我购买了道具和服装")
smallseg分词，在python3.3上运行稍微有些问题。py代码xrange在3.*中已经改名字为range了。另外，3.*中也没有decode函数了。
修改了上面的两个地方，代码就可移植性了。效果还可以。
希望本文所述对大家的Python程序设计有所帮助。
0
投稿猜你喜欢
- 当然有其它工具可以做这件事，但如果客户不允许你在服务器乱装东西时这个脚本就会有用了。 代码如下:DECLARE @tbImportTable
- 本文实例讲述了Python面向对象程序设计之私有属性及私有方法。分享给大家供大家参考，具体如下：如果有一个对象，当需要对其进行修改属性时，有
- python实现MD5加密1、简介Message Digest Algorithm MD5（中文名为消息摘要算法第五版）为计算机安全领域广泛
用于绘制直线的line函数；用于绘制椭圆的ellipse函数；用于绘制矩形的rectangle函数；用于绘制圆的circle函数；用于绘制填- 从控制器中获取URL的值有三种方式：1、使用Request.QueryString[]例如：string value = Request.Q
- 这篇主要探讨 ** 和 * 前缀运算符,**在变量之前使用的*and **运算符.一个星（*）：表示接收的参数作为元组来处理两个星（**）：
- 当你使用Lumigent log Explorer连接服务器后，选择具体的数据库实例时报错，提示 &nbs
- 这里想象一下需求，写一个项目使用的一系列1.0版本的插件，现在要新写一个项目，需要用这些插件的2.0版本，该怎么办？都更新成2.0版本？这样
- chat.html <html> <head><title>asp之家-简单聊天&l
- 前言因近期进行时间序列分析时遇到了数据预处理中的缺失值处理问题，其中日期缺失和填充在网上没有找到较好较全资料，耗费了我一晚上工作时间，所以下
- 在通信领域，可以通过希尔伯特变换求解解析信号，进而求解窄带信号的包络。实现希尔伯特变换有两种方法，一种是对信号做FFT，单后只保留单边频谱，
- 在document.form1.submit();后加document.body.innerHtml = "W
- 一、异常处理在程序开发中如果遇到一些 不可预知的错误 或 你懒得做一些判断 时，可以选择用异常处理来做。import requestswhi
- Series对象和DataFrame的列数据提供了cat、dt、str三种属性接口（accessors），分别对应分类数据、日期时间数据和字
- 1、File > Setting > Project:xxx > Project Interpreter 选择或添加环境2
- 在PyQt5教程的这一部分，我们将讨论拖放操作。在电脑图形用户界面，拖放事件就是点击一个虚拟对象，并将其拖动到其他位置或到另一个虚拟物体的动
- 在前面的DRF系列教程中，我们以博客为例介绍了序列化器, 使用基于类的视图APIView和ModelViewSet开发了针对文章资源进行增删
- 前言在Windows上编写python程序时，有时候需要对输出的文字颜色进行设置，特别是日志显示，不同级别的日志设置不同的颜色进行展示可以直
- 特征降维0维 标量1维 向量2维 矩阵概念降维是指在某些限定条件下，降低随机变量（特征）个数，得到一组“不相关&
- 前言今天为大家介绍一个利用Python模拟登陆CSDN的案例,虽然看起来很鸡肋,有时候确会有大用处,在这里就当做是一个案例练习吧,提高自己的
