Python smallseg分词用法实例分析
作者：imzoer 发布时间：2023-02-09 01:04:26
标签：Python,分词
本文实例讲述了Python smallseg分词用法。分享给大家供大家参考。具体分析如下：
#encoding=utf-8
#import psyco
#psyco.full()
words = [x.rstrip() for x in open("main.dic",mode='r',encoding='utf-8') ]
from smallseg import SEG
seg = SEG()
print('Load dict...')
seg.set(words)
print("Dict is OK.")
def cuttest(text):
wlist = seg.cut(text)
wlist.reverse()
tmp = " ".join(wlist)
print(tmp)
print("================================")
if __name__=="__main__":
cuttest("这是一个伸手不见五指的黑夜。我叫孙悟空，我爱北京，我爱Python和C++。")
cuttest("我不喜欢日本和服。")
cuttest("雷猴回归人间。")
cuttest("工信处女干事每月经过下属科室都要亲 * 代24 * 换机等技术性器件的安装工作")
cuttest("我需要廉租房")
cuttest("永和服装饰品有限公司")
cuttest("我爱北京天安门")
cuttest("abc")
cuttest("隐马尔可夫")
cuttest("雷猴是个好网站")
cuttest("“Microsoft”一词由“MICROcomputer（微型计算机）”和“SOFTware（软件）”两部分组成")
cuttest("草泥马和欺实马是今年的流行词汇")
cuttest("伊藤洋华堂总府店")
cuttest("中国科学院计算技术研究所")
cuttest("罗密欧与朱丽叶")
cuttest("我购买了道具和服装")
smallseg分词，在python3.3上运行稍微有些问题。py代码xrange在3.*中已经改名字为range了。另外，3.*中也没有decode函数了。
修改了上面的两个地方，代码就可移植性了。效果还可以。
希望本文所述对大家的Python程序设计有所帮助。
0
投稿猜你喜欢
1. 二维数据曲线图1.1 绘制二维曲线的基本函数1．plot()函数 plot函数用于绘制二维平面上的线性坐标曲线图，要提供一组x坐标和对- 掌握一些技巧，可尽量提高Python程序性能，也可以避免不必要的资源浪费。1、使用局部变量尽量使用局部变量代替全局变量：便于维护，提高性能并
- 【原文地址】New "Orcas" Language Feature: Extension Methods【原文发表日期
- 本文实例讲述了Python通用循环的构造方法。分享给大家供大家参考，具体如下：1.交互循环是无限循环的一种，允许用户通过交互的方式程序的特定
- 一主一从： Master: OS:centos release 5.6 DB:mysql 5.5.8 IP:192.168.1.2 Slav
- 1.如何引入在vue-cli里，引入文件有几钟方法一种是用npm或者cnpm指令去下载对应的插件，然后在main.js里用import方法引
- 一、临时表实现分步处理1.概述当需要的结果需要经过多次处理后才能最终得到我们需要的结果时，就可以使用临时表，这里临时表就起到了一个中间处理的
- 序言：刚结束公司的三个月试用期，意味着我即将正式步入社会成为广大从事IT行业的一员。作为一个编程小白，无论从技术层面还是知识层面都是比较薄弱
- 详解 Python中LEGB和闭包及装饰器LEGB L>E>G?BL:local函数内部作用域E:enclosing函数内部与内
- 前言本文旨在用最通俗的语言讲述最枯燥的基本知识这个话题比较有意思。昨天中午吃完饭间突然有个同事蹦出了一句：“like有索引吗？”，我顺口就说
- 1.查看binlog是否开启show variables like '％log_bin％';2.查看数据文件存放路径:bin
- 本文实例讲述了python通过定义一个类实例作为ftp回调方法。分享给大家供大家参考。具体实现方法如下：class Writer: &nbs
- urllib模块发起的POST请求案例：爬取百度翻译的翻译结果1.通过浏览器捉包工具，找到POST请求的url针对ajax页面请求的所对应u
- 前言：之前博主分享过knockoutJS和BootstrapTable的一些基础用法，都是写基础应用，根本谈不上封装，仅仅是避免了html控
- 本文实例讲述了Go语言中的匿名结构体用法。分享给大家供大家参考。具体实现方法如下：package main
- 本文实例为大家分享了mysql5.6.29的shell脚本，供大家参考，具体内容如下创建脚本mysql.sh，直接运行sh mysql.sh
- torchvision包 包含了目前流行的数据集，模型结构和常用的图片转换工具。torchvision.datasets中包含了以下数据集M
- 本文实例讲述了javascript将数字转换整数金额大写的方法。分享给大家供大家参考。具体实现方法如下：function digit_upp
- 获取操作系统的当前运行状态和负载情况，是一个系统管理员的基本技能，因为这对我们日常排查故障，定位问题有着非常紧密的联系，比如查看当前系统的基
- 本文实例讲述了MySQL切分查询用法。分享给大家供大家参考，具体如下：对于大查询有时需要‘分而治之',将大查询切分为小查询: 每个查
