Python英文文本分词(无空格)模块wordninja的使用实例
作者：Together_CZ 发布时间：2022-05-12 07:10:16
在NLP中，数据清洗与分词往往是很多工作开始的第一步，大多数工作中只有中文语料数据需要进行分词，现有的分词工具也已经有了很多了，这里就不再多介绍了。英文语料由于其本身存在空格符所以无需跟中文语料同样处理，如果英文数据中没有了空格，那么应该怎么处理呢？
今天介绍一个工具就是专门针对上述这种情况进行处理的，这个工具叫做：wordninja，地址在这里。
下面简单以实例看一下它的功能:
def wordinjaFunc():
'''
https://github.com/yishuihanhan/wordninja
'''
import wordninja
print wordninja.split('derekanderson')
print wordninja.split('imateapot')
print wordninja.split('wethepeopleoftheunitedstatesinordertoformamoreperfectunionestablishjusticeinsuredomestictranquilityprovideforthecommondefencepromotethegeneralwelfareandsecuretheblessingsoflibertytoourselvesandourposteritydoordainandestablishthisconstitutionfortheunitedstatesofamerica')
print wordninja.split('littlelittlestar')
结果如下：
['derek', 'anderson']
['im', 'a', 'teapot']
['we', 'the', 'people', 'of', 'the', 'united', 'states', 'in', 'order', 'to', 'form', 'a', 'more', 'perfect', 'union', 'establish', 'justice', 'in', 'sure', 'domestic', 'tranquility', 'provide', 'for', 'the', 'common', 'defence', 'promote', 'the', 'general', 'welfare', 'and', 'secure', 'the', 'blessings', 'of', 'liberty', 'to', 'ourselves', 'and', 'our', 'posterity', 'do', 'ordain', 'and', 'establish', 'this', 'constitution', 'for', 'the', 'united', 'states', 'of', 'america']
['little', 'little', 'star']
从简单的结果上来看，效果还是不错的，之后在实际的使用中会继续评估。
来源：https://blog.csdn.net/Together_CZ/article/details/86678213
0
投稿猜你喜欢
- 将Django与其他现有认证系统的用户名和密码或者认证方法进行整合是可以办到的。例如，你所在的公司也许已经安装了LDAP，并且为每一个员工都
几个月前，我开始学习个人形象管理，从发型、妆容、服饰到仪表仪态，都开始做全新改造，在塑造个人风格时，最基础的是先了解自己属于哪种风格，然后找- 本文实例讲述了Python 操作 PostgreSQL 数据库。分享给大家供大家参考，具体如下：我使用的是 Python 3.7.0Post
- 如何用JMail同时给多人发信？在ASP中，为什么我在Jmail收件人处指定多个收件人时，像这样：JMail.AddRecipient&nb
- 最近写程序需要从文件中读取数据，并把读取的数据转换成向量。查阅资料之后找到了读取csv文件和txt文件两种方式，下面结合自己的实验过程，做简
- 前言：二分法也就是二分查找，它是一种效率较高的查找方法假如公司新来了一个人，叫张三，他是你们公司第47个人，过了一段时间后，有些人呢看张三不
- 1. 序言每年淘宝双十一的时候，总是要刷各种各样的浏览页面，收集能量或者喵币或者什么。那既然如此，我就总想着，能否通过Python自动调用的
- 本文实例讲述了python通过线程实现定时器timer的方法。分享给大家供大家参考。具体分析如下：这个python类实现了一个定时器效果，调
- 本文实例为大家分享了js实现全选取消效果的具体代码，供大家参考，具体内容如下<!DOCTYPE html><html la
- 元素的CSS样式，除了包括内联的（即通过style属性加上的）样式定义外，还有页面嵌入的css和外部引入的css两种方式。但在JS中通过el
- 我就废话不多说了，大家还是直接看代码吧~#! python3# -*- coding: utf-8 -*-import os, codecs
- 以发布目录为例：<OBJECT ID="agobjOraSession" RUNAT=&quo
- 在使用matplotlib模块时画坐标图时，往往需要对坐标轴设置很多参数，这些参数包括横纵坐标轴范围、坐标轴刻度大小、坐标轴名称等 在mat
- 修改文件的名字 使用“FileSystemObject(文件系统对象)”的GetFile函数得到一个“文件对象”，然后修改这个“文件对象”的
- http_request2.py用于发起http请求#读取多条测试用例#1、导入requests模块import requests#从 cl
- 偶然在Google发现了他们的用户体验设计原则，因此翻译作一下记录。1.以人为本 —他们的生活、他们的工作和他们的梦想2.珍惜每一毫秒的时间
- 1.实例方法Python 的实例方法用得最多，也最常见。我们先来看 Python 的实例方法。class Kls(object): &nbs
- 最近将Jesse James Garrett的《用户体验的要素》一书读了两遍，做一些简要的摘录并添加一些个人注释。当然，一本好书绝对不是简单
- 上个星期，大佬分享了一个验证身份证号合法性的库：id_validator，没空去试着用一下看看，今天有点时间，来试着用下这个库。1、首先，要
- python——pip install xxx报错SyntaxError: invalid syntax在安装好python后，进入pyth
