Python英文文本分词(无空格)模块wordninja的使用实例
作者：Together_CZ 发布时间：2022-05-12 07:10:16
在NLP中，数据清洗与分词往往是很多工作开始的第一步，大多数工作中只有中文语料数据需要进行分词，现有的分词工具也已经有了很多了，这里就不再多介绍了。英文语料由于其本身存在空格符所以无需跟中文语料同样处理，如果英文数据中没有了空格，那么应该怎么处理呢？
今天介绍一个工具就是专门针对上述这种情况进行处理的，这个工具叫做：wordninja，地址在这里。
下面简单以实例看一下它的功能:
def wordinjaFunc():
'''
https://github.com/yishuihanhan/wordninja
'''
import wordninja
print wordninja.split('derekanderson')
print wordninja.split('imateapot')
print wordninja.split('wethepeopleoftheunitedstatesinordertoformamoreperfectunionestablishjusticeinsuredomestictranquilityprovideforthecommondefencepromotethegeneralwelfareandsecuretheblessingsoflibertytoourselvesandourposteritydoordainandestablishthisconstitutionfortheunitedstatesofamerica')
print wordninja.split('littlelittlestar')
结果如下：
['derek', 'anderson']
['im', 'a', 'teapot']
['we', 'the', 'people', 'of', 'the', 'united', 'states', 'in', 'order', 'to', 'form', 'a', 'more', 'perfect', 'union', 'establish', 'justice', 'in', 'sure', 'domestic', 'tranquility', 'provide', 'for', 'the', 'common', 'defence', 'promote', 'the', 'general', 'welfare', 'and', 'secure', 'the', 'blessings', 'of', 'liberty', 'to', 'ourselves', 'and', 'our', 'posterity', 'do', 'ordain', 'and', 'establish', 'this', 'constitution', 'for', 'the', 'united', 'states', 'of', 'america']
['little', 'little', 'star']
从简单的结果上来看，效果还是不错的，之后在实际的使用中会继续评估。
来源：https://blog.csdn.net/Together_CZ/article/details/86678213
0
投稿猜你喜欢
当我们打开一个图片编辑软件时，基本上都会提供几个操作：平移、缩放和旋转。特别目前在手机里拍照时，由于位置传感器的失灵，也许是软件的BUG，有- 目录楔子上传模块至pypi编写模块编译上传楔子我们在安装第三方包的时候，直接一个pip install xxx命令就搞定了，然后pip会去p
- 本文实例讲述了vue.js使用v-if实现显示与隐藏功能。分享给大家供大家参考，具体如下：<!doctype html><
- 本文实例讲述了基于进程内通讯的python聊天室实现方法。分享给大家供大家参考。具体如下：#!/usr/bin/env python# Ad
- 1、动态sql， 即动态参数：在存储过程中，想要直接用表名变量做参数，动态执行sql，不能直接写<P>create proced
- 前言无论什么时候，SQL Server 的安装和卸载都是一件让我们头疼的事情。因为不管是 SQL Server 还是 MySQL 的数据库，
- 使用Python的pillow模块 random 模块随机生成验证码图片，并应用到Django项目中安装pillow$ pip3 insta
- 游戏截图动态演示源码分享state/tool.pyimport osimport jsonfrom abc import abstractm
- EXCEL数据上传到SQL SERVER中的方法需要注意到三点!注意点一:要把EXCEL数据上传到SQL SERVER中必须提前把EXCEL
- 导出数据报错SHOW VARIABLES LIKE "secure_file_priv";查看默认导出目录mysql&g
- Python代码集体右移的方法：直接选中需要右移的代码，按tab键即可。Python中代码集体左移的方法：直接选中需要左移的代码，按shif
- 简介Python中布尔值(Booleans)表示以下两个值之一：True或False。布尔值在编程中，通常需要知道表达式是 True 还是
- 归并排序思路：将数组不断二分，然后合并为有序数组C++实现:void mergeSort(T arr[], int left,int rig
- 命令行执行Python脚本的传参应用场景在对ABAQUS进行二次开发时，需要将核心脚本的外部数据传递到脚本内部并执行核心脚本在运行时，可以调
- 方法1：/** 功能：数据备份/恢复文件简易方法* 以日期为单位，一天一个备份文件，以当天最后备份为准* 用提交表单的形式进行操作，* 其中
- 本文实例讲述了php+js实现的无刷新下载文件功能。分享给大家供大家参考，具体如下：服务器端页面步骤就是，设置头文件参数，然后读入并输出文件
- 先来看查看效果:在代码连接数据库后，并且执行三条sql后，将mysql直接重启掉，故我们的连接池连接均是不ok的，所以，它会全部删除再抓新的
- 一个简单的tokenizer分词（tokenization）任务是Python字符串处理中最为常见任务了。我们这里讲解用正则表达式构建简单的
- 我们用pycharm写CSS的时候，是不是苦于没有提示，那么pycharm中如何显示CSS提示呢？下面小编给大家分享一下。首先点击左上角的f
- 1、设置数据库模式为简单模式:打开SQL企业管理器，在控制台根目录中依次点开Microsoft SQL Server-->SQL Se
