python 文本单词提取和词频统计的实例
作者：超级杰哥 发布时间：2022-10-25 04:53:03
标签：python,文本,单词,词频
这些对文本的操作经常用到， 那我就总结一下。 陆续补充。。。
操作：
strip_html(cls, text) 去除html标签
separate_words(cls, text, min_lenth=3) 文本提取
get_words_frequency(cls, words_list) 获取词频
源码：
class DocProcess(object):
@classmethod
def strip_html(cls, text):
"""
Delete html tags in text.
text is String
"""
new_text = " "
is_html = False
for character in text:
if character == "<":
is_html = True
elif character == ">":
is_html = False
new_text += " "
elif is_html is False:
new_text += character
return new_text
@classmethod
def separate_words(cls, text, min_lenth=3):
"""
Separate text into words in list.
"""
splitter = re.compile("\\W+")
return [s.lower() for s in splitter.split(text) if len(s) > min_lenth]
@classmethod
def get_words_frequency(cls, words_list):
"""
Get frequency of words in words_list.
return a dict.
"""
num_words = {}
for word in words_list:
num_words[word] = num_words.get(word, 0) + 1
return num_words
来源：https://blog.csdn.net/autoliuweijie/article/details/50687419
0
投稿猜你喜欢
内容适应形式学习了死猫的文章，我今天也来说说有关内容和容器的关系。看标题你也许觉得有些囧，它和上一篇《形式追随内容？》看起来相反，而且好像从- 前言requests是Python发送接口请求非常好用的一个三方库，由K神编写，简单，方便上手快。但是requests发送请求是串行的，即阻
- 本文实例为大家分享了Python3实现飞机大战游戏的具体代码，供大家参考，具体内容如下1、主程序：plane_main.pyimport p
- DreamWeaver 4的到来让大家兴奋吧？但是大家一定为DreamWeaver4里面的字体、文字大
- Python简介及入门python为什么是python选择自己喜欢的语言，这往往不容易，更多的是根据需求话说，之前是java，大学用了三年+
- 这篇文章主要介绍了python线程join方法原理解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋
- Python（包括其包Numpy）中包含了了许多概率算法，包括基础的随机采样以及许多经典的概率分布生成。我们这个系列介绍几个在机
- 本文实例为大家分享了tensorflow神经网络实现mnist分类的具体代码，供大家参考，具体内容如下只有两层的神经网络，直接上代码#引入包
- 选择一个合适的编辑器，比如notepad++、VS、eclipse、sublime text等，选中要集体缩进的代码块，按Tab：集体缩进（
- 有几个原因促使我们使用自定义的select控件来代替原生的select控件：在ie6下select是一个窗口级的元素，绝对定位的层会被sel
- <％ dim conn,mdbfile mdbfile=server.mappath("数据库名称.mdb") s
- 我们继续学习Python异步编程，这里将介绍异步Web框架sanic，为什么不是tornado？从框架的易用性来说，Flask要远远比tor
- 描述max() 方法返回给定参数的最大值，参数可以为序列。语法以下是 max() 方法的语法:max( x, y, z, .... )参数x
- 本文实例为大家分享了Python smtplib发送邮件功能的具体代码，供大家参考，具体内容如下解决之前版本的问题，下面为最新版#!/usr
- 前言最近学完Python，写了几个爬虫练练手，网上的教程有很多，但是有的已经不能爬了，主要是网站经常改，可是爬虫还是有通用的思路的，即下载数
- 首先去官网下载两个架包链接如下：官网链接第一步：将两个架包解压到同一个database目录下。如截图所示：第二步：打开setup应用程序打开
- 1.如何通过地址栏参数来得到模块名称和控制器名称(即使在有路由和开了重写模块的情况下)2.tp是如何实现前置，后置方 * 能模块，和如何执行带
- 显然，效果很实用。对于这个效果，我们并不解释如何去使用效果库，而是讲解如何创建类似的效果，并保持他的可用性，分离式（unobtrusive）
- 这样做的好处是：利用表格来装载数据，不言而喻是最好的，你可以很灵活的为每个单元格定义样式。下面是具体的做法首先在photoshop设计一个效
- 春节休息了几天，今天上班第一天，最近混twitter混得比较多，经常要压缩URL，以前做了个书签用http://is.gd/压缩，后来发现了
