python 文本单词提取和词频统计的实例
作者：超级杰哥 发布时间：2022-10-25 04:53:03
标签：python,文本,单词,词频
这些对文本的操作经常用到， 那我就总结一下。 陆续补充。。。
操作：
strip_html(cls, text) 去除html标签
separate_words(cls, text, min_lenth=3) 文本提取
get_words_frequency(cls, words_list) 获取词频
源码：
class DocProcess(object):
@classmethod
def strip_html(cls, text):
"""
Delete html tags in text.
text is String
"""
new_text = " "
is_html = False
for character in text:
if character == "<":
is_html = True
elif character == ">":
is_html = False
new_text += " "
elif is_html is False:
new_text += character
return new_text
@classmethod
def separate_words(cls, text, min_lenth=3):
"""
Separate text into words in list.
"""
splitter = re.compile("\\W+")
return [s.lower() for s in splitter.split(text) if len(s) > min_lenth]
@classmethod
def get_words_frequency(cls, words_list):
"""
Get frequency of words in words_list.
return a dict.
"""
num_words = {}
for word in words_list:
num_words[word] = num_words.get(word, 0) + 1
return num_words
来源：https://blog.csdn.net/autoliuweijie/article/details/50687419
0
投稿猜你喜欢
- 本文实例讲述了python中map、any、all函数用法。分享给大家供大家参考。具体分析如下：最近想学python，就一直比较关注pyth
- 实现目标：mysql下将自增主键的值，从10000开始，即实现自增主键的种子为10000。方案1）使用alter table `tablen
- 如下所示：import numpy as np三维数组arr1 = np.arange(16).reshape((2, 2, 4)) #[[
目录1、索引失效原因2、再来看看哪些情况会破坏索引的有序性。- 对索引字段做函数操作- 隐式类型转换- 隐式字符编码转换3、总结1、索引失效- title: 利用Django实现一个能与用户交互的初级框架author: Sun-Winddate: September 1, 2021D
- 协程协程（co-routine，又称微线程）是一种多方协同的工作方式。当前执行者在某个时刻主动让出（yield）控制流，并记住自身当前的状态
- 对于相册来说，大图的浏览非常重要，因为对浏览者来说最重要的就是大图看得爽不爽，因为做项目的需要，我比较了许多相册的大图浏览方式，现在一一评说
- 有时候需要一次性将SQL Server中的数据导出给其他部门的也许进行关联或分析，这种需求对于SSIS
- 下面列出Python正则表达式的几种匹配用法：此外,关于正则的一切http://deerchao.net/tutorials/regex/r
- MySQL有多种存储引擎：MyISAM、InnoDB、MERGE、MEMORY(HEAP)、BDB(BerkeleyDB)、EXAMPLE、
- 一个完整的域名，由根域、顶级域、二级、 * ……域名构成，每级域名之间用点分开，每级域名由字母、数字和减号构成（第一个字母不能是减号），不区分
- 一、功能介绍1.MySQL Servers该功能是mysql主要的服务，也是必须安装的功能。2.Mysql WorkBench这个是mysq
- 很多朋友想用SQL2000数据库的编程方法，但是却又苦于自己是学ACCESS的，对SQL只是一点点的了解而已，这里我给大家提供以下参考---
- 创建列表sample_list = ['a',1,('a','b')]Python 列表操作
- 单例模式（Singleton Pattern） 是一种常用的软件设计模式，该模式的主要目的是确保某一个类只有一个实例存在。当你希望在整个系统
- 1，不用第三方库# coding: utf-8import loggingBLACK, RED, GREEN, YELLOW, BLUE,
- 本文实例讲述了Python使用回溯法子集树模板获取最长公共子序列（LCS）的方法。分享给大家供大家参考，具体如下：问题输入第1行：字符串A第
- 下面就是解决方案： 1- From the command prompt, stop isqlplus: c:\>isqlplusct
- function is_utf8($string) { &n
- mysql数据库在做查询时候，有时候是英文字母大小写敏感的，有时候又不是的，主要是由mysql的字符校验规则的设置决定的，通常默认是不支持的
