一文带你掌握Python中文词频统计
作者:梦想橡皮擦 发布时间:2022-11-17 21:02:00
词频统计是指在文本中计算每个词出现的次数。
在 Python 中,可以使用一些第三方库(如 jieba)来分词,然后使用字典等数据结构记录每个词的词频。
Python中文词频统计知识点
分词:需要对中文文本进行分词,分词的目的是将文本分解为独立的词语,便于后续的词频统计。
字典:使用字典存储每个词的词频。字典的键为词语,值为词频。
遍历:遍历分词后的结果,统计每个词出现的次数。
排序:对字典按照词频排序,以得到词频最高的词。
输出:最后,可以输出词频最高的词,也可以输出完整的词频字典。
Python中文词频分词
安装 jieba 库
pip install jieba
使用 jieba.cut() 函数对中文文本进行分词
import jieba
text = "梦想橡皮擦的Python博客很不错"
seg_list = jieba.cut(text)
print(list(seg_list))
输出结果:
['梦想', '橡皮擦', '的', 'Python', '博客', '很', '不错']
使用字典可以很方便地存储每个词语的词频
import jieba
text = "梦想橡皮擦的Python博客很不错"
seg_list = jieba.cut(text)
# print(list(seg_list))
word_dict = {}
for word in seg_list:
print(word)
if word in word_dict:
word_dict[word] += 1
else:
word_dict[word] = 1
print(word_dict)
再次整理Python词频统计的具体实现方法:
导入 jieba 库,使用 jieba.cut() 函数对中文文本进行分词。
遍历分词后的结果,统计每个词出现的次数。
使用字典记录每个词出现的次数。
对字典按照词频排序,并输出词频最高的词。
代码示例:
import jieba
def get_word_frequency(text):
seg_list = jieba.cut(text)
word_dict = {}
for word in seg_list:
if word in word_dict:
word_dict[word] += 1
else:
word_dict[word] = 1
sorted_word_dict = sorted(word_dict.items(), key=lambda x: x[1], reverse=True)
return sorted_word_dict
text = "梦想橡皮擦的Python博客很不错"
result = get_word_frequency(text)
print(result)
停用词
在分词时,通常会忽略一些词语,这些词语被称为停用词。如常用的助词、介词等。
在 Python 中,可以预先加载停用词表,在分词时,如果词语是停用词,则忽略。
下面是一个简单的例子:
import jieba
stop_words = set()
with open("stop_words.txt", "r",encoding='utf-8') as f:
for line in f:
stop_words.add(line.strip())
text = "梦想橡皮擦的Python博客很不错"
seg_list = jieba.cut(text)
filtered_words = [word for word in seg_list if word not in stop_words]
print(filtered_words)
“stop_words.txt” 文件中是停用词表,每行一个词语。在代码中,通过 with open 语句读取文件,并将每个词语加入到 stop_words 集合中。在分词后,通过列表推导式,筛选出不是停用词的词语。文件中的内容如下:
词干提取
词干提取是将词语的不同形式提取为同一词干的过程。例如 “running” 和 “runner” 可以被提取为 “run”。
在 Python 中,可以使用词干提取工具来进行词干提取,常见的词干提取工具有 nltk 库的 PorterStemmer 和 SnowballStemmer 。
下面是一个简单的例子:
import nltk
from nltk.stem import SnowballStemmer
stemmer = SnowballStemmer("english")
words = ["run", "runner", "running"]
stemmed_words = [stemmer.stem(word) for word in words]
print(stemmed_words)
SnowballStemmer 函数的第一个参数是语言。 english 表示使用英语词干提取器。
其支持多种语言,可以指定不同的语言,以使用不同的词干提取器。例如,如果是法语文本,可以使用 SnowballStemmer("french") 。
stemmer.stem(word) 是 nltk 库的 SnowballStemmer 函数的一个方法,用于提取词干。
词云图
词云图是一种展示词频的可视化图形,其中词语的大小代表词频的多少。
在 Python 中,可以使用词云库 wordcloud 来生成词云图。
以下是一个使用 wordcloud 库创建词云图的简单示例:
from wordcloud import WordCloud
import matplotlib.pyplot as plt
text = "ca1 ca2 ca3 ca4 ca4 ca4"
wordcloud = WordCloud(width=400, height=400, random_state=21, max_font_size=110).generate(text)
plt.figure(figsize=(10, 5))
plt.imshow(wordcloud, interpolation="bilinear")
plt.axis('off')
plt.show()
首先使用 WordCloud 函数创建一个词云图对象,并设置图片的宽度、高度、随机状态、字体大小等参数。
然后,使用 generate() 方法生成词云图,并将其作为参数传递给 matplotlib 的 imshow() 函数。
最后,使用 show() 方法显示词云图。
Python 中文词频分词其它库
thulac:thulac 是一个中文分词库,支持动态词性标注。
snownlp:snownlp 是一个基于 SnowNLP 的中文自然语言处理库,支持中文分词、情感分析、关键词提取等功能。
来源:https://blog.csdn.net/hihell/article/details/128930847
猜你喜欢
- 本文实例讲述了Python只用40行代码编写的计算器。分享给大家供大家参考,具体如下:效果图:代码:from tkinter import
- iframe标签在网页中可以创建一个内嵌框架,通过指定src属性来调用另一个网页文档的内容。和frameset一样,用它来对网页结构进行拆分
- YSlow是yahoo美国开发的一个页面评分插件,非常的棒,从中我们可以看出我们页面上的很多不足,并且可以知道我们改怎么却改进和优化。仔细研
- set oSQLServer =server.createobject("SQLDMO.SQLServer"
- 以前写过《 10条影响CSS渲染速度的写法与建议》,今天放些数据出来,供参考;首先说明一点,CSS对网页的最后渲染出来的速度影响非
- 引言在负责咨询工作的过去 6 年中,我曾多次听说关于数据访问和操作方面的问题,它时刻困扰着用户:“如何编写应用程序,以便
- 情感分析(sentiment analysis)是2018年公布的计算机科学技术名词。它可以根据文本内容判断出所代表的含义是积极的还是负面的
- 做网站数据库,是选SQL Server还是Access好,可能您会说:选MySQL好,不过现在只是讨论IIS+ASP这种架构下的选择,不讨论
- window.onload=function() {&
- 事务处理的流程示例 database := db.DB tx, err := datab
- 现在很多以内容为核心的网站上都在文章底部添加了社会化分享按钮,能让浏览用户在发现一篇有价值的文章时,可以通过社会化网络快速分享给自己的好友,
- innewDropList = [9,10,11,12,22,50,51,60,61]newDB = newDB[newDB['gr
- W3C 发布 XPath 1.0 规范是在 1999 年,那时我还正在备战高考,不料十年后,我才开始学习XPath,落后的差距不是一般的大(
- 前言Multiprocessing.Pool可以提供指定数量的进程供用户调用,当有新的请求提交到pool中时,如果池还没有满,那么就会创建一
- CSS命名规范一.文件命名规范全局样式:global.css;框架布局:layout.css;字体样式:font.css;链接样式:link
- 本文实例讲述了JS中getElementsByClassName与classList兼容性问题解决方案。分享给大家供大家参考,具体如下:do
- pre标签会原样保留HTML内容的格式,可是如果宽度过大会把页面撑坏,这时候需要自动换行来帮忙:Making preformate
- 这只是个asp小技巧类的东西,它虽然适合在每个不同文件名里调用这个函数,但是也是有前提的,下面让我们来仔细看看其中的原委。 &n
- 本文实例讲述了PHP编程实现多维数组按照某个键值排序的方法。分享给大家供大家参考,具体如下:实现对多维数组按照某个键值排序的两种解决方法(a
- jquery基本入门 第一天:选择器相关 1.html()与.text() .html()取得第一个匹配元素的html内容。会带有标签,.t