Python实现文本特征提取的方法详解
作者:侯小啾 发布时间:2023-05-09 05:09:19
标签:Python,文本,特征,提取
1.字典文本特征提取 DictVectorizer()
1.1 one-hot编码
创建一个字典,观察如下数据形式的变化:
import pandas as pd
from sklearn.feature_extraction import DictVectorizer
data = [{'city': '洛阳', 'temperature': 39},
{'city': '成都', 'temperature': 41},
{'city': '宁波', 'temperature': 42},
{'city': '佛山', 'temperature': 38}]
df1 = pd.DataFrame(data)
print(df1)
# one-hot编码 因为temperature是数值型的,所以会保留原始值,只有字符串类型的才会生成虚拟变量
df2 = pd.get_dummies(df1)
print(df2)
输出如下:
1.2 字典数据转sparse矩阵
使用DictVectorizer()创建字典特征提取模型
# 1.创建对象 默认sparse=True 返回的是sparse矩阵; sparse=False 返回的是ndarray矩阵
transfer = DictVectorizer()
# 2.转化数据并训练
trans_data = transfer.fit_transform(data)
print(transfer.get_feature_names_out())
print(trans_data)
使用sparse矩阵没有显示0数据,节约了内存,更为简洁,这一点比ndarray矩阵更好。
2.英文文本特征提取
文本特征提取使用的是CountVectorizer文本特征提取模型,这里准备了一段英文文本(I have a dream)。统计词频并得到sparse矩阵,代码如下所示:
CountVectorizer()没有sparse参数,默认采用sparse矩阵格式。且可以通过stop_words指定停用词。
from sklearn.feature_extraction.text import CountVectorizer
data = ["I have a dream that one day this nation will rise up and live out the true meaning of its creed",
"We hold these truths to be self-evident, that all men are created equal",
"I have a dream that one day on the red hills of Georgia, "
"the sons of former slaves and the sons of former slave owners will be able to sit down together at the table of brotherhood",
"I have a dream that one day even the state of Mississippi",
" a state sweltering with the heat of injustice",
"sweltering with the heat of oppression",
"will be transformed into an oasis of freedom and justice",
"I have a dream that my four little children will one day live in a nation where they will not be judged by the color of their skin but by the content of their character",
"I have a dream today"]
# CountVectorizer文本特征提取模型
# 1.实例化 将"is"标记为停用词
c_transfer = CountVectorizer(stop_words=["is"])
# 2.调用fit_transform
c_trans_data = c_transfer.fit_transform(data)
# 打印特征名称
print(c_transfer.get_feature_names_out())
# 打印sparse矩阵
print(c_trans_data)
输出结果如下图所示:
3.中文文本特征提取
准备一段中文文本(data.txt),以水浒传中风雪山神庙情节为例:
大雪下的正紧,林冲和差拨两个在路上又没买酒吃处。早来到草料场外,看时,一周遭有些黄土墙,两扇大门。推开看里面时,七八间草房做着仓廒,四下里都是马草堆,中间两座草厅。到那厅里,只见那老军在里面向火。差拨说道:“管营差这个林冲来替你回天王堂看守,你可即便交割。”老军拿了钥匙,引着林冲,分付道:“仓廒内自有官司封记,这几堆草一堆堆都有数目。”老军都点见了堆数,又引林冲到草厅上。老军收拾行李,临了说道:“火盆、锅子、碗碟,都借与你。”林冲道:“天王堂内我也有在那里,你要便拿了去。”老军指壁上挂一个大葫芦,说道:“你若买酒吃时,只出草场,投东大路去三二里,便有市井。”老军自和差拨回营里来。
只说林冲就床上放了包裹被卧,就坐下生些焰火起来。屋边有一堆柴炭,拿几块来生在地炉里。仰面看那草屋时,四下里崩坏了,又被朔风吹撼,摇振得动。林冲道:“这屋如何过得一冬?待雪晴了,去城中唤个泥水匠来修理。”向了一回火,觉得身上寒冷,寻思:“却才老军所说五里路外有那市井,何不去沽些酒来吃?”便去包里取些碎银子,把花枪挑了酒葫芦,将火炭盖了,取毡笠子戴上,拿了钥匙,出来把草厅门拽上。出到大门首,把两扇草场门反拽上,锁了。带了钥匙,信步投东。雪地里踏着碎琼乱玉,迤逦背着北风而行。那雪正下得紧。
行不上半里多路,看见一所古庙。林冲顶礼道:“神明庇佑,改日来烧钱纸。”又行了一回,望见一簇人家。林冲住脚看时,见篱笆中挑着一个草帚儿在露天里。林冲径到店里,主人道:“客人那里来?”林冲道:“你认得这个葫芦么?”主人看了道:“这葫芦是草料场老军的。”林冲道:“如何便认的?”店主道:“既是草料场看守大哥,且请少坐。天气寒冷,且酌三杯权当接风。”店家切一盘熟牛肉,烫一壶热酒,请林冲吃。又自买了些牛肉,又吃了数杯。就又买了一葫芦酒,包了那两块牛肉,留下碎银子,把花枪挑了酒葫芦,怀内揣了牛肉,叫声相扰,便出篱笆门,依旧迎着朔风回来。看那雪,到晚越下的紧了。古时有个书生,做了一个词,单题那贫苦的恨雪:
广莫严风刮地,这雪儿下的正好。扯絮挦绵,裁几片大如栲栳。见林间竹屋茅茨,争些儿被他压倒。富室豪家,却言道压瘴犹嫌少。向的是兽炭红炉,穿的是绵衣絮袄。手捻梅花,唱道国家祥瑞,不念贫民些小。高卧有幽人,吟咏多诗草。
对中文提取文本特征,需要安装并使用到jieba库。使用该库将文本处理成为空格连接词语的格式,再使用CountVectorizer文本特征提取模型进行提取即可。
代码示例如下:
import jieba
from sklearn.feature_extraction.text import CountVectorizer
# 将文本转为以空格相连的字符串
def cut_word(sent):
return " ".join(list(jieba.cut(sent)))
# 将文本以行为单位,去除空格,并置于列表中。格式形如:["第一行","第二行",..."n"]
with open("./论文.txt", "r") as f:
data = [line.replace("\n", "") for line in f.readlines()]
lis = []
# 将每一行的词汇以空格连接
for temp in data:
lis.append(cut_word(temp))
transfer = CountVectorizer()
trans_data = transfer.fit_transform(lis)
print(transfer.get_feature_names())
# 输出sparse数组
print(trans_data)
# 转为ndarray数组(如果需要)
print(trans_data.toarray())
程序执行效果如下:
转换得到的ndarray数组形式(如果需要)如图所示:
4. TF-IDF 文本特征提取 TfidfVectorizer()
TF-IDF文本提取器可以用来评估一字词对于一个文件集或者一个语料库中的其中一份文件的重要程度。
代码展示如下:
from sklearn.feature_extraction.text import TfidfVectorizer
import jieba
def cut_word(sent):
return " ".join(list(jieba.cut(sent)))
with open("data.txt", "r") as f:
data = [line.replace("\n", "") for line in f.readlines()]
lis = []
for temp in data:
# print(cut_word(temp))
lis.append(cut_word(temp))
transfer = TfidfVectorizer()
print(transfer.get_feature_names())
print(trans_data)
程序执行结果如下:
来源:https://blog.csdn.net/weixin_48964486/article/details/126333634
0
投稿
猜你喜欢
- 作用:用ASP程序将页面中的电话号码生成图片格式。以下是引用片段:<% Call Com_CreatValidCode(Request
- 八种获取当前日期的js代码,第一步:把如下代码加入<head>区域中:<SCRIPT language=java
- 简介观察者模式是行为型模式的一种,定义了对象间一对多的关系。当对象的状态发生变化时候,依赖于它的对象会得到通知。适用场景类似触发钩子事件,可
- 第一种方法: 分为 大 中 小 控制正文字体大小,一般需要指定 id<!DOCTYPE html PUBLIC "-//W3
- 如何侦测HTTP表头信息?可用下列办法侦测并显示所有的HTTP HEADERS:<HTML><HEAD><TI
- 闭包的概念我们尝试从概念上去理解一下闭包。在一些语言中,在函数中可以(嵌套)定义另一个函数时,如果内部函数引用了外部函数的变量,则可能产生闭
- 调用很简单 Readkid.motion.tween(target,duration, vars)target: 要缓动的DOM对象dura
- 背景今天在工作中,同事遇到一个上传图片的问题:系统要求的图片大小不能超过512KB。但是同事又有很多照片。这要是每一个照片都用ps压缩的话,
- 接触Python时间不长,对有些知识点,掌握的不是很扎实,我个人比较崇尚不管学习什么东西,首先一定回去把基础打的非常扎实了,再往高处走。今天
- CSS中最常用的布局类属性,一个是Float(CSS浮动属性Float详解),另一个就是CSS定位属性Position。1. positio
- 小编今天教你们python怎么导入坐标点,解决你在生活中遇到的小问题。首先下载安装python,打开文本编辑器,将文件保存成 py格式,如果
- MySQL 5.0.16的乱码问题可以用下面的方法解决:1.设置phpMyAdminLanguage:Chinese simplified
- 1,CSS,JS,IMG一个都不能少运行代码框<style type="text/css">&l
- 箱形图概念后面的图形都是一些专业的统计图形,当然也会是我们可视化的对象。箱形图(Box-plot)又称为盒须图、盒式图或箱线图,是一种用作显
- 如下所示:import osDIR = "/home/serho/workspace/lisp"def compare(
- 这篇博客其实就是这个集合整理后一部分的公开亮相。如果你已经是个python大牛,那么基本上你应该知道这里面的大多数用法了,但我想你应该也能发
- 前言使用 pymongo 进行 group by 操作有两种基本方式,他们都是 mongodb 的原生命令,于 Collection 对象上
- 方法一:1、进入项目目录下,运行下面程序:nohup python manage.py runserver 0.0.0.0:5008 &am
- 一、_func 单下划线开头 --口头私有变量1.1、在模块中使用单下划线开头在Python中,通过单下划线_来实现模块级别的私有化,变量除
- 组合模式是把一个类别归为一个整体,并且组织多个整体之间的关系,使用通过树形结构来描述所有整体。一般的编写方式为一个类别对象下添加多个该对象的