Python爬虫分析微博热搜关键词的实现代码
作者：北晨lpl 发布时间：2022-11-29 16:13:44
标签：Python,爬虫,微博,热搜
1，使用到的第三方库
requests
BeautifulSoup 美味汤
worldcloud 词云
jieba 中文分词
matplotlib 绘图
2，代码实现部分
import requests
import wordcloud
import jieba
from bs4 import BeautifulSoup
from matplotlib import pyplot as plt
from pylab import mpl
#设置字体
mpl.rcParams['font.sans-serif'] = ['SimHei']
mpl.rcParams['axes.unicode_minus'] = False
url = 'https://s.weibo.com/top/summary?Refer=top_hot&topnav=1&wvr=6'
try:
#获取数据
r = requests.get(url)
r.raise_for_status()
r.encoding = r.apparent_encoding
soup = BeautifulSoup(r.text,'html.parser')
data = soup.find_all('a')
d_list = []
for item in data:
d_list.append(item.text)
words = d_list[4:-11:]
#中文分词
result = list(jieba.cut(words[0]))
for word in words[1::]:
result.extend(jieba.cut(word))
redata = []
for it in result:
if len(it) <= 1:
continue
else:
redata.append(it)
result_str = ' '.join(redata)
#输出词云图
font = r'C:\Windows\Fonts\simhei.ttf'
w = wordcloud.WordCloud(font_path=font,width=600,height=400)
w.generate(result_str)
w.to_file('微博热搜关键词词云.png')
key = list(set(redata))
x,y = [],[]
#筛选数据
for st in key:
count = redata.count(st)
if count <= 1:
continue
else:
x.append(st)
y.append(count)
x.sort()
y.sort()
#绘制结果图
plt.plot(x,y)
plt.show()
except Exception as e:
print(e)
3，运行结果
来源：https://blog.csdn.net/weixin_45014413/article/details/113854155
0
投稿猜你喜欢
前言当我们使用Python完成自己的原创的工具时，比如：端口扫描、弱口令爆破等。你是否想过添加自己的Logo，以及简要的帮助信息？如下：Sq- 1. 引用css。这可能是最常见的做法了，对一些特定的元素定义特定的样式。那么使用它，你需要在HTML 页面中加入<link
- shp2sqlserver用法简析 官方说明: shp2sqlserver is a command line tool for loadi
- 本文实例为大家分享了vue仿写下拉菜单功能，带有过渡效果(移动端)，供大家参考，具体内容如下效果图clickOutside.js 点击目标之
- 1、安装coveragepip install coverage安装完成后，会在Python环境下的\Scripts下看到coverage.
- 前言这里先说明一下，网上很多人说阿里规定500w数据就要分库分表。实际上，这个500w并不是定义死的，而是与MySQL的配置以及机器的硬件有
- math 标准库math 标准库提供了一些 常量如 int64 类型的最大值、float64 类型的最大值等，和常用的数学计算函数。常用函数
- 之前有聊过 golang 的协程，我发觉似乎还很理论，特别是在并发安全上，所以特结合网上的一些例子，来试验下go routine中 的 ch
- import "strconv"strconv 包实现了基本数据类型和其字符串表示的相互转换。string与int类型转
- slice（切片）是 go 里面非常常用的一种数据结构，它代表了一个变长的序列，序列中的每个元素都有相同的数据类型。 一个 slice 类型
- 前言最近在工作中遇到一个需求，就是要把SQLite数据中没有存储的文件名的文件删除掉，想来想去还是决定用python。所以也就花了一天半的时
- 内容摘要：Cookies的值比ASP其他集合（例如Form和ServerVariables）的值要复杂得多。Cookie是一小块由浏览器存贮
- Windows下ORACLE完全卸载：使用OUI可以卸载数据库，但卸载后注册表和文件系统内仍会有部分残留。这些残留不仅占用磁盘空间，而且影响
- python 中sorted与sort有什么区别sort(cmp=None, key=None, reverse=False)sorted(
- 详情查看下面的代码：如果被识别就要添加一个cookie如果没有被识别的话就要一个user—agent就好了。如果出现乱码就设置编码格式为ut
- 目录1. 术语说明2. 简单字段名2.1 简单字段名的说明2.2 省略字段名2.3 数字形式的简单字段名2.4 变量名形式的简单字段名2.5
- <input type=button value=刷新 onclick="hist
- Python 开发学习的意义：（1）学习相关安全工具原理.（2）掌握自定义工具及拓展开发解决实战中无工具或手工麻烦批量化等情况.（3）在二次
- 前言大家都知道Python 是一门强类型、动态类型检查的语言。所谓动态类型，是指在定义变量时，我们无需指定变量的类型，Python 解释器会
- 这种情况在挂载脚本后无法答题，任何关于答题脚本的脚本都无法使用。看这个字体，已经读不出原文了，一开始以为是加密尝试使用加密算法破解，然后用B
