用Python可视化新冠疫情数据
作者:WENLIU246 发布时间:2021-10-14 06:06:39
前言
不知道大伙有没有看到过这一句话:“中国(疫苗研发)非常困难,因为在中国我们没有办法做第三期临床试验,因为没有病人了。”这句话是中国工程院院士钟南山在上海科技大学2021届毕业典礼上提出的。这句话在全网流传,被广大网友称之为“凡尔赛”发言。
今天让我们用数据来看看这句话是不是“凡尔赛”本赛。在开始之前我们先来说说今天要用到的python库吧!
1.数据获取部分
requests lxml json openpyxl
2.数据可视化部分
pandas pyecharts(可视化库)
以上的库都可以通过在线下载:
pip instll xx
ps:如果下载速度太慢的话也可以用国内镜像,使用命令,例如:
pip install xx(库名) -i https://pypi.tuna.tsinghua.edu.cn/simple gevent(清华镜像)
现在一起进入今天的代码部分吧!!!
数据获取
目标地址:
https://voice.baidu.com/act/newpneumonia/newpneumonia
进入目标地址我们可以看到如下所示:
现在让我们一起去解析网页结构找到我们要爬取到的数据如下所示:
现在我们找到想要的页面数据接下来就是通过Python来获取这些数据了,上代码:
1 import requests
2 from lxml import etree
3 import json
4 import openpyxl
5
6 #通用爬虫
7 url = 'https://voice.baidu.com/act/newpneumonia/newpneumonia'
8 headers = {
9 "User-Agent": ".....(换成自己的)"
10 }
11 response = requests.get(url=url,headers=headers).text
12 #在使用xpath的时候要用树形态
13 html = etree.HTML(response)
14 #用xpath来获取我们之前找到的页面json数据 并打印看看
15 json_text = html.xpath('//script[@type="application/json"]/text()')
16 json_text = json_text[0]
17 print(json_text)
之后我们来解析一下json数据,上代码:
1 #用python本地自带的库转换一下json数据
2 result = json.loads(json_text)
3 print(result)
4 #通过打印出转换的对象我们可以看到我们要的数据都要key为component对应5 的值之下 所以现在我们将值拿出来
6 result = result["component"]
7 #再次打印看看结果
8 print(result)
9 获取国内当前数据
10 result = result[0]['caseList']
11 print(result)
接着我们将获取到的数据保存到excel中,上代码:
1 #创建工作簿
2 wb = openpyxl.Workbook()
3 创建工作表
4 ws = wb.active
5 设置表的标题
6 ws.title = "国内疫情"
7 写入表头
8 ws.append(["省份","累计确诊","死亡","治愈"])
9 #获取各省份的数据并写入
10 for line in result:
11 line_name = [line["area"],line["confirmed"],line["died"],line["crued"]]
12 for ele in line_name:
13 if ele == '':
14 ele = 0
15 ws.append(line_name)
16 #保存到excel中
17 wb.save('./china.xlsx')
最后我们查看一下获取到的数据是什么样的,如图:
emmmm,终于我们把数据获取部分完成了,第二部分的数据可视化来了!!!
数据可视化
这次我们用到的库是pyecharts里面的Map,我们先展示一下本次可视化用到的库
1 #可视化部分
2 import pandas as pd
3 from pyecharts.charts import Map,Page
4 from pyecharts import options as opts
首先我们要先通过pandas库来获取到刚才我们爬取到的数据,上代码:
1 设置列对齐
2 pd.set_option('display.unicode.ambiguous_as_wide', True)
3 pd.set_option('display.unicode.east_asian_width', True)
4 打开文件
5 df = pd.read_excel('china.xlsx')
6 对省份进行统计
7 data2 = df['省份']
8 data2_list = list(data2)
9 data3 = df['累计确诊']
10 data3_list = list(data3)
11 data4 = df['死亡']
12 data4_list = list(data4)
13 data5 = df ['治愈']
14 data5_list = list(data5)
接着我们来做数据可视化,将在我国地图上的各个省份显示出对应的数值
我们以疫情发生以来治愈数为例,上代码:
1 c = (
2 Map()
3 .add("治愈", [list(z) for z in zip(data2_list, data5_list)], "china")
4 .set_global_opts(
5 title_opts=opts.TitleOpts(),
6 visualmap_opts=opts.VisualMapOpts(max_=200),
7 )
8 )
9 c.render()
当然仅仅一个治愈情况当然说明不了什么,所以我们将三种情况都以这种形式显示出来,上代码:
1 a = (
2 Map()
3 .add("累计确诊", [list(z) for z in zip(data2_list, data3_list)], "china")
4 .set_global_opts(
5 title_opts=opts.TitleOpts(),
6 visualmap_opts=opts.VisualMapOpts(max_=200),
7 )
8 )
9
10 b = (
11 Map()
12 .add("死亡", [list(z) for z in zip(data2_list, data4_list)], "china")
13 .set_global_opts(
14 title_opts=opts.TitleOpts(),
15 visualmap_opts=opts.VisualMapOpts(max_=200),
16 )
17 )
18
19 c = (
20 Map()
21 .add("治愈", [list(z) for z in zip(data2_list, data5_list)], "china")
22 .set_global_opts(
23 title_opts=opts.TitleOpts(),
24 visualmap_opts=opts.VisualMapOpts(max_=200),
25 )
26 )
27
28 page = Page(layout=Page.DraggablePageLayout)
29 page.add(
30 a,
31 b,
32 c,
33 )
34 先生成render.html文件
35 page.render()
当然如果是直接运行代码的话展现出来的地图不是这样的,这个是通过后期的排版来完成的。那么在最后我们来说说是怎么排版的吧。
首先你先将上面的代码运行之后会产生一个render.html的文件然后你打开文件之后可以调整整个页面的布局,根据自己的喜欢来调整,接着点击左上角的“Save Config”将这个json文件保存到跟render.html这个文件同一个路径之下,最后运行一下代码:
1 #完成上一步之后把 page.render()这行注释掉
2 #然后循行这下面
3 Page.save_resize_html("render.html",
4 cfg_file="chart_config.json",
5 dest="my_test.html")
这样以后会产生一个my_test.html这个文件就是我们上面展示的那样啦。以上就是我们这次的结果。从数据的获取到数据可视化,怎么说呢pyecharts还具有其他强大的可视化功能。
python的特色
• 简单
• 易于学习
• 自由开放
• 跨平台
• 可嵌入
• 丰富的库
来源:https://blog.csdn.net/WENLIU246/article/details/122536501
猜你喜欢
- 大家经常用的是Adodb.Stream,但这时就有个缺陷,就是不支持断点续传了。经常看到flashget中是红脸(即不支持断点续传)其实支持
- 前言这篇博客针对《PPython+Qt身体特征识别人数统计》编写代码,功能包括了相片,摄像头身体识别,数量统计。代码整洁,规则,易读。应用推
- 查看逻辑读前10的SQL:set linesize 300;set pagesize 300;set long 50000;SELECT *
- uWSGI是一个Web应用服务器,它具有应用服务器,代理,进程管理及应用监控等功能。它支持WSGI协议,同时它也支持自有的uWSGI协议,该
- MySQL从5.1开始支持event功能,类似oracle的job功能。有了这个功能之后我们就可以让MySQL自动的执行数据汇总等功能,不用
- 1. 生命游戏是什么生命游戏是英国数学家约翰·何顿·康威在1970年发明的细胞自动机。它包括一个二维矩形世界,这个世界中的每个方格居住着一个
- 自己有一套模块化的思路,想搜索一下有没有共鸣结果排名靠前的是通过class拼凑页面的想法。模块化是twinsen提出来的,从我接收第一个po
- 经常到这来抄抄改改代码,也贡献一个代码,主要是讨论研究用,没有封装可以进一步改进<!DOCTYPE html PUBLIC "
- 进入:直接输入python即可,如图所示退出:1:输入exit(),回车2:输入quit(),回车3:输入ctrl+z,回车来源:https
- 问:我想问一下我在重新装完系统以后装SQL Server2000时提示:以前某个程序安装已在计算机上创建挂起的文件操作,运行安装
- Selenium爬虫遇到 数据是以 JSON 字符串的形式包裹在 Script 标签中,假设Script标签下代码如下:<script
- 项目开始时是一个关键时刻,选择会对项目产生长期的影响。有很多关于如何开始使用Django框架的教程,但很少讨论如何专业地使用Django,或
- 代码如下:--相信大家肯定经常会把数据导入到数据库中,但是可能会有些记录行的所有列的数据是null,这为null的数据是我们不需要 --现在
- 黑体是视觉设计师常用的一款字体,特别是针对广告的 Banner 等。根据 * 的相关介绍,有关黑体的定义可以认为:黑體与白体
- ASPError Object 这个新增的,内置与ASP 3.0中的对象提供了一个以往版本中没有的专门用来处理错误的对象,这样,我们来操纵错
- 第一步:创建转向控制页面创建网站默认的首页文件(通常为"index.asp"或"default.asp&quo
- 此BUG最初是在《前端观察》网站刊登,这里再描述一下,代码如下:<style>*{ padding:0; m
- 在对数值进行格式化的时候,一个常见的问题是按照千分位格式化,网上对这个问题已经有很多种解决方法了,还可以利用Array.prototype.
- <table width="636" border="0" align="cente
- 加入CDC的这段日子里,工作中积累的小心得都密密麻麻的收在册子里。恰逢近期的校园招聘正如火如荼的展开着,借此机会,我把这一些不太成熟的小想法