python 调用API接口 获取和解析 Json数据
作者:虾米堡 发布时间:2022-01-24 17:57:15
任务背景:
调用API接口数据,抽取我们所需类型的数据,并写入指定mysql数据库。
先从宏观上看这个任务,并对任务进行分解:
step1:需要学习python下的通过url读取数据的方式;
step2:数据解析,也是核心部分,数据格式从python角度去理解,是字典?列表?还是各种嵌套?
step3:连接mysql数据库,将数据写入。
从功能上看,该数据获取程序可以分为3个方法,即step1对应方法request_data(),step2对应方法parse_data(),step3对应data_to_db()。
第一轮,暂不考虑异常,只考虑正常状态下的功能实现。
1、先看request_data():
import requests
def request_data(url):
req = requests.get(url, timeout=30) # 请求连接
req_jason = req.json() # 获取数据
return req_jason
入参:url地址;return:获取到的数据。
2、然后看parse_data():
不同的API接口下的数据格式各不相同,需要先理清,打开之后密密麻麻一大串,有的可能连完整的一轮数据间隔在哪都不知道,这时候可以巧用符号{ [ , ] }辅助判断。
梳理之后,发现本接口下的数据格式为,最外层为字典,我们所需的数据在第一个key“data”下,data对应的value为列表,列表中的每个元素为字典,字典中的部分键值
即为我们需要的内容。这样,就明确了我们的数据结构为字典套列表,列表再套字典的格式,最后一层的字典还存在一键多值(比如“weather”)的情况。
当然,还有懒人方法,就是百度json在线解析格式化。
摘取部分数据如下:{"data":[{"timestamp_utc":"2020-08-31T08:00:00","weather":{"icon":"c02d","code":802,
wind_dir":336,"clouds_hi":0,"precip":0.0625},{"timestamp_utc":"2020-08-31T08:00:00","weather":{"icon":"c02d","code":802,},
wind_dir":336,"clouds_hi":0,"precip":0.0625],"city_name":"Dianbu","lon":117.58,"timezone":"Asia\/Shanghai","lat":31.95,"country_code":"CN"}
def parse_data(req_jason):
data_trunk = req_jason['data']# 获取data键值下的列表
time_now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S") #获取当前时刻
for i in range(len(data_trunk)):
data_unit = data_trunk[i] # 依次获取列表下第i个元素即字典
del data_unit['weather'] # 删除该字典中不需要的一键多值的key和value,不删除的话会影响后续的dataframe转换,但是,如果该键值需要的话,需要采取其他处理方式
df = pd.DataFrame([data_unit]) # 将删除键值后的字典转为datafrme
list_need = ['timestamp_utc', 'wind_dir', 'precip','clouds_hi'] # 列出我们需要的列
df_need = df[list_need] # 保留df中需要的列 10 df_need.insert(0, 'update_time', time_now) #表格中还需额外增加获取数据的当前时间,并且需要放在dataframe的第一列
备注:数据插入数据库,有两种方式,一种是采用insert的sql语句,采用字典的形式插入,另一种是采用dataframe的方式,采用pandas中的to_sql方法。本案例选择了后者,所以在数据解析时,将字典数据转成dataframe格式。
入参:获取到的数据;return值:无
运行以后,发现这样的程序存在一些问题:就是这个for循环括起来的过多,导致写数据库时是一条条写入而不是一整块写入,会影响程序效率,所以需要对程序进行如下修改:
def parse_data(req_jason):
data_trunk = req_jason['data']# 获取data键值下的列表
time_now = datetime.datetime.now().strftime("%Y-%m-%d %H:%M:%S") #获取当前时刻
for i in range(len(data_trunk)):
data_unit = data_trunk[i] # 依次获取列表下第i个元素即字典
del data_unit['weather'] # 删除该字典中不需要的一键多值的key和value,不删除的话会影响后续的dataframe转换,但是,如果该键值需要的话,需要采取其他处理方式
df = pd.DataFrame(data_trunk) # 将删除键值后的整个列表套字典转为datafrme
list_need = ['timestamp_utc', 'wind_dir', 'precip','clouds_hi'] # 列出我们需要的列
df_need = df[list_need] # 保留df中需要的列
df_need.insert(0, 'update_time', time_now) #表格中还需额外增加获取数据的当前时间,并且需要放在dataframe的第一列
也就是从第7行之后跳出循环;
如果觉得for循环影响整体美观,也可以用map代替,将代码第4/5/6行改为如下代码,不过性能上来说可能还是for循环更好,具体对比可看其他博主的测试,或者自己测试下运行时间。
map(data_trunk.pop, ['weather'])
3. 最后就是data_to_sql():
def data_to_sql(df):
table = 'request_data_api'
engine = create_engine("mysql+pymysql://" + 'root' + ":" + '123' + "@" + 'localhost' + ":" + '3306' + "/" + 'test' + "?charset=utf8")
df.to_sql(name=table, con=engine, if_exists='append',
index=False, index_label=False)
入参:dataframe类型数据。
当当当,正常部分已完成,就下来就需要想象各种异常以及处理对策。
第二轮,想象各种异常以及异常的记录与处理对策。
1.读取url后,获取不到数据 → 休息几秒,尝试再次重连获取
2.连接数据库异常 → 数据库可能关闭,尝试重新ping,
3.写入数据库的内容为空 → 记录异常,放弃入库
第三轮,让程序定时跑起来。
方法一:在代码中采用apscheduler下的cron功能(trigger='cron‘,类似linux下的crontab)实现定时运行(当然,apscheduler还有另一种trigger=‘interval'模式);
方法二:在linux下的crontab增加定时任务。
具体可以看别的帖子。
来源:https://www.cnblogs.com/xiamibao/p/13589798.html
猜你喜欢
- Pillow库是一个Python的第三方库。在Python2中,PIL(Python Imaging Library)是一个非常好用的图像处
- 先来说eval的用法,内容比较简单,熟悉的可以跳过。eval函数接收一个参数s,如果s不是字符串,则直接返回s。否则执行s语句。如果s语句执
- 运行多进程 每个子进程的内存空间是互相隔离的 进程之间数据不能共享的互斥锁但是进程之间都是运行在一个操作系统上,进程之间数据不共享,但是共享
- 下面展示一下非瀑布流的item布局情况,每个item的高度都是一样的,所以 他的index就是左右左右,position所对应的itemVi
- 一、INSERT和REPLACEINSERT和REPLACE语句的功能都是向表中插入新的数据。这两条语句的语法类似。它们的主要区别是如何处理
- 命名空间: 每一个作用域变量存储的位置,或者解释为 存储作用域中变量的字典。作用: 获取想查看某个作用域中的变量名、变量值。使用方法: lo
- 前言接上文 matlab与Excel交互 非xlsread和xlswrite (1) ,此处默认:Excel=actxserver(‘Exc
- 一、 什么是遗传算法?遗传算法是仿真生物遗传学和自然选择机理,通过人工方式所构造的一类搜索算法,从某种程度上说遗传算法是对生物进化过程进行的
- 技术背景本文主要涵盖两个领域的知识点:python的魔法函数和量子计算模拟,我们可以通过一个实际的案例来先审视一下这两个需求是如何被结合起来
- 2021年7月1日,官方正式发布了1.0Datatable版本。1.0版本支持windows和linux,以及Macos。 具体文档可以见:
- * address - 地址 * blockquote - 块引用 * center - 举中对齐块 * di
- 参照资料:selenium webdriver添加cookie: https://www.jb51.net/article/193102.h
- 前言工作中使用了redux-saga这个redux中间件,如果不明白内部原理使用起来会让人摸不着头脑,阅读源码后特意对其原理做下总结。red
- 1,判断图像清晰度,明暗,原理,Laplacian算法。偏暗的图片,二阶导数小,区域变化小;偏亮的图片,二阶导数大,区域变化快。import
- Python中的字符串对象是不能更改的,也即直接修改字符串中的某一位或几位字符是实现不了的,即python中字符串对象不可更改,但字符串对象
- 一、安装 wordcloudpip install wordcloud二、加载包、设置路径import osfrom wordcloud i
- NOMONEYDAY123114321-45324212-102250331008为了符合阅读习惯,最终报表希望是如下格式:NOMONTUE
- 在pandas 基础操作大全之数据读取&清洗&分析 以及 pandas基础操作大全之数据合并 中介绍了p
- 在矩阵应用的过程中,经常需要使用随机数,那么怎么使用numpy 产生随机数呢 ,为此专门做一个总结。random模块用于生成随机数,下面是一
- 1.安装anaconda(anaconda内置python在内的许多package,所以不用另外下载python)可以点击下面的清华开源软件