分享python数据统计的一些小技巧
作者:daisy 发布时间:2022-08-20 11:24:47
最近在用python做数据统计,这里总结了一些最近使用时查找和总结的一些小技巧,希望能帮助在做这方面时的一些童鞋。有些技巧是很平常的用法,平时我们没有注意,但是在特定场景,这些小方法还是能带来很大的帮助。
1.在字典中将键映射到多个值上面
{'b': [4, 5, 6],
'a': [1, 2, 3]}
有时候我们在统计相同key值的时候,希望把所有相同key的条目添加到以key为键的一个字典中,然后再进行各种操作,这时候我们就可以使用下面的代码进行操作:
from collections import defaultdict
d = defaultdict(list)
print(d)
d['a'].append(1)
d['a'].append(2)
d['a'].append(3)
d['b'].append(4)
d['b'].append(5)
d['b'].append(6)
print(d)
print(d.get("a"))
print(d.keys())
print([d.get(i) for i in d])
这里是使用了collections中的方法,这里面还拥有很多有用的方法,我们有时间在继续进行深入了解。
上面代码运行结果:
defaultdict(, {})
defaultdict(, {'b': [4, 5, 6], 'a': [1, 2, 3]})
[1, 2, 3]
dict_keys(['b', 'a'])
[[4, 5, 6], [1, 2, 3]]
我们将数据填入之后,相当于进行快速分组,然后遍历每个组就可以统计一些我们需要的数据。
2.迅速转换字典键值对
data = {...}
zip(data.values(), data.keys())
data是我们的格式数据,使用zip后进行快速键值转换,然后可以使用max,min之类函数进行数据操作。
3.通过公共键对字典进行排序
from operator import itemgetter
data = [
{'name': "bran", "uid": 101},
{'name': "xisi", "uid": 102},
{'name': "land", "uid": 103}
]
print(sorted(data, key=itemgetter("name")))
print(sorted(data, key=itemgetter("uid")))
数据格式就是data,我们想要对name或者uid进行排序我们就是用代码中的方法。
运行结果:
[{'name': 'bran', 'uid': 101}, {'name': 'land', 'uid': 103}, {'name': 'xisi', 'uid': 102}]
[{'name': 'bran', 'uid': 101}, {'name': 'xisi', 'uid': 102}, {'name': 'land', 'uid': 103}]
正如我们期望中的一样
4.对列表中的多个字典根据某一字段进行分组
注意注意,在进行分组前要首先对数据进行排序处理,排序字段根据实际要求来选择
即将处理的数据:
rows = [
{'name': "bran", "uid": 101, "class": 13},
{'name': "xisi", "uid": 101, "class": 11},
{'name': "land", "uid": 103, "class": 10}
]
期望处理结果:
{
101: [{'name': 'xisi', 'class': 11, 'uid': 101},{'name': 'bran', 'class': 13, 'uid': 101}],
103: [{'name': 'land', 'class': 10, 'uid': 103}]
}
我们按照uid进行分组,这里只是演示,uid一般也不会重复。
这个比较复杂一点,我们一部一步来分解
some = [('a', [1, 2, 3]), ('b', [4, 5, 6])]
print(dict(some))
结果:
{'b': [4, 5, 6], 'a': [1, 2, 3]}
这里我们的目的是将元组转换成字典,这个很简单,应该都能看懂。接着我们来下一步对待处理数据进行排序:
data_one = sorted(rows, key=itemgetter("class"))
print(data_one)
data_two = sorted(rows, key=lambda x: (x["uid"], x["class"]))
print(data_two)
这里我们提供两种排序方式原理相同,只是样式稍有区别,第一种data_one是直接使用itemgetter,按照我们前面使用过得,直接按照某一字段进行排序,可是有时候我们会有另一种要求:
先按照某一字段排序,当第一字段重复时,再按照另一字段排序。
这时我们就用第二种方法,进行多字段值排序。
排序结果如下:
[{'name': 'land', 'class': 10, 'uid': 103}, {'name': 'xisi', 'class': 11, 'uid': 101}, {'name': 'bran', 'class': 13, 'uid': 101}]
[{'name': 'xisi', 'class': 11, 'uid': 101}, {'name': 'bran', 'class': 13, 'uid': 101}, {'name': 'land', 'class': 10, 'uid': 103}]
结果大家慢慢看一下,还是略有差别。
接下来就进行最后一步了,将我们刚才讲的两种方式结合起来使用:
data = dict([(g, list(k)) for g, k in groupby(data_two, key=lambda x: x["uid"])])
print(data)
我们对排序好的数据进行分组,然后生成元组列表,最后将其转换成字典,这里大功告成,我们成功将数据进行分组。
python数据统计的一些小技巧就分享到这,有需要的可以参考学习。
猜你喜欢
- 画矩形函数调用:cv2.rectangle(img,pt1,pt2,color,thickness,line_type,shift)img:
- 本文通过实例解析了 SQL Server 数据库扩展存储过程,实现远程备份与恢复的方法和步骤实例说明: 环境:win2k+sqlserver
- SQL Server数据库动态交叉表的参考示例:--建立测试环境set nocount oncreate table test(model
- 今天工作中遇到,拿出来说说。网上CSS下拉菜单不少,不过都存在这样那样的问题,主要问题是,如果你菜单下面有一个FLASH的话,很多都会被FL
- 不管是业务数据分析 ,还是数据建模。数据处理都是及其重要的一个步骤,它对于最终的结果来说,至关重要。今天,就为大家总结一下 “Pandas数
- Python版本是2.7.9,在win8上测试成功,就是抓取有点慢,本来想用多线程的,有事就罢了。模板之家的网站上的url参数与页数不匹配,
- 分页功能在每个网站都是必要的,对于分页来说,其实就是根据用户的输入计算出应该显示在页面上的数据在数据库表中的起始位置。确定分页需求:1. 每
- python函数一、函数定义函数是组织好的,可重复使用的,用来实现单一,或相关联功能的代码段。函数能提高应用的模块性,和代码的重复利用率。你
- 1.文件写入#打开文件,路径不对会报错f = open(r"C:\Users\jm\Desktop\pyfile.txt"
- Firefox 3.5已经发布了几个月了,且已经历5次小幅更新。而基于Gecko 1.9.2的Firefox 3.6也已经开发数月,现在已经
- Tornado 4.0 已经发布了很长一段时间了, 新版本广泛的应用了协程(Future)特性. 我们目前已经将 Tornado 升级到最新
- 1、什么是偏函数partialpython中提供一种对于函数固定属性的函数 2、偏函数的作用把一个函数的某些参数给固定住(也就是设
- 本文实例为大家分享了python五子棋游戏的具体代码,供大家参考,具体内容如下1.项目简介在刚刚学习完python套接字的时候做的一个五子棋
- 由于ajax在跨域的访问上有问题,目前最好的方法是做代理.写了个代理程序和心得为了做ajax的代理,研究了下服务器端的xmlhttp并和客户
- 1. 介绍上传的图片文件:如pic = request.FILES["picture"]# pic是 <class
- 前言数据分析时候,需要将数据进行加载和存储,本文主要介绍和excel的交互。read_excel()加载函数为read_excel(),其具
- 本文实例为大家分享了python使用正则筛选信用卡的具体代码,供大家参考,具体内容如下本文来源于两个简单的题目:1.判断一对单词是否是&qu
- 前言SQLite是一个进程内的库,实现了自给自足的、无服务器的、零配置的、事务性的 SQL 数据库引擎。它是一个零配置的数据库,这意味着与其
- 本文详细讲述了DRF认证组件的原理以及用法.源码剖析讲解DRF版本的时候我们都知道了,在dispatch方法里执行了initial方法来初始
- 1、准备工作1.1 库介绍只有登录微信才能获取到微信好友的信息,本文采用wxpy该第三方库进行微信的登录以及信息的获取。wxpy 在 itc