python DataFrame数据分组统计groupby()函数的使用
作者：侯小啾 发布时间：2021-11-19 07:04:53
标签：python,DataFrame,groupby
groupby()函数
在python的DataFrame中对数据进行分组统计主要使用groupby()函数。
1. groupby基本用法
1.1 一级分类_分组求和
import pandas as pd
data = [['a', 'A', 109], ['b', 'B', 112], ['c', 'A', 125], ['d', 'C', 120],
['e', 'C', 126], ['f', 'B', 133], ['g', 'A', 124], ['h', 'B', 134],
['i', 'C', 117], ['j', 'C', 128]]
index = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9]
columns = ['name', 'class', 'num']
df = pd.DataFrame(data=data, index=index, columns=columns)
print(df)
print("=================================================")
df1 = df.groupby('class').sum() # 分组统计求和
print(df1)
1.2 二级分类_分组求和
给groupby()传入一个列表，列表中的元素为分类字段，从左到右分类级别增大。(一级分类、二级分类…)
import pandas as pd
data = [['a', 'A', '1等', 109], ['b', 'B', '1等', 112], ['c', 'A', '1等', 125], ['d', 'B', '2等', 120],
['e', 'B', '1等', 126], ['f', 'B', '2等', 133], ['g', 'A', '2等', 124], ['h', 'B', '1等', 134],
['i', 'A', '2等', 117], ['j', 'A', '2等', 128], ['h', 'A', '1等', 130], ['i', 'B', '2等', 122]]
index = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11]
columns = ['name', 'class_1', 'class_2', 'num']
df = pd.DataFrame(data=data, index=index, columns=columns)
print(df)
print("=================================================")
df1 = df.groupby(['class_1', 'class_2']).sum() # 分组统计求和
print(df1)
1.3 对DataFrameGroupBy对象列名索引（对指定列统计计算）
其中，df.groupby(‘class_1’)得到一个DataFrameGroupBy对象，对该对象可以使用列名进行索引，以对指定的列进行统计。
如：df.groupby(‘class_1’)[‘num’].sum()
import pandas as pd
data = [['a', 'A', '1等', 109], ['b', 'B', '1等', 112], ['c', 'A', '1等', 125], ['d', 'B', '2等', 120],
['e', 'B', '1等', 126], ['f', 'B', '2等', 133], ['g', 'A', '2等', 124], ['h', 'B', '1等', 134],
['i', 'A', '2等', 117], ['j', 'A', '2等', 128], ['h', 'A', '1等', 130], ['i', 'B', '2等', 122]]
index = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11]
columns = ['name', 'class_1', 'class_2', 'num']
df = pd.DataFrame(data=data, index=index, columns=columns)
print(df)
print("=================================================")
df1 = df.groupby('class_1')['num'].sum()
print(df1)
代码运行结果同上。
2. 对分组数据进行迭代
2.1 对一级分类的DataFrameGroupBy对象进行遍历
for name, group in DataFrameGroupBy_object
其中，name指分类的类名，group指该类的所有数据。
import pandas as pd
data = [['a', 'A', '1等', 109], ['b', 'C', '1等', 112], ['c', 'A', '1等', 125], ['d', 'B', '2等', 120],
['e', 'B', '1等', 126], ['f', 'B', '2等', 133], ['g', 'C', '2等', 124], ['h', 'A', '1等', 134],
['i', 'C', '2等', 117], ['j', 'A', '2等', 128], ['h', 'B', '1等', 130], ['i', 'C', '2等', 122]]
index = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11]
columns = ['name', 'class_1', 'class_2', 'num']
df = pd.DataFrame(data=data, index=index, columns=columns)
print(df)
print("===============================")
# 获取目标数据。
df1 = df[['name', 'class_1', 'num']]
for name, group in df1.groupby('class_1'):
print(name)
print("=============================")
print(group)
print("==================================================")
2.2 对二级分类的DataFrameGroupBy对象进行遍历
对二级分类的DataFrameGroupBy对象进行遍历，
以for (key1, key2), group in df.groupby([‘class_1’, ‘class_2’]) 为例
不同于一级分类的是， (key1, key2)是一个由多级类别组成的元组，而group表示该多级分类类别下的数据。
import pandas as pd
data = [['a', 'A', '1等', 109], ['b', 'C', '1等', 112], ['c', 'A', '1等', 125], ['d', 'B', '2等', 120],
['e', 'B', '1等', 126], ['f', 'B', '2等', 133], ['g', 'C', '2等', 124], ['h', 'A', '1等', 134],
['i', 'C', '2等', 117], ['j', 'A', '2等', 128], ['h', 'B', '1等', 130], ['i', 'C', '2等', 122]]
index = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11]
columns = ['name', 'class_1', 'class_2', 'num']
df = pd.DataFrame(data=data, index=index, columns=columns)
print(df)
print("===============================")
for (key1, key2), group in df.groupby(['class_1', 'class_2']):
print(key1, key2)
print("=============================")
print(group)
print("==================================================")
程序运行结果如下：
(部分)
3. agg()函数
使用groupby()函数和agg()函数 实现 分组聚合操作运算。
3.1一般写法_对目标数据使用同一聚合函数
以 分组求均值、求和 为例
给agg()传入一个列表
df1.groupby([‘class_1’, ‘class_2’]).agg([‘mean’, ‘sum’])
import pandas as pd
data = [['a', 'A', '1等', 109, 144], ['b', 'C', '1等', 112, 132], ['c', 'A', '1等', 125, 137], ['d', 'B', '2等', 120, 121],
['e', 'B', '1等', 126, 136], ['f', 'B', '2等', 133, 127], ['g', 'C', '2等', 124, 126], ['h', 'A', '1等', 134, 125],
['i', 'C', '2等', 117, 125], ['j', 'A', '2等', 128, 133], ['h', 'B', '1等', 130, 122], ['i', 'C', '2等', 122, 111]]
index = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11]
columns = ['name', 'class_1', 'class_2', 'num1', 'num2']
df = pd.DataFrame(data=data, index=index, columns=columns)
print(df)
print("===============================")
df1 = df[['class_1', 'class_2', 'num1', 'num2']]
print(df1.groupby(['class_1', 'class_2']).agg(['mean', 'sum']))
3.2 对不同列使用不同聚合函数
给agg()方法传入一个字典
import pandas as pd
data = [['a', 'A', '1等', 109, 144], ['b', 'C', '1等', 112, 132], ['c', 'A', '1等', 125, 137], ['d', 'B', '2等', 120, 121],
['e', 'B', '1等', 126, 136], ['f', 'B', '2等', 133, 127], ['g', 'C', '2等', 124, 126], ['h', 'A', '1等', 134, 125],
['i', 'C', '2等', 117, 125], ['j', 'A', '2等', 128, 133], ['h', 'B', '1等', 130, 122], ['i', 'C', '2等', 122, 111]]
index = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11]
columns = ['name', 'class_1', 'class_2', 'num1', 'num2']
df = pd.DataFrame(data=data, index=index, columns=columns)
print(df)
print("===============================")
df1 = df[['class_1', 'num1', 'num2']]
print(df1.groupby('class_1').agg({'num1': ['mean', 'sum'], 'num2': ['sum']}))
3.3 自定义函数写法
也可以自定义一个函数（以名为max1为例）传入agg()中。
import pandas as pd
data = [['a', 'A', '1等', 109, 144], ['b', 'C', '1等', 112, 132], ['c', 'A', '1等', 125, 137], ['d', 'B', '2等', 120, 121],
['e', 'B', '1等', 126, 136], ['f', 'B', '2等', 133, 127], ['g', 'C', '2等', 124, 126], ['h', 'A', '1等', 134, 125],
['i', 'C', '2等', 117, 125], ['j', 'A', '2等', 128, 133], ['h', 'B', '1等', 130, 122], ['i', 'C', '2等', 122, 111]]
index = [0, 1, 2, 3, 4, 5, 6, 7, 8, 9, 10, 11]
columns = ['name', 'class_1', 'class_2', 'num1', 'num2']
df = pd.DataFrame(data=data, index=index, columns=columns)
print(df)
print("===============================")
max1 = lambda x: x.value_counts(dropna=False).index[0]
max1.__name__ = "类别数量最多"
df1 = df.agg({'class_1': [max1],
'num1': ['sum', 'mean'],
'num2': ['sum', 'mean']})
print(df1)
4. 通过 字典 和 Series 对象进行分组统计
groupy()不仅仅可以传入单个列，或多个列组成的列表，
也可以传入一个字典或者一个Series来实现分组。
4.1通过一个字典
import pandas as pd
data = [['A', 10000, 20121, 14521, 20, 23, 4, 5000],
['B', 12000, 12541, 11220, 14, 25, 5, 6000],
['C', 21420, 26452, 34215, 25, 24, 4, 5266],
['D', 21025, 23155, 31251, 23, 26, 6, 6452],
['E', 30021, 23512, 21452, 30, 27, 5, 7525],
['F', 32152, 30214, 26321, 32, 30, 7, 6952]]
columns = ['公司', 'a产品产量', 'b产品产量', 'c产品产量', '搬运工数量', '推销员数量', '经理数量', '平均工资']
pd.set_option('display.unicode.east_asian_width', True)
df = pd.DataFrame(data=data, columns=columns)
df = df.set_index(['公司'])
print(df)
print("===============================")
mapping = {
'a产品产量': '产品产量', 'b产品产量': '产品产量',
'c产品产量': '产品产量', '搬运工数量': '人员数量',
'推销员数量': '人员数量', '经理数量': '人员数量',
'平均工资': '平均工资'
}
df1 = df.groupby(mapping, axis=1).sum()
print(df1)
程序运行结果：
4.2通过一个Series
import pandas as pd
data = [['A', 10000, 20121, 14521, 20, 23, 4, 5000],
['B', 12000, 12541, 11220, 14, 25, 5, 6000],
['C', 21420, 26452, 34215, 25, 24, 4, 5266],
['D', 21025, 23155, 31251, 23, 26, 6, 6452],
['E', 30021, 23512, 21452, 30, 27, 5, 7525],
['F', 32152, 30214, 26321, 32, 30, 7, 6952]]
columns = ['公司', 'a产品产量', 'b产品产量', 'c产品产量', '搬运工数量', '推销员数量', '经理数量', '平均工资']
pd.set_option('display.unicode.east_asian_width', True)
df = pd.DataFrame(data=data, columns=columns)
df = df.set_index(['公司'])
print(df)
print("===============================")
data = {
'a产品产量': '产品产量', 'b产品产量': '产品产量',
'c产品产量': '产品产量', '搬运工数量': '人员数量',
'推销员数量': '人员数量', '经理数量': '人员数量',
'平均工资': '平均工资'
}
s1 = pd.Series(data)
df1 = df.groupby(s1, axis=1).sum()
print(df1)
程序运行结果：
参考资源： python数据分析从入门到精通 明日科技编著 清华大学出版社
来源：https://skylarkprogramming.blog.csdn.net/article/details/123331058
0
投稿猜你喜欢
- 拼音类文件py_class.php源码如下：<?php class py_class{ function py_class(){
在上一篇文章《Python教程—模拟网页点击爬虫定位系统》讲解怎么通过模拟点击方式爬取车辆定位数据，本次介绍怎么以模拟点击方式进入交管121- 昨天有位同事说，他的网页查询过程中发现普通索引和唯一索引的效率是有差别的，普通索引比唯一索引快，今天在我的虚拟机中布置了环境，测试抓图如下：
- MySQL Innodb 引擎优化，InnoDB给MySQL提供了具有提交，回滚和崩溃恢复能力的事务安全(ACID兼容)存储引擎。InnoD
- 我设了个排卖的起始时间然后设了一个结束时间现在要精确到小时比如提示 “离到期时间：1天XX小时”大家有什么想法吗？我就是在小时总是不能实现，
- SqlBulkCopy 来自数据源的 String 类型的给定值不能转换为指定目标列的类型 nvarchar。 在网上找了下，大都说是因为数
- 在Linux系统下Python连接Redis的基本配置方法具体操作步骤系统环境：OS：Oracle Linux Enterprise 5.6
- 网上考试设计思路是怎样的？为了运行这个应用程序，我们需要在global.asa文件里进行设置数据库的连接。global.asa <&n
- 代码如下:--建立数据表createtable TestData ( ID int identity(1,1) primary key, D
- 加了三个验证漏洞以及四个getshell方法# /usr/bin/env python3# -*- coding: utf-8 -*-# @
- 自定义用户认证系统Django 自带的用户认证系统已经可以满足大部分的情况，但是有时候我们需要某些特定的需求。Django 支持使用其他认证
- Javascript是网页制作中离不开的脚本语言，依靠它，一个网页的内容才生动活泼、富有朝气。但也许你还没有发现并应用它的一些更高级的功能吧
- 1.python安装包下载路径：https://www.python.org/downloads/2我下载安装包路径：https://www
- SQL Server所谓的分布式查询（Distributed Query）是能够访问存放在同一部计算机或不同计算机上的SQL Server或
- 如果您还没看过段正淳的css笔记(1)分类之间的横竖线，可以先看看！1、css圆角的做法.为了这个圆角,前段开发们付出的努力是在是太多了.又
- ⛳️ 实战场景本篇博客为大家再次带来 Go 语言的基础知识，这次要学习的内容是 Go 中的文件操作。打开关闭文件在 Go 中操作文件，首先要
- 由于数据文件平时在数据库运行的时候处于使用状态，故当数据库处于打开状态时，管理员是无法重命名数据文件名字的。那么一定要更改这个数据文件的名字
- 如果是在Oracle10g之前，删除一个表空间中的数据文件后，其文件在数据库数据字典中会仍然存在，除非你删除表空间，否则文件信息不会清除。但
- asp编程手工定义参数的方法： Dim con As ADODB.Connection
- 前言利用Python docx模块，可以很方便地打开和修改Word 2007及以后的文档。本文简单地介绍了如何使用python修改word文
