python pandas模糊匹配 读取Excel后 获取指定指标的操作
作者:D_grey 发布时间:2022-07-24 07:48:32
标签:python,pandas,模糊匹配,Excel,指标
1.首先读取Excel文件
数据代表了各个城市店铺的装修和配置费用,要统计出装修和配置项的总费用并进行加和计算;
2.pandas实现过程
import pandas as pd
#1.读取数据
df = pd.read_excel(r'./data/pfee.xlsx')
print(df)
cols = list(df.columns)
print(cols)
#2.获取含有装修 和 配置 字段的数据
zx_lists=[]
pz_lists=[]
for name in cols:
if '装修' in name:
zx_lists.append(name)
elif '配置' in name:
pz_lists.append(name)
print(zx_lists)
print(pz_lists)
#3.对装修和配置项费用进行求和计算
df['装修-求和'] =df[zx_lists].apply(lambda x:x.sum(),axis=1)
df['配置-求和'] = df[pz_lists].apply(lambda x:x.sum(),axis=1)
print(df)
补充:pandas 中dataframe 中的模糊匹配 与pyspark dataframe 中的模糊匹配
1.pandas dataframe
匹配一个很简单,批量匹配如下
df_obj[df_obj['title'].str.contains(r'.*?n.*')] #使用正则表达式进行模糊匹配,*匹配0或无限次,?匹配0或1次
pyspark dataframe 中模糊匹配有两种方式
2.spark dataframe api, filter rlike 联合使用
df1=df.filter("uri rlike
'com.tencent.tmgp.sgame|%E8%80%85%E8%8D%A3%E8%80%80_|android.ugc.live|\
%e7%88f%e8%a7%86%e9%a2%91|%E7%%8F%E8%A7%86%E9%A2%91'").groupBy("uri").\
count().sort("count", ascending=False)
注意点:
1.rlike 后面进行批量匹配用引号包裹即可
2.rlike 中要匹配特殊字符的话,不需要转义
3.rlike '\\\\bapple\\\\b' 虽然也可以匹配但是匹配数量不全,具体原因不明,欢迎讨论。
In [5]: df.filter("name rlike '%'").show()
+---+------+-----+
|age|height| name|
+---+------+-----+
| 4| 140|A%l%i|
| 6| 180| i%ce|
+---+------+-----+
3.spark sql
spark.sql("select uri from t where uri like '%com.tencent.tmgp.sgame%' or uri like 'douyu'").show(5)
如果要批量匹配的话,就需要在后面继续添加uri like '%blabla%',就有点繁琐了。
对了这里需要提到原生sql 的批量匹配,regexp 就很方便了,跟rlike 有点相似
mysql> select count(*) from url_parse where uri regexp 'android.ugc.live|com.tencent.tmgp.sgame';
+----------+
| count(*) |
+----------+
| 9768 |
+----------+
1 row in set (0.52 sec)
于是这里就可以将sql中regexp 应用到spark sql 中
In [9]: spark.sql('select * from t where name regexp "%l|t|_"').show()
+---+------+------+
|age|height| name|
+---+------+------+
| 1| 150|Al_ice|
| 4| 140| A%l%i|
+---+------+------+
以上为个人经验,希望能给大家一个参考,也希望大家多多支持脚本之家。如有错误或未考虑完全的地方,望不吝赐教。
来源:https://blog.csdn.net/baidu_38409988/article/details/91968148
0
投稿
猜你喜欢
- Linux/Unix的系统上,一般默认的 python 版本为 2.x,我们可以将 python3.x 安装在 /usr/local/pyt
- Oracle提供了不少方法用于数据空间的使用、监控和维护,同时也在各版本中陆续对这方面的功能进行了增强,目的在于简化这方面工作的复杂度,提高
- Python pass是空语句,pass语句什么也不做,一般作为占位符或者创建占位程序,是为了保持程序结构的完整性,pass语句不会执行任何
- numpy库是Python进行数据分析和矩阵运算的一个非常重要的库,可以说numpy让Python有了matlab的味道本文主要介绍几个nu
- 一、分屏展示当你想同时看到多个文件的时候:右击标签页;选择 move right 或者 split vertical;效果:二、远程 Pyt
- 前言:一个用python写的简单的端口扫描器,python环境为 3.7.0,windows系统Socket模块编写扫描给定主机是否开放了指
- 1. base64编码简介用记事本打开exe、jpg、pdf这些文件时,我们都会看到一大堆乱码,因为二进制文件包含很多无法显示和打印的字符,
- 程序需求:输入用户名,密码认证成功显示欢迎信息输入错误三次后锁定用户流程图:好像画的不咋地查看代码:#!/usr/bin/env pytho
- 箱线图箱线图一般用来展现数据的分布,如上下四分位值、中位数等,也可以直观地展示异常点。Matplotlib提供了boxplot()函数绘制箱
- 先上个效果图: Sample6_1.php 中创建Form: //显示上传状态和图片 <div id="showi
- 在现代的 web 框架里面,基本都有实现了依赖注入的功能,可以让我们很方便地对应用的依赖进行管理,同时免去在各个地方 new 对象的麻烦。比
- 函数可以参考:<% '注册论坛用户,参数说明 'username 用户登录名称 
- 数据采集我们上一篇介绍了,如何采集王者最低战力,本文就来给大家介绍如何采集王者皮肤,买不起皮肤,当个桌面壁纸挺好的。下面,我和大家介绍如何获
- 序列化是将对象状态转换为可保持或传输的格式的过程。与序列化相对的是反序列化,它将流转换为对象。这两个过程结合起来,可以轻松地存储和传输数据方
- 一.filter函数简介filter函数主要用来筛选数据,过滤掉不符合条件的元素,并返回一个迭代器对象,如果要转换为列表list或者元祖tu
- 一般我们是利用Session对象来防止通过“刷新”增加计数器的访问量的,看看下面的做法;<%If IsEmpty(Sessi
- 一、文本文件读取与写入1 读取文件的 read() 方法file_object.read([size])file_object 表示文件对象
- 场景:按照github文档上启动一个flask的app,默认是用5000端口,如果5000端口被占用,启动失败。样例代码:from flas
- 本文实例为大家分享了Golang实现文件传输的具体代码,供大家参考,具体内容如下借助TCP完成文件的传输,基本思路如下:1、发送方(客户端)
- 这学期在学习编译原理,最近的上机作业就是做一个简单的词法分析器,在做的过程中,突然有个需求就是判断一个字符串是否为合法的标示符,因为我是用p