pandas数据处理清洗实现中文地址拆分案例
作者:Lu-顺 发布时间:2023-09-22 11:16:55
一、案例场景
字段login_place,一共267725行记录,随机15条记录如下:
后续数据分析工作需要用到地理维度进行分析,所以需要把login_place字段进行拆分成:国家、省份、地区。
二、初步方案
第三方中文分词库:jieba,可以对文本进行拆分。使用参考资料:jieba库的使用。
初步方案:
用jieba.cut()将文本拆分为单词列表list_word;
分支判断list_word长度,赋值国家、城市、地区。
代码:(抽取1000条记录,看一下我这台机器的运行时间)
%%time
# 地区拆分
for i in range(1000):
list_word=[word for word in jieba.cut(df.iloc[i,0])]
if len(list_word)==1:
if '中国' in df.iloc[i,0]:
df.loc[i,'国家']=df.iloc[i,0][0:2]
df.loc[i,'省份']=df.iloc[i,0][2:]
else:
df.loc[i,'国家']=df.iloc[i,0]
elif len(list_word)==2:
df.loc[i,'国家']=list_word[0]
df.loc[i,'省份']=list_word[1]
else:
df.loc[i,'国家']=list_word[0]
df.loc[i,'省份']=list_word[1]
df.loc[i,'地区']=list_word[2]
if i%100==0:
print(f'{round(i*100/(int(1000)),2)}%')
1000条用了1min 37秒。如果全部进行数据解析等待时间应该很久很久。有很多重复的记录,这里先去重,再跑一次代码。
去重之后,只有404不重复的记录。
再跑一遍代码,并且把结果保存到本地文件‘df_test.xlsx'。便于查看jieba第三方分词库对本次数据拆分是不是想要的结果。
国家:
‘国家'这一列,中国台湾没有拆分出来。
代码试了一下,发现‘中国台湾'确实拆分不了。证实了台湾确实中国不可缺失的一部分。
省份:
‘省份'这一列拆分的更加糟糕。
总结:总数据集运行时间长,切词不准确。需要优化拆分方案!
三、优化方案
在上面查看Excel文件时候发现‘login_place'字段的数据有以下特点:
整个数据集分类两类:‘中国'和外国;
中国的省份大多是两个字,除了‘黑龙江'和‘内蒙古';
外国的,只有国家记录。
优化方案:
对国家判断,形成分支:中国和外国;
对于中国,再判断省份是不是‘黑龙江'和‘内蒙古'。
不是:可以直接切分[2:4],提取省份。[4:],提取地区;
是:[2:5]提取省份。[5:]提取地区
%%time
# 地区拆分
for i in range(df.shape[0]):
if '中国' in df.iloc[i,0] :
df.loc[i,'国家'] = '中国'
if ('内蒙古' in df.iloc[i,0]) or ('黑龙江' in df.iloc[i,0]):
# print(df.iloc[i,0])
df.loc[i,'省份'] = df.iloc[i,0][2:5]
if len(df.iloc[i,0]) > 5:
df.loc[i,'地区'] = df.iloc[i,0][5:]
else:
df.loc[i,'省份'] = df.iloc[i,0][2:4]
df.loc[i,'地区'] = df.iloc[i,0][4:]
else:
list_word = [word for word in jieba.cut(df.iloc[i,0])]
if len(list_word) == 1:
df.loc[i,'国家'] = df.iloc[i,0][0:2]
df.loc[i,'省份'] = df.iloc[i,0][2:]
else:
df.loc[i,'国家'] = list_word[0]
df.loc[i,'省份'] = list_word[1]
if i%100==0:
print(f'{round(i*100/(int(df.shape[0])),2)}%')
保存Excel文件,再次查看拆分情况。经过去重后的测试集拆分符合想要的结果。
运行未去重源数据集结果:
来源:https://www.cnblogs.com/xiaoshun-mjj/p/14882291.html
![](https://www.aspxhome.com/images/zang.png)
![](https://www.aspxhome.com/images/jiucuo.png)
猜你喜欢
- 前言本文主要给大家介绍的是关于在Python3使用PyMongo的方法,分享出来供大家参考学习,下面话不多说了,来一起看看详细介绍:Mong
- 需求:连接本机的(两台安卓手机)或者本机安装的(安卓模拟器两个),实现同时安装本地apk包 。demon.py特别说明:必须写udid才能实
- 问题Django 报错 [2019-09-16 16:47:27,981] - Broken pipe from ('127.0.0
- Sql Server的存储过程是一个被命名的存储在服务器上的Transacation-Sql语句集合,是封装重复性工作的一种方法,它支持用户
- 解决方案在安装包的路径的../database/state/cvu/cvu_prereq.xml文件尾部添加如下:<OPERATING
- 首先以只读方式打开单词文件,利用列表推导式创建两个列表列表sta记录各单词出现的次数,列表freq记录各单词出现的频率f = open(
- 本篇博客只是单纯的记录一下自己学习Boxplot,没有过多的解释,官网:》》Boxplotimport seaborn as snsimpo
- Numpy中的N维数组(ndarray)Numpy 中的数组是一个元素表(通常是数字),所有元素类型相同,由正整数元组索引。在 Numpy
- 什么是PHPPHP代表了"超文本处理器",这意味着你必须知道,它是一种服务器端的处理语言,且以HTML的形式出现。它最常
- 上一篇文章讲解了如何实现马丁策略,但没有探索其泛化能力,所以这次来尝试回测3000只股票来查看盈利比例。批量爬取股票数据这里爬取数据继续使用
- 官方文档:需求:当1个job启动构建后,获取它的构建状态.(成功,失败,驳回,构建中,正在排队)关键函数:获取job是否在排队的结果获取正在
- createTrackbar是Opencv中的API,其可在显示图像的窗口中快速创建一个滑动控件,用于手动调节阈值,具有非常直观的效果。具体
- 背景:pytest以特定规则搜索测试用例,所以测试用例文件、测试类以及类中的方法、测试函数这些命名都必须符合规则,才能被pytest搜索到并
- PHP中的MYSQL常用函数1、mysql_connect()-建立数据库连接格式:resource mysql_connect([stri
- 本文实例讲述了Python基于numpy灵活定义神经网络结构的方法。分享给大家供大家参考,具体如下:用numpy可以灵活定义神经网络结构,还
- 本文实例讲述了Ubuntu下使用Python实现游戏制作中的切分图片功能。分享给大家供大家参考,具体如下:why拿到一个人物行走的素材,要用
- Python在程序并行化方面多少有些声名狼藉。撇开技术上的问题,例如线程的实现和GIL,我觉得错误的教学指导才是主要问题。常见的经典Pyth
- Python使用缓存在开发Web应用或分布式系统时,缓存是常见的解决方案之一,它可以大幅提升系统性能。在Python中,我们可以使用内存缓存
- 前言我们上一篇博客,给大家展现了一个动态的爱心。今天,我们给大家画一个圣诞树,我们一起来看看效果吧。效果展示我们先来看看最终的效果看看我们画
- 程序代码: '关键字的搜索 str="select * from tableNam