python微信好友数据分析详解
作者:zenobia119 发布时间:2022-01-27 20:36:39
标签:python,微信,数据分析
基于微信开放的个人号接口python库itchat,实现对微信好友的获取,并对省份、性别、微信签名做数据分析。
效果:
直接上代码,建三个空文本文件stopwords.txt,newdit.txt、unionWords.txt,下载字体simhei.ttf或删除字体要求的代码,就可以直接运行。
#wxfriends.py 2018-07-09
import itchat
import sys
import pandas as pd
import matplotlib.pyplot as plt
plt.rcParams['font.sans-serif']=['SimHei']#绘图时可以显示中文
plt.rcParams['axes.unicode_minus']=False#绘图时可以显示中文
import jieba
import jieba.posseg as pseg
from scipy.misc import imread
from wordcloud import WordCloud
from os import path
#解决编码问题
non_bmp_map = dict.fromkeys(range(0x10000, sys.maxunicode + 1), 0xfffd)
#获取好友信息
def getFriends():
friends = itchat.get_friends(update=True)[0:]
flists = []
for i in friends:
fdict={}
fdict['NickName']=i['NickName'].translate(non_bmp_map)
if i['Sex'] == 1:
fdict['Sex']='男'
elif i['Sex'] == 2:
fdict['Sex']='女'
else:
fdict['Sex']='雌雄同体'
if i['Province'] == '':
fdict['Province'] ='未知'
else:
fdict['Province']=i['Province']
fdict['City']=i['City']
fdict['Signature']=i['Signature']
flists.append(fdict)
return flists
#将好友信息保存成CSV
def saveCSV(lists):
df = pd.DataFrame(lists)
try:
df.to_csv("wxfriends.csv",index = True,encoding='gb18030')
except Exception as ret:
print(ret)
return df
#统计性别、省份字段
def anysys(df):
df_sex = pd.DataFrame(df['Sex'].value_counts())
df_province = pd.DataFrame(df['Province'].value_counts()[:15])
df_signature = pd.DataFrame(df['Signature'])
return df_sex,df_province,df_signature
#绘制柱状图,并保存
def draw_chart(df_list,x_feature):
try:
x = list(df_list.index)
ylist = df_list.values
y = []
for i in ylist :
for j in i:
y.append(j)
plt.bar(x,y,label=x_feature)
plt.legend()
plt.savefig(x_feature)
plt.close()
except:
print("绘图失败")
#解析取个性签名构成列表
def getSignList(signature):
sig_list = []
for i in signature.values:
for j in i:
sig_list.append(j.translate(non_bmp_map))
return sig_list
#分词处理,并根据需要填写停用词、自定义词、合并词替换
def segmentWords(txtlist):
stop_words = set(line.strip() for line in open('stopwords.txt', encoding='utf-8'))
newslist = []
#新增自定义词
jieba.load_userdict("newdit.txt")
for subject in txtlist:
if subject.isspace():
continue
word_list = pseg.cut(subject)
for word, flag in word_list:
if not word in stop_words and flag == 'n' or flag == 'eng' and word !='span' and word !='class':
newslist.append(word)
#合并指定的相似词
for line in open('unionWords.txt', encoding='utf-8'):
newline = line.encode('utf-8').decode('utf-8-sig') #解决\ufeff问题
unionlist = newline.split("*")
for j in range(1,len(unionlist)):
#wordDict[unionlist[0]] += wordDict.pop(unionlist[j],0)
for index,value in enumerate(newslist):
if value == unionlist[j]:
newslist[index] = unionlist[0]
return newslist
#高频词统计
def countWords(newslist):
wordDict = {}
for item in newslist:
wordDict[item] = wordDict.get(item,0) + 1
itemList = list(wordDict.items())
itemList.sort(key=lambda x:x[1],reverse=True)
for i in range(100):
word, count = itemList[i]
print("{}:{}".format(word,count))
#绘制词云
def drawPlant(newslist):
d = path.dirname(__file__)
mask_image = imread(path.join(d, "timg.png"))
content = ' '.join(newslist)
wordcloud = WordCloud(font_path='simhei.ttf', background_color="white",width=1300,height=620, max_words=200).generate(content) #mask=mask_image,
# Display the generated image:
plt.imshow(wordcloud)
plt.axis("off")
wordcloud.to_file('wordcloud.jpg')
plt.show()
def main():
#登陆微信
itchat.auto_login() # 登陆后不需要扫码 hotReload=True
flists = getFriends()
fdf = saveCSV(flists)
df_sex,df_province,df_signature = anysys(fdf)
draw_chart(df_sex,"性别")
draw_chart(df_province,"省份")
wordList = segmentWords(getSignList(df_signature))
countWords(wordList)
drawPlant(wordList)
main()
来源:https://blog.csdn.net/zenobia119/article/details/80990970
0
投稿
猜你喜欢
- 解决2个问题:1.身份证之类的文本数据自动转为科学计数法的问题。2.中文乱码的问题excel从web页面上导出的原理。当我们把这些数据发送到
- shapefile转换geojsonimport shapefileimport codecsfrom json import dumps#
- javascript可以根据输入值自动搜索显示相关的select列表,对于列表很长时可以很方便的查找到要的值。js代码:<script
- [摘要]了解如何充分利用SQL Server 2000的全文搜索功能。本文包含有关实现最大吞吐量和最佳性能的几点提示和技
- 本文实例为大家分享了python使用Matplotlib画条形图的具体代码,供大家参考,具体内容如下数据中国的四个直辖市分别为北京市、上海市
- 1. iocgo简介习惯于Java或者C#开发的人应该对控制反转与依赖注入应该再熟悉不过了。在Java平台有鼎鼎大名的Spring框架,在C
- 发帖或者回帖的时候,系统会提示银两或经验增加的效果,慢慢出现又慢慢消失,用于取代对话框的那种是如何实现的?用google的jquery ap
- 前段时间开始学习JSON在ASP中的使用,JSON确实比XML方便。以前在写程序的时候有考虑使用XML来存储数据,但是一直觉得生成文档及文档
- 在用到编辑器时,就会碰到一点,那就是标签的闭合问题,这个问题非常严峻,因为这可能会导致网页显示的整体样式受到破坏。这最近在PJ的functi
- 概要 “SQL Server 桌面引擎”(也叫 MSDE 2000)没有自己的用户界面,因为它主要设计为在后台运行。用户通过 MSDE 20
- PL/SQL是ORACLE对标准数据库语言的扩展,ORACLE公司已经将PL/SQL整合到ORACLE 服务器和其他工具中了,近几年中更多的
- 今天偶尔在知乎上看到某大佬用Python写的ATM系统案例,然后观摩了下他的实现思路和源码,感觉受益颇多,于是就根据自己的思路和目前掌握的P
- 本文实例讲述了Python日期时间Time模块。分享给大家供大家参考,具体如下:关于时间和日期模块python程序能用很多方式处理日期和时间
- 在应用系统中,尤其在联机事务处理系统中,对数据查询及处理速度已成为衡量应用系统成败的标准。而采用索引来加快数据处理速度也成为广大数据库用户所
- 数据丢失(缺失)在现实生活中总是一个问题。 机器学习和数据挖掘等领域由于数据缺失导致的数据质量差,在模型预测的准确性上面临着严重的问题。 在
- 很简单的一个函数,就是根据当前的日期生成一个随机数。<% Function getRnd() '**********
- JSP 开发之 releaseSession的实例详解Hibernate可以实现分页查询,昨天试了一下,分页效果不错。但是发现了一个问题,就
- <%'使用说明'Dim a'Set a=new CreateExce
- 模型事件Laravel 模型事件允许你监听模型生命周期内的事件, 并且通过这个事件去做一些模型通用性的东西, 例如检查用户修改了那个字段,
- 在基于互联网的应用中,程序经常需要自动地发送电子邮件。如:一个网站的注册系统会在用户注册时发送一封邮件来确认注册;当用户忘记登陆密码的时候,