Python把csv数据写入list和字典类型的变量脚本方法
作者:坏蛋是我 发布时间:2021-05-27 22:04:20
标签:Python,csv,list,字典
如下所示:
#coding=utf8
import csv
import logging
logging.basicConfig(level=logging.DEBUG,
format='%(asctime)s %(filename)s[line:%(lineno)d] %(levelname)s %(message)s',
datefmt='%a, %d %b %Y %H:%M:%S',
filename='readDate.log',
filemode='w')
'''
该模块的主要功能,是根据已有的csv文件,
通过readDataToDicl函数,把csv中对应的部分,
写入字典中,每个字典当当作一条json数据
'''
class GenExceptData(object):
def __init__(self):
try:
#存放csv中读取的数据
self.mdbuffer=[]
#打开csv文件,设置读的权限
csvHand=open("20170510174450.csv","r")
#创建读取csv文件句柄
readcsv=csv.reader(csvHand)
#把csv的数据读取到mdbuffer中
for row in readcsv:
self.mdbuffer.append(row)
#把数据穿件为为字典类型的
#self.readDataToList()
#保存文件
except Exception,e:
logging.error("Read Excel error:"+e)
finally:
#关闭csv文件
csvHand.close()
def readDataToList(self):
try:
#获取mdbuffer中的元素个数
rowNumber=len(self.mdbuffer)
#设置当前行号
currentrow=1
#设置json数据的属性值
propertyJson={}
#propertyJsonList=[]
#count=0
#读取列表中的元素
dataList=[]
try:
for row in range(1,rowNumber):
#创建一个临时变量用来存取一次循环的属性键值
temp={}
#获取列表中一个元素
item=self.mdbuffer[row]
#获取当前元素,当前元素代表的是每个
#事件起始的位置
currentItem=self.mdbuffer[currentrow]
#获取serviceId并进行解码
serviceId= currentItem[2].decode("gbk")
#获取属性并进行解码,把解码的值存入propertyName
propertyName=item[3].decode("gbk")
#获取属性值并进行解码,把解码的值存入propertyValue
propertyValue=item[4].decode("gbk")
try:
#判断埋点事件与serviceId是否相等
if item[0]==currentItem[0] and item[2]==currentItem[2]:
#把serviceId方式字典propertyJson中
propertyJson["serviceId"]=serviceId
#把属性/值对放入temp字典中
temp[propertyName]=propertyValue
#调用字典的update函数,把temp中的键值对
#添加到 propertyJson字典中
propertyJson.update(temp)
#使用continue,如果为if条件为true则循环执行if语句模块
continue
else:
#把行号设置为当前行
currentrow=row
#把当前的属性解码放入propertyName
propertyName=currentItem[3].decode("gbk")
#把当前的属性值解码放入propertyName
propertyValue=currentItem[4].decode("gbk")
#把serviceId方式字典propertyJson中
propertyJson["serviceId"]=serviceId
#把属性/值对放入propertyJson字典中
propertyJson[propertyName]=propertyValue
#propertyJsonList.append(propertyJson)
dataList.append(propertyJson)
'''
在这说下:
propertyJson.clear()与propertyJson={}的区别:
propertyJson.clear()是删除字典的值,不创建引用,会改变字典本身的值;
propertyJson={}是创建新的引用,字典的中的值不发现变化;
如果想让 self.dataDic.append(propertyJson)该语句执行成功,而且添加每次循环的值,
需要使用propertyJson={}方法;
如果使用propertyJson.clear(),只会把最后一次propertyJson存储的值,添加到self.dataDic中
'''
propertyJson={}
except Exception,e:
logging.error("Get Property Json Error:"+e)
print "Get Property Json Error:",e
except Exception,e:
logging.error("Get Date Error:"+e)
print "Get Date Error:",e
return dataList
except Exception,e:
logging.error("Reading Data TO Dic Error:"+e)
print "Reading Data TO Dic Error:",e
def getAllServiceId(self):
try:
dataList=self.readDataToList()
serList=[item["serviceId"] for item in dataList if item["serviceId"] ]
serList=list(set(serList))
return serList
except Exception,e:
logging.error("Create ServiceId List Error:"+e)
print "Create ServiceId List Error:"+e
def oupPutData(self):
try:
dataList=self.readDataToList()
for item in dataList:
print "{"
for key,val in item.items():
print key,":",val
print "}"
print "#"*50
except Exception,e:
logging.error("OutPut Data Error:"+e)
print "OutPut Data Error:"+e
def createDataDic(self):
try:
dataDic={}
dataList=self.readDataToList()
count=0
for item in dataList:
if item["serviceId"]==u"pageview":
count+=1
print count
serviceIdList=self.getAllServiceId()
if len(serviceIdList)>0 and len(dataList)>0:
for serviceId in serviceIdList:
sameServiceidJosnList=[]
for item in dataList:
itemServiceId=item["serviceId"]
if itemServiceId:
if serviceId==itemServiceId:
sameServiceidJosnList.append(item)
else:
print "ServiceId is null"
dataDic[serviceId]=sameServiceidJosnList
else:
print "seriviceIdList or dataList is null"
return dataDic
'''
for key,val in dataDic.items():
print key,len(val)
print "*"*50
for item in val:
print "{"
for ke,va in item.items():
print ke,":",va
print "}"
print "-"*50
'''
except Exception,e:
print "Create Data Dictionary Error:",e
def test():
gen =GenExceptData()
gen.oupPutData()
if __name__=="__main__":
test()
来源:https://blog.csdn.net/henni_719/article/details/74990209


猜你喜欢
- 本文实例讲述了Django框架登录加上验证码校验实现验证功能。分享给大家供大家参考,具体如下:验证码生成函数pip install Pill
- 前几天,因为需要实现海外服务端定时停机,涉及到时区的概念。网上搜索了一下,大部分都是谈time.Format中的Layout,非常不成体系,
- Go令牌Go程序包括各种令牌和令牌可以是一个关键字,一个标识符,常量,字符串文字或符号。例如,下面的Go语句由六个令牌:fmt.Printl
- 语法:CREATE TRIGGER trigger_name trigger_time trigger_eventON tbl_name F
- 本文主要是对flask中的before_request与after_request用法做一个简单的分析,具体实例和介绍如下。使用before
- 基本环境配置python 3.6pycharmrequestsparseltime相关模块pip安装即可确定目标网页数据哦豁,这个价格...
- 它的低学习门槛让很多人都称它为学前脚本语言,它另外一个让人嘲笑的东西是动态语言的概念是偏偏使用了高标准的静态数据类型。其实,你和Javasc
- 函数初解function,是一种语法结构,将实现某一个功能的代码块(多行代码)封装到一个结构中实现代码的重复利用函数定义语法:关键点:fun
- 我的操作系统为centos6.51 首先选择django要使用什么数据库。django1.10默认数据库为sqlite3,本人想
- 说在前面突发奇想,想了解一下mysql order by排序是以什么规则进行的? 好了,话不多说,直接进入正题吧。MySql order b
- 前言事务隔离级别的实现原理:简单来说就是各种锁机制和MVCC多版本并发控制我们学习知识的时候,需要了解知识点出现的原因,什么情况下能用到这个
- 起因:有一批数据需要每个月进行分析,数据存储在excel中,行标题一致,需要横向合并进行分析。数据示意:具有多个代码:# -*- codin
- 解决办法: 1.新建一个同名的数据库(数据文件与原来的要一致) 2.再停掉sql server(注意不要分离数据库) 3.用原数据库的数据文
- 前言在pandas模块中,通常我们都需要对类型为DataFrame的数据进行操作,其中最为常见的操作便是拼接了。比如我们将两个Excel表格
- 启发式评估法(Heuristic Evaluation)是一种用来发现用户界面设计中的可用性问题从而使这些问题作为再设计过程中的一部分被重视
- 从 gif 直观地感受一下效果我有大量 url 需要访问,但是有些 url 会超时为了避免超时,设置driver.set_page_load
- 介绍:细处着手,巧处用功。高手和菜鸟之间的差别就是:高手什么都知道,菜鸟知道一些。电脑小技巧收集最新奇招高招,让你轻松踏上高手之路。 摘要
- 在使用ros的时候经常会用到rosbag来录制或者回放算法,是个非常有用的工具。rosbag 命令列表命令作用record录制一个包,并且指
- session的超时时间设置settings中SESSION_COOKIE_AGE=60*30 30分钟。SESSION_EXPIRE_AT
- 什么是CSS裸奔节?CSS裸奔节就是将这整站的css样式都去掉,这样所有的布局,颜色,背景什么的就都没有了(除非你使用table布局),只剩