Python简单爬虫导出CSV文件的实例讲解

流程：模拟登录→获取Html页面→正则解析所有符合条件的行→逐一将符合条件的行的所有列存入到CSVData[]临时变量中→写入到CSV文件中

核心代码：

####写入Csv文件中
     with open(self.CsvFileName, 'wb') as csvfile:
       spamwriter = csv.writer(csvfile, dialect='excel')
       #设置标题
       spamwriter.writerow(["游戏账号","用户类型","游戏名称","渠道","充值类型","充值金额","返利金额","单号","日期"])
       #将CsvData中的数据循环写入到CsvFileName文件中
       for item in self.CsvData:
         spamwriter.writerow(item)

完整代码：

# coding=utf-8
import urllib
import urllib2
import cookielib
import re
import csv
import sys

class Pyw():
 #初始化数据
 def __init__(self):
   #登录的Url地址
   self.LoginUrl="http://v.pyw.cn/login/check"
   #所要获取的Url地址
   self.PageUrl="http://v.pyw.cn/Data/accountdetail/％s"
   # 传输的数据：用户名、密码、是否记住用户名
   self.PostData = urllib.urlencode({
     "username": "15880xxxxxx",
     "password": "a123456",
     "remember": "1"
   })
   #第几笔记录
   self.PageIndex=0;
   #循环获取共4页内容
   self.PageTotal=1
   #正则解析出tr
   self.TrExp=re.compile("(?isu)<tr[^>]*>(.*?)</tr>")
   #正则解析出td
   self.TdExp = re.compile("(?isu)<td[^>]*>(.*?)</td>")
   #创建cookie
   self.cookie = cookielib.CookieJar()
   #构建opener
   self.opener=urllib2.build_opener(urllib2.HTTPCookieProcessor(self.cookie))
   #解析页面总页数
   self.Total=4
   #####设置csv文件
   self.CsvFileName="Pyw.csv"
   #####存储Csv数据
   self.CsvData=[]

#解析网页中的内容
 def GetPageItem(self,PageHtml):
   #循环取出Table中的所有行
   for row in self.TrExp.findall(PageHtml):
     #取出当前行的所有列
     coloumn=self.TdExp.findall(row)
     #判断符合的记录
     if len(coloumn) == 9:
       # print "游戏账号:％s" ％ coloumn[0].strip()
       # print "用户类型:％s" ％ coloumn[1].strip()
       # print "游戏名称:％s" ％ coloumn[2].strip()
       # print "渠道:％s" ％ coloumn[3].strip()
       # print "充值类型:％s" ％ coloumn[4].strip()
       # print "充值金额:％s" ％ coloumn[5].strip().replace("￥", "")
       # print "返利金额:％s" ％ coloumn[6].strip().replace("￥", "")
       # print "单号:％s" ％ coloumn[7].strip()
       # print "日期:％s" ％ coloumn[8].strip()
       #拼凑行数据
       d=[coloumn[0].strip(),
         coloumn[1].strip(),
         coloumn[2].strip(),
         coloumn[3].strip(),
         coloumn[4].strip(),
         coloumn[5].strip().replace("￥", ""),
         coloumn[6].strip().replace("￥", ""),
         coloumn[7].strip(),
         coloumn[8].strip()]
       self.CsvData.append(d)

#模拟登录并获取页面数据
 def GetPageHtml(self):
   try:
     #模拟登录
     request=urllib2.Request(url=self.LoginUrl,data=self.PostData)
     ResultHtml=self.opener.open(request)
     #开始执行获取页面数据
     while self.PageTotal<=self.Total:
       #动态拼凑所要解析的Url
       m_PageUrl = self.PageUrl ％ self.PageTotal
       #计算当期第几页
       self.PageTotal = self.PageTotal + 1
       #获取当前解析页面的所有内容
       ResultHtml=self.opener.open(m_PageUrl)
       #解析网页中的内容
       self.GetPageItem(ResultHtml.read())

####写入Csv文件中
     with open(self.CsvFileName, 'wb') as csvfile:
       spamwriter = csv.writer(csvfile, dialect='excel')
       #设置标题
       spamwriter.writerow(["游戏账号","用户类型","游戏名称","渠道","充值类型","充值金额","返利金额","单号","日期"])
       #将CsvData中的数据循环写入到CsvFileName文件中
       for item in self.CsvData:
         spamwriter.writerow(item)

print "成功导出CSV文件！"
   except Exception,e:
     print "404 error!％s" ％ e
#实例化类
p=Pyw()
#执行方法
p.GetPageHtml()

导出结果

来源：https://blog.csdn.net/u013533810/article/details/54849230