Python实现爬虫抓取与读写、追加到excel文件操作示例
作者:masterbu 发布时间:2023-11-10 09:08:34
标签:Python,爬虫,excel
本文实例讲述了Python实现爬虫抓取与读写、追加到excel文件操作。分享给大家供大家参考,具体如下:
爬取糗事百科热门
安装 读写excel 依赖 pip install xlwt
安装 追加excel文件内容 依赖 pip install xlutils
安装 lxml
Python示例:
import csv
import requests
from lxml import etree
import time
import xlwt
import os
from xlutils.copy import copy
import xlrd
data_infos_list = []
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/537.36 '
'(KHTML, like Gecko) Chrome/64.0.3282.140 Safari/537.36'}
# f = open('C:\\Users\\Administrator\\Desktop\\qiubaibook.csv', 'a+', newline='', encoding='utf-8')
# writer = csv.writer(f)
# writer.writerow(('author', 'sex', 'rank', 'content', 'great', 'comment', 'time'))
filename = 'C:\\Users\\Administrator\\Desktop\\qiubaibook.xls'
def get_info(url):
res = requests.get(url, headers=headers)
selector = etree.HTML(res.text)
# print(res.text)
htmls = selector.xpath('//div[contains(@class,"article block untagged mb15")]')
# // *[ @ id = "qiushi_tag_120024357"] / a[1] / div / span 内容
# //*[@id="qiushi_tag_120024357"]/div[2]/span[1]/i 好笑
# //*[@id="c-120024357"]/i 评论
# //*[@id="qiushi_tag_120024357"]/div[1]/a[2]/h2 作者
# //*[@id="qiushi_tag_120024357"]/div[1]/div 等级
# // womenIcon manIcon 性别
for html in htmls:
author = html.xpath('div[1]/a[2]/h2/text()')
if len(author) == 0:
author = html.xpath('div[1]/span[2]/h2/text()')
rank = html.xpath('div[1]/div/text()')
sex = html.xpath('div[1]/div/@class')
if len(sex) == 0:
sex = '未知'
elif 'manIcon' in sex[0]:
sex = '男'
elif 'womenIcon' in sex[0]:
sex = '女'
if len(rank) == 0:
rank = '-1'
contents = html.xpath('a[1]/div/span/text()')
great = html.xpath('div[2]/span[1]/i/text()') # //*[@id="qiushi_tag_112746244"]/div[3]/span[1]/i
if len(great) == 0:
great = html.xpath('div[3]/span[1]/i/text()')
comment = html.xpath('div[2]/span[2]/a/i/text()') # //*[@id="c-112746244"]/i
if len(comment) == 0:
comment = html.xpath('div[3]/span[2]/a/i/text()')
# classes = html.xpath('a[1]/@class')
# writer.writerow((author[0].strip(), sex, rank[0].strip(), contents[0].strip(), great[0].strip(),
# comment[0].strip(), time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time()))))
data_infos = [author[0].strip(), sex, rank[0].strip(), contents[0].strip(), great[0].strip(),
comment[0].strip(), time.strftime('%Y-%m-%d %H:%M:%S', time.localtime(time.time()))]
data_infos_list.append(data_infos)
def write_data(sheet, row):
for data_infos in data_infos_list:
j = 0
for data in data_infos:
sheet.write(row, j, data)
j += 1
row += 1
if __name__ == '__main__':
urls = ['https://www.qiushibaike.com/8hr/page/{}/'.format(num) for num in range(1, 14)]
for url in urls:
print(url)
get_info(url)
time.sleep(2)
# 如果文件存在,则追加。如果文件不存在,则新建
if os.path.exists(filename):
# 打开excel
rb = xlrd.open_workbook(filename, formatting_info=True) # formatting_info=True 保留原有字体颜色等样式
# 用 xlrd 提供的方法获得现在已有的行数
rn = rb.sheets()[0].nrows
# 复制excel
wb = copy(rb)
# 从复制的excel文件中得到第一个sheet
sheet = wb.get_sheet(0)
# 向sheet中写入文件
write_data(sheet, rn)
# 删除原先的文件
os.remove(filename)
# 保存
wb.save(filename)
else:
header = ['author', 'sex', 'rank', 'content', 'great', 'comment', 'time']
book = xlwt.Workbook(encoding='utf-8')
sheet = book.add_sheet('糗百')
# 向 excel 中写入表头
for h in range(len(header)):
sheet.write(0, h, header[h])
# 向sheet中写入内容
write_data(sheet, 1)
book.save(filename)
希望本文所述对大家Python程序设计有所帮助。
来源:https://blog.csdn.net/lA6Nf/article/details/79352112
0
投稿
猜你喜欢
- python excel文件(.xls文件)如何处理xlrd 用于读取文件,xlwt 用于写入文件,xlutils 是两个工具包的桥梁,也就
- 元素的CSS样式,除了包括内联的(即通过style属性加上的)样式定义外,还有页面嵌入的css和外部引入的css两种方式。但在JS中通过el
- 1、Introduction之前写过2篇文章,分别是:Mysql主从同步的原理 Myql主从同步实战 基于此,我们再实
- 本文介绍了几种常用的python下载文件的方法,具体使用到了htttplib2,urllib等包,希望对大家有帮忙。1.简单文件下载使用ht
- * test11.pyimport timeprint "1"time.sleep(2)print "1&qu
- 字符串与数字类型的转换什么是类型转换?—> 将自身的数据类型变成新的数据类型,并拥有新的数据类型的所有功能的过程即
- 对 current_datetime 的一次赋值操作:def current_datetime(request): now =
- PHP Session 变量当运行一个应用程序时,你会打开它,做些更改,然后关闭它。这很像一次会话。计算机清楚你是谁。它知道你何时启动应用程
- 网络爬虫网络爬虫是指在互联网上自动爬取网站内容信息的程序,也被称作网络蜘蛛或网络机器人。大型的爬虫程序被广泛应用于搜索引擎、数据挖掘等领域,
- ACCESS有个BUG,那就是在使用 like 搜索时如果遇到日文就会出现“内存溢出”的问题,提示“80040e14/内
- 前言之前看到 RunCat 一只可以在电脑上奔跑猫,其主要的功能是监控电脑的CPU、内存的使用情况,使用越多跑的越快。所以准备做一只在任务栏
- 1.为模块nester创建文件夹nester,其中包含:nester.py(模块文件):"""这是"
- 作者:Rung András原文:How To Engage Customers In Your E-Commerce Website对于我
- Python编程语言判断是否是目录在Python编程语言中可以使用os.path.isdir()函数判断某一路径是否为目录。其函数原型如下所
- 无论哪种编程语言,时间肯定都是非常重要的部分,今天来看一下python如何来处理时间和python定时任务,注意咯:本篇所讲是python3
- SQL Server有两种备份方式,一种是使用BACKUP DATABASE将数据库文件备份出去,另外一种就是直接拷贝数据库文件mdf和日志
- 在MySQL4中,是已经开始支持全文检索(索引)的了。但是只是对英文支持全文检索。由于英文在书写上的特殊性,使得分词算法相对中文来说,简单得
- 本文主要内容:聚类算法的特点聚类算法样本间的属性(包括,有序属性、无序属性)度量标准聚类的常见算法,原型聚类(主要论述K均值聚类),层次聚类
- 作为互联网产品设计师,在和前端开发人员沟通时你是否常常会听到这样的声音: —— “大姐,给点专业精神好不好,这个表格是自适应的,你
- 前言这篇文章主要介绍了pyinstaller打包opencv和numpy程序运行错误解决,文中通过示例代码介绍的非常详细,对大家的学习或者工