python scrapy爬虫代码及填坑
作者:返小白龙i 发布时间:2022-06-04 01:01:36
标签:python,scrapy,爬虫
涉及到详情页爬取
目录结构:
kaoshi_bqg.py
import scrapy
from scrapy.spiders import Rule
from scrapy.linkextractors import LinkExtractor
from ..items import BookBQGItem
class KaoshiBqgSpider(scrapy.Spider):
name = 'kaoshi_bqg'
allowed_domains = ['biquge5200.cc']
start_urls = ['https://www.biquge5200.cc/xuanhuanxiaoshuo/']
rules = (
# 编写匹配文章列表的规则
Rule(LinkExtractor(allow=r'https://www.biquge5200.cc/xuanhuanxiaoshuo/'), follow=True),
# 匹配文章详情
Rule(LinkExtractor(allow=r'.+/[0-9]{1-3}_[0-9]{2-6}/'), callback='parse_item', follow=False),
)
# 小书书名
def parse(self, response):
a_list = response.xpath('//*[@id="newscontent"]/div[1]/ul//li//span[1]/a')
for li in a_list:
name = li.xpath(".//text()").get()
detail_url = li.xpath(".//@href").get()
yield scrapy.Request(url=detail_url, callback=self.parse_book, meta={'info': name})
# 单本书所有的章节名
def parse_book(self, response):
name = response.meta.get('info')
list_a = response.xpath('//*[@id="list"]/dl/dd[position()>20]//a')
for li in list_a:
chapter = li.xpath(".//text()").get()
url = li.xpath(".//@href").get()
yield scrapy.Request(url=url, callback=self.parse_content, meta={'info': (name, chapter)})
# 每章节内容
def parse_content(self, response):
name, chapter = response.meta.get('info')
content = response.xpath('//*[@id="content"]//p/text()').getall()
item = BookBQGItem(name=name, chapter=chapter, content=content)
yield item
xmly.py
# -*- coding: utf-8 -*-
import scrapy
from ..items import BookXMLYItem, BookChapterItem
class XmlySpider(scrapy.Spider):
name = 'xmly'
allowed_domains = ['ximalaya.com']
start_urls = ['https://www.ximalaya.com/youshengshu/wenxue/']
def parse(self, response):
div_details = response.xpath('//*[@id="root"]/main/section/div/div/div[3]/div[1]/div/div[2]/ul/li/div')
# details = div_details[::3]
for details in div_details:
book_id = details.xpath('./div/a/@href').get().split('/')[-2]
book_name = details.xpath('./a[1]/@title').get()
book_author = details.xpath('./a[2]/text()').get() # 作者
book_url = details.xpath('./div/a/@href').get()
url = 'https://www.ximalaya.com' + book_url
# print(book_id, book_name, book_author, url)
item = BookXMLYItem(book_id=book_id, book_name=book_name, book_author=book_author, book_url=url)
yield item
yield scrapy.Request(url=url, callback=self.parse_details, meta={'info': book_id})
def parse_details(self, response):
book_id = response.meta.get('info')
div_details = response.xpath('//*[@id="anchor_sound_list"]/div[2]/ul/li/div[2]')
for details in div_details:
chapter_id = details.xpath('./a/@href').get().split('/')[-1]
chapter_name = details.xpath('./a/text()').get()
chapter_url = details.xpath('./a/@href').get()
url = 'https://www.ximalaya.com' + chapter_url
item = BookChapterItem(book_id=book_id, chapter_id=chapter_id, chapter_name=chapter_name, chapter_url=url)
yield item
item.py
import scrapy
# 笔趣阁字段
class BookBQGItem(scrapy.Item):
name = scrapy.Field()
chapter = scrapy.Field()
content = scrapy.Field()
# 喜马拉雅 字段
class BookXMLYItem(scrapy.Item):
book_name = scrapy.Field()
book_id = scrapy.Field()
book_url = scrapy.Field()
book_author = scrapy.Field()
# 喜马拉雅详情字段
class BookChapterItem(scrapy.Item):
book_id = scrapy.Field()
chapter_id = scrapy.Field()
chapter_name = scrapy.Field()
chapter_url = scrapy.Field()
pipelines.py
from scrapy.exporters import JsonLinesItemExporter
import os
class BqgPipeline(object):
def process_item(self, item, spider):
xs = '小说集'
name = item['name']
xs_path = os.path.join(os.path.dirname(os.path.dirname(__file__)), xs)
fiction_path = os.path.join(xs_path, name)
# print(os.path.dirname(__file__)) D:/Users/Administrator/PycharmProjects/wh1901/biquge.com
# print(os.path.dirname(os.path.dirname(__file__))) D:/Users/Administrator/PycharmProjects/wh1901
if not os.path.exists(xs_path): # 如果目录不存在
os.mkdir(xs_path)
if not os.path.exists(fiction_path):
os.mkdir(fiction_path) # 创建目录
chapter = item['chapter']
content = item['content']
file_path = os.path.join(fiction_path, chapter) + '.txt' # 在 该目录下面创建 xx .txt 文件
with open(file_path, 'w', encoding='utf-8') as fp:
fp.write(content + '\n')
print('保存成功')
# class XmlyPipeline(object):
# def __init__(self):
# self.fp = open("xmly.json", 'wb')
# # JsonLinesItemExporter 调度器
# self.exporter = JsonLinesItemExporter(self.fp, ensure_ascii=False)
#
# def process_item(self, item, spider):
# self.exporter.export_item(item)
# return item
#
# def close_item(self):
# self.fp.close()
# print("爬虫结束")
starts.py
from scrapy import cmdline
cmdline.execute("scrapy crawl kaoshi_bqg".split())
# cmdline.execute("scrapy crawl xmly".split())
然后是爬取到的数据
小说
xmly.json
记录一下爬取过程中遇到的一点点问题:
在爬取详情页的的时候, 刚开始不知道怎么获取详情页的 url 以及 上一个页面拿到的字段
也就是 yield 返回 请求详情页 里面的参数没有很好地理解
meta:从其他请求传过来的meta属性,可以用来保持多个请求之间的数据连接。
url:这个request对象发送请求的url。
callback:在下载器下载完相应的数据后执行的回调函数。
来源:https://www.cnblogs.com/longpy/p/11180956.html
0
投稿
猜你喜欢
- 二值图像的凸壳指的是包围输入二值图像白色区域的最小的凸多边形的像素集合。skimage中的函数from skimage.morphology
- 说明:原来安装的python为64位,故安装的pyinstaller和打包后的exe都为64位。而64位的exe文件在32位的win7操作系
- 每当有新员工入职,人事小姐姐都要收集大量的工资卡信息,并且生成Excel文档,看到小姐姐这么辛苦,我就忍不住要去帮她了&hellip
- 前段时间我们部门的粉丝和布林同学都写过关于这个问题的文章。刚好阅读了关于这个问题的其他争论文章。所以顺便在这补充几点。首先说明这里讨论的是在
- 装饰器本质上是一个 Python 函数或类,它可以让其他函数或类在不需要做任何代码修改的前提下增加额外功能,装饰器的返回值也是一个函数/类对
- 在开发Web应用时,无一例外地需要访问数据库,以完成对数据的查询、插入、更新、删除等操作。受应用逻辑的影响,有时需要将多条数据库操作指令组成
- 前言最近将使用爬虫爬取的链接保存到 mysql 数据库中时,发现我将链接使用 json_encode 保存时候,在数据库中却显示了转义字符,
- 为了防止网络上日益猖獗的垃圾广告和灌水评论,大多数网站在信息发布的时候要求输入验证码。图片、文字、字母甚至还有计算题。验证码图片里的信息东颠
- 在广大网友心目中,他们就是中国互联网搜索领域的三驾马车。无论这三家搜索巨头承不承认,在网友眼中总会来将他们进行对比比较。当然,更多时候的比较
- 字典树(Trie)可以保存一些字符串->值的对应关系。基本上,它跟 Java 的 HashMap 功能相同,都是 key-value
- js模拟随机抽奖程序代码!相关文章推荐:随机6+1选号码摇奖程序 <html><title>模拟抽奖-asp之家&l
- 代码如下:--PK select * from sys.key_constraints where object_id = OBJECT_
- 1.切片# 切片:取list或tuple的部分元素nameList = ["Willard","ChenJD&
- 一个网站空间,但是却可以实现多个域名的访问的一段ASP代码:<%if Request.ServerVariables("SE
- #!/usr/bin/python# -*- coding: utf-8 -*-from scapy.all import *from ti
- 每个电子商务数据分析师必须掌握的一项数据聚类技能如果你是一名在电子商务公司工作的数据分析师,从客户数据中挖掘潜在价值,来提高客户留存率很可能
- 准备工作右击新建的项目,选择Python File,新建一个Python文件,然后在开头import cv2导入cv2库,import nu
- 1. logging日志的介绍在现实生活中,记录日志非常重要,比如:银行转账时会有转账记录;飞机飞行过程中,会有个黑盒子(飞行数据记录器)记
- mysql优化了所以先说说这个,其实这个,很复杂,对于不同的网站,其在线,访问量,帖子数量,网络情况,以及机器配置都有关系,优化不是一次可以
- Github 上很多大牛的代码都是Tensorflow v1 写的,比较新的文章则喜欢用Pytorch,这导致我们复现实验或者对比实验的时候