Python使用scrapy抓取网站sitemap信息的方法
作者：pythoner 发布时间：2023-04-02 20:03:18
标签：Python,scrapy,抓取
本文实例讲述了Python使用scrapy抓取网站sitemap信息的方法。分享给大家供大家参考。具体如下：
import re
from scrapy.spider import BaseSpider
from scrapy import log
from scrapy.utils.response import body_or_str
from scrapy.http import Request
from scrapy.selector import HtmlXPathSelector
class SitemapSpider(BaseSpider):
name = "SitemapSpider"
start_urls = ["http://www.domain.com/sitemap.xml"]
def parse(self, response):
nodename = 'loc'
text = body_or_str(response)
r = re.compile(r"(<％s[\s>])(.*?)(</％s>)"％(nodename,nodename),re.DOTALL)
for match in r.finditer(text):
url = match.group(2)
yield Request(url, callback=self.parse_page)
def parse_page(self, response):
hxs = HtmlXPathSelector(response)
#Mock Item
blah = Item()
#Do all your page parsing and selecting the elemtents you want
blash.divText = hxs.select('//div/text()').extract()[0]
yield blah
希望本文所述对大家的Python程序设计有所帮助。
0
投稿猜你喜欢
- javascript中的数组对象捆绑了强大的方法因此它可以用很简短的代码实现强大的数组操作而这些功能要C或者c++实现的话可能需要花费几倍的
- 异常处理是日常操作了，但是有时候不能只能打印我们处理的结果，还需要将我们的异常打印出来，这样更直观的显示错误下面来介绍traceback模块
- 使用SQL SERVER的[导入]功能,便可将access数据转换,但要注意原来的'自增字段'需要修改,将相应字段标识修改为
- 回收站(Recycle Bin）从原理上来说就是一个数据字典表，放置用户删除（drop）掉的数据库对象信息。用户进行删除操作的对象并没有被数
- 方法来源于土豆网的导航，在这里纪录一下实现的思路。主要是利用 position 属性的 absolute 和 relative 配
python是一种美丽的语言 ，应用范围也很广，有很多的人开始学习python开发，对于初学者，这里有5本经典的书籍，如果你打算用看书来学习- 本文是小编日常收集整理些js经典实例，特此分享供大家参考！跨浏览器添加事件//跨浏览器添加事件function addEvent(obj,t
- 1.根据id获取元素document.getElementById("id属性的值");返回值是一个元素对象案例：点击按
- 本文实例讲述了php实现的三个常用加密解密功能函数。分享给大家供大家参考，具体如下：算法一：//加密函数function lock_url(
- 以下为谷歌国际少年绘画大赛，小学1-3年级作品。看孩子们的logo创意，自愧呀！ 彩色世界我们热爱温暖的阳光，“O”代表我们心中的太阳。我们
- 学习vue和nodejs的过程当中，涉及到了axios，今天为了测试，写了get和post两个方法来跟node服务端交互，结果因为heade
- 许多人在数据科学、机器学习、web开发、脚本编写和自动化等领域中都会使用Python，它是一种十分流行的语言。Python流行的部分原因在于
- 本篇阅读的代码实现了将输入的数字转化成一个列表，输入数字中的每一位按照从左到右的顺序成为列表中的一项。本篇阅读的代码片段来自于30-seco
- 下列语句部分是Mssql语句，不可以在access中使用。SQL语句分类：DDL—数据定义语言(CREATE，ALTER，DROP，DECL
- 用户部分是一个网站的基本功能，django对这部分进行了很好的封装，我们只需要在django的基础上做些简单的修改就可以达到我们想要的效果首
- 编写程序的时候，经常要处理字符串，最基本就是字符串的查找，在php检测字符串中是否包含指定字符串可以使用正则，如果你对正则不了解，那么有几个
- asp连接mysql的问题ASP连接Mysql数据库的问题。下了一个MySql 的ODBC驱动。做了个小测试。顺利通过。先记录下来，中间还有
- 导语一直以来，中国象棋都是中华民族的一种象征，当然也是人们最为喜感的一种娱乐方式。在若干年前，人们都习惯于约上自己的棋友，来一种激战。可是，
- 前言字典是Python中最强大的数据类型之一，本文将给大家详细介绍关于Python合并两个字典（dict）的相关内容，分享出来供大家参考学习
- 猜测下面这段程序的输出：class A(object): def __init__(self):
