Python打印scrapy蜘蛛抓取树结构的方法
作者：pythoner 发布时间：2022-01-16 03:46:18
标签：Python,scrapy,蜘蛛
本文实例讲述了Python打印scrapy蜘蛛抓取树结构的方法。分享给大家供大家参考。具体如下：
通过下面这段代码可以一目了然的知道scrapy的抓取页面结构，调用也非常简单
#!/usr/bin/env python
import fileinput, re
from collections import defaultdict
def print_urls(allurls, referer, indent=0):
urls = allurls[referer]
for url in urls:
print ' '*indent + referer
if url in allurls:
print_urls(allurls, url, indent+2)
def main():
log_re = re.compile(r'<GET (.*?)> \(referer: (.*?)\)')
allurls = defaultdict(list)
for l in fileinput.input():
m = log_re.search(l)
if m:
url, ref = m.groups()
allurls[ref] += [url]
print_urls(allurls, 'None')
main()
希望本文所述对大家的Python程序设计有所帮助。
0
投稿猜你喜欢
Mysql的分页的两个参数select * from user limit 1,21表示从第几条数据开始查(默认索引是0,如果写1,从第二条- 项目场景：postman通常需要传递各式各样的参数，这样的话，进行写参数比较头疼，不知怎么进行传参。解决方案：可以考虑将参数对象写成json
- 车牌识别在高速公路中有着广泛的应用，比如我们常见的电子收费（ETC）系统和交通违章车辆的检测，除此之外像小区或地下车库门禁也会用到，基本上凡
- 抽象工厂模式（Abstact Factory）是一种常见的软件设计模式。该模式为一个产品族提供了统一的创建接口。当需要这个产品族的某一系列的
- 一、了解字符编码的知识储备1. 文本编辑器存取文件的原理（nodepad++，pycharm，word） 打开编辑器就打开了启动了
- 1、查看sql_modeselect @@sql_mode查询出来的值为：ONLY_FULL_GROUP_BY,STRICT_TRANS_T
- 前言scikit-learn是Python中最流行的机器学习库之一，它提供了各种各样的机器学习算法和工具，包括分类、回归、聚类、降维等。sc
- windows 下安装mysql，供大家参考，具体内容如下1.先下载好 mysql5.7 版本的安装包，可以去官网自己下载2.下载后双击安装
- 本文实例讲述了python在windows命令行下输出彩色文字的方法。分享给大家供大家参考。具体分析如下：默认情况下python在控制台输出
- 在写脚本的过程中，除了发送form表单参数之外，我们还会发送json格式的参数。那么碰见json格式要怎么发送呢，这篇我们来解决这个问题。直
- 当成功安装了PHP，MYSQL后，我们一般要安装phpMyAdmin来管理你的mysql。本文介绍了phpMyAdmin 2.10.2的配置
- laravel 实现短信验证码功能，搜索资料发现比较流行的有两个包：一个是laravel sms 地址 https://gith
- 1.open使用open打开文件后一定要记得调用文件对象的close()方法。比如可以用try/finally语句来确保最后能关闭文件。fi
- 1、引言小 * 丝：鱼哥，你说这就快到圣诞节了，我应该送女神什么礼物呢？小鱼：你的女神又不缺什么礼物，倒不如送点惊喜？小 * 丝：送什么惊喜呢？小鱼
- 本文实例讲述了mysql实现合并同一ID对应多条数据的方法。分享给大家供大家参考，具体如下：如 ：CREATE TABLE `c_class
- pip是常用的python包管理工具，用python的同学，都离不开pip ～～第一种 在系统自带的python2.7的路径下pip是pyt
- 与大多数可以面向对象的编程语言不一样， PHP 是同时支持面向过程和面向对象的编程方式， PHP 开发者可以在面向过程和面向对象二者中自由选
- 废话不多说，直接上代码create database mydbuse mydbgocreate table account( i
- 目录mysqladmin命令UPDATE user 语句SET PASSWORD 语句root密码丢失的情况（待验证）mysqladmin命
- 写在前面数据库本质上是一种共享资源，因此在最大程度提供并发访问性能的同时，仍需要确保每个用户能以一致的方式读取和修改数据。锁机制（Locki
