python提取页面内url列表的方法
作者：小萝莉 发布时间：2022-12-26 15:29:27
标签：python,url
本文实例讲述了python提取页面内url列表的方法。分享给大家供大家参考。具体实现方法如下：
from bs4 import BeautifulSoup
import time,re,urllib2
t=time.time()
websiteurls={}
def scanpage(url):
websiteurl=url
t=time.time()
n=0
html=urllib2.urlopen(websiteurl).read()
soup=BeautifulSoup(html)
pageurls=[]
Upageurls={}
pageurls=soup.find_all("a",href=True)
for links in pageurls:
if websiteurl in links.get("href") and links.get("href") not in Upageurls and links.get("href") not in websiteurls:
Upageurls[links.get("href")]=0
for links in Upageurls.keys():
try:
urllib2.urlopen(links).getcode()
except:
print "connect failed"
else:
t2=time.time()
Upageurls[links]=urllib2.urlopen(links).getcode()
print n,
print links,
print Upageurls[links]
t1=time.time()
print t1-t2
n+=1
print ("total is "+repr(n)+" links")
print time.time()-t
scanpage("http://news.163.com/")
希望本文所述对大家的Python程序设计有所帮助。
0
投稿猜你喜欢
一 时间元组1. 时间元组和时间戳的互化import time,datetime# 获取当前时间的时间元组t = time.localtim- 需求：统计列表list1中元素3的个数，并返回每个元素的索引list1 = [3, 3, 8, 9, 2, 10, 6, 2, 8, 3,
- PHP count() 函数实例计算 car 节点的子节点个数：<?php $xml=<<<XML<cars&
- 本文实例讲述了Python实现批量修改图片格式和大小的方法。分享给大家供大家参考，具体如下：第一种方法用到opencv库import osi
- 环境win10Python：3.6.7Django：2.2.7运行效果1、创建 Django 项目# 创建Download项目django-
- 这篇文章主要介绍了Python Lambda函数使用总结详解,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需
- 搜索引擎是通过分析网页源代码来分析页面文本信息的逻辑性，所以在编写网页代码的时候一定要尽可能使用合适的标签来体现文本表达的层次感，也即是让搜
- 本文实例讲述了python有证书的加密解密实现方法。分享给大家供大家参考。具体实现方法如下：最近在做python的加解密工作，同时加完密的串
- 本文实例讲述了python中requests模块的使用方法。分享给大家供大家参考。具体分析如下：在HTTP相关处理中使用python是不必要
- 一. torch.cat（）函数解析1. 函数说明1.1 官网：torch.cat()，函数定义及参数说明如下图所示：1.2 函数功能函数将
- 在access中进行时间的比较sql语句很简单，如select * from table where thetime>#\"
- 今天下午，低一度博客受到攻击了，出现了大约一个小时的访问异常。庆幸的是，这帮无耻歹徒没能成功获取我的Access数据库，而只是象征性地给我注
- 《色彩解答》系列之一 色彩层次这次我们将深入进去了解一下众多色彩在一起之后所存在的“比例”关系。我们在使用色彩的时候不可能把所有的色彩都做得
- 我们大致会在下列几种情况下用到： 一、文件操作（FileSystemObject）<％@ IMPORT
- 今天尝试了一下据说最好用的编译器Jupyter Lab，安装期间遇到了很多问题，以此为记录。1.安装jupyter labjupyter l
- 本文实例讲述了Python实现查找系统盘中需要找的字符。分享给大家供大家参考。具体如下：'''Created on
- 目的我们的目标是安装一个允许我们托管多个网站的web服务器，其中一些是针对电子商务的安全解决方案，而大部分网站是通过连接一个数据库服务器并且
- 死锁的原理非常简单，用一句话就可以描述完。就是当多线程访问多个锁的时候，不同的锁被不同的线程持有，它们都在等待其他线程释放出锁来，于是便陷入
- 转化时间类型to_datetime()方法to_datetime()方法支持将 int, float, str, datetime, lis
- 日志日志是跟踪软件运行时所发生的事件的一种方法。软件开发者在代码中调用日志函数，表明发生了特定的事件。事件由描述性消息描述，该描述性消息可以
