python提取页面内url列表的方法
作者：小萝莉 发布时间：2022-12-26 15:29:27
标签：python,url
本文实例讲述了python提取页面内url列表的方法。分享给大家供大家参考。具体实现方法如下：
from bs4 import BeautifulSoup
import time,re,urllib2
t=time.time()
websiteurls={}
def scanpage(url):
websiteurl=url
t=time.time()
n=0
html=urllib2.urlopen(websiteurl).read()
soup=BeautifulSoup(html)
pageurls=[]
Upageurls={}
pageurls=soup.find_all("a",href=True)
for links in pageurls:
if websiteurl in links.get("href") and links.get("href") not in Upageurls and links.get("href") not in websiteurls:
Upageurls[links.get("href")]=0
for links in Upageurls.keys():
try:
urllib2.urlopen(links).getcode()
except:
print "connect failed"
else:
t2=time.time()
Upageurls[links]=urllib2.urlopen(links).getcode()
print n,
print links,
print Upageurls[links]
t1=time.time()
print t1-t2
n+=1
print ("total is "+repr(n)+" links")
print time.time()-t
scanpage("http://news.163.com/")
希望本文所述对大家的Python程序设计有所帮助。
0
投稿猜你喜欢
- Python运行出现DeprecationWarning今天运行 py 时出现下面的问题：DeprecationWarning: Using
- nofollow标签是Google2005年推出的，目的是尽量减少垃圾链接对搜索引擎的影响。有用过网页制作工具的人都知道，在这些工具里是找不
本文记录了python 3.7.0 安装配置方法，供大家参考，具体内容如下S1 登入Python官网下载网址S2 下载后缀为exe的可执行文- 通过企业管理器设置数据库的定期自动备份计划。 1、打开企业管理器，双击打开你的服务器 2、然后点上面菜单中的工具-->选择数据库维护计
- 在我们的网站建设中，为网站打造一个契合网站主题的个性化标志则是必需的，这直接关系到能否成功地塑造网站的品牌。这从某些角度看仍在网站推广的范畴
- 在SQL Server中可以使用系统内部存储过程xp_fileexist判断文件是否存在，如果存在再使用xp_cmdshell删除文件。xp
- 一、乱码的原因：1、 client客户端的编码不是utf82、server端的编码不是utf83、database数据库的编码不是utf84
- function click(e) { if (document.all) { if (event.button==1||event.but
- 本文实例讲述了Python列表list操作符。分享给大家供大家参考，具体如下：#coding=utf8''''
- 高级查询在数据库中用得是最频繁的，也是应用最广泛的。基本常用查询--selectselect * from student;--all 查询
- 函数的返回值返回结果要怎么做，多个结果又要怎么做# 函数返回值# 概念：函数执行完以后会返回一个对象，如果在函数内部有return 就可以返
- 本文实例讲述了Zend Framework生成验证码并实现验证码验证功能的方法。分享给大家供大家参考，具体如下：今天讲述如何在留言本中实现验
- 1.双击setup.exe.(出现安装向导界面) 2.在安装向导界面:选"基本安装",并选好主目录位置；创建启动数据库(
- 基于之前的文章方法，加入批处理命令即可实现自动备份。只是由于批处理命令中对于备份文件的名字按照时间命名比较特别，所以特别整理一文。1、复制d
- 现在已经是Python 3.8的最后一个alpha版本，接着就是本月底要发布的的3.8.0 beta 1了。按规定，3.8已经不会再添加(修
- 本文实例讲述了ThinkPHP5.0框架控制器继承基类和自定义类。分享给大家供大家参考，具体如下：继承系统控制器基类：<?phpnam
- pandas.DataFrame行名(index)和列名(columns)的修改方法如下。rename()任意的行名(index)和列名(c
- 下面看下Ubuntu 18.04.4安装mysql的过程，内容如下所示：1 sudo apt-get update2 sudo a
- 以上是开头，安装完后需要导入转载的代码读取所有docx文件中的内容发现没有读取到表格数据：from docx import Document
- 我就废话不多说了，直接上代码吧！#2.14from turtle import *from time import sleepdef go_
