利用Pyhton中的requests包进行网页访问测试的方法
作者：StevenYang_SJTU 发布时间：2021-09-11 05:12:48
标签：Pyhton,requests
为了测试一组网页是否能够访问，采取python中的requests包进行批量的访问测试，并输出访问结果。
一、requests包的安装
打开命令行(win+r输入cmd启动）;
打开pythion安装目录下的Python\Python36-32\Scripts，将其中的pip文件拖动到命令行中;
在之后输入install requests命令;
二、访问方法
import requests
fin = open('urls.txt', 'r')
fout = open('result.txt', 'w')
urllist = fin.readlines()
for url in urllist:
try:
url='http://'+url.strip()
r=requests.post(url)
fout.write(url+' ： OK with status_code: '+str(r.status_code))
print(url+' ： OK with status_code: '+str(r.status_code))
except:
fout.write(url+' : error\n')
print(url+' : error\n')
fin.close()
fout.close()
通过读取文件中的url进行访问;
由于文件中url缺少一些信息，因此统一加上http://;
.strip()方法是为了去掉末尾的\n，否则会访问错误;
之所以采用try/except是因为经过测试发现，有些网站打不开会直接导致程序中断，而有些网站则是能够进去，但是网站本身没有内容或再报一些其他错，所以对于能访问的网站还会进一步检查状态码进行鉴别。
来源：https://blog.csdn.net/StevenYang_SJTU/article/details/70215154
0
投稿猜你喜欢
- 使用命令：os.system('python file_name.py')解释：os.system是执行当前的系统命令1、拿
- 本文实例讲述了Go语言压缩和解压缩tar.gz文件的方法。分享给大家供大家参考。具体分析如下：golang处理压缩包,最常用的就是tar.g
前言在部署一些定时运行或者长期运行的任务时，为了留存一些导致程序出现异常或错误的信息，通常会才用日志的方式来进行记录这些信息。python内- -----最近从github上找了一个代码跑，但是cpu训练的时间实在是太长，所以想用gpu训练一下，经过了一天的折腾终于可以用gpu进行训
- 1.Access数据库的DSN-less连接方法: set adocon=Server.Createobject(&q
- TensorBoard是用于可视化图形和其他工具以理解、调试和优化模型的界面。它是一种为机器学习工作流提供测量和可视化的工具。它有助于跟踪损
- asp之家注：学习javascript(js),免不了要用到打开新窗口，方法很多，总的来说是使用window.open。不同与HTML中的t
- Select字句在逻辑上是SQL语句最后进行处理的最后一步，所以，以下查询会发生错误：SELECT YEAR(OrderDate) AS O
- 本篇文章介绍如何使用xlrd来读取Excel表格中的内容，xlrd是第三方库，所以在使用前我们需要安装xlrd。另外我们一般会使用xlwt来
- 概要在前面章节我们为主页定义了一个简单的模板，部分尚未实现的模块如用户或帖子等使用模拟的对象作为临时占位。本章我们将看到如何利用
- 在设计数据窗口时，在所有列的Background.Color属性中编写如下表达式： if ( IsRowNew(), 1090519039,
- 数据过滤器（Data filters）在数据库开发中，我们一般会运用软删除(soft-delete)模式,即不直接从数据库删除数据,而是标记
- leastsq作用：最小化一组方程的平方和。参数设置：func 误差函数x0 初始化的参数args 其他的额外参数举个例子：首先创建样本点i
- <?php /** +------------------------------------------------ * 通用的树型
- 是时候稍微总结一下前一段时间的PHP简单系统制作技巧了。 前一段时间主要讲述了如何用PHP读取与查询MySQL中的数据，并向大家着重解释了如
- 本文实例讲述了Python堆排序原理与实现方法。分享给大家供大家参考，具体如下：在这里要事先说明一下我也是新手，很多东西我了解不是很深入，写
- 树，因其清晰明了的展现形式而被广泛的使用日常的开发过程中我们需要经常与“树”打交道，例如公司的组织架构树、服务器的项目归属树，管理后台侧边树
- 本文实例为大家分享了python使用tkinter实现简单计算器的具体代码，供大家参考，具体内容如下class Counter: #引入t
- 访问者模式我觉得Visitor模式是在补修改已有程序结构前提下，通过添加额外的访问者完成对代码功能的拓展 为什么这样用？当你的类层次较多，在
- MySQL replace函数我们经常用到，下面就为您详细介绍MySQL replace函数的用法，希望对您学习MySQL replace函
