利用Pyhton中的requests包进行网页访问测试的方法
作者：StevenYang_SJTU 发布时间：2021-09-11 05:12:48
标签：Pyhton,requests
为了测试一组网页是否能够访问，采取python中的requests包进行批量的访问测试，并输出访问结果。
一、requests包的安装
打开命令行(win+r输入cmd启动）;
打开pythion安装目录下的Python\Python36-32\Scripts，将其中的pip文件拖动到命令行中;
在之后输入install requests命令;
二、访问方法
import requests
fin = open('urls.txt', 'r')
fout = open('result.txt', 'w')
urllist = fin.readlines()
for url in urllist:
try:
url='http://'+url.strip()
r=requests.post(url)
fout.write(url+' ： OK with status_code: '+str(r.status_code))
print(url+' ： OK with status_code: '+str(r.status_code))
except:
fout.write(url+' : error\n')
print(url+' : error\n')
fin.close()
fout.close()
通过读取文件中的url进行访问;
由于文件中url缺少一些信息，因此统一加上http://;
.strip()方法是为了去掉末尾的\n，否则会访问错误;
之所以采用try/except是因为经过测试发现，有些网站打不开会直接导致程序中断，而有些网站则是能够进去，但是网站本身没有内容或再报一些其他错，所以对于能访问的网站还会进一步检查状态码进行鉴别。
来源：https://blog.csdn.net/StevenYang_SJTU/article/details/70215154
0
投稿猜你喜欢
- 如何制作一个防止多次刷新计数的图片计数器？请问如何做一个专业的图片计数器？ <％countlong
前言NumPy（Numerical Python）是Python的一种开源的数值计算扩展。这种工具可用来存储和处理大型矩阵，比Python自- 前言当需要将多张图像拼接成一张更大的图像时，通常会用到图片拼接技术。这种技术在许多领域中都有广泛的应用，例如计算机视觉、图像处理、卫星图像、
- iterator循环器(iterator)是对象的容器，包含有多个对象。通过调用循环器的next()方法 (next()方法，在Python
- 如题，我们直接使用numpy#!D:/workplace/python# -*- coding: utf-8 -*-# @File : nu
- 过滤非法的SQL字符的函数代码:'*************************************************
- 摘要: 本文由简到繁地介绍了以jQuery作为蓝本的js框架开发步聚, 希望借助本文大家对jQuery这样的框架内部有一个大致的认识。推荐：
- json和dictpython中的dict类型要转换为json格式的数据需要用到json库：import json <json>
- 本文实例讲述了Python简单网络编程。分享给大家供大家参考，具体如下：内容目录1. 客户端（client.py）2. 服务端（server
- 前言读取站点资料数据对站点数据进行插值，插值到规则网格上绘制EOF第一模态和第二模态的空间分布图绘制PC序列关于插值，这里主要提供了两个插值
- 引言上一篇文章中引入了消息队列对秒杀流量做削峰的处理，我们使用的是Kafka，看起来似乎工作的不错，但其实还是有很多隐患存在，如果这些隐患不
- 在pandas里面常用value_counts确认数据出现的频率。1. Series 情况下：pandas 的 value_counts()
- 第一种情况是返回的游标是某个具体的表或视图的数据，如：SQL-Code:CREATE OR REPLACE P
- 没什么实际用途，纯属消遣Quick Click<html><head><title>Quick_Clic
- python使用utf8编码，mysql也是utf8编码，是什么问题?后来查了一下，使用一个简单的办法即可：vsql = "ins
- 代码如下:'返回指定文件夹中文件的数目，传入值为被检测文件夹的硬盘绝对路径 function CountFile
- 本文实例讲述了Python 私有化操作。分享给大家供大家参考，具体如下：私有化xx: 公有变量_x: 单前置下划线,私有化属性或方法，fro
- 如下所示：class Login(QMainWindow): """登录窗口""
- Graphical User Interface，简称 GUI，又称图形化用户接口，所谓的GUI编程，指的是用户不需要输入代码指令，只通过图
- 一、函数入门1.概念函数是可以重复执行一定任务的代码片段，具有独立的固定的输入输出接口。函数定义的本质，是给一段代码取个名字，方便以后重复使
