对python3 urllib包与http包的使用详解
作者:ZJE_ANDY 发布时间:2022-08-04 15:20:14
urllib包和http包都是面向HTTP协议的。其中urllib主要用于处理 URL,使用urllib操作URL可以像使用和打开本地文件一样地操作。而 http包则实现了对 HTTP协议的封装,是urllib.request模块的底层。
1.urllib包简介
2. http 包简介
1.urllib包简介
urllib包主要模块有:
1.urllib.request -----用于打开 URL网址;
2.urllib.error ---------定义了常见的urllib.request会引发的异常;
3.urllib.parse---------用于解析 URL;
具体方法:
urllib.request.urlopen( url,data,proxies ) :用于打开 url
参数如下:
url:要进行操作的 URL地址
data:可选项。向URL 传递的数据。
proxies:可选项。使用的代理地址
import urllib.request
url = 'http://www.baidu.com' #网页为百度首页
respone = urllib.request.urlopen(url) #打开url地址,并返回一个 HTTPRespone实例
html = respone.read().decode('utf-8') #调用实例的 read()方法,并用 utf-8进行解码处理。就得出完整的百度的HTML文件
print(html)
部分打印结果:
<html>
<head>
<meta http-equiv="content-type" content="text/html;charset=utf-8">
<meta http-equiv="X-UA-Compatible" content="IE=Edge">
<meta content="always" name="referrer">
<meta name="theme-color" content="#2932e1">
<link rel="shortcut icon" href="/favicon.ico" rel="external nofollow" type="image/x-icon" />
<link rel="search" type="application/opensearchdescription+xml" href="/content-search.xml" rel="external nofollow" title="百度搜索" />
<link rel="icon" sizes="any" mask href="//www.baidu.com/img/baidu.svg" rel="external nofollow" >
urllib.request.urlretrieve(url,filename,reporthook,data) :用于将 URL的HTML文件下载并保存为本地文件
参数如下:
url:要下载的网页
filename:保存在主机的路径,可选项。
reporthook:一个回调函数,可选项。
data:发送的数据,一般用于 post,可选项。
特别:关于urlretrieve()的回调函数reporthook:可以用来显示下载的进度,几乎已经封装好
import urllib.request
def callbackfunc(blocknum, blocksize, totalsize): #这三个参数是由 urlretrieve自动赋值的
'''回调函数
@blocknum: 已经下载的数据块
@blocksize: 数据块的大小
@totalsize: 远程文件的大小
'''
percent = 100.0 * blocknum * blocksize / totalsize
if percent > 100:
percent = 100
print( "%.2f%%"% percent) #保留两位小数
url = 'http://www.sina.com'
local = 'd:\\sina.html' #下载的html文件保存在 d盘的sina.html里
urllib.request.urlretrieve(url,local,callbackfunc) #没下载完一个数据块,就会执行回调函数一次
执行结果:
//只显示局部
0.00%
1.38%
2.76%
4.13%
5.51%
6.89%
2. http包简介
http包提供了 HTTP协议的一些功能,主要模块有:
http.client --- 底层的 HTTP 协议的一些功能,可以为 urllib.request 模块所用
http.server --- 提供了基于 socketserver模块的基本 HTTP服务器类
http.cookies --- cookies 的管理工具
http.client :
HttpClient不是一个浏览器。它是一个客户端的HTTP通信实现库。HttpClient的目标是发送和接收HTTP报文。
两个主要类(用于客户端):
HTTPConnection :基于HTTP协议的客户端,指定 URL(网址) 后,可以 发送请求报文 和 接收响应报文
HTTPRespone :基于 HTTP 协议的服务端回应。一旦用 HTTPConnection 成功连接,可以调用相关方法返回该实例(HTTPRequest实例)。
(1)HTTPConnection 的方法:
构造方法: HTTPConnection( host,port,[timeout] ) 返回一个HTTPConnection 实例
host:表示主机域名或 ip 地址
port:表示端口
timeout:阻塞操作将会在给定时间后超时。可选项
发送请求报文方法:HTTPConnection.request( method,url,body =None,headers = {} )
method:发送的操作,一般为 GET 或者 POST
url :进行操作的 url
body :所发送的数据
headers:发送的 HTTP头部,是一个字典类型
获取响应报文方法:HTTPConnection.getrespone( )
关闭与服务器的连接: HTTPConne.close()
发送一个头部:HTTPConnection.putheader( header,args[ ] ) #头部以一个字典方式发送
发送一个空白行到服务器,标志头部Header的结束:HTTPConnection.endheaders( )
发送数据到服务器:HTTPConnection.send( data ) ,应该在endheaders()之后 和 getrespone()之前调用。
(2)HTTPRespone:
HTTPRespone对象:一旦用 HTTPConnection 成功连接,可以调用HTTPConnection.getrespone()返回该实例(HTTPRequest实例)。
HTTPRespone.getheader(name) :返回头部中的 name 字段对应的值
HTTPRespone.getheaders( ) :以元组的方式返回整个头部的信息
HTTPRespone.read() :返回响应报文中的body部分,也即正文部分
HTTPRespone.status #返回状态码
HTTPRespone.version #返回 HTTP协议版本
http 包应用实例 。
from http.client import HTTPConnection
con = HTTPConnection('www.baidu.com',80)
con.request('GET','/') #发送请求报文
res = con.getresponse() #获取响应报文对象
print(res.status) #200 (表示状态码)
print(res.reason) #OK (表示状态码对应的意义)
print(res.read().decode('utf-8')) #打印www.baidu.com的html
来源:https://blog.csdn.net/u014453898/article/details/71713681
猜你喜欢
- 1、场景1)用户输入完网址后,浏览器直接弹出需要输入用户名/密码PS:此时输入用户名密码即可登录,或者直接带着用户名密码访问网站。假设url
- Go-ethereum 解析ethersjs中产生的签名信息在签名验证的过程中,我们判断签名正确的前提是,签名解析后的公钥,和发起这次动作的
- 这两天在测试过程中,遇到这样的问题:数据量很大,一份csv文件的数据与另外一个文件的数据进行对比,但是csv中的文件数据量很大,并且进行统计
- 高层的期望“3个月内,我希望网站能增加X注册用户,每日的独立IP到Y,网站盈利达到Z……”作为一个团队的领袖或者产品负责人,这样的期望是根据
- Elasticsearch是一个分布式、Restful的搜索及分析服务器,Apache Solr一样,它也是基于Lucence的索引服务器,
- 引言 上一篇介绍完了观察者模式的原理,本篇想就此再介绍一个小应用,虽然我也就玩了一下午,是当时看observer正好找到的,以及还有Djan
- 概述微服务是一种思想,与编程语言无关,编程语言是思想下具体的一种实现方式,怎么设计架构方案和实现主要看主要面临的业务场景。业务场景主站核心业
- 可用下列代码实现:<% set conn=server.creatobject("ADODB
- 早就听说requests的库的强大,只是还没有接触,今天接触了一下,发现以前使用urllib,urllib2等方法真是太搓了……这里写些简单
- module Main whereimport Network.Socketimport Control.Concurrentmain ::
- 双向链表一种更复杂的链表是“双向链表”或“双面链表”。每个节
- 如图输入如下命令python manage.py startapp apitest添加应用到 autotest项目项目下在settings.
- 配置环境: 1、数 据 库:Oracle 8i R2 (8.1.7) for NT 企业版 2、安装路径:C:ORACLE 实现方法: 1.
- 我先给一个初步的表格吧,大家如果有什么意见,或有补充,欢迎提出。有些我没有用过,先不写了。 以下是我使用过的python IDE: 除了Py
- 一、意义:当我们使用一个数据库时,总希望数据库的内容是可靠的、正确的,但由于计算机系统的故障(硬件故障、网络故障、进程故障和系统故障)影响数
- 本文实例为大家分享了Django文件上传与下载的具体代码,供大家参考,具体内容如下Django1.4首先是上传:#settings.pyME
- 目录前言🎪 一、Python 关键字🎢 二、Python标识符🎠 2.1 在 Python 中创建标识符的指南🎡 2.2 测试标识符是否有效
- 我们经常遇到各种字典套字典的数据,例如:nest_dict = { 'a': 1, 'b
- 前言Python 以其简单易懂的语法格式与其它语言形成鲜明对比,初学者遇到最多的问题就是不按照 Python 的规则来写,即便是有编程经验的
- NumPy中asarray的用法函数说明asarray(a, dtype=None, order=None)转换输入为数组 array输入参