Python中使用urllib2模块编写爬虫的简单上手示例
作者:chinajun 发布时间:2023-10-18 22:14:31
提起python做网络爬虫就不得不说到强大的组件urllib2。在python中正是使用urllib2这个组件来抓取网页的。urllib2是Python的一个获取URLs(Uniform Resource Locators)的组件。它以urlopen函数的形式提供了一个非常简单的接口。通过下面的代码简单感受一下urllib2的功能;
import urllib2
response = urllib2.urlopen('http://www.baidu.com/')
html = response.read()
print html
运行结果如下;
查看http://www.baidu.com/源代码发现跟以上运行结果完全一样。这里的URL除了http:还可以是ftp:或file:
urllib2用一个Request对象来映射提出的HTTP请求。你可以创建一个Request对象,通过调用urlopen并传入Request对象,将返回一个相关请求response对象,这个应答对象如同一个文件对象,所以你可以在Response中调用.read()。修改代码如下;
import urllib2
req = urllib2.Request('http://www.baidu.com')
response = urllib2.urlopen(req)
page = response.read()
print page
发现运行结果跟修改前一样。同时在http请求前你还需要做以下事1、发送表单数据。2、设置headers信息。
1、发送表单数据;常见于模拟登录时,一般的在登录操作时需要发送数据到服务器。这里主要用到post方法,一般的HTML表单,data需要编码成标准形式。然后做为data参数传到Request对象。编码工作使用urllib的函数而非urllib2。测试代码如下
import urllib
import urllib2
url = 'http://www.server.com/register.php'
postData = {'useid' : 'user',
'pwd' : '***',
'language' : 'Python' }
data = urllib.urlencode(postData) # 编码工作
req = urllib2.Request(url, data) # 发送请求同时传data
response = urllib2.urlopen(req) #接受反馈的信息
page = response.read() #读取反馈的内容
同时urllib2还可以使用get方法传送数据。代码如下;
import urllib2
import urllib
data = {}
data['useid'] = 'user'
data['pwd'] = '***'
data['language'] = 'Python'
values = urllib.urlencode(data)
print values
name=Somebody+Here&language=Python&location=Northampton
url = 'http://www.example.com/example.php'
full_url = url + '?' + url_values
data = urllib2.open(full_url)
2、设置headers信息;有些站点对访问来源做了限制,所以这里模拟User-Agent头,代码如下;
import urllib
import urllib2
url = 'http://www.server.com/register.php'
user_agent = 'Mozilla/5.0 (Windows NT 6.1; rv:33.0) Gecko/20100101 Firefox/33.0'
values = {'useid' : 'user',
'pwd' : '***',
'language' : 'Python' }
headers = { 'User-Agent' : user_agent }
data = urllib.urlencode(values)
req = urllib2.Request(url, data, headers)
response = urllib2.urlopen(req)
page = response.read()
urllib2就介绍到这里啦!
异常处理
通常URLError在没有网络连接时或者服务器地址不可达时产生,在这种情况下异常会带有resaon属性包含了错误号和错误信息。如下代码测试效果;
import urllib
import urllib2
url = 'http://www.server.com/register.php'
user_agent = 'Mozilla/5.0 (Windows NT 6.1; rv:33.0) Gecko/20100101 Firefox/33.0'
values = {'useid' : 'user',
'pwd' : '***',
'language' : 'Python' }
headers = { 'User-Agent' : user_agent }
data = urllib.urlencode(values)
req = urllib2.Request(url, data, headers)
response = urllib2.urlopen(req)
page = response.read()
查阅相关资料后显示Errno 10061表示服务器端主动拒绝。
除此之外还有HTTPError,当客户端与服务器之间建立正常连接时,urllib2将开始处理相关数据。如果遇到不能处理的情况就会产生相应的HTTPError,如网站访问常见的错误码”404″(页面无法找到),”403″(请求禁止),和”401″(带验证请求)等……HTTP状态码表示HTTP协议的响应情况,常见的状态码见HTTP状态码详解。
HTTPError会带有一个'code'属性,是服务器发送的错误号。当一个HTTPError产生后服务器会返回一个相关的错误号和错误页面。如下代码验证;
import urllib2
req = urllib2.Request('http://www.python.org/callmewhy')
try:
urllib2.urlopen(req)
except urllib2.URLError, e:
print e.code
输出404代码,说明找不到页面。
捕捉异常并处理……实现代码如下;
#-*- coding:utf-8 -*-
from urllib2 import Request, urlopen, URLError, HTTPError
req = Request('http://www.python.org/callmewhy')
try:
response = urlopen(req)
except URLError, e:
if hasattr(e, 'code'):
print '服务器不能正常响应这个请求!'
print 'Error code: ', e.code
elif hasattr(e, 'reason'):
print '无法与服务器建立连接'
print 'Reason: ', e.reason
else:
print '没有出现异常'
成功捕捉到异常!
猜你喜欢
- 本文实例讲述了Python及Django框架生成二维码的方法。分享给大家供大家参考,具体如下:一、包的安装和简单使用1.1 用Python来
- 在改进SQL Server 7.0系列所实现的安全机制的过程中,Microsoft建立了一种既灵活又强大的安全管理机制,它能够对用户访问SQ
- mktime()方法是localtime()反函数。它的参数是struct_time或全9元组,它返回一个浮点数,为了兼容时ti
- 代码如下:<% sql="select * from serr where
- 目录一、pyecharts绘制饼图语法简介二、绘制普通饼图三、绘制圆环图四、绘制饼图-玫瑰图一、pyecharts绘制饼图语法简介饼图主要用
- 前言值类型:所有像int、float、bool和string这些类型都属于值类型,使用这些类型的变量直接指向存在内存中的值,值类型的变量的值
- 终于开始做用户部分了,先做注册一用户 1.1用户注册 首先在Models里添加用户注册模型类UserRegister 继
- 在python-numpy使用中,可以用双层 for循环对数组元素进行访问,也可以切片成每一行后进行一维数组的遍历。代码如下:import
- 1、图片防盗链在一些大型网站中,比如百度贴吧,该站点的图片采用了防盗链的规则,以至于使用下面代码会发生错误。简单代码:<!DOCTYP
- 在做数据库备份和还原数据库的时候出现"错误2812:未能找到存储过程’master.dbo.xp_fileexist’"
- A.动态页面第一步:创建转向控制页面,创建网站默认的首页文件(通常为"index.asp"或"default.
- 理解新概念Python V2.2 中引入了迭代器的思想。唔,这并不十分正确;这种思想的“苗头”早已出现在较老的函数 xrange() 以及文
- 前言本文主要给大家介绍了关于python计算时间差(返回天数)的相关资料,分享出来供大家参考学习,下面话不多说了,来一起看看详细的介绍吧方法
- a {}{ background:url(images/normal.gif); } a:ho
- 信息架构的组件可以拆分成四类组织系统 如何组织信息,例如,依据主题或年代顺序。标签系统 如何表示信息,例如,科学术语(“Acer”)或通俗术
- 如下所示:import serialimport sysimport osimport timeimport redef wait_for_
- 本文分析了Python出现segfault错误解决方法。分享给大家供大家参考,具体如下:最近python程序在运行过程中偶尔会引发系统seg
- 平时我们写个脚本,要放到后台执行去,我们怎么做呢?nohup python example.py 2>&1 /dev/null
- 哲学上有种说法,“运动是绝对的,静止是相对的”。我们在编写各样的效果时,时常会碰到动画。下面的章,将讨论动画的原理以及实现。动画,简而言之就
- 如下所示:from openpyxl import workbookfrom openpyxl import load_workbookfr