使用python验证代理ip是否可用的实现方法
作者:罗盘上的方向 发布时间:2021-03-22 05:30:16
标签:python,代理,ip
在使用爬虫爬取网络数据时,如果长时间对一个网站进行抓取时可能会遇到IP被封的情况,这种情况可以使用代理更换ip来突破服务器封IP的限制。
随手在百度上搜索免费 * ,可以得到一系列的网站,这里我们通过对西刺网站的抓取来举例。
通过编写一个爬虫来抓取网站上面的IP地址,端口,及类型,把这些信息存到本地。这里不做介绍。
验证 * 是否可用。原理是使用 * 访问指定网站,如果返回状态为200,表示这个代理是可以使用的。
# _*_ coding:utf-8 _*_
import urllib2
import re
class TestProxy(object):
def __init__(self):
self.ip = '106.46.136.64'
self.port = '808'
self.url = 'http://www.baidu.com'
self.timeout = 3
self.regex = re.compile(r'baidu.com')
self.run()
def run(self):
self.linkWithProxy()
def linkWithProxy(self):
server = 'http://'+ self.ip + ':'+ self.port
opener = urllib2.build_opener(urllib2.ProxyHandler({'http':server}))
urllib2.install_opener(opener)
try:
response = urllib2.urlopen(self.url, timeout=self.timeout)
except:
print '%s connect failed' % server
return
else:
try:
str = response.read()
except:
print '%s connect failed' % server
return
if self.regex.search(str):
print '%s connect success .......' % server
print self.ip + ':' + self.port
if __name__ == '__main__':
Tp = TestProxy()
也可以使用requests包来进行验证,要少写好多代码
import requests
try:
requests.get('http://wenshu.court.gov.cn/', proxies={"http":"http://121.31.154.12:8123"})
except:
print 'connect failed'
else:
print 'success'
把验证通过的IP保存在redis里面,在IP被禁止的时候可以从redis中取出来使用。
受@齐俊杰的提醒,添加一种使用telnet来验证的方法:
import telnetlib
try:
telnetlib.Telnet('127.0.0.1', port='80', timeout=20)
except:
print 'connect failed'
else:
print 'success'
总结
以上所述是小编给大家介绍的使用python验证代理ip是否可用网站的支持!
来源:https://www.jianshu.com/p/588241a313e7


猜你喜欢
- 本博客主要谈及内容是: 如何使用pyqt5是上打开摄像头并在label上显示,以及优化成圆形label框。本文章可能是全网首篇关于圆形lab
- 当业务A页面有验证码,且业务B页面也需要验证码。这个时候,如果A和B共用一个验证码,则会出现这种情况:A页面出现验证码,这个时候打开B页面验
- 前言:在做一个商城项目的时候,需要实现商品搜索功能。说到搜索,第一时间想到的是数据库的 select * from tb_sku where
- 本文实例讲述了python orm 框架中sqlalchemy用法。分享给大家供大家参考,具体如下:一.ORM简介1. ORM(Object
- 首先我的环境已配置好:GO的目录结构是:add.gopackage calc//函数名必须大写首字母,不然外部包找不到func Add(a
- Navicat是一套快速、可靠的数据库管理工具,专为简化数据库的管理及降低系统管理成本而设。它的设计符合数据库管理员、开发人员及中小企业的需
- //by zdzhuo <html> <head> <script type=
- 我就废话不多说了,大家还是直接看代码吧~// 窗体透明,控件不透明self.setWindowFlags(Qt.FramelessWindo
- 需求:写一个登录的程序,1、最多登陆失败3次2、登录成功,提示欢迎xx登录,今天的日期是xxx,程序结束3、要检验输入是否为空,账号和密码不
- 如下所示:list=[1,2,3,4,5,6,7,8,9,0,11,0,13,14,15,16,17,18,19,20]#把list分为长度
- SQLAlchemy的理念是,SQL数据库的量级和性能重要于对象集合;而对象集合的抽象又重要于表和行。一 安装 SQLAlchemypip
- 钱包基础概念广义上,钱包是一个应用程序,为用户提供交互界面。钱包控制用户访问权限、管理比特比地址及秘钥、跟踪余额、创建交易和签名交易狭义上,
- 爬取某人的微博数据,把某人所有时间段的微博数据都爬下来。具体思路:创建driver-----get网页----找到并提取信息-----保存c
- 一 使用SELECT子句进行多表查询SELECT 字段名 FROM 表1,表2 …&nbs
- 在图片处理中,霍夫变换主要是用来检测图片中的几何形状,包括直线、圆、椭圆等。在skimage中,霍夫变换是放在tranform模块内,本篇主
- 1. 引言最近在将一个算法由matlab转成python,初学python,很多地方还不熟悉,总体感觉就是上手容易,实际上很优雅地用pyth
- 本文实例讲述了go语言base64用法。分享给大家供大家参考。具体如下:这里展示golang base64 的一个小例子,代码如下:pack
- 以下就是php动态生成函数示例,示例中用到了eval函数,我感觉如果服务器上允许用户运行这样的函数是非常危险的<?$a['a&
- 这个是很有用的一个运算,除了本身可以求自然对数,还是求指数函数需要用到的基础函数。实现原理就是泰勒展开,最简单是在x=1处进行泰勒展开:但该
- Mysql存储过程1.创建存储过程语法(格式)DELIMITER $CREATE PROCEDURE 存储过程名A(IN 传入参数名a IN