检测python爬虫时是否代理ip伪装成功的方法
作者：千锋Python唐唐君 发布时间：2021-07-31 20:23:44
标签：python,爬虫,代理,ip,伪装
有时候我们的爬虫程序添加了代理，但是我们不知道程序是否获取到了ip，尤其是动态转发模式的，这时候就需要进行检测了，以下是一种代理是否伪装成功的检测方式，这里推介使用亿牛云提供的代码示例。
Python¶
requests
#! -*- encoding:utf-8 -*-
import requests
import random
# 要访问的目标页面
targetUrl = "http://httpbin.org/ip"
# 要访问的目标HTTPS页面
# targetUrl = "https://httpbin.org/ip"
# 代理服务器
proxyHost = "t.16yun.cn"
proxyPort = "31111"
# 代理隧道验证信息
proxyUser = "16ZKBRLB"
proxyPass = "234076"
proxyMeta = "http://％(user)s:％(pass)s@％(host)s:％(port)s" ％ {
"host" : proxyHost,
"port" : proxyPort,
"user" : proxyUser,
"pass" : proxyPass,
}
# 设置 http和https访问都是用HTTP代理
proxies = {
"http" : proxyMeta,
"https" : proxyMeta,
}
# 设置IP切换头
tunnel = random.randint(1,10000)
headers = {"Proxy-Tunnel": str(tunnel)}
resp = requests.get(targetUrl, proxies=proxies, headers=headers)
print resp.status_code
print resp.text
要检测代理是否获取到，直接在配置代理后访http://httpbin.org/ip网站，获取到ip后再访问www.ip138.com就知道是否获取到了ip。
来源：https://www.cnblogs.com/cherry-tang/p/11064141.html
0
投稿猜你喜欢
前言今天学习Django框架，用ajax向后台发送post请求，直接报了403错误，说CSRF验证失败；先前用模板的话都是在里面加一个 {％- 在应用系统中,尤其在联机事务处理系统中,对数据查询及处理速度已成为衡量应用系统成败的标准。而采用索引来加快数据处理速度也成为广大数据库用户所
- 本文实例讲述了js实现适用于素材网站的黑色多级菜单导航条效果。分享给大家供大家参考。具体如下：这是一款适用于素材网站的黑色多级菜单导航条，无
- 一、HTTP协议的网络服务HTTP协议是基于TCP/IP协议栈的，并且它也是一个面向普通文本的协议。只要搞清楚了HTTP请求的报文（报文的头
- 异常可以防止出现一些不友好的信息返回给用户，有助于提升程序的可用性，在java中通过try ... catch ... finally来处理
- 1.安装虚拟环境虚拟环境是真实python环境的复制版本。安装虚拟环境的命令：1）sudo pip install virtualenv #
- 网上有这样一道题目：一个字符串String=“adadfdfseffserfefsefseetsdg”，找出里面出现次数最多的字母和出现的次
- 能评估使用方法性能评估模块提供了一系列用于模型性能评估的函数,这些函数在模型编译时由metrics关键字设置性能评估函数类似与目标函数, 只
- 前言：在前面一些文章中，经常能看到介绍某某参数的作用，可能有些小伙伴仍搞不清楚 MySQL 参数是啥。本篇文章我们来聊聊 MySQL 参数，
- 前言许久之前用 Mirai 搭建了 QQ 机器人，不过因为云服务器到期了，QQ 机器人被 迫下线，现如今，可能是意犹未尽，今天就基于 go-
- 一、概论超大型系统的特点为：1、处理的用户数一般都超过百万，有的还超过千万，数据库的数据量一般超过1TB;2、系统必须提供实时响应功能，系统
- 1. 题目编写程序， 4名牌手打牌，计算机随机将52张牌（不含大小鬼）发给4名牌手，在屏幕上显示每位牌手的牌。提示：设计出3个类：Card类
- 安装pyecharts：pip install pyecharts安装snapshot-selenium：pip install snaps
- pytorch中训练完网络后，需要对学习的结果进行测试。官网上例程用的方法统统都是正确率，使用的是torch.eq()这个函数。但是为了更精
- 在Python中，很多对象都是可以通过for语句来直接遍历的，例如list、string、dict等等，这些对象都可以被称为可迭代对象。至于
- Request.Cookies.Clear()这个方法并不是删除Cookie 删除 Cookie（即从用户的硬盘中物理移除 Cookie）是
- 突然收到MySQL报警，从库的数据库挂了，一直在不停的重启，打开错误日志，发现有张表坏了。innodb表损坏不能通过repair table
- 组件实现的基本功能1，根据后端返回的数据格式，传入组件动态的渲染出当前角色有哪些权限（新建，修改）2，适配有2级和只有一级多选的数据3，有全
- 在Linux系统下获取USB PID&VID是件十分容易的事情，只需要"lsusb"命令就可以了。不过，对于Wi
- 针对现在大部分的网站都是使用js加密，js加载的，并不能直接抓取出来，这时候就不得不适用一些三方类库来执行js语句execjs，一个比较好用
