对python使用http、https代理的实例讲解
作者：wanghong5211 发布时间：2022-03-13 00:03:08
标签：python,http,https,代理
在国内利用Python从Internet上爬取数据时，有些网站或API接口被限速或屏蔽，这时使用代理可以加速爬取过程，减少请求失败，Python程序使用代理的方法主要有以下几种：
（1）如果是在代码中使用一些网络库或爬虫框架进行数据爬取，一般这种框架都会支持设置代理，例如：
<span style="font-size:14px;">import urllib.request as urlreq
# 设置https代理
ph = urlreq.ProxyHandler({'https': 'https://127.0.0.1:1080'})
oper = urlreq.build_opener(ph)
# 将代理安装到全局环境，这样所有请求都会自动使用代理
urlreq.install_opener(oper)
res = oper.open("https://www.google.com")
print(res.read())</span>
<span style="font-size:14px;">import requests as req
print(req.get("https://www.google.com", proxies={'https': 'https://127.0.0.1:1080'}).content)</span>
（2）如果使用的库没有提供设置代理的接口，但是底层使用了urllib、requests等库，可以尝试设置HTTP_PROXY 和HTTPS_PROXY环境变量，常用的网络库会自动识别这些环境变量，使用变量设置的代理发起请求，设置如下：
import os
os.environ['http_proxy'] = 'http://127.0.0.1:1080'
os.environ['https_proxy'] = 'https://127.0.0.1:1080'
（3）如果上述两种方法都没有用，那么还可以使用一些可以监听、拦截和修改网络包的工具和库如（Fiddler、mitmproxy）来拦截http请求包并修改地址，达到使用代理的效果。
来源：https://blog.csdn.net/wanghong5211/article/details/70596425
0
投稿猜你喜欢
- 用例子说明fruit = ['pineapple','grape','pear']fruit
- 本文代码需要正确安装Python扩展库pywin32，建议下载whl文件进行离线安装。然后调用win32api的ShellExecute()
- 批量创建文件其实很简单，只需要按照需要创建写文件、写完关闭当前写文件、创建新的写文件、写完关闭当前文件、、、不断循环即可，以下是一个简单例子
前言Github源码地址本文同时也是学习唐宇迪老师深度学习课程的一些理解与记录。文中代码是实现在TensorFlow下使用卷积神经网络（CN- 本文实例讲述了Python实现的弹球小游戏。分享给大家供大家参考，具体如下：弹球1. Ball 类draw负责移动Ball碰撞检测，反弹，B
- Django的QuerySets酷毙了！在本文中我将解释一下QuerySets是什么，它是如何工作的（如果你对它已经熟悉了，你可
- 前言前面一直使用命令行运行pytest用例，本篇来学下使用pytest.main()来运行测试用例pytest.main()args 传一个
- Numpy创建矩阵并等间隔抽取数据1、利用Numpy创建向量和二维矩阵1.1 创建向量得到需要强调的是，向量的维度，在python中并不是书
- 学习了一点opencv的知识于是找了个小项目来实践一下。这里先说明一下，我的实现方法不见得是最好的（因为这只是一个用于练习的项目）仅作参考，
- 1、PandasPython Data Analysis Library 或 pandas 是基于NumPy 的一种工具，相当于这是Pyth
- 类与实例类与实例相互关联着：类是对象的定义，而实例是“真正的实物”，它存放了类中所定义的对象的具体信息。下面的示例展示了如何创建一个类：cl
- 背景开发项目时应学会站在巨人的肩膀上，即有效利用开发组件进行或工具提升自己的研发效率对于较简单的单体函数而言，只需要依赖原生的SDK即可完成
- 本文实例讲述了js选项卡的实现方法。分享给大家供大家参考。具体分析如下：一、思路1. 获取元素；2. for循环按钮元素添加onclick(
- 小白尝试写任意文件读取poc我是一个小白，完全不懂Python，但是Python在渗透中往往是一个重要的角色。有一个CSDN百万大佬写了这样
- 导言DataList的编辑界面由EditItemTemplate里的标记语言和web控件定义。在目前为止所做的DataList编辑功能的例子
- 1. orm读写数据1. 创建1.1. 创建记录user := User{Name: "Jinzhu", Age: 18
- 代码如下webfig1.pyfrom flask import Flaskfrom flask import render_template
- <HTML> <BODY> <
- 这篇文章主要介绍了python requests抓取one推送文字和图片代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一
- 一: 删除LOG1：分离数据库 企业管理器－＞服务器－＞数据库－＞右键－＞分离数据库2：删除LOG文件3：附加数据库 企业管理器－＞服务器－
