Python数据抓取爬虫代理防封IP方法
作者：ygjgdcmyzyq 发布时间：2022-12-18 18:32:32
爬虫：一段自动抓取互联网信息的程序，从互联网上抓取对于我们有价值的信息，一般来说，Python爬虫程序很多时候都要使用（飞猪IP）代理的IP地址来爬取程序，但是默认的urlopen是无法使用代理的IP的，我就来分享一下Python爬虫怎样使用 * 的经验。（推荐飞猪 * 注册可免费使用，浏览器搜索可找到）
1、划重点，小编我用的是Python3哦，所以要导入urllib的request，然后我们调用ProxyHandler，它可以接收 * 的参数。代理可以根据自己需要选择，当然免费的也是有的，但是可用率可想而知的。（飞猪IP）
2、接着把IP地址以字典的形式放入其中，这个IP地址是我乱写的，只是用来举例。设置键为http，当然有些是https的，然后后面就是IP地址以及端口号（9000），具体看你的IP地址是什么类型的，不同IP端口号可能不同根据你在飞猪提取的端口为准。
3、接着再用build_opener()来构建一个opener对象。
4、然后调用构建好的opener对象里面的open方法来发生请求。实际上urlopen也是类似这样使用内部定义好的opener.open()，这里就相当于我们自己重写。
5、当然了，如果我们使用install_opener()，就可以把之前自定义的opener设置成全局的。
6、设置成全局之后，如果我们再使用urlopen来发送请求，那么发送请求使用的IP地址就是 * ，而不是本机的IP地址了。
7、最后再来说说使用代理遇到的错误，提示目标计算机积极拒绝，这就说明可能是 * 无效，或者端口号错误，这就需要使用有效的IP才行哦。（这边现在是乱填写的IP地址）可选择飞猪的 * 。
总结：以上就是本次关于Python数据抓取爬虫代理防封IP方法，感谢大家的阅读和对脚本之家的支持。
来源：https://jingyan.baidu.com/article/49711c61b54ac9fa441b7c9c.html
0
投稿猜你喜欢
接下来，我们将实现微信朋友圈的爬取。如果直接用 Charles 或 mitmproxy 来监听微信朋友圈的接口数据，这是无法实现爬取的，因为- 一、property的装饰器用法先简单上个小栗子说明：class property(fget=None,fset=None,fdel=Non
- 在日常Java后端开发过程中，免不了对数据字段的解析，自然就少不了对字符串的操作，这其中就包含了正则表达式这一块的内容，这里面涉及Java包
- 采集中 或者 在线添加文章中 都可以用到此功能俺自己在baidu上搜索的保存远程图片到本地的代码 感觉比较难用点 而且没有现成的比较全的代码
- 我们有下面一张PDF格式存储的表格，现在需要使用Python将它提取出来。使用Python提取表格数据需要使用pdfplumber模块，打开
- 在看到7yue博客——“换手来用”的思考 有这么一句话：RIA是一个更趋向于“体验”设计的领域，不仅仅包括“开发人员”，还包括“设计人员”，
- 相同记录行如何取最大值我想这个东西在作一些相关采购系统或成本报价系统应该很有用的吧取当前的最有效的价格.记录下来与大家分享!--测试数据&n
- 具体编译过成与正常的Python源代码在x86平台上的过程无异，此篇随笔仅当用作复制黏贴的备忘录。不得不说在一个老旧系统上安装一个老旧的Py
- 阅读上一篇：交互设计模式(二)-Pagination(分页,标记页数) Tagging(标签)问题摘要用户往往想通过流行或最详尽的主题来浏览
- 其实也算不上教程，也就是自己没事儿的时候做点东西然后发上来大家交流交流，希望大家不吝赐教^!^因为刚看过亚东的教程和这个有点相似，所以就自己
- 这种情况在Access下可以通过,但SQL则不行,在百度搜索解决方法,发现N多人出现同样问题却找不到解决办法: 代码如下:set
- 成为一个顶级设计师的第一准则：限制你的字体让你成为设计大的七个基本原则之一好~设计大师，或者也太吹牛了吧，但根据下面七个基本原则至少你可以成
- 银行跨行转账业务是一个典型分布式事务场景，假设 A 需要跨行转账给 B，那么就涉及两个银行的数据，无法通过一个数据库的本地事务保证转账的 A
- 本文主要介绍Python3.6及TensorFlow的安装和配置流程。一、Python官网下载自己电脑和系统对应的Python安装包。网址：
- python2.7中 集成了json的处理（simplejson）,但在实际应用中，从mysql查询出来的数据，通常有日期格式，这时候，会报
- Flask 是一个 Python 实现的 Web 开发微框架。这篇文章是一个讲述如何用它实现传送视频数据流的详细教程。我敢肯定，现在你已经知
- 上一篇博客selenium+python自动化测试（二）–使用webdriver操作浏览器讲解了使用webdriver操作浏览器的各种方法，
- SQL中的单记录函数1.ASCII返回与指定的字符对应的十进制数;SQL> select ascii('A') A,a
- 在这里我们将介绍的是MySQL内存使用上的线程独享，线程独享内存主要用于各客户端连接线程存储各种操作的独享数据，如线程栈信息，分组排序操作，
- 模块化分页1.查询语句块<％ 取得当前文件名 temp = Split(request.ServerV
