Python数据抓取爬虫代理防封IP方法
作者：ygjgdcmyzyq 发布时间：2022-12-18 18:32:32
爬虫：一段自动抓取互联网信息的程序，从互联网上抓取对于我们有价值的信息，一般来说，Python爬虫程序很多时候都要使用（飞猪IP）代理的IP地址来爬取程序，但是默认的urlopen是无法使用代理的IP的，我就来分享一下Python爬虫怎样使用 * 的经验。（推荐飞猪 * 注册可免费使用，浏览器搜索可找到）
1、划重点，小编我用的是Python3哦，所以要导入urllib的request，然后我们调用ProxyHandler，它可以接收 * 的参数。代理可以根据自己需要选择，当然免费的也是有的，但是可用率可想而知的。（飞猪IP）
2、接着把IP地址以字典的形式放入其中，这个IP地址是我乱写的，只是用来举例。设置键为http，当然有些是https的，然后后面就是IP地址以及端口号（9000），具体看你的IP地址是什么类型的，不同IP端口号可能不同根据你在飞猪提取的端口为准。
3、接着再用build_opener()来构建一个opener对象。
4、然后调用构建好的opener对象里面的open方法来发生请求。实际上urlopen也是类似这样使用内部定义好的opener.open()，这里就相当于我们自己重写。
5、当然了，如果我们使用install_opener()，就可以把之前自定义的opener设置成全局的。
6、设置成全局之后，如果我们再使用urlopen来发送请求，那么发送请求使用的IP地址就是 * ，而不是本机的IP地址了。
7、最后再来说说使用代理遇到的错误，提示目标计算机积极拒绝，这就说明可能是 * 无效，或者端口号错误，这就需要使用有效的IP才行哦。（这边现在是乱填写的IP地址）可选择飞猪的 * 。
总结：以上就是本次关于Python数据抓取爬虫代理防封IP方法，感谢大家的阅读和对脚本之家的支持。
来源：https://jingyan.baidu.com/article/49711c61b54ac9fa441b7c9c.html
0
投稿猜你喜欢
- detectres.asp<HTML><head><TITLE>asp教程之全能屏幕分辨率侦测</
- 一. Python中表示时间的两种方式：时间戳：相对于1970.1.1 00:00:00以秒计算的偏移量，唯一的时间元组struct_tim
- keepAlive的使用在开发的过程中如果碰到经常浏览需要缓存的页面，而且页面很长需要记录滚动的位置这时就需要用到keepAlive。一共有
执行文件和目标导入模块在同一目录直接import比如我要在ma_main.py中导入env包中的make_env.py文件, 从而读取其中的- 对于数据库应用程序，数据库的安全是至关重要的。SQL Server的安全功能可以保护数据免受未经授权的泄漏和篡改！下边是对安全一章的总结！首
- 之前用Vue+element写了一个后台管理系统，在登录时使用axios请求数据传参时无法正常的获取数据。之后也是一通百度，发现原因是传递参
- 1. 前言。1.1. 需求背景。 每天抓取的是同一份商品的数据，用来做趋势分析。要求每天都需要抓一份，也仅限抓取一份数据。但是整个
- 1.装饰器的定义装饰器：给已有函数增加额外的功能的函数，本质上是一个闭包函数特点： 1.不修改已有函数的源代码&n
- 本文研究的主要是python PIL实现图片合成的相关内容，具体介绍如下，分享实例代码。在项目中需要将两张图片合在一起。遇到两种情况，一种就
- Django默认情况下，按字母顺序对模型进行排序。因此，Event应用模型的顺序为Epic、EventHero、EventVillain、E
- 我在用 ASP 写一个数据库的应用的时候，总是被那些看起来好好的SQL语句执行起来产生的错误代码搞得头疼，请问有没有更好的解决办法啊？有，我
- 使用web.py做http server开发时，遇到postman能够正常请求到数据，但是浏览器无法请求到数据，查原因之后发现是跨域请求的问
- Nonetype和空值是不一致的，可以理解为Nonetype为不存在这个参数，空值表示参数存在，但是值为空判断方式如下：if hostip
- leaflet为R语言提供了API很好用，这次尝试用Python使用leaflet，需要folium安装foliumpip install
- SQL Server Sa用户相信大家都有一定的理解，下面就为您介绍SQL Server 2000身份验证模式的修改方法及SQL Serve
- 配置babel-plugin-import报错的坑用的是antd design vue生成的项目，按着官网的提示一步一步下来，在配置babe
- 基本思路1、创建vueRouter，用公共路由实例化2、创建需要根据权限筛选的路由对象（在路由对象，添加必要的权限判断字段）3、登录完成,由
- WaitGroup概念Go标准库提供了WaitGroup原语, 可以用它来等待一批 Goroutine 结束底层数据结构// A WaitG
- 以前大家谈了很多有关打开数据库连接安全的问题，现在我再提出一种思路：使用activex dll来保护你的代码。（既可以不用为使用共享的加密软
- python对多国语言的处理是支持的很好的，它可以处理现在任意编码的字符，这里深入的研究一下python对多种不同语言的处理。有一点需要清楚
