python爬虫实战之制作属于自己的一个IP代理模块
作者:il_持之以恒_li 发布时间:2021-12-23 21:42:20
一、使用PyChram的正则
首先,小编讲的不是爬取ip,而是讲了解PyCharm的正则,这里讲的正则不是Python的re模块哈!
而是PyCharm的正则功能,我们在PyChram的界面上按上Ctrl+R,可以发现,这里出现两行输入框
现在如果小编想把如下数据转换成一个字典存储
读者也许会一个一去改,但是小编只需在上述的那两个输入框内,输入一串字符串即可。
只需在第一个输入框中,输入(.*) : (.*)
在第二个输入框中,输入"$1":"$2",,看看效果如何
之后再给两端分别一个花括号和取一个字典名称即可。
二、制作一个随机User-Agent模块
反爬措施中,有这样一条,就是服务器会检查请求的user-agent参数值,如果检查的结果为python,那么服务器就知道这是爬虫,为了避免被服务器发现这是爬虫,通常user-agent参数值会设置浏览器的值,但是爬取一个网址时,每次都需要查看网址network下面的内容,显得比较繁琐,为什么不自定义一个随机获取user-agent的值模块呢?这样既可以减少查看network带来的繁琐,同时还可以避免服务器发现这是同一个user-agent发起多次请求。
说了这么多,那么具体怎样实现呢?
只需调用随机模块random的方法choice()即可,这个方法里面的参数类型时列表类型,具体参考代码如下:
import random
class useragent(object):
def getUserAgent(self):
useragents=[
'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/90.0.4430.212 Safari/537.36',
'Mozilla/5.0 (Windows NT 6.1; WOW64) AppleWebKit/535.1 (KHTML, like Gecko) Chrome/14.0.835.163 Safari/535.1',
'Mozilla/5.0 (Windows NT 6.1; WOW64; rv:6.0) Gecko/20100101 Firefox/6.0',
'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; Win64; x64; Trident/5.0; .NET CLR 2.0.50727; SLCC2; .NET CLR 3.5.30729; .NET CLR 3.0.30729; Media Center PC 6.0; InfoPath.3; .NET4.0C; Tablet PC 2.0; .NET4.0E)',
'Mozilla/5.0 (compatible; MSIE 9.0; Windows NT 6.1; WOW64; Trident/5.0)',
]
return random.choice(useragents)
这样我们就可以随机得到一个user-agent的值了。
三、最终实践
3.1 爬取快代理上的ip
接下来,就是最终实践了,制作属于自己的IP代理模块。
那么,从哪里获取IP呢?小编用的是快代理这个网址,网址链接为:https://www.kuaidaili.com/free/inha/1/。
怎样提取IP呢?小编用的是xpath语法
参考代码如下:
import requests
from crawlers.userAgent import useragent # 导入自己自定义的类,主要作用为随机取user-agent的值
from lxml import etree
url='https://www.kuaidaili.com/free/inha/1/'
headers={'user-agent':useragent().getUserAgent()}
rsp=requests.get(url=url,headers=headers)
HTML=etree.HTML(rsp.text)
infos=HTML.xpath("//table[@class='table table-bordered table-striped']/tbody/tr")
for info in infos:
print(info.xpath('./td[1]/text()')) # ip
print(info.xpath('./td[2]/text()')) # ip对应的端口 列表类型
怎样爬取多页呢?分析快代理那个网址,可以发现https://www.kuaidaili.com/free/inha/{页数}/ ,花括号里面就是页数,这个网址总页数为4038,这里小编只爬取5页,并且开始页数取(1,3000)之间的随机数,但是如果for循环这个过程,运行结果如下:
原来是请求过快的原因,只需在爬取1页之后,休眠几秒钟即可解决。
3.2 验证爬取到的ip是否可用
这里直接用百度这个网址作为测试网址,主要代码为:
url='https://www.baidu.com'
headers={'user-agent':useragent().getUserAgent()}
proxies={} # ip ,这里只是讲一下关键代码,没有给出具体IP
rsp=requests.get(url=url,headers=headers,proxies=proxies,time=0.2) # timeout为超时时间
只需判断rsp的状态码为200,如果是,把它添加到一个指定的列表中。
具体参考代码小编已经上传到Gitee上,链接为:ip代理模块
当然读者可用把这个文件保存到python\Lib文件夹下面,这样就可用随时随地导入了。
3.3 实战:利用爬取到的ip访问CSDN博客网址1000次
上述出现那个错误,小编上网搜索了一下原因,如下:
我想应该是第1种原因,ip被封,我这里没有设置超时时间,应该不会出现程序请求速度过快。
四、总结
上述那个ip代理模块还有很多的不足点,比如用它去访问一些网址时,不管运行多少次,输出的结果状态码不会时200,这也正常,毕竟免费的ip并不是每个都能用的。如果要说改进的话,就是多爬取几个不同ip代理网址,去重,这样的结果肯定会比上述的那个ip代理模块要好
来源:https://blog.csdn.net/qq_45404396/article/details/117264669
猜你喜欢
- 国 * 公司安全团队开发出利用赛门铁克数据库安全与审计(SDSA)设备监视数据库的一系列客户化的政策。他们是如何在已有安全策略基础上做优
- 在用户体验这个行业,经常会听到,可用性,可访问性这样专业的名词,但是,事实上在很多产品实现过程里都忽略了这一点!WHY?举个很简单的例子,用
- 导语:目前点评“2008年10佳改版网站”也许为时尚早,但2008年毕竟已经过去了9个多月,周四又同时有Twitter和FriendFeed
- 阅读上一篇:网马解密大讲堂——网马解密初级篇今天主要讲解的内容是Freshow工具的使用方法,工欲善其事,必先利其器,首先要学会如何使用解密
- 1 词频统计1.1 简单词频统计1.导入jieba库并定义文本import jiebatext = "Python是一种高级编程语
- 简介模板方法模式,是行为型的设计模式。定义一个操作中的算法的骨架,而将一些步骤延迟到子类当中,使得子类可以不改变一个算法的结构即可重新定义该
- 本文探讨了提高MySQL数据库性能的思路,并从8个方面给出了具体的解决方法。1、选取最适用的字段属性MySQL可以很好的支持大数据量的存取,
- filter的语法:filter(函数名字,可迭代的变量)其实filter就是一个“过滤器”:把【可迭代的变量】中的值,挨个地传给函数进行处
- 一、前言:当数据库服务器建立好以后,我们首先要做的不是考虑要在这个支持数据库的服务器运行哪些受MySQL提携的程序,而是当数据库遭到破坏后,
- 如果原来没有使用过正则表达式,那么可能对这个术语和概念会不太熟悉。不过,它们并不是您想象的那么新奇。请回想一下在硬盘上是如何查找文件的。您肯
- < SCRIPT LANGUAGE="VBScript"> < 
- 在国外一博客看到的技巧,终于解决IE的这个老大难问题。我在IE的setAttribute bug也提到其解决方法,一是innerHTML,一
- python是一款简单易用的编程语言,特别是其第三方库,能够方便我们快速进入工作,但其第三方库的安装困扰很多人.现在安装python时,已经
- 代码如下:'================================================== '函数名:
- ORA-00600:internal error code,arguments:[num],[?],[?],[?],[?] 产生原因:这种错
- Phar是什么在百度中得到介绍是这样的:在软件中,PHAR(PHP归档)文件是一种打包格式,通过将许多PHP代码文件和其他资源(例如图像,样
- 在图片处理中,霍夫变换主要是用来检测图片中的几何形状,包括直线、圆、椭圆等。在skimage中,霍夫变换是放在tranform模块内,本篇主
- 很久没有写文章,最近一直在忙于找工作和找房子。哎,现在终于安定下来了,哎,又叹息一下,是因为我把去淘宝面试的机会也推掉了,本来以为要卷铺盖回
- 很多网友在浏览网页时应该会发现很多网页有显示时间和日期的功能,这个不难,使用可视化网页制作软件Drea
- 页面自动刷新代码大全,基本上所有要求自动刷新页面的代码都有,大家可以自由发挥做出完美的页面。 1)10表示间隔10秒刷 ...页面自动刷新代