Python手拉手教你爬取贝壳房源数据的实战教程
作者:小郭锅 发布时间:2023-07-10 12:58:36
标签:Python,爬取,数据
一、爬虫是什么?
在进行大数据分析或者进行数据挖掘的时候,数据源可以从某些提供数据统计的网站获得,也可以从某些文献或内部资料中获得,但是这些获得数据的方式,有时很难满足我们对数据的需求,而手动从互联网中去寻找这些数据,则耗费的精力过大。此时就可以利用爬虫技术,自动地从互联网中获取我们感兴趣的数据内容,并将这些数据内容爬取回来,作为我们的数据源,从而进行更深层次的数据分析,并获得更多有价值的信息。 在使用爬虫前首先要了解爬虫所需的库(requests)或者( urllib.request ),该库是为了爬取数据任务而创建的。
二、使用步骤
1.引入库
代码如下(示例):
import os
import urllib.request
import random
import time
class BeikeSpider:
def __init__(self, save_path="./beike"):
"""
贝壳爬虫构造函数
:param save_path: 网页保存目录
"""
2.读入数据
代码如下 :
# 网址模式
self.url_mode = "http://{}.fang.ke.com/loupan/pg{}/"
# 需爬取的城市
self.cities = ["cd", "sh", "bj"]
# 每个城市爬取的页数
self.total_pages = 20
# 让爬虫程序随机休眠5-10秒
self.sleep = (5, 10)
# 网页下载保存根目录
self.save_path = save_path
# 设置用户代理,是爬虫程序伪装成浏览器
self.headers = {"User-Agent": "Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/89.0.4389.114 Safari/537.36"}
# * 的信息
self.proxies = [
{"https": "123.163.67.50:8118"},
{"https": "58.56.149.198:53281"},
{"https": "14.115.186.161:8118"}
]
# 创建保存目录
if not os.path.exists(self.save_path):
os.makedirs(self.save_path)
def crawl(self):
"""
执行爬取任务
:return: None
"""
该处使用的url网络请求的数据。
3.随机选择一个ip地址构建代理服务器
for city in self.cities:
print("正在爬取的城市:", city)
# 每个城市的网页用单独的目录存放
path = os.path.join(self.save_path, city)
if not os.path.exists(path):
os.makedirs(path)
for page in range(1, self.total_pages+1):
# 构建完整的url
url = self.url_mode.format(city, page)
# 构建Request对象, 将url和请求头放入对象中
request = urllib.request.Request(url, headers=self.headers)
# 随机选择一个 *
proxy = random.choice(self.proxies)
# 构建代理服务器处理器
proxy_handler = urllib.request.ProxyHandler(proxy)
# 构建opener
opener = urllib.request.build_opener(proxy_handler)
# 使用构建的opener打开网页
response = opener.open(request)
html = response.read().decode("utf-8")
# 网页保存文件名(包含路径)
filename = os.path.join(path, str(page)+".html")
# 保存网页
self.save(html, filename)
print("第%d页保存成功!" % page)
# 随机休眠
sleep_time = random.randint(self.sleep[0], self.sleep[1])
time.sleep(sleep_time)
该处除随机选择ip地址以外还会限制爬取数据的速度,避免暴力爬取。
4.运行代码
def save(self, html, filename):
"""
保存下载的网页
:param html: 网页内容
:param filename: 保存的文件名
:return:
"""
f = open(filename, 'w', encoding="utf-8")
f.write(html)
f.close()
def parse(self):
"""
解析网页数据
:return:
"""
pass
if __name__ == "__main__":
spider = BeikeSpider()
spider.crawl()
运行结果就会这样,会保存在你的文件夹中。
总结
这里对文章进行总结:今天分析这波代码目的是为了让大家清晰明亮的了解python爬虫的运作,和大家一起学习
以上就是今天要讲的内容,本文仅仅简单介绍了pandas的使用,而urllib.request提供了大量能使我们快速便捷地爬取数据。
来源:https://blog.csdn.net/g6_12/article/details/115893317
0
投稿
猜你喜欢
- matlab中的filter函数:y = filter(b,a,x)python实现matlab中的filter函数def filter_m
- Python中列表(list)的实现其实是一个数组,当要查找某一个元素的时候时间复杂度是O(n),使用list.index()方法,但是随着
- Jabob Nielsen提出的10个可用性原则中有一个原则-防止出错(Error Prevention)。官网中有对这一原则的具体解释,这
- 复杂度可能高了点- - 也没太注意我想了好久 也找了好久 没看到什么能够用python解决n皇后问题而且不调用递归的 因为我不太能理解递归(
- XML(可扩展标记语言)已成为Web应用中数据表示和数据交换的标准,随着Internet的快速发展,尤其是电子商务,Web服务等应用的广泛使
- 本文实例讲述了PHP中round()函数对浮点数进行四舍五入的方法。分享给大家供大家参考。具体方法如下:语法:round(x,prec)参数
- 当然这应该属于正常过滤手法,而还有一种过滤HTML标签的最终极手法,则是将一对尖括号及尖括号中的所有字符均替换不显示,该方法对于内容中必须描
- 说明:本函数作用是截取指定英汉混合字符串,并保持显示长度一至。就是将一个汉字当两英文来截取。用途:一般会用在标题显示列表,可以避免截取的字符
- 点击顶部的“SQL”标签进入sql命令输入界面。输入以下命令:update mysql.user set password=PASSWORD
- 最近央视新闻记者王冰冰以清除可爱和专业的新闻业务水平深受众多网友喜爱,b站也有很多up主剪辑了关于王冰冰的视频。我们都是知道b站是一个弹幕网
- 总结了部分所学、所听、所看、所问的一些CSS写作经验,书写高效的CSS - 漫谈CSS的渲染效率,它们与渲染效率及所占用
- 最近在研究品牌如何演绎,当然,看的时候没有忘记本行,分析了一下他们的交互设计~~路易威登LV上图采用胶片展示多组信息——大片展示品牌渲染。利
- 本文实例为大家分享了python爬虫爬取淘宝商品的具体代码,供大家参考,具体内容如下1、需求目标 : 进去淘宝页面,搜索耐克关键词,抓取 商
- 散点图散点图是指在 回归分析中,数据点在直角坐标系平面上的 分布图,散点图表示因变量随 自变量而 变
- 前阵子刚完成一个B/S架构的学校办公系统,体会就是表太多,文件太多,而每个文件中类似的操作(代码)也太多了,例如学生信息和教师信息操作,st
- 将图片读入到Dom中,并将其存为xml文件1、需要命名空间using System.Text;using System.IO;using S
- InnoDB给MySQL提供了具有提交,回滚和崩溃恢复能力的事务安全(ACID兼容)存储引擎。InnoDB锁定在行级并且也在SELECT语句
- 小编今天写下关于后台管理员权限的分配自己的思路想法<?php /**reader * 小编的思想比较简单实现的功能
- file_get_contents的超时处理话说,从PHP5开始,file_get_content已经支持context了(手册上写着:5.
- 2。date_default_timezone_set("PRC"); 3。PHP&