Python爬虫小例子——爬取51job发布的工作职位
作者:Alan.hsiang 发布时间:2022-04-30 23:17:18
概述
不知从何时起,Python和爬虫就如初恋一般,情不知所起,一往而深,相信很多朋友学习Python,都是从爬虫开始,其实究其原因,不外两方面:其一Python对爬虫的支持度比较好,类库众多。其二Pyhton的语法简单,入门容易。所以两者形影相随,不离不弃,本文主要以一个简单的小例子,简述Python在爬虫方面的简单应用,仅供学习分享使用,如有不足之处,还请指正。
涉及知识点
本例主要爬取51job发布的工作职位,用到的知识点如下:
开发环境及工具:主要用到Python3.7 ,IDE为PyCharm
requests类库:本类库封装了python的内置模块,主要用于网络的请求和获取数据,可以支持不同形式的请求。
BeautifulSoup库:主要用于解析获取的数据,包括Html,Xml,Json等不同的格式。
数据持久化:主要是将内存中的数据,保存到数据库或者文件中。
爬虫的基本步骤
爬虫的基本步骤,如下图所示:
爬取目标
如有要爬取相关内容,首先要对爬取的目标进行分析,了解其目录结构,才能进行解析。本例主要爬取51job中的工作列表,如下所示:
核心源码
1.获取数据
定义一个函数get_data,用于发起请求并获取数据,如下所示:
headers中的User-Agent主要用于模拟浏览器,不然会被反爬虫程序屏蔽,http状态码为418,意思是被网站的反爬程序返回的。
encoding是要爬取的网站的编码为gbk,如果不加,会产生乱码,默认为utf-8
def get_data(req_url):
"""获取数据"""
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64; Trident/7.0; rv:11.0) like Gecko',
'Accept-Language': 'zh-Hans-CN, zh-Hans;q=0.5'
}
resp = requests.get(req_url, headers=headers)
resp.encoding = 'gbk' # 不加会产生中文乱码
if resp.status_code == 200:
return resp.text
else:
return None
2.解析数据
定义一个函数parse_data,用于解析获取到的内容,如下所示:
采用BeautifulSoup,将返回的文本,解析成html对象,并获取对应的内容。本例主要获取工作的列表
def parse_data(resp_html):
"""解析数据,并返回列表"""
soup = BeautifulSoup(resp_html, features='html.parser')
job_table = soup.find('div', attrs={'class': 'dw_table'})
# print(job_table)
job_list = job_table.find_all('div', attrs={'class': 'el'})
# print(job_list)
# 循环列表,去掉第一个title和最后一个
res_list = []
for job in job_list[1: -1]:
job_name = job.find('p', attrs={'class': "t1"}).find('span').find('a').get_text()
job_name = job_name.replace('\r\n', '').strip()
job_company = job.find('span', attrs={'class': "t2"}).find('a').get_text()
job_addr = job.find('span', attrs={'class': "t3"}).get_text()
job_salary = job.find('span', attrs={'class': "t4"}).get_text()
job_time = job.find('span', attrs={'class': "t5"}).get_text()
# print('工作信息:', job_name, '---', job_company, '---', job_addr, '---', job_salary, '---', job_time)
res_item = {
'工作名称': job_name,
'公司': job_company,
'工作地址': job_addr,
'薪资水平': job_salary,
'发布时间': job_time
}
res_list.append(res_item)
return res_list
3.保存数据
定义一个函数save_data,用于将获取到的内容保存到json文件中,如下所示:
with函数 可以自动进行释放。因包含中文,所以json文件的编码为utf-8,否则会出现乱码
def save_data(res_list):
"""保存数据"""
with open('jobs.json', 'w', encoding='utf-8') as f:
res_list_json = json.dumps(res_list, ensure_ascii=False)
f.write(res_list_json)
4.整体调用步骤
依次调用定义的三个函数,如下所示:
if __name__ == '__main__':
"""如果是主程序自己调用"""
req_url = 'https://search.51job.com/list/040000,000000,0000,00,9,99,java,2,1.html?lang=c&stype=1&postchannel=0000&workyear=99&cotype=99°reefrom=99&jobterm=99&companysize=99&lonlat=0%2C0&radius=-1&ord_field=0&confirmdate=9&fromType=&dibiaoid=0&address=&line=&specialarea=00&from=&welfare='
# 获取数据
resp_html = get_data(req_url)
# print(html)
# 解析数据
res_list = parse_data(resp_html)
# 保存数据
save_data(res_list)
爬取结果展示
爬取的结果保存在jobs.json文件中,如下所示:
[
{
"工作名称": "Java架构师",
"公司": "深圳市钻木信息技术有限公司",
"工作地址": "深圳-福田区",
"薪资水平": "1.8-3万/月",
"发布时间": "06-13"
},
{
"工作名称": "Java实习生 6k起",
"公司": "深圳市智玩创新科技有限公司",
"工作地址": "深圳-福田区",
"薪资水平": "6-8千/月",
"发布时间": "06-13"
},
{
"工作名称": "Java实习生6k起",
"公司": "深圳市康姆达科技有限公司",
"工作地址": "深圳-南山区",
"薪资水平": "6-8千/月",
"发布时间": "06-13"
},
{
"工作名称": "Java开发工程师",
"公司": "深圳市网新新思软件有限公司",
"工作地址": "深圳-南山区",
"薪资水平": "1.5-1.7万/月",
"发布时间": "06-13"
},
{
"工作名称": "Java开发工程师",
"公司": "深圳市睿服科技有限公司",
"工作地址": "深圳-福田区",
"薪资水平": "1.3-1.7万/月",
"发布时间": "06-13"
},
{
"工作名称": "Java开发经理",
"公司": "深圳市聚惠企业登记代理有限公司",
"工作地址": "深圳-龙华新区",
"薪资水平": "1-3万/月",
"发布时间": "06-13"
},
{
"工作名称": "高级JAVA",
"公司": "深圳易加油信息科技有限公司",
"工作地址": "深圳-南山区",
"薪资水平": "1.5-2.1万/月",
"发布时间": "06-13"
},
{
"工作名称": "Java高级开发工程师",
"公司": "深圳市绿联科技有限公司",
"工作地址": "深圳-龙华新区",
"薪资水平": "2-3万/月",
"发布时间": "06-13"
},
{
"工作名称": "Java开发工程师",
"公司": "深圳市博悦科创科技有限公司",
"工作地址": "深圳-南山区",
"薪资水平": "1-1.5万/月",
"发布时间": "06-13"
},
{
"工作名称": "Java高级开发工程师",
"公司": "易普森智慧健康科技(深圳)有限公...",
"工作地址": "深圳",
"薪资水平": "1.5-2.5万/月",
"发布时间": "06-13"
},
{
"工作名称": "Java开发工程师",
"公司": "深圳易世通达科技有限公司",
"工作地址": "深圳-南山区",
"薪资水平": "1.2-1.8万/月",
"发布时间": "06-13"
},
{
"工作名称": "Java开发工程师",
"公司": "苏州今融加科技有限公司",
"工作地址": "深圳-福田区",
"薪资水平": "1.5-2万/月",
"发布时间": "06-13"
},
{
"工作名称": "Java后端开发工程师",
"公司": "深圳市长隆科技有限公司",
"工作地址": "深圳-龙岗区",
"薪资水平": "1.5-2万/月",
"发布时间": "06-13"
},
{
"工作名称": "Java开发工程师",
"公司": "深圳市元诺智能系统有限公司",
"工作地址": "深圳-龙华新区",
"薪资水平": "1-1.5万/月",
"发布时间": "06-13"
},
{
"工作名称": "java 有物流类经验",
"公司": "深圳市欧恩德技术有限公司",
"工作地址": "深圳-罗湖区",
"薪资水平": "0.8-1.1万/月",
"发布时间": "06-13"
},
{
"工作名称": "Java开发工程师-2020校园招聘",
"公司": "金蝶软件(中国)有限公司",
"工作地址": "深圳-南山区",
"薪资水平": "0.8-1.6万/月",
"发布时间": "06-13"
},
{
"工作名称": "Java高级开发工程师",
"公司": "丰疆智能科技股份有限公司",
"工作地址": "深圳-南山区",
"薪资水平": "2.5-3万/月",
"发布时间": "06-13"
},
{
"工作名称": "JAVA软件开发工程师",
"公司": "深圳市吉星时代科技有限公司",
"工作地址": "深圳-龙岗区",
"薪资水平": "2-3万/月",
"发布时间": "06-13"
},
{
"工作名称": "JAVA 高级软件工程师",
"公司": "相通网络技术有限公司",
"工作地址": "深圳-福田区",
"薪资水平": "1.5-3万/月",
"发布时间": "06-13"
},
{
"工作名称": "JAVA开发工程师(接受应届生)",
"公司": "深圳市智岩科技有限公司",
"工作地址": "深圳-南山区",
"薪资水平": "0.8-1万/月",
"发布时间": "06-13"
},
{
"工作名称": "Java后台开发工程师",
"公司": "深圳市炬驰科技发展有限公司",
"工作地址": "深圳",
"薪资水平": "1-1.5万/月",
"发布时间": "06-13"
},
{
"工作名称": "Java开发工程师",
"公司": "深圳市韶音科技有限公司",
"工作地址": "深圳-宝安区",
"薪资水平": "0.8-1万/月",
"发布时间": "06-13"
},
{
"工作名称": "JAVA 开发工程师",
"公司": "深圳市优博讯科技股份有限公司",
"工作地址": "深圳-南山区",
"薪资水平": "1-1.5万/月",
"发布时间": "06-13"
},
{
"工作名称": "Java开发工程师",
"公司": "深圳市有豆科技有限公司",
"工作地址": "深圳-宝安区",
"薪资水平": "1.8-3万/月",
"发布时间": "06-13"
},
{
"工作名称": "Saas平台架构师(Java方向)",
"公司": "深圳市智布互联纺织科技有限公司",
"工作地址": "深圳-南山区",
"薪资水平": "1.7-2.5万/月",
"发布时间": "06-13"
},
{
"工作名称": "Java开发实习生",
"公司": "云软科技",
"工作地址": "深圳-宝安区",
"薪资水平": "6-9千/月",
"发布时间": "06-13"
},
{
"工作名称": "Java高级开发工程师",
"公司": "深圳市阿尔法智汇科技有限公司",
"工作地址": "深圳-宝安区",
"薪资水平": "2-4万/月",
"发布时间": "06-13"
},
{
"工作名称": "Java 全栈开发工程师",
"公司": "深圳市杰纳斯科技有限公司",
"工作地址": "深圳-宝安区",
"薪资水平": "1-3.5万/月",
"发布时间": "06-13"
},
{
"工作名称": "中高级java工程师",
"公司": "北京联创智融信息技术有限公司",
"工作地址": "深圳-福田区",
"薪资水平": "1.3-1.8万/月",
"发布时间": "06-13"
},
{
"工作名称": "Java开发工程师",
"公司": "得实信息科技(深圳)有限公司",
"工作地址": "深圳-南山区",
"薪资水平": "0.6-1万/月",
"发布时间": "06-13"
},
{
"工作名称": "Java开发工程师",
"公司": "深圳市联创科技集团有限公司",
"工作地址": "深圳-龙岗区",
"薪资水平": "1-1.5万/月",
"发布时间": "06-13"
},
{
"工作名称": "中级JAVA(J13824)",
"公司": "银雁科技服务集团股份有限公司",
"工作地址": "深圳-福田区",
"薪资水平": "1-1.5万/月",
"发布时间": "06-13"
},
{
"工作名称": "java工程师",
"公司": "深圳市安思疆科技有限公司",
"工作地址": "深圳-南山区",
"薪资水平": "0.8-1.6万/月",
"发布时间": "06-13"
},
{
"工作名称": "JAVA 高级开发工程师",
"公司": "汇才保险代理(深圳)有限公司",
"工作地址": "深圳-罗湖区",
"薪资水平": "1.5-2万/月",
"发布时间": "06-13"
},
{
"工作名称": "Java高级开发工程师(直连)",
"公司": "深圳市天泰国际航空旅行社有限公司...",
"工作地址": "深圳",
"薪资水平": "2-4万/月",
"发布时间": "06-13"
},
{
"工作名称": "JAVA工程师",
"公司": "深圳市开度贸易有限公司",
"工作地址": "深圳-南山区",
"薪资水平": "0.8-1.2万/月",
"发布时间": "06-13"
},
{
"工作名称": "后台开发Leader(JAVA方向)",
"公司": "深圳金世纪保险经纪有限公司",
"工作地址": "深圳-福田区",
"薪资水平": "3-4万/月",
"发布时间": "06-13"
},
{
"工作名称": "Java开发工程师",
"公司": "深圳市中深力人力资源管理有限公司...",
"工作地址": "深圳-南山区",
"薪资水平": "1-1.5万/月",
"发布时间": "06-13"
},
{
"工作名称": "Java高级开发工程师",
"公司": "研祥高科技控股集团有限公司",
"工作地址": "深圳-光明新区",
"薪资水平": "0.9-1.8万/月",
"发布时间": "06-13"
},
{
"工作名称": "Java(证券不加班)",
"公司": "上海华腾软件系统有限公司",
"工作地址": "深圳-福田区",
"薪资水平": "1.8-2.2万/月",
"发布时间": "06-13"
},
{
"工作名称": "Java高级开发工程师",
"公司": "深圳大美商业地产管理有限公司",
"工作地址": "深圳-福田区",
"薪资水平": "1.5-2万/月",
"发布时间": "06-13"
},
{
"工作名称": "资深/高级Java工程师",
"公司": "未来穿戴(深圳)有限公司",
"工作地址": "深圳-南山区",
"薪资水平": "3-4万/月",
"发布时间": "06-13"
},
{
"工作名称": "Java高级开发工程师",
"公司": "深圳市太阳星通信科技有限公司",
"工作地址": "深圳-南山区",
"薪资水平": "0.8-1.5万/月",
"发布时间": "06-13"
},
{
"工作名称": "Java高级开发工程师",
"公司": "深圳市蓝鹰立德软件咨询有限公司",
"工作地址": "深圳-南山区",
"薪资水平": "1.5-1.8万/月",
"发布时间": "06-13"
},
{
"工作名称": "JAVA(高级、架构)",
"公司": "深圳市几米物联有限公司",
"工作地址": "深圳-宝安区",
"薪资水平": "2.2-3.2万/月",
"发布时间": "06-13"
},
{
"工作名称": "JAVA开发工程师",
"公司": "江苏康尚生物医疗科技有限公司",
"工作地址": "深圳-宝安区",
"薪资水平": "1-1.5万/月",
"发布时间": "06-13"
},
{
"工作名称": "java架构师",
"公司": "深圳市泓齐网络科技有限公司",
"工作地址": "深圳",
"薪资水平": "1.5-1.8万/月",
"发布时间": "06-13"
},
{
"工作名称": "Java开发工程师",
"公司": "深圳市智璟科技有限公司",
"工作地址": "深圳-福田区",
"薪资水平": "0.9-1.5万/月",
"发布时间": "06-13"
},
{
"工作名称": "Java开发工程师",
"公司": "上海舟恩信息技术有限公司",
"工作地址": "深圳-南山区",
"薪资水平": "1.4-1.9万/月",
"发布时间": "06-13"
}
]
进一步思考
本例可以进一步优化的空间,如下所示:
本次爬虫只是单次爬取,数据量相对小,如果要爬取大量数据的时候,则需要使用多线程相关的知识。
基础的爬虫,只能爬取静态渲染的内容,如果是异步动态渲染的数据,如何爬取呢?
将爬取的结果保存到数据库如何操作呢?
来源:https://www.cnblogs.com/hsiang/p/13121404.html
猜你喜欢
- 这篇文章主要介绍了Python @property原理解析和用法实例,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习
- 错误代码如下:NotFoundError (see above for traceback): Unsuccessful TensorSli
- 此段代码可以利用剪切板,完成自动复制粘贴等功能。(Windows) import sysimport os.pathimport
- 一、前言大多数编译型语言,变量在使用前必须先声明,其中C语言更加苛刻:变量声明必须位于代码块最开始,且在任何其他语句之前。其他语言,想C++
- 分享给大家一篇文章,教你怎样用Python画了一棵圣诞树,快来学习。如何用Python画一个圣诞树呢?最简单:height = 5stars
- 一、python判断文件和文件夹是否存在、创建文件夹 >>> import os>>> os.path.
- 要想在不宽裕的页面展现丰富的内容,现在通用的做法使用tab,在一块区域通过tab切换来更换该区域的内容。这篇文章分析了tab设计很在理,今天
- 如何查看cpu的核数代码: from multiprocessing import cpu_count print(&q
- 获得当前机器的名字:def hostname(): sy
- 错误提示Invalid byte 1 of 1-byte UTF-8 sequence原因分析在中文版的window下java的默认的编码为
- 本文实例讲述了golang实现的文件上传与文件下载功能。分享给大家供大家参考,具体如下:upload.gopackage commonimp
- 1、Linux主机重定向 Godaddy的Liunx主机,Godaddy本身已经支持Apache,所以直接创建一个.htaccess文件就可
- 这个类可以用来搜索在给定的文本目录中的文件。 它可以给定目录遍历递归查找某些文件扩展名的文件。 并打开找到的文件,并检查他们是否包含搜索词语
- 不知道工商银行帐号是否是这样的格式, 如果错了请大家见谅!<script language="javascript"
- 很高兴参加了这一期的薯片会,认识了几个朋友~~不料的却是今天我要来总结一下本次薯片会我们总共讨论了三个议题:A、 如何让“用户”更容易识别超
- 本文实例讲述了Python 闭包,函数分隔作用域,nonlocal声明非局部变量操作。分享给大家供大家参考,具体如下:实例对象也可以实现闭包
- 原文地址:30 Days of Mootools 1.2 Tutorials - Day 12 - Drag and Drop using
- 今天在调试项目的时候出现下面的错误信息:SoapFaultlooks like we got no XML document (D:\php
- Ajax的流行给用户体验带来了很大程序的提升,而“注册“这项做为互联网最常用到的功能也自然而然的成为Ajax最常光顾的地方,实时判断用户输入
- 一、贝叶斯分类介绍贝叶斯分类器是一个统计分类器。它们能够预测类别所属的概率,如:一个数据对象属于某个类别的概率。贝叶斯分类器是基于贝叶斯定理