Python爬虫 scrapy框架爬取某招聘网存入mongodb解析
作者：Tanglaoer 发布时间：2023-06-23 09:35:59
标签：python,爬虫,scrapy,框架,mongodb
创建项目
scrapy startproject zhaoping
创建爬虫
cd zhaoping
scrapy genspider hr zhaopingwang.com
目录结构
items.py
title = scrapy.Field()
position = scrapy.Field()
publish_date = scrapy.Field()
pipelines.py
from pymongo import MongoClient
mongoclient = MongoClient(host='192.168.226.150',port=27017)
collection = mongoclient['zhaoping']['hr']
class TencentPipeline(object):
def process_item(self, item, spider):
print(item)
# 需要转换为 dict
collection.insert(dict(item))
return item
spiders/hr.py
def parse(self, response):
# 不要第一个 和最后一个
tr_list = response.xpath("//table[@class='tablelist']/tr")[1:-1]
for tr in tr_list:
item = TencentItem()
# xpath 从1 开始数起
item["title"] = tr.xpath("./td[1]/a/text()").extract_first()
item["position"] = tr.xpath("./td[2]/text()").extract_first()
item["publish_date"] = tr.xpath("./td[5]/text()").extract_first()
yield item
next_url = response.xpath("//a[@id='next']/@href").extract_first()
# 构造url
if next_url != "javascript:;":
print(next_url)
next_url = "https://hr.tencent.com/" + next_url
yield scrapy.Request(url=next_url,callback=self.parse,)
就是这么简单，就获取到数据
来源：https://www.cnblogs.com/tangkaishou/p/10264628.html
0
投稿猜你喜欢
- 表查询： 合并查询：使用union关键字，可将满足条件的重复行去掉。 select ename,sal,job from emp where
- 在Python代码中指定GPUimport osos.environ["CUDA_VISIBLE_DEVICES"] =
- 本XML系列教程将分三部分发布，到最后一期我们将拥有一个功能全面，更加友好的XML菜单。本教程这个第一期涉及到了一些XML的基础知识。大家都
- XHTML规范中有一条标准就是“每个XHTML标签都有一个结束标记”。那么对于HTML中原来不带结束标记的元素，则在该结束前加上“/”来关闭
- <html><head><title>过滤空格</title><SCRIPT LANG
- 1. 使用 in 和 not inin 和 not in 在 Python 中是很常用的关键字，我们将它们归类为 成员运算符。使用这两个成员
本文实例讲述了Python基于回溯法子集树模板解决取物搭配问题。分享给大家供大家参考，具体如下：问题有5件不同的上衣，3条不同的裤子，4顶不- 今天修改之前实习小伙伴写的js代码的时候，遇到修改后页面未发生变化的问题。因为我是web开发小白，所以上网查了一波，得以解决~~初次进行we
- 有时候在一个页面用到收放功能的时候时，总有一个虚线框在触发收放的功能按钮上，显得特别刺眼，那如何去除这个虚线框呢？在IE下，需要在标签 a
- 先前在DW教学－Dreamweaver量身打造Wordpress留言板（一） 教学文章中，已经成功的把前端留言机制与界面搞定了，虽然有了留言
- 目录分析问题音频url搜索urlJS代码实现分析问题音频url点入某个音乐的播放界面，通过F12-Network，分析数据，可以看到有一个i
- 前言Python的异常处理能力非常强大，但是用不好也会带来负面的影响。我平时写程序的过程中也喜欢使用异常，虽然采取防御性的方式编码会更好，但
- 樂思蜀将SEO工作中所需要的301转向代码进行了整理，收藏并分享，以备查阅。1、IIS下301设置 Internet信息服务管理器 ->
- 本文实例讲述了python中sleep函数用法。分享给大家供大家参考。具体如下：Python中的sleep用来暂停线程执行，单位为秒#---
- 先来看个例子：需求为生成4位数，不足前面补0<?php //生成4位数，不足前面补0 $var=sprintf
- 可用下面提供的强制登录的程序，它也可以用来做会员注册的。security.asp<％bLoggedIn =&nb
- 虽然以前我写过IE6、IE7、IE8共存的解决方案，但是看到IETester这个软件以后那些都已经没有意义了（那些办法副作用比较大，而且实现
- 一、css样式表滤镜的构成 滤镜作为样式表大家庭中的一员，它跟其他样式表元素的定义和应用方式当然是一样的，能够直接定义在HTML标识的<
- 如何做一个随机密码产生器？<％genPassword = ""RandomizeFor&nbs
- 代码如下，另存为asp文件，请传到你的服务器上就可以了马上测一下<％Response.Expires = 0Response.Expi
