Python使用Selenium、PhantomJS爬取动态渲染页面
作者：郝学胜 发布时间：2023-12-20 22:24:55
标签：Python,Selenium,PhantomJS,爬取
背景
在爬取网站数据时，我们通常会遇到一些动态渲染页面的网站。传统的静态网站我们可以直接通过 requests.get() 函数获取页面源代码，但是动态渲染页面需要我们使用一些工具才能获取到完整的页面源代码。本文将介绍如何使用Selenium和PhantomJS来爬取动态渲染页面。
Selenium介绍
Selenium 是一个自动化测试工具，但它也常用于网络爬虫中，主要用于测试网站是否能够正常使用。Selenium提供了多种编程语言的接口，包括Java、C#、Python等。通过 Selenium，我们可以模拟人类的浏览器操作，例如点击、输入等。
PhantomJS介绍
PhantomJS 是一个没有界面的WebKit浏览器，其提供的API可以用来处理动态渲染页面。PhantomJS支持多种操作系统，包括Windows、Mac OS、Linux等。
Python示例
本文将以Python为示例语言，介绍如何使用Selenium和PhantomJS来爬取动态渲染页面。
首先，我们需要安装 Selenium 和 PhantomJS，可以使用以下命令进行安装：
pip install selenium
brew install phantomjs
接下来，我们引入Selenium库，并创建一个PhantomJS的浏览器对象：
from selenium import webdriver
browser = webdriver.PhantomJS()
这里我们使用的是 PhantomJS 作为浏览器，当然你也可以使用其他浏览器，例如 Chrome 等。然后，我们将要访问的页面的 URL 传递给 get 方法：
url = '<https://www.example.com>'
browser.get(url)
在浏览器中加载完整的页面后，我们可以使用 page_source 属性获取完整的页面源代码：
page\_source = browser.page\_source
最后，不要忘记关闭浏览器：
browser.quit()
来源：https://juejin.cn/post/7235915906885877817
0
投稿猜你喜欢
一、全局阈值原图：整幅图采用一个阈值，与图片的每一个像素灰度进行比较，重新赋值；1.效果图2.源码import cv2import matp- 本文以实例详解了python的迭代器与生成器，具体如下所示：1. 迭代器概述： 迭代器是访问集合元素的一种方式。迭代器对象从集合的
- 一直以来，每次调用Ajax方法都需要创建一次 Microsoft.XMLHTTP 对象，今天在使用Ajax技术做一个类似聊天室的
- 说在前面nodejs 读取数据库是一个异步操作，所以在数据库还未读取到数据之前，就会继续往下执行代码。最近写东西时，需要对数据库进行批量数据
- 用法本脚本用于批量扫描端口 1.在同目录下创建输入文件,属性inputFile为输入文件名2.属性th为线程数3.属性port为探测的目标端
- 一个js用星投票的例子，不是常见的图片版，当然你如果会点js代码的话应该可以改为更加美观的图片投票，原理都一样。本程序只演示了读取星的个数，
- 前言ImageNet 是一个著名的公共图像数据库，用于训练对象分类、检测和分割等任务的模型，它包含超过 1400 万张图像。在 Python
- YUI 中的 Grids CSS 主要有三个部分值得大家关注和学习：Yahoo!网站性能最佳体验的34条黄金守则—内容 1、布局的思想：使用
- 1 问题描述最近与诸位聊起，在用户体验网站产品、完成任务的过程中，页面的切换到底是新开窗口，还是当前页面跳转，哪一种是最佳的用户体验。这一讨
- 哈希数据类型的创建与数据的添加 - hmset利用 “redis-py” 模块实现 &ldq
- 堆是一种特殊的树形结构， 堆中的数据存储满足一定的堆序。堆排序是一种选择排序， 其算法复杂度， 时间复杂度相对于其他的排序算法都有很大的优势
- PyTorch创建自己的数据集图片文件在同一的文件夹下思路是继承 torch.utils.data.Dataset，并重点重写其 __get
- 之前一直在写有关scrapy爬虫的事情，今天我们看看使用scrapy如何把爬到的数据放在MySQL数据库中保存。有关python操作MySQ
- 问题现象元素的属性中没有id、name；虽然有class，但比较大众化，且位置也不固定；例如：页码中的下一页；那该如何找到该元素？<a
- 举个例子：q=[0 1 2 3 4 5 6 7 8 9 10 11 12 13 14 15]我想获取其中值等于7的那个值的下标，以便于用于其
- 注意，本文代码是使用在txt文档上，同时txt文档中的内容每一行代表的是图片的名字。#coding:utf-8 import shutil
- 本博文源于绘图基础，主要讲解如何用python的plot绘制气温的折线图。先讲解plot参数如何使用后给出一个气温折线图样例绘制使用plot
- 要选择有助于使查询执行更快的列，应遵循如下规则(这里，“BLOB 类型”应该理解为即包含B L O
- 本周暂时比较清闲，可以保持每日一更的速度。国外身份证项目新增需求，检测出身份证正面的人脸。最开始考虑mobilenet-ssd，经同事提醒，
- SQLite是一款轻型的数据库，是遵守ACID的关系型数据库管理系统。不像常见的客户-服务器范例，SQLite引擎不是个程序与之通信的独立进
