Phantomjs抓取渲染JS后的网页（Python代码）
作者：hebedich 发布时间：2022-03-22 05:05:51
标签：Phantomjs,抓取网页
最近需要爬取某网站，无奈页面都是JS渲染后生成的，普通的爬虫框架搞不定，于是想到用Phantomjs搭一个代理。
Python调用Phantomjs貌似没有现成的第三方库（如果有，请告知小编），漫步了一圈，发现只有pyspider提供了现成的方案。
简单试用了一下，感觉pyspider更像一个为新手打造的爬虫工具，好比一个老妈子，有时无微不至，有时喋喋不休。 轻巧的小工具应该更受人喜爱，我也怀着一点私心，可以带着我最爱的BeautifulSoup一块儿用，而不用再学PyQuery（pyspider用来解析HTML），更不用忍受浏览器写Python的糟糕体验（偷笑）。
所以花了一个下午的时间，把pyspider当中实现Phantomjs代理的部分拆了出来，独立成一个小的爬虫模块，希望大家会喜欢（感谢binux！）。
准备工作
你当然要有Phantomjs，废话！（Linux下最好用supervisord守护，必须保持抓取的时候Phantomjs一直处于开启状态）
用项目路径下的phantomjs_fetcher.js启动：phantomjs phantomjs_fetcher.js [port]
安装tornado依赖（使用了tornado的httpclient模块）
调用是超级简单的
from tornado_fetcher import Fetcher
# 创建一个爬虫
>>> fetcher=Fetcher(
user_agent='phantomjs', # 模拟浏览器的User-Agent
phantomjs_proxy='http://localhost:12306', # phantomjs的地址
poolsize=10, # 最大的httpclient数量
async=False # 同步还是异步
)
# 开始连接Phantomjs的代码，可以渲染JS！
>>> fetcher.fetch(url)
# 渲染成功后执行额外的JS脚本（注意用function包起来！）
>>> fetcher.fetch(url, js_script='function(){setTimeout("window.scrollTo(0,100000)}", 1000)')
代码 https://github.com/2shou/PhantomjsFetcher
0
投稿猜你喜欢
- 在使用ros的时候经常会用到rosbag来录制或者回放算法，是个非常有用的工具。rosbag 命令列表命令作用record录制一个包，并且指
如何使用pycharm连接SQL Sever：应该是所有的错误都经历了（不得不说挺崩溃的）Tip：不要跳步操作。步骤一：先检测自己的SQL- 一、单字节SQL注入MYSQL的SQL注入已经由来已久，以下是普遍采用的注入步骤：1、在GET参数上加一个/*或者#（mysql专有的注释）
- 什么是JSONP首先提一下JSON这个概念，JSON是一种轻量级的数据传输格式，被广泛应用于当前Web应用中。JSON格式数据的编码和解析基
- PHP如何获取当前页完整URL及其参数 <? echo 'http://'.$_SERVER[&
- 项目场景：最近在部署项目之后，运行出现报错：Expression #1 of SELECT list is not in GROUP BY
- 言MySQL 8.0 从第一版release 到现在已经走过了4个年头了，8.0版本在功能和代码上做了相当大的改进和重构。和DBA圈子里的朋
- 我们用session来实现这一设想。由于session是用户级的全局变量，将登录的信息记录到session中后，用户就可直接浏览这些特定的页
- 由于 window.onload 事件需要在页面所有内容（包括图片等）加载完后，才执行，但往往我们更希望在 DOM 一加载完就执行脚本。其实
- 本文实例讲述了Go语言接口用法。分享给大家供大家参考。具体分析如下：接口类型是由一组方法定义的集合。接口类型的值可以存放实现这些方法的任何值
- 以下函数代码中“123456” 是个加密的key，自己可以随便改。php加密，js解密，貌似没什么意义，主要是key在js中会被看到。不过在
- 如何使用ADO 2x Command 对象读取数据？具体的读数据代码如下：Cmd = CType(EC.Example1
- 对于一些数据量较大的系统，数据库面临的问题除了查询效率低下，还有就是数据入库时间长。特别像报表系统，每天花费在数据导入上的时间可能会长达几个
- 本文实例讲述了JS基于封装函数实现的表格分页。分享给大家供大家参考，具体如下：HTML代码：<html><head>
- Python编写类的时候，每个函数参数第一个参数都是self，一开始我不管它到底是干嘛的，只知道必须要写上。后来对Python渐渐熟悉了一点
- list的话题的确不少，而且，在编程中，用途也非常多。有看官可能要问了，如果要生成一个list，除了要把元素一个一个写上之外，有没有能够让计
- Vue路由跳转传参或打开新页面跳转1. 通过路由中的name属性 使用params传递参数, 使用this.$route.para
- 问题： 1.购物车中的数据是否应该存储在数据库中？ 我特别想知道在真正的项目中，那些真正的软件工程师是如何考虑这个问题的。在Google上一
- 在python3爬虫中如何我们想要导入/导出Redis数据，就要安装使用RedisDump。RedisDump是一个用于Redis数据导入/
- 环境pip install opencv-python==3.4.2.16pip install opencv-contrib-python
