C#使用Selenium+PhantomJS抓取数据
作者：挖宝居士 发布时间：2022-09-13 23:18:02
标签：C#,抓取,数据
手头项目需要抓取一个用js渲染出来的网站中的数据。使用常用的httpclient抓回来的页面是没有数据。上网百度了一下，大家推荐的方案是使用PhantomJS。PhantomJS是一个没有界面的webkit浏览器，能够和浏览器效果一致的使用js渲染页面。Selenium是一个web测试框架。使用Selenium来操作PhantomJS绝配。但是网上的例子多是Python的。无奈，下载了python按照教程搞了一下，卡在了Selenium的导入问题上。遂放弃，还是用自己惯用的c#吧，就不信c#上没有。经过半个小时的折腾，搞定（python折腾了一个小时）。记录下这篇博文，让我等搞c#的新手能用上PhantomJS。
第一步：打开visual studio 2017 新建一个控制台项目，打开nuget包管理器。
第二部：搜索Selenium，安装Selenium.WebDriver。注意：如果要使用代理的话最好安装3.0.0版本。
第三步：写下如下图所示的代码。但是执行的时候会报错。原因是找不到PhantomJS.exe。这时候可以去下载一个，也可以继续看第四步。
using OpenQA.Selenium;
using OpenQA.Selenium.PhantomJS;
using System;
namespace ConsoleApp1
{
class Program
{
static void Main(string[] args)
{
var url = "http://www.baidu.com";
IWebDriver driver = new PhantomJSDriver(GetPhantomJSDriverService());
driver.Navigate().GoToUrl(url);
Console.WriteLine(driver.PageSource);
Console.Read();
}
private static PhantomJSDriverService GetPhantomJSDriverService()
{
PhantomJSDriverService pds = PhantomJSDriverService.CreateDefaultService();
//设置代理服务器地址
//pds.Proxy = $"{ip}:{port}";
//设置代理服务器认证信息
//pds.ProxyAuthentication = GetProxyAuthorization();
return pds;
}
}
}
第四步：打开nuget安装Selenium.PhantomJS.WebDriver包。
第五步：运行。可以看到phantomjs.exe被自动下载了。
来源：http://www.cnblogs.com/endlock/p/6423613.html
0
投稿猜你喜欢
- 大家都知道由于性能要求，Android要求只能在UI线程中更新UI，要想在其他线程中更新UI，我大致总结了4种方式，欢迎补充纠正：使用Han
前言这段时间比较闲，就看起了jdk源码。一般的一个高级开发工程师， 能阅读一些源码对自己的提升还是蛮大的。本文总结了一些JDK源码中的“小技- Spring Security中的内置过滤器顺序是怎么维护的?我想很多开发者都对这个问题感兴趣。本篇我和大家一起探讨下这个问题。HttpSe
- Maven是项目对象模型(POM)，可以通过一小段描述信息来管理项目的构建，报告和文档的项目管理工具软件。Maven是一个项目管理工具，它包
- 本文实例讲述了android打开本地图像的方法。分享给大家供大家参考。具体如下：方法一，调用手机安装的图像浏览工具浏览：Intent int
- 这篇文章主要介绍了简单了解java标识符的作用和命名规则,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的
- Android为我们提供了竖直方向的滚动控件GridView，但如果我们想让它水平滚动起来，就需要自己实现了。以下使用的测试数据datas集
- 本文实例为大家分享了java斗地主发牌的具体代码，供大家参考，具体内容如下分析这是一个模仿斗地主发牌的例子；按照斗地主的规则，完成洗牌发牌的
- 什么是SpringSpring是一个开源框架，它由Rod Johnson创建。它是为了解决企业应用开发的复杂性而创建的。 &nbs
- 成员类型访问权限低于字段本身现在假设你有一个小兵类，他的访问权限是仅限当前程序集。internal class 小兵{public int
- 用户User的注册类型有Super和Common两种public eumn RegistrationType{ &nb
- 遇到的问题解决方法win7:insert键切回win10:fn+insert切回Mac：fn+i 切回来源：https://blog.csd
- 在做业务开发时，遇到了一个事务不起作用的问题。大概流程是这样的，方法内部的定时任务调用了一个带事务的方法，失败后事务没有回滚。查阅资料后，问
- 数据适配DataAdapter 对象是DataSet 和数据源之间的桥梁，可以建立并初始化数据表（即DataTable），对数据源执行SQL
- 本文实例为大家分享了java中文传值乱码问题，以及解决方法，供大家参考，具体内容如下一般编码格式设置:1.可以经过两次编码处理,即设置字符集
- 本文实例为大家分享了Android7.0 MTK设置默认桌面的具体代码，供大家参考，具体内容如下项目需求:客户安装自己公司的桌面apk，安装
- RabbitMQ的一些基本组件Producer：消息的生产者Consumer：消息的消费者Broker：MQ服务器，管理队列、消息Messa
- 本文实例讲述了Android开发高级组件之自动完成文本框(AutoCompleteTextView)用法。分享给大家供大家参考，具体如下：通
- 这篇文章主要介绍了Java判断主机是否能ping通代码实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要
- private void dataGridView1_RowsAdded(object sender, DataGridViewRowsAd
