C#使用Selenium+PhantomJS抓取数据
作者：挖宝居士 发布时间：2022-09-13 23:18:02
标签：C#,抓取,数据
手头项目需要抓取一个用js渲染出来的网站中的数据。使用常用的httpclient抓回来的页面是没有数据。上网百度了一下，大家推荐的方案是使用PhantomJS。PhantomJS是一个没有界面的webkit浏览器，能够和浏览器效果一致的使用js渲染页面。Selenium是一个web测试框架。使用Selenium来操作PhantomJS绝配。但是网上的例子多是Python的。无奈，下载了python按照教程搞了一下，卡在了Selenium的导入问题上。遂放弃，还是用自己惯用的c#吧，就不信c#上没有。经过半个小时的折腾，搞定（python折腾了一个小时）。记录下这篇博文，让我等搞c#的新手能用上PhantomJS。
第一步：打开visual studio 2017 新建一个控制台项目，打开nuget包管理器。
第二部：搜索Selenium，安装Selenium.WebDriver。注意：如果要使用代理的话最好安装3.0.0版本。
第三步：写下如下图所示的代码。但是执行的时候会报错。原因是找不到PhantomJS.exe。这时候可以去下载一个，也可以继续看第四步。
using OpenQA.Selenium;
using OpenQA.Selenium.PhantomJS;
using System;
namespace ConsoleApp1
{
class Program
{
static void Main(string[] args)
{
var url = "http://www.baidu.com";
IWebDriver driver = new PhantomJSDriver(GetPhantomJSDriverService());
driver.Navigate().GoToUrl(url);
Console.WriteLine(driver.PageSource);
Console.Read();
}
private static PhantomJSDriverService GetPhantomJSDriverService()
{
PhantomJSDriverService pds = PhantomJSDriverService.CreateDefaultService();
//设置代理服务器地址
//pds.Proxy = $"{ip}:{port}";
//设置代理服务器认证信息
//pds.ProxyAuthentication = GetProxyAuthorization();
return pds;
}
}
}
第四步：打开nuget安装Selenium.PhantomJS.WebDriver包。
第五步：运行。可以看到phantomjs.exe被自动下载了。
来源：http://www.cnblogs.com/endlock/p/6423613.html
0
投稿猜你喜欢
- 前言：Springboot的出现极大的简化了开发人员的配置，而这之中的一大利器便是springboot的starter，starter是sp
前言：线程安全是并发编程中的重要关注点，造成线程安全问题的主要原因有两点，一是存在共享数据(也称临界资源)，二是存在多条线程共同操作共享数据- 前言：quartz是一个定时调度的框架，就目前市场上来说，其实有比quartz更优秀的一些定时调度框架，不但性能比quartz好，学习成本更
- 一个简单的微服务架构图本文设计的 Spring Cloud 版本以及用到的 Spring Cloud 组件Spring Cloud Hoxt
- Dotnet中嵌入资源（位图、图标或光标等）有两种方式，一是直接把资源文件加入到项目，作为嵌入资源，在代码中通过Assembly的GetMa
- 1 需求描述我们现在要干一个什么事情呢，我们要在浏览器输入一个请求地址，然后我们的后端就给我返回一个User对象即可，并且我希望以Json的
- 了解JVM内存结构的目的在Java的开发过程中，因为有JVM自动内存管理机制，不再需要像在C、C++开发那样手动释放对象的内存空间，不容易出
- 装箱是将值类型转换为 object 类型或由此值类型实现的任何接口类型的一个过程。 当 CLR 对值类型进行装箱时，会将该值包装到 Syst
- 委托：顾名思义，让别人帮你办件事。委托是C#实现回调函数的一种机制。可能有人会问了，回调函数是个啥？？？举个例子：我现在是一家公司的老板，公
- 前言在这篇文章里，最后总结处，我说了会讲讲循环依赖中，其中一个类添加@Async有可能会导致注入失败而抛异常的情况，今天就分析一下。一、异常
- 1、理论一般如果想将类注册到spring容器，让spring来完成实例化，常用方式如下：xml中通过bean节点来配置；使用@Service
- 一、题目描述题目实现：运行服务器程序，等待客户端程序连接。二、解题思路首先需要在服务器中建立服务器套接字，并等待客户程序的连接。创建一个类：
- 1.mybatis对多语句类型的支持在mybatis映射文件中传参数，主要用到#{} 或者 ${}.#{}：表示使用这种符号的变量会以预编译
- 一、链表的介绍什么是链表链表是一种物理存储单元上非连续、非顺序的存储结构，数据元素的逻辑顺序是通过链表中的指针链接次序实现的。链表由一系列结
- 熟悉Eclipse的都知道Eclipse经常性的会出现一些莫名其妙的问题，有时候运行的好好的突然重启一下项目就莫名的报错，所以经常会用到cl
- 目录说明使用常见问题No such instance field: 'logger2'说明logback作为log4j的替代
- web 容器的设计开发一个web容器涉及很多不同方面不同层面的技术，例如通信层的知识，程序语言层面的知识等等，且一个可用的web容器是一个比
- 我们在shader中对贴图处理时，有时候会有一些比较复杂的运算，比方说三角函数，开方等，一般情况下，如果可以在越上层做运算，性能会越高。C#
- API参数：/**fileName: 临时文件的名字, 生成后的文件名字将会是【fileName + 随机数】suffix： 文件后缀，例如
- 持久化类Hibernate的整个概念是采取从Java类属性的值，并将持久到数据库表。一个映射文件Hibernate的帮助确定如何从拉动类的值
