零基础写Java知乎爬虫之准备工作
作者：hebedich 发布时间：2022-10-25 01:19:18
标签：Java,爬虫,知乎
开篇我们还是和原来一样，讲一讲做爬虫的思路以及需要准备的知识吧，高手们请直接忽略。
首先我们来缕一缕思绪，想想到底要做什么，列个简单的需求。
需求如下：
1.模拟访问知乎官网（http://www.zhihu.com/）
2.下载指定的页面内容，包括：今日最热，本月最热，编辑推荐
3.下载指定分类中的所有问答，比如：投资，编程，挂科
4.下载指定回答者的所有回答
5.最好有个一键点赞的变态功能（这样我就可以一下子给雷伦的所有回答都点赞了我真是太机智了！）
那么需要解决的技术问题简单罗列如下：
1.模拟浏览器访问网页
2.抓取关键数据并保存到本地
3.解决网页浏览中的动态加载问题
4.使用树状结构海量抓取知乎的所有内容
好的，目前就想了这些。
接下来就是准备工作了。
1.确定爬虫语言：由于以前写过一系列爬虫教程（点击这里），百度贴吧，糗事百科，山东大学的绩点查询等都是用python写的，所以这次决定使用Java来写（喂完全没有半毛钱联系好吗）。
2.科普爬虫知识：网络爬虫，即Web Spider，是一个很形象的名字。把互联网比喻成一个蜘蛛网，那么Spider就是在网上爬来爬去的蜘蛛。网络蜘蛛通过网页的链接地址来寻找网页。具体的入门介绍请（点击这里）。
3.准备爬虫环境：Jdk和Eclipse的安装和配置就不多说啦。这里啰嗦一句，一个好用的浏览器对于爬虫来说非常重要，因为首先你需要自己浏览网页知道你需要的东西在哪里，你才能告诉你的爬虫们去哪里怎么爬。个人推荐火狐浏览器，或者谷歌浏览器，它们的右键审查元素和查看源代码的功能都非常强大。
下面我们开始正式的爬虫之旅！~具体讲些什么呢，恩，这是个问题，让我好好想想，别急^_^
0
投稿猜你喜欢
- 本文实例分析了java遍历Map的几种方法。分享给大家供大家参考，具体如下：Java代码：Map<String,String>
- 今天跟大家分享一个实现PDF另存为的效果，是调用Acrobat SDK的JavaScript实现的。/// <summary>&
删除本地仓库未下载完成的缓存文件（删除像图片显示这样以.lastUpdated结尾的文件）执行mvn -v确保maven命令可以正常执行执行- 1.Overview经常研究.NET源码库的小伙伴会经常看到一个关键字volatile，那它在开发当中的作用是什么呢？我们一起来看看官方文档
- 本文以实例形式较为全面的讲述了C++的多重继承与虚继承，是大家深入学习C++面向对象程序设计所必须要掌握的知识点，具体内容如下：一、多重继承
- 英文设置加粗可以在xml里面设置: <SPAN style="FONT-SIZE: 18px">androi
- 关于base64编码Encode和Decode编码的几种方式Base64是一种能将任意Binary资料用64种字元组合成字串的方法，而这个B
- 从网上收集后自己写的一个方法；1.首先是一个根据分辨率压缩的类，首先对图片进行一次压缩 /** * 根据分辨率压缩图
- 网站优化必做的事情之一，百度ping，主动推送给百度文章添加时调用百度推送方法//保存protected void btnSubmit_Cl
- 前言：如果让大家说出一款国内比较热门的社交软件，那无疑就是QQ和微信了，说到微信，无不例外的会想到微信公众号和小程序，所以现在它们已经是很多
- Object是所有类的父类，任何类都默认继承Object。一、Object类中的方法1．clone方法保护方法，实现对象的浅复制，只有实现了
- 具体解释请仔细看注释里已经讲解的很细致了，这里就不多废话了using UnityEngine;using System.Collection
- 在Android开发中，我们经常会用到对商家或者商品的评价，运用星星进行打分。然而在Android系统中自带的打分控件，RatingBar特
- 在Java中，线程有5中不同状态，分别是：新建（New）、就绪（Runable）、运行（Running）、阻塞（Blocked）和死亡（De
- JSONArray删除元素的两种方式我自个磨出来的，难受JSONArray jsonarray = new JSONArray();Set&
- 一、认识AdapterViewFilpper AdapterViewFilpper 继承 了Adapte
- 一、项目简述（ +IW文档）功能：本系统分用户前台和管理员后台。 本系统用例模型有三种，分别是游客、注册用户和系统管 理员。下面分别对这三个
- Spring Cloud是现在流行的分布式服务框架，它提供了很多有用的组件。比如：配置中心、Eureka服务发现、消息总线、熔断机制等。配置
- springboot整合nacos1、引入依赖<dependency> <groupId>
- 本文实例讲述了Android编程实现系统重启与关机的方法。分享给大家供大家参考，具体如下：最近在做个东西，巧合碰到了sharedUserId
