python爬虫爬取笔趣网小说网站过程图解
作者：老鱼的故事 发布时间：2022-10-06 10:56:50
首先：文章用到的解析库介绍
BeautifulSoup：
Beautiful Soup提供一些简单的、python式的函数用来处理导航、搜索、修改分析树等功能。
它是一个工具箱，通过解析文档为用户提供需要抓取的数据，因为简单，所以不需要多少代码就可以写出一个完整的应用程序。
Beautiful Soup自动将输入文档转换为Unicode编码，输出文档转换为utf-8编码。
你不需要考虑编码方式，除非文档没有指定一个编码方式，这时，Beautiful Soup就不能自动识别编码方式了。然后，你仅仅需要说明一下原始编码方式就可以了。
Beautiful Soup已成为和lxml、html6lib一样出色的python解释器，为用户灵活地提供不同的解析策略或强劲的速度。
爬取小说原因背景：
以前很喜欢看起点网上面的小说，但是很多都要钱，穷学生没多少钱，就发现了笔趣网。
笔趣看是一个小说网站，这里有很多起点中文网的免费小说，而且这个网站只能在线浏览，不支持小说打包下载。
所以本次爬取呢，就是从该网站爬取并保存一个名为《一念永恒》的小说。
另外本次爬取只是做例子演示，请支持正版资源！！！！！！！！！！！
那么简单的爬取开始：
①打开url链接，按F12或者右键- 检查 进入开发者工具
② 在开发者工具中，捕获我们要找到的请求条目信息
选择主文章的一部分内容，选择复制粘贴那一部分，
然后再打开开发者工具栏：
“network—选择放大镜图标sreach—然后再搜索栏粘贴我们要搜索的内容”
然后会在下方得到条目信息，点击，页面会跳转到加载正文的请求响应条目中。
我们可以看到：
正文部分是处于 id 为 content 和 class 为 showtxt 的 div 中。
③ 构造url请求
上面的信息是不够的，因为现在的网站都有了反爬能力，我们所需要是模拟一条正常从浏览器中发出的url请求链接。
这里我们会用到： User-Agent（浏览器标识）
还是开发者工具，点击Headers，就可以看到Request-Response条目明细。
④ 发出请求：
有了字段的详细内容，我们就可以编写出请求网页的代码
⑤ 获得相应内容，然后运行，得到内容如下:
解析响应数据
下面，我们使用BeautifulSoup进行解析 运行….代码结果如图：
到这里，小说就爬取完成了。
来源：https://www.cnblogs.com/oldfish123/p/11874387.html
0
投稿猜你喜欢
- 查询所有数据库的总大小方法如下：mysql> use information_schema;mysql> select conc
本文实例讲述了Python基于更相减损术实现求解最大公约数的方法。分享给大家供大家参考，具体如下：先从网上摘录一段算法的描述如下：更相减损法- 前言fixture是在测试函数运行前后，由pytest执行的外壳函数。fixture中的代码可以定制，满足多变的测试需求，包括定义传入测试中
- go-micro是golang的一个微服务框架。这篇文章将介绍使用go-micro最新版本v4开发gRPC服务的方式。1、安装protoc这
- 當我們有很多筆的條件要對資料庫進行搜尋時，常常會用到下列的語法 SELECT * FROM Member WHERE accun
- 看到论坛上有人模仿alert，自己也写了一个。本来想模仿winapi里的MessageBox ；但可惜js 不支持，阻塞模式。返回值只能用异
- 本文实例讲述了PHP简单实现正则匹配省市区的方法。分享给大家供大家参考，具体如下：省市区正则匹配preg_match('/(.*?(
- 安装了pycharm之后有一个新装的python解释器，顶替了之前系统的python那样的话，原来利用pip安装的一些库会无法import.
- 假如文件夹有大量视频文件，需求目标是想从每个视频中提取一帧作为视频的一个封面图片，本文利用opencv-python模块实现需求。结合自己的
- 本文实例为大家分享了使用RNN进行文本分类，python代码实现，供大家参考，具体内容如下1、本博客项目由来是oxford 的nlp 深度学
- 最近出现一个很奇怪的MySQL问题，使用不同select语句查询全部数据集居然得到不同的记录数。select * 得到4条记录，select
- var getWindow = function(obj) { var&nbs
- 当你在IE中点击一个Realplayer连接时，系统会自动启动Realplayer软件，不仅占用系统内存，而且在上网时Realplayer容
- 前言最近因为工作需要 用selenium做了一个QQ邮箱的爬虫(登录时部分帐号要滑动解锁),先简单记录一下。这个问题先可以分为两个部分:1.
- 如果备份的数据库有2个文件，分别是.LDF 和 .MDF，打开企业管理器，在实例上右击---所有任务--附加数据库，然后选择那个.MDF文件
- * 惯，请先看测试页面：event-test.html 结论：在非IE浏览器，同一元素同一事件类型的处理函数是先进先出的。只有IE下，是先进
- 本文实例讲述了python通过apply使用元祖和列表调用函数的方法。分享给大家供大家参考。具体实现方法如下：def my_fuc(a, b
- Python中的内建函数和可迭代对象，迭代器求值标识id() #标识id 返回对象的唯一标识，CPython返回内存地址hash() #哈希
- 可以使用条件断点，如图，在断点上右键可以设置，条件自己输入，python语法：来源：https://blog.csdn.net/daijig
- 题目内容：对于三角形，三边长分别为a, b, c，给定a和b之间的夹角C，则有：。编写程序，使得输入三角形的边a, b, c，可求得夹角C(
