标签：python,爬取,顶点小说网,爬虫,纯阳剑尊
爬取”顶点小说网“《纯阳剑尊》
代码
import requests
from bs4 import BeautifulSoup
# 反爬
headers = {
'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, \
like Gecko) Chrome/70.0.3538.102 Safari/537.36'
}
# 获得请求
def open_url(url):
response = requests.get(url, headers=headers)
response.encoding = response.apparent_encoding
html = response.text
return html
# 提取标题
def get_title(url):
soup = BeautifulSoup(url, 'lxml')
title_tag = soup.find('dd')
title = '\n' + title_tag.h1.get_text() + '\n'
return title
# 提取文本
def get_texts(url):
soup2 = BeautifulSoup(url, 'lxml')
text_tags = soup2.find_all('dd', id="contents")
return text_tags
# 保存标题
def save_title(filename, title):
with open(filename, 'a+', encoding='utf-8') as file:
file.write(title)
# 保存文本
def save_text(filename, text):
with open(filename, 'a+', encoding='utf-8') as file:
file.write(text)
# 主程序函数
def main():
num = input('《纯阳剑尊》你想要下载第几章？（1-802）')
num = int(num)
number = 8184027 + num
url = 'https://www.23us.so/files/article/html/15/15905/' + str(number) + '.html'
filename = '纯阳剑尊.txt'
r = open_url(url)
title = get_title(r)
tags = get_texts(r)
save_title(filename, title)
for text_tag in tags:
text = text_tag.get_text() + '\n'
save_text(filename, text)
print('第{}章已经下载完成！'.format(num))
if __name__ == '__main__':
main()
爬取结果：
来源：https://www.cnblogs.com/jsxxd/p/13740833.html
0
投稿猜你喜欢
程序需求：输入用户名,密码认证成功显示欢迎信息输入错误三次后锁定用户流程图：好像画的不咋地查看代码：#!/usr/bin/env pytho- 高效的css写法中的一条就是使用简写。通过简写可以让你的CSS文件更小，更易读。而了解CSS属性简写也是前端开发工程师的基本功之一。今天我们
- 这篇文章主要介绍了Python序列化与反序列化pickle用法实例,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价
- 前言在c++中参数传递有两种形式：值传递和引用传递。这两种方式的区别我不在此说，自行补上，如果你不知道的话。我先上python代码，看完我们
- 高级加密标准(AES,Advanced Encryption Standard)为最常见的对称加密算法(微信小程序加密传输就是用这个加密算法
- 如果你已经有使用JavaScript的经验，你可能已经知道这两个看似相同的方法：Array.prototype.map()和Array.pr
- 一篇关于STR和UNICODE的好文章整理下python编码相关的内容注意: 以下讨论为Python2.x版本, Py3k的待尝试开始用py
- 1. 采用工作区设置默认解释器的方式（推荐）下载完vscode，并安装python支持之后。使用vscode打开一个空文件夹。点击左侧的运行
- 决策树分类与上一篇博客k近邻分类的最大的区别就在于，k近邻是没有训练过程的，而决策树是通过对训练数据进行分析，从而构造决策树，通过决策树来对
- 前言特点：在双主配置中，两台mysql互为主从节点。节点A是节点B的master，同时节点B也是节点A的master。安装mysql步骤略过
- range()反向遍历的几种表达for i in range(10,0,-2):#有10 print(i)prin
- 昨天公司的网络更换，然后在使用git操作代码的时候，遇见了标题所述问题。仅以此文，记录该问题的解决过程。首先第一步： 得到本机的I
- 获取所有variable（每个op中可训练的张量）的name：for variable_name in tf.global_variable
- 废话不多说了，直接给大家贴代码了，具体代码如下所示：jquery读取xml文件 <!DOCTYPE html PUBLIC "
- QTimer控件介绍如果在应用程序中周期性地进行某项操作，比如周期性的检测主机的cpu值，则需要用到QTimer定时器，QTimer类提供了
- 之前mysql用着好着，可是今天在启动mysql后输入密码出现了闪退，在任务管理器中发现mysql服务没有启动，当手动启动时提示拒绝访问。在
- 一、启动与退出1、进入MySQL：启动MySQL Command Line Client（MySQL的DOS界面），直接输入安装时的密码即可
- python软件免费吗?python是免费的，是自由、开放源码的软件之一，在python官网可以免费下载，使用者可以自由地发布这个软件的拷贝
- axios 简介axios 是一个基于Promise 用于浏览器和 nodejs 的 HTTP 客户端，它本身具有以下特征：从浏览器中创建
- 前言公司的Ubuntu服务器对于各个系统的目录是放在不同的逻辑分区上的，比如存放mysql数据库文件的默认目录/var/lib/mysql所
