python如何爬取网页中的文字
作者：Ly 发布时间：2021-04-05 03:55:53
标签：python,爬取网页
用Python进行爬取网页文字的代码：
#!/usr/bin/python
# -*- coding: UTF-8 -*-
import requests
import re
# 下载一个网页
url = 'https://www.biquge.tw/75_75273/3900155.html'
# 模拟浏览器发送http请求
response = requests.get(url)
# 编码方式
response.encoding='utf-8'
# 目标小说主页的网页源码
html = response.text
print(html)
1、编写爬虫思路：
确定下载目标，找到网页，找到网页中需要的内容。对数据进行处理。保存数据。
2、知识点说明：
1）确定网络中需要的信息，打开网页后使用F12打开开发者模式。
在Network中可以看到很多信息，我们在页面上看到的文字信息都保存在一个html文件中。点击文件后可以看到response，文字信息都包含在response中。
对于需要输入的信息，可以使用ctrl+f，进行搜索。查看信息前后包含哪些特定字段。
对于超链接的提取，可以使用最左边的箭头点击超链接，这时Elements会打开有该条超链接的信息，从中判断需要提取的信息。从下载小说来看，在目录页提取出小说的链接和章节名。
2）注意编码格式
输入字符集一定要设置成utf-8。页面大多为GBK字符集。不设置会乱码。
内容扩展：
接下来我们了解一下爬取网页信息的步骤。
想要获得我们所需的数据分三步
第一步：使用BeautifulSoup解析网页
Soup = BeautifulSoup(html,'lxml')
第二步：描述想要爬去信息的东西在哪里。
信息 = Soup.select('???')
要知道它叫什么名字，如何去定位。
第三步：从标签中获得你想要的信息
<p>Something</p>
从标签中获取我们需要的信息，去掉一些没有用的结构，并且把我们获取的信息按照一定格式装在数据容器中，方便我们去查询。
来源：https://www.py.cn/spider/guide/18219.html
0
投稿猜你喜欢
- 一.Orcal临时表分类1.会话级临时表1).保存一个会话Session的数据。2).当会话退出时，临时表数据自动清空。表结构与元数据还存储
本文实例为大家分享了python实现简单计算器功能的具体代码，供大家参考，具体内容如下效果如图：主要思路：用列表保存按下的键，按下等于，转换- 一. 布隆过滤器简介布隆过滤器可以用于检索一个元素是否在一个集合中。它的优点是空间效率和查询时间都比一般的算法要好的多，缺点是有一定的误识别
- 题目：汉诺塔给出最优解，如果对汉诺塔的定义有不了解，请翻看数据结构教材。除了最基本的之外，还有一题，给定一个数组，arr=[2,3,1,2,
- 一、前言在多进程中，每个进程之间是什么关系呢？其实每个进程都有自己的地址空间、内存、数据栈以及其他记录其运行状态的辅助数据。下面通过一个例子
- Beautiful Soup使用时，一般可以通过指定对应的name和attrs去搜索，特定的名字和属性，以找到所需要的部分的html代码。但
- 代码如下:'============================== '格式化HTML，SDCMS加强版 '==
- 在上一篇文章中 ，我说到：强硬的把CSS和HTML塞到PHP里面可以防止代码太枯燥(DRY)并最终导致代码臃肿，因为的CSS和HTML需要比
- 实现一个不规则窗体这里我们实现一个圆形窗体，实现其他形状的窗体与这个方法类似。首先，把窗口的高度（height）和宽度（width）值修改为
- 说绘画语言，西方的油画是人类视觉语言里怎么也不能忽略的浓烈一笔。14~15世纪，蛋彩画——油画前身的发明，绘画可以使用均匀过渡的色彩渐变，并
- Yii2 框架 之所以称之为高效快速开发的一款框架，是因为有一个神奇的工具Gii用过Yii1框架的Coder都知道，Gii可以为你快速生成代
- Python decimal 模块Python中的浮点数默认精度是15位。Decimal对象可以表示任意精度的浮点数。getcontext函
- 最新版OpenCV2.4.7中，cv::resize函数有五种插值算法：最近邻、双线性、双三次、基于像素区域关系、兰索斯插值。下面用for循
- Python 编程中可以使用 PyMysql 进行数据库的连接及诸如查询/插入/更新等操作，但是每次连接 MySQL 数据库请求时，都是独立
- 概念json是一种通用的数据类型一般情况下接口返回的数据类型都是json长得像字典，形式也是k-v{ }其实json是字符串字符串不能用ke
- 一、步骤要从 JPEG 图像中获取经纬度信息，可以使用 Python 的 PIL（Python Imaging Library）库。以下是一
- 我就废话不多说了，大家还是直接看代码吧！file1 = 'C:\\Users\\Administrator\\Desktop\\te
- 前言通常执行 python 程序要有相应的 Python 环境，但某些特定场景下，我们可能并不愿意这么麻烦的去配置这些环境（比如将写好的脚本
- 人民币和美元是世界上通用的两种货币之一，写一个程序进行货币间币值转换，其中：人民币和美元间汇率固定为：1美元 = 6.78人民币。程序可以接
- 刚开始涉及到图像处理的时候，在opencv等库中总会看到mask这么一个参数，非常的不理解，在查询一系列资料之后，写下它们，以供翻阅。什么是
