python数据解析BeautifulSoup爬取三国演义章节示例
作者:小缘喵~ 发布时间:2021-03-21 13:27:27
标签:数据解析,BeautifulSoup,三国演义
数据解析
数据解析就是将爬取到的整个页面中的局部的内容进行提取。python中常用的数据解析方式有以下三种:
bs4(python中独有的)
xpath(推荐,通用型强)
正则
数据解析原理概述:
首先我们知道需要解析(提取)的内容都会在标签之间或者标签对应的属性中进行存储
所以我们需进行指定标签的定位
然后将标签或者标签对应的属性中存储的数据值进行提取(解析)
Beautiful Soup
Beautiful Soup 是一个可以从HTML或XML文件中提取数据的Python库。其只能运用在python语言中
bs4数据解析原理
实例化一个BeautifulSoup对象,并且将页面源码数据加载到该对象中。而将页面源码数据加载到该对象中有两种方式,一种是将本地得html文档加载,另一种是将互联网上获取的页面源码加载通过
调用BeautifulSoup对象中相关的属性或者方法进行标签定位和数据提取
要使用bs4首先需要先下载对应的包
pip install bs4
pip install -i https://mirrors.aliyun.com/pypi/simple/ lxml
Beautiful Soup用法
提取整个标签数据
进行标签定位常用的几个方法如下
soup
.标签名 返回的是html中第一次出现的标签
soup.find
(标签名) 返回第一次出现的这个标签
soup.find_all
(标签名)) 返回符合要求的所有标签
soup.select
(标签名) 返回符合要求的所有标签
from bs4 import BeautifulSoup #导包
html = """
<html lang="en">
<head>
<meta charset="utf-8">
<meta name="theme-color" content="#ffffff">
<base href="./" rel="external nofollow" ><link rel="stylesheet" href="styles.30d0912c1ece284d8d9a.css" rel="external nofollow" >
</head>
<body>
<div>
<p>百里守约</p>
</div>
<div class="song">
<p>前程似锦</p>
</div>
<div class="song">
<p>前程似锦2</p>
</div>
<div class="ming"> #后面改了名字
<p>以梦为马</p>
</div>
<div class="tang">
<ul>
<li><a href='http://123.com' title='qing'>清明时节</a></li>
<li><a href='http://ws.com' title='qing'>秦时明月</a></li>
<li><a href='http://xzc.com' title='qing'>汉时关</a></li>
</ul>
</div>
<flink-root></flink-root>
<script type="text/javascript" src="runtime.0dcf16aad31edd73d8e8.js"></script><script type="text/javascript" src="es2015-polyfills.923637a8e6d276e6f6df.js" nomodule></script><script type="text/javascript" src="polyfills.bb2456cce5322b484b77.js"></script><script type="text/javascript" src="main.8128365baee3dc30e607.js"></script>
</body>
</html>
"""
#实例化一个BeautifulSoup对象,并且将本地的源码数据加载到该对象中。且使用html.parser进行数据解析
soup = BeautifulSoup(html,'html.parser')
print(soup.meta) #输出<meta charset="utf-8">
print(soup.p) #输出<p>百里守约</p>
#find
print(soup.find('div')) #输出<div><p>百里守约</p></div>
#这里有多个div标签,根据属性定位,因为class为关键字,所以这里加_
print(soup.find('div',class_="song")) #<p>前程似锦</p>
#find_all
print(soup.find_all('p')) #[<p>百里守约</p>, <p>前程似锦</p>, <p>前程似锦2</p>, <p>以梦为马</p>]
print(soup.select('.tang')) #将这个选择器中的所有内容提取
print(soup.select('.tang > ul > li > a')[1]) #返回ul中的li中的所有a标签中的第二个a标签 <a href="http://ws.com" rel="external nofollow" title="qing">秦时明月</a>
提取标签中的内容和标签的属性值
#获取标签中的内容
print(soup.p.text) #输出百里守约
print(soup.find('div',class_="ming").text) #以梦为马
print(soup.find('div',class_="song"))
print(soup.select('.tang a')[0].text) #清明时节
#获取标签中的属性值,如a标签中的href值
print(soup.select('.tang a')[0]['href']) #http://123.com
案例—爬取三国演义章节及对应的内容
网站如下,网站数据的获取不是通过ajax发送的请求
import requests
from bs4 import BeautifulSoup
url = 'https://so.gushiwen.org/guwen/book_46653FD803893E4F7F702BCF1F7CCE17.aspx'
headers={
'User-Agent':'Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/86.0.4240.75 Mobile Safari/537.36'
}
pag_content = requests.get(url,headers,timeout=4).text
#print(pag_content)
#提取每章节内容的链接
soup = BeautifulSoup(pag_content,'html.parser')
a_text = soup.select('.bookcont a') #将其下面的所有a标签提取出来
for i in a_text:
#获取a标签中的href属性的值
detail_url = i['href']
#请求详细内容的url的内容
detail_content = requests.get(detail_url,headers,timeout=4).text
soup = BeautifulSoup(detail_content,'html.parser')
#提取class标签
class_content = soup.find('div',class_='contson')
#print(class_content) #该标签中有很多p标签,返回整个class_content标签
#print(class_content.text) #获取其所有的内容
with open('三国演义.txt','a',encoding='utf-8') as f:
f.write(i.text+'\r')
f.write(class_content.text+'\r')
print(f'爬取{i.text}ok')
print('全部ok')
来源:https://blog.csdn.net/qq_44159028/article/details/120508994
0
投稿
猜你喜欢
- python中return不返回值是因为你没有将返回的值取出来。解决方法:调用函数,将函数的返回值赋给一个变量,输出这个变量就可以看到函数的
- 一、前期工作环境:python3.6,1080ti,pytorch1.10(实验室服务器的环境)1.设置GPU或者cpuimport tor
- 一、数据库操作1、创建model表基本结构:#coding:Utf8from django.db import modelsclass us
- 前言最近遇到的几个网站在提交密码时提交的已经是密文,也就是说在网络上传输的密码是密文,这样提升了密码在网络传输中的安全性。后端语言加解密已
- Beautiful Soup 库一般被称为bs4库,支持Python3,是我们写爬虫非常好的第三方库。因用起来十分的简便流畅。所以也被人叫做
- 清除视图缓存,就是清除D:\phpStudy\WWW\BCCKidV1.0\storage\framework\views\002f30b1
- 操作Excel通常是用如下三个扩展体:import xlrdimport xlwtimport openpyxlwb1 = openpyxl
- 起源:.clearfix:after {visibility: hidden;display: block;font-size: 0;con
- python的try语句有两种风格一是处理异常(try/except/else)二是无论是否发生异常都将执行最后的代码(try/finall
- PHP join() 函数实例把数组元素组合为一个字符串:<?php $arr = array('Hello',
- matplotlib 动画我们想制作一个动画,其中正弦和余弦函数在屏幕上逐步绘制。首先需要告诉matplotlib我们想要制作一个动画,然后
- 导语日常开发中,定位程序异常,追溯事件发生场景都需要通过日志记录的方式。可以说一个好的开发日志设计可以让开发人员在后续项目维护的过程中节省时
- 我们怎样才能了解用户需求呢?大家都知道可用性测试、调查问卷之类与用户进行沟通的途径,这些方法各有各的利弊,如果逐一分析的话,恐怕至少要分成三
- 如何导入数据数据可能有各种格式,虽然常见的是HDFS,但是因为在Python爬虫中数据库用的比较多的是MongoDB,所以这里会重点说说如何
- 1、初始化在这章,你将学到Flask应用程序的不同部分。同时,你将编写和运行你的第一个Flask web应用程序。所有的Flask应用程序都
- 一、使用xlrd对excel进行数据读取excel表格示例:安装xlrd库pip install xlrd导入xlrd库import xlr
- 之前在做数据分析的过程中,需要对数据进行实时的写入,比如对新生成的数据写入之前已经生成的txt或csv文件中。现在想想其实很简单,所以做一个
- 一,进程的理论基础一个应用程序,归根结底是一堆代码,是静态的,而进程才是执行中的程序,在一个程序运行的时候会有多个进程并发执行。进程和线程的
- 1. 序言每年淘宝双十一的时候,总是要刷各种各样的浏览页面,收集能量或者喵币或者什么。那既然如此,我就总想着,能否通过Python自动调用的
- LabelEncoder 和 OneHotEncoder 是什么- 在数据处理过程中,我们有时需要对不连续的数字或者文本进行数字化处理。-