python3爬虫获取html内容及各属性值的方法
作者：android-李志强 发布时间：2021-08-23 02:37:33
标签：python3,爬虫,html,属性值
今天用到BeautifulSoup解析爬下来的网页数据
首先导入包from bs4 import BeautifulSoup
然后可以利用urllib请求数据
记得要导包
import urllib.request
然后调用urlopen，读取数据
f=urllib.request.urlopen(‘http://jingyan.baidu.com/article/455a9950bc94b8a166277898.html‘)
response=f.read()
这里我们就不请求数据了，直接用本地的html代码，如下
注意：”'xxx”'是多行注释
#python3
from bs4 import BeautifulSoup
html='''<html>
<head>
<title class='ceshi'>super 哈哈 star</title>
</head>
<body>
天下第一帅
<p class='sister'>
是不是
</p>
</body>
</html>'''
#用BeautifulSoup解析数据 python3 必须传入参数二'html.parser' 得到一个对象，接下来获取对象的相关属性
html=BeautifulSoup(html,'html.parser')
# 读取title内容
print(html.title)
# 读取title属性
attrs=html.title.attrs
print(attrs)
# 获取属性attrs['class'] ---->['ceshi'] 这是一个list 通过下标可以获取值
print(attrs['class'][0])
# 读取body
print(html.body)
读取数据还可以通过BeautifulSoup的select方法
html.select()
#按标签名查找
soup.select('title')
soup.select('body')
# 按类名查找
soup.select('.sister')
# 按id名查找
# p标签中id为link的标签
soup.select('p #link')
#取标签里面的值
soup.p.string
#取标签里属性值 通过href获取
html['href']
来源：https://blog.csdn.net/lzq520210/article/details/76855606
0
投稿猜你喜欢
- 说在前面和word的文本相比PDF更类似于一张张图片，图上放着一个个文字。对其的解析是将图片上的文字提取到text文件中，方便之后的分析。添
- 1. 哈希算法基础1.1 哈希算法的定义哈希算法（Hash Algorithm）是一种将任意长度的输入数据映射为固定长度哈希值的算法。它具有
- 在 python 代码中可以看到一些常见的 trick，在这里做一个简单的小结。json 字符串格式化在开发 web 应用的时候经常会用到
- 上一篇文章中，我们介绍了python实现图片处理和特征提取详解，这里我们再来看看Python通过OpenCV实现批量剪切图片，具体如下。做图
最近在项目中出现golang内存溢出的问题，master刚开始运行时只有10多M，运行几天后，竟然达到了10多个G。而且到凌晨流量变少内存也- 底层报错 error：cannot assign requested address原因 并发场景下 client 频繁请求端口建立tcp连
- 前言：话说，我一直没能理解美工究竟是什么（这是一篇投稿）。因为要求确实很多。目前，我只能理解成，是前端开发+页面设计+用户体验设计的全能手。
- Seaborn - 绘制多标签的混淆矩阵、召回、精准、F1导入seaborn\matplotlib\scipy\sklearn等包：impo
- 开启MySQL的远程访问权限默认mysql的用户是没有远程访问的权限的，因此当程序跟数据库不在同一台服务器上时，我们需要开启mysql的远程
- 背景尽管到目前为止HTML4和XHTML1仍能够很好地满足我们的要求，但是它们仍然存在不足。为了满足用户丰富的基于Web应该程序的需要，达到
- 本文介绍了用ASP的AdoDb.Stream读取/写入UTF-8编码格式的文件的方法：函数名称:ReadTextFile 作用:利用AdoD
- 使用matplotlib创建百分比堆积柱状图的思路与堆积柱状图类似，只不过bottom参数累计的不是数值而是百分比，因此，需要事先计算每组柱
- Mr.Think是一个喜欢简洁的人,喜欢如诗一样的代码.不喜欢.NET的代码,就是因为经常看到同事用VS后生成出来的一段段冗长的代码.在我的
- 慢查询日志概念MySQL的慢查询日志是MySQL提供的一种日志记录，它用来记录在MySQL中响应时间超过阀值的语句，具体指运行时间超过lon
- 一、mac下安装MySQL数据库1.下载MySQL数据库下载地址：访问MySQL的官网http://www.mysql.com/downlo
- 本文实例为大家分享了Python读取MySQL数据库表数据的具体代码，供大家参考，具体内容如下环境：Python 3.6 ,Window 6
- vue-cli遇到的eslint的坑报错Do not access Object.prototype method 'hasOwnP
- 最近给卫生局做一个表格上传/可视化系统，算是小有成果。今天把项目中的文件拖拽上传模块分离出来，做了一个独立的小demo,并把相关代码打包上传
- import webbrowser as webimport timeimport oscount=0while count<10:&
- 本文实例讲述了JS+HTML5 canvas绘制验证码。分享给大家供大家参考，具体如下：css样式：<style>body{ &
