Selenium+BeautifulSoup+json获取Script标签内的json数据
作者：诡途 发布时间：2023-06-17 09:30:18
标签：Selenium,BeautifulSoup,json
Selenium爬虫遇到 数据是以 JSON 字符串的形式包裹在 Script 标签中，
假设Script标签下代码如下：
<script id="DATA_INFO" type="application/json" >
{
"user": {
"isLogin": true,
"userInfo": {
"id": 123456,
"nickname": "LiMing",
"intro": "人生苦短，我用python"
}
}
}
</script>
此时drive.find_elements_by_xpath('//*[@id="DATA_INFO"] 只能定位到元素，但是无法通过.text方法，获取Script标签下的json数据
from bs4 import BeautifulSoup as bs
import json as js
#selenium获取当前页面源码
html = drive.page_source
#BeautifulSoup转换页面源码
bs=BeautifulSoup(html,'lxml')
#获取Script标签下的完整json数据，并通过json加载成字典格式
js_test=js.loads(bs.find("script",{"id":"DATA_INFO"}).get_text())
#获取Script标签下的nickname 值
js_tes
来源：https://blog.csdn.net/qq_35866846/article/details/106348732
0
投稿猜你喜欢
- 先看几个数据。。一大堆文字滴，不管人家是不是故意的，字数还是这样：news.163.cn：14px，39个中文字符 news.sina.co
- 任意给出一个数,求该数以内的所有质数.(使用筛选法做的)先看看什么叫做质数？质数的定义：一个大于1的自然数，除了1与它自身外，再没有其它的正
- 1.双击setup.exe.(出现安装向导界面) 2.在安装向导界面:选"基本安装",并选好主目录位置；创建启动数据库(
- 如何显示数据库的结构？<html><head><meta http-equiv="Cont
1 实验环境（1）服务端：本实验基于虚拟机win2008系统的WAMP环境进行，该环境相关配置过程参考文章《【语言环境】WAMP环境部署及优- 很多年以前，面对上古时代遗留的 HTML 发出的腐臭，我捂住鼻子唉声叹气。刚练熟 web 标准的我，恨不得寝其尸食其肉，把一切推翻重来。但经
- 怎么增大MySQL数据库连接数，MYSQL数据库安装完成后，默认连接数是100，流量稍微大一点的论坛或网站这个连接数是不够哟用
- ［前言：］ASP.NET是微软提供的最新的开发基于Web的应用程序的技术。它提供了大量的比传统ASP脚本技术的好处，包括：1）通过把UI表现
- 在mysql中利用select语句的一个特性就可以很方便地实现查询结果的分页，select语句的语法：SELECT [STRAIGHT_JO
- 昨天有位同事说，他的网页查询过程中发现普通索引和唯一索引的效率是有差别的，普通索引比唯一索引快，今天在我的虚拟机中布置了环境，测试抓图如下：
- 一、前言在学习深度学习会发现都比较爱用python这个argparse，虽然基本能理解，但没有仔细自己动手去写，因此这里写下来作为自己本人的
- 以下的实例为去除指定表中数据类型是VARCHAR,CHAR,NVARCHAR的字段值中的不可见字符。 注释：此处只去掉前后的不可见字符，不包
- 原文作者：青女 附注及色样添加：Quester西式的色名及色样表，可以参见以下链接 (Java 类色彩兼容)：http
- 简洁的隐藏垂直菜单在hover时将内容展开。这样的效果在JS里有很多个版本，但这个可以说是绝无仅有的CSS版本。此菜单可以在IE5.5,IE
- asp之家注：本文介绍了使用asp来获取access数据库中的一条随机记录的方法，简单实用，相信对初学者有所帮助，根据这个方法其实我们可以实
- 我们经常使用动态创建 JavaScript 的方式来实现 JavaScript 文件的无阻塞（Non-blocking）、并行下载（Para
- 以下效率，是奔腾 dual1.6G HZ，1G内存电脑，ie6.0下toggle()与slideToggle("fast"
- 生成Fiboncci Fn数有Θ(1)，Θ(n)甚至指数级的算法，不过有Θ(log n)的吗？告诉你，有。首先，关于Fibonacci数，有
- 一、ASPJPEG文字水印对图片描边：程序代码： <％ Set Jpeg = Se
- 网上的SQL优化的文章实在是很多，说实在的，我也曾经到处找这样的文章，什么不要使用IN了，什么OR了，什么AND了，很多很多，还有很多人拿出
