Selenium+BeautifulSoup+json获取Script标签内的json数据
作者：诡途 发布时间：2023-06-17 09:30:18
标签：Selenium,BeautifulSoup,json
Selenium爬虫遇到 数据是以 JSON 字符串的形式包裹在 Script 标签中，
假设Script标签下代码如下：
<script id="DATA_INFO" type="application/json" >
{
"user": {
"isLogin": true,
"userInfo": {
"id": 123456,
"nickname": "LiMing",
"intro": "人生苦短，我用python"
}
}
}
</script>
此时drive.find_elements_by_xpath('//*[@id="DATA_INFO"] 只能定位到元素，但是无法通过.text方法，获取Script标签下的json数据
from bs4 import BeautifulSoup as bs
import json as js
#selenium获取当前页面源码
html = drive.page_source
#BeautifulSoup转换页面源码
bs=BeautifulSoup(html,'lxml')
#获取Script标签下的完整json数据，并通过json加载成字典格式
js_test=js.loads(bs.find("script",{"id":"DATA_INFO"}).get_text())
#获取Script标签下的nickname 值
js_tes
来源：https://blog.csdn.net/qq_35866846/article/details/106348732
0
投稿猜你喜欢
一、python读取和写入文件内容任务：在cmd默认登陆目录中建立一个命名为test.txt的文件并写入内容“welco- 背景：线上机器，需要过滤access日志，发送给另外一个api期初是单进程，效率太低，改为多进程发送后，查看日志中偶尔会出现异常错误（忘记截
- 一、ini文件介绍INI文件格式是某些平台或软件上的配置文件的非正式标准，以节(section)和键(key)构成，常用于微软Windows
- GO实现内存数据库实现Redis的database层（核心层：处理命令并返回）https://github.com/csgopher/go-
- 解析器解析器的作用就是服务端接收客户端传过来的数据，把数据解析成自己想要的数据类型的过程.本质就是对请求体中的数据进行解析.Content-
- 在Matlab使用Plot函数实现数据动态显示方法总结中介绍了两种实现即时数据动态显示的方法。考虑到使用python的人群日益增多，再加上本
- 在日常工作中，Python在办公自动化领域应用非常广泛，如批量将多个Excel中的数据进行计算并生成图表，批量将多个Excel按固定格式转换
- 一、property() 函数讲解了解 @property 装饰器之前，我们首先要了解内置函数的 property()。class prop
- 前言：K8s也提供API接口，提供这个接口的是管理节点的apiserver组件，apiserver服务负责提供HTTP API，以便用户、其
- 这两个方法都可以用来在固定的时间段后去执行一段javascirpt代码，不过两者各有各的应用场景。实际上，setTimeout和setInt
- 1 算术运算add(other)比如进行数学运算加上具体的一个数字data['open'].add(1)2018-02-27
- 本文实例为大家分享了python实现自动登录后台管理系统的具体代码，供大家参考，具体内容如下首先感谢下网络上的各位大神和博主，通过学习各位大
- 在某些特殊情况下，我们的 Python 脚本需要调用父目录下的其他模块。例如：在编写 GNE 的测试用例时，有一个脚本 generate_n
- 这篇文章主要介绍了python使用enumerate获取迭代元素下标,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习
- 想大家都做过遮罩层这种常见的功能，css或jquery实现，实现方式多样化，这里http://我介绍我在项目中实现的方式，全屏遮罩，部分区域
- 简介此样式基于bootstrap-3.3.0,样式文件里的源码行数都是指的这个版本.CSS源文件放到了Content文件夹下的bootstr
- MySQL 一级防范检查列表以下是加固你的 Mysql 服务器安全所要做的工作的重要参考：Securing MySQL: step-by-s
- 之前mysql用着好着，可是今天在启动mysql后输入密码出现了闪退，在任务管理器中发现mysql服务没有启动，当手动启动时提示拒绝访问。在
- 引言“ 这是MySQL系列笔记的第八篇，文章内容均为本人通过实践及查阅资料相关整理所得，可用作新手入门指南，或
- 前言最近需要通过python来获取cad模型的内容信息，然而笔者也没学过python，只能用过查询+动手摸索一步一步进行下去，然后通过dxf
