Python爬虫实现selenium处理iframe作用域问题
作者：Master先生 发布时间：2021-05-23 03:09:42
标签：selenium,iframe,作用域
项目场景：
在使用selenium模块进行数据爬取时，通常会遇到爬取iframe中的内容。会因为定位的作用域问题爬取不到数据。
问题描述：
我们以菜鸟教程的运行实例为案例。
按照正常的定位
会以文本块生成xpath为/html/body/text()。这样的话根据xpath进行如下代码编写。
#!/user/bin/
# -*- coding:UTF-8 -*-
# Author:Master
from selenium import webdriver
import time
driver = webdriver.Chrome(executable_path="./chromedriver")
driver.get('https://www.runoob.com/try/runcode.php?filename=HelloWorld&type=python3')
time.sleep(2)
text = driver.find_element_by_xpath('/html/body').text
print(text)
time.sleep(5)
driver.quit()
执行结果：
很明显这并不是想要的结果。
原因分析：
当我们打开抓包工具定位到Hello, World!文本的时候会发现，该文本是在一个iframe中。这样的话我们xpath所定位到的内容则是大的html中的路径。我们需要的内容则是在iframe中的小的html中。
解决方案：
通过分析发现，想要解决问题的实质就是改变作用域。通过switch_to.frame(‘id')方法来改变作用域就可以了。
重新编写代码：
#!/user/bin/
# -*- coding:UTF-8 -*-
# Author:Master
from selenium import webdriver
import time
driver = webdriver.Chrome(executable_path="./chromedriver")
driver.get('https://www.runoob.com/try/runcode.php?filename=HelloWorld&type=python3')
time.sleep(2)
driver.switch_to.frame('iframeResult')
text = driver.find_element_by_xpath('/html/body').text
print(text)
time.sleep(5)
driver.quit()
查看运行结果：
来源：https://blog.csdn.net/weixin_45745344/article/details/112881984
0
投稿猜你喜欢
1、Xmind用例编写规范1：需求大模块2：大模块中的小模块（需要根据需求来看需要多少层）3：用例等级和用例名称用例等级（转换成Excel文- 1. 镜像源列表清华：https://pypi.tuna.tsinghua.edu.cn/simple阿里云：http://mirrors.
- 首先，在写数据库时需要遵循以下几个原则： 数据库的命名规范： &nbs
- 本文介绍机器学习中的Logistic回归算法，我们使用这个算法来给数据进行分类。Logistic回归算法同样是需要通过样本空间学习的监督学习
- 利用ResNet18进行手写数字识别先写resnet18.py代码如下：import torchfrom torch import nnfr
- 本文是OpenCV图像视觉入门之路的第11篇文章，本文详细的在图像形态学进行了图像处理，例如：腐蚀操作、膨胀操作、开闭运算、梯度运算、Top
- 本文实例为大家分享了python图片插入文字的具体代码，供大家参考，具体内容如下问题如何在图片中插入大量文字并且自动换行效果原始图效果图注明
- 最近Google官方的开发者博客中宣布新的版本Tensorflow（0.12）将增加对Windows的支持，想试着windows10下学习t
- 淘宝的投诉类型里有这么一条“收款不发货”。帮助中心里是这么解释的：买、卖双方在淘宝上成交后，当卖家在收到买家汇款后没有按时履行发货义务，或买
- 控制流实现控制流这部分代码主要涉及下面几条字节码指令，下面的所有字节码指令都会有一个参数：JUMP_FORWARD，指令完整条指令会将当前执
- super()函数可以用于继承父类的方法，语法如下：super(type[, object-or-type])虽然super()函数的使用比
- 创建时间序列函数pd.date_range()根据指定的范围，生成时间序列DatetimeIndex，每隔元素的类型为Timestamp。该
- append()函数描述：在列表ls最后(末尾)添加一个元素object语法：ls.append(object) -> None 无返
- 列表与元组列表用大括号[]表示，元组用圆括号（）表示。列表可以修改，字符串与元组不可修改。元组的分片还是元组，列表的分片还是列表。1.列表方
- 1引言实现磁带备份数据的功能有两方面的困难：首先，SQL Server（以下简称SQL）所提供的数据库的整体备份及恢复功能不能直接满足本系统
- python实现学生信息管理系统，供大家参考，具体内容如下#!/usr/bin/env python# -*- coding:utf-8 -
- 工作中每天需要收集部门内的FR文件，发送给外部部门的同事帮忙上传，这么发了有大半年，昨天亮光一闪，为什么不做成自动化呢，于是用python实
- 本文实例讲述了MySQL学习笔记之创建、删除、修改表的方法。分享给大家供大家参考，具体如下：创建表：create table users(
- 本文实例讲述了PHP函数shuffle()取数组若干个随机元素的方法。分享给大家供大家参考，具体如下：有时候我们需要取数组中若干个随机元素（
- 这几天在一机多卡的环境下，用pytorch训练模型，遇到很多问题。现总结一个实用的做实验方式：多GPU下训练，创建模型代码通常如下：os.e
