Python爬虫信息输入及页面的切换方法
作者:小炉灶 发布时间:2023-08-02 17:33:33
实现网页的键盘输入操作
from selenium.webdriver.common.keys import Keys
* 页有时需要将鼠标悬停在某个元素上,相应的列表选项才能显示出来。
而爬虫在工作的时候也需要相应的操作,才能获得列表项。
driver.find_element_by_class_name(...).send_keys(需要输入的字串)
#find_element_by_class_name可以是find_element_by_link_text、find_element_by_id等其他方式
#send_keys一些特殊字符串,可以通过help(Keys)显示出来,如实现按回车操作需要使用Keys.ENTER
实现网页上的鼠标的动作
driver.find_element_by_link_text('更多').click()#需要指示到/a链接的位置
#同样find_element_by_link_text可以是find_element_by_id等类似的其他方式
使用ActionChains可以实现鼠标的更多操作
from selenium.webdriver.common.action_chains import *
ActionChains中的操作:
click() -- 单击、click_and_hold()-- 按下鼠标左键在一个元素上、context_click() --单击、double_click()--双击、drag_and_drop()--拖动、key_down()、key_up()、move_by_offset()、move_to_elment()、move_to_elment_with_offset()
* 页鼠标操作及遇到的问题
* 页有时需要将鼠标悬停在某个元素上,相应的列表选项才能显示出来。而爬虫在工作的时候也需要相应的操作,才能获得列表项。
#首先需要将鼠标停留到相应的元素
chain = ActionChains(driver)
moveelment = driver.find_element_by_xpath("...")
chain.move_to_element(moveelment).perform()
driver.find_element_by_xpath("//div[@class='search-condition c5 drop-down']/a/div").click()
#而后进行选择列表项
driver.find_element_by_xpath("//ul[@id='category_list']/li[1]/a").click()
driver.find_element_by_xpath("//ul[@id='category_list']/li[2]/a").click()
而当想要进行多列操作时出现了问题:driver.find_element_by_xpath("//ul[@id='category_list']/li[2]/a").click()一直无法成功仔细debug发现:在人工浏览查看相应列表时,全屏情况下列表显示是3列,而当需要聚焦特殊网页时,通过解析current_url进行比较即可,是否存在更好的方法。如果窗口很小就只能显示第一列的值。所以尝试将爬虫后台浏览器窗口设置成最大化,程序正常工作,如下:
#... ...
driver.find_element_by_xpath("//ul[@id='category_list']/li[1]/a").click()
driver.maximize_window()
time.sleep(1)
driver.find_element_by_xpath("//ul[@id='category_list']/li[2]/a").click()
关于窗口的页面切换方式
经常在网页操作时,会弹出新的页面,而爬虫需要程序进行窗口间的切换。
#切换网页,以获取新弹出的网页窗口
for handle in driver.window_handles:
driver.switch_to_window(handle)
print('current url:%s'%driver.current_url)
当需要聚焦特殊网页时,通过解析current_url进行比较即可,是否存在更好的方法。
来源:https://blog.csdn.net/DreamBitByBit/article/details/72453437


猜你喜欢
- 在对跨多个表格的数据进行组合时,有时很难搞清楚要使用哪一个SQL句法。我将在这里对将多个表格中的查询合并至单一声明中的常用方式进行阐述。在这
- 1. 在猜年龄的基础上编写登录、注册方法,并且把猜年龄游戏分函数处理,如2. 登录函数3. 注册函数4. 猜年龄函数5. 选择奖品函数代码如
- 前言本文目的:根据本人的习惯与理解,用最简洁的表述,介绍爬虫的定义、组成部分、爬取流程,并讲解示例代码。基础爬虫的定义:定向抓取互联网内容(
- PHP session用法其实很简单它可以把用户提交的数据以全局变量形式保存在一个session中并且会生成一个唯一的session_id,
- 本文实例讲述了python获取Linux下文件版本信息、公司名和产品名的方法,分享给大家供大家参考。具体如下:区别于前文所述。本例是在lin
- 实现方法分位三步:在template中设置2个按钮,通过v-if ,v-show来控制;data中设置按钮的默认值;methods中控制点击
- 首先, 补充下对node 的理解:nodeJs 是一个单进程单线程应用程序, 但是通过事件和回调支持并发, 所以性能非常高~那么什么是单进程
- 本文实例讲述了JS实现获取数组中最大值或最小值功能。分享给大家供大家参考,具体如下:方法一://最小值Array.prototype.min
- 刚开始学python,记录下问题。代码如下:#coding:utf-8import re,urllib2def getHTML(url):
- 本篇文章介绍了Javascript监控前端相关数据,项目开发完成外发后,没有一个监控系统,我们很难了解到发布出去的代码在用户机器上执行是否正
- 本文实例讲述了JS+CSS实现闪烁字体效果的方法。分享给大家供大家参考,具体如下:<div id="blink"&
- 在本节中,您将开始修改为电影控制器所新加的操作方法和视图。然后,您将添加一个自定义的搜索页。在浏览器地址栏里追加/Movies, 浏览到Mo
- inet_pton是一个IP地址转换函数,可以在将IP地址在“点分十进制”和“二进制整数”之间转换,而且inet_pton和inet_nto
- 本文为大家分享了Mysql WorkBench安装配置图文教程,供大家参考,具体内容如下workbench下载地址下载到workbench下
- 下边的函数,实现了象数组一样去处理字符串。 一,用临时表作为数组 create function f_split(@c varchar(20
- 1.相关函数的讲解image_to_data()的输出结果是表格形式,输出变量的类型依旧是字符串。你会得到一个这样的列表['leve
- 本文实例讲述了python中map、any、all函数用法。分享给大家供大家参考。具体分析如下:最近想学python,就一直比较关注pyth
- 全选、全不选、反选这几个功能我们经常会用到,如我们可以用在文章列表管理页面,也可以用在音乐播放页面,使用全选我们可以很方便的进行批量操作,如
- 本文实例讲述了Python设计模式之享元模式原理与用法。分享给大家供大家参考,具体如下:享元模式(Flyweight Pattern):运用
- <?phpfunction map($fun, $list,$params=array()){ $