Python爬虫信息输入及页面的切换方法
作者:小炉灶 发布时间:2023-08-02 17:33:33
实现网页的键盘输入操作
from selenium.webdriver.common.keys import Keys
* 页有时需要将鼠标悬停在某个元素上,相应的列表选项才能显示出来。
而爬虫在工作的时候也需要相应的操作,才能获得列表项。
driver.find_element_by_class_name(...).send_keys(需要输入的字串)
#find_element_by_class_name可以是find_element_by_link_text、find_element_by_id等其他方式
#send_keys一些特殊字符串,可以通过help(Keys)显示出来,如实现按回车操作需要使用Keys.ENTER
实现网页上的鼠标的动作
driver.find_element_by_link_text('更多').click()#需要指示到/a链接的位置
#同样find_element_by_link_text可以是find_element_by_id等类似的其他方式
使用ActionChains可以实现鼠标的更多操作
from selenium.webdriver.common.action_chains import *
ActionChains中的操作:
click() -- 单击、click_and_hold()-- 按下鼠标左键在一个元素上、context_click() --单击、double_click()--双击、drag_and_drop()--拖动、key_down()、key_up()、move_by_offset()、move_to_elment()、move_to_elment_with_offset()
* 页鼠标操作及遇到的问题
* 页有时需要将鼠标悬停在某个元素上,相应的列表选项才能显示出来。而爬虫在工作的时候也需要相应的操作,才能获得列表项。
#首先需要将鼠标停留到相应的元素
chain = ActionChains(driver)
moveelment = driver.find_element_by_xpath("...")
chain.move_to_element(moveelment).perform()
driver.find_element_by_xpath("//div[@class='search-condition c5 drop-down']/a/div").click()
#而后进行选择列表项
driver.find_element_by_xpath("//ul[@id='category_list']/li[1]/a").click()
driver.find_element_by_xpath("//ul[@id='category_list']/li[2]/a").click()
而当想要进行多列操作时出现了问题:driver.find_element_by_xpath("//ul[@id='category_list']/li[2]/a").click()一直无法成功仔细debug发现:在人工浏览查看相应列表时,全屏情况下列表显示是3列,而当需要聚焦特殊网页时,通过解析current_url进行比较即可,是否存在更好的方法。如果窗口很小就只能显示第一列的值。所以尝试将爬虫后台浏览器窗口设置成最大化,程序正常工作,如下:
#... ...
driver.find_element_by_xpath("//ul[@id='category_list']/li[1]/a").click()
driver.maximize_window()
time.sleep(1)
driver.find_element_by_xpath("//ul[@id='category_list']/li[2]/a").click()
关于窗口的页面切换方式
经常在网页操作时,会弹出新的页面,而爬虫需要程序进行窗口间的切换。
#切换网页,以获取新弹出的网页窗口
for handle in driver.window_handles:
driver.switch_to_window(handle)
print('current url:%s'%driver.current_url)
当需要聚焦特殊网页时,通过解析current_url进行比较即可,是否存在更好的方法。
来源:https://blog.csdn.net/DreamBitByBit/article/details/72453437
猜你喜欢
- <script>alert(escape("人"));alert(encodeURI("人&quo
- 在Google Chrome浏览器出来之前,我一直使用FireFox,因为FireFox的插件非常丰富,更因为FireFox有强大的Fire
- 之前有写过一篇浏览器的tab设计,这回说说网站的tab设计。一说到tab很自然地就想到了导航、信息架构。随着网站信息结构的复杂化,选择tab
- 当地址栏没有参数"id"时: 代码如下:Request.QueryString["ID"] == n
- 本文代码将一些简单常用的SQL语句,拆分、封装成链式函数与终结函数,链式操作没有先后之分,实现傻瓜式mysql数据库操作。 同时学习下静态成
- 1 实验环境(1)服务端:本实验基于虚拟机win2008系统的WAMP环境进行,该环境相关配置过程参考文章《【语言环境】WAMP环境部署及优
- 如何用JAVASCRIPT格式化数字成货币那种表示法?,比如说 34585962.00显示 为 34,585,962.00<scrip
- sql="select * from admin where users='"&users&&q
- 看到这个需求的时候就在暗爽,又可以搞定一个知识点了。哈哈,一天的奋斗之后,果然有所收获,而且经过怿飞的指点,在跨域问题解决上还有所突破(不通
- 跟着节奏继续来探索fixtures的灵活性。一、一个测试函数/fixture一次请求多个fixture在测试函数和fixture函数中,每一
- 星期五写了个分类信息的小东东!在数据库里只有ip地址,一般访客不太清楚IP地址来源于哪个城市.如果在表里多一个列保存城市又没有真实性可言.如
- 远程连接oracle只用PLSQLDeveloper客户端,不配置tnsnames.ora文件在PL/SQL中填写:1.UserName:用
- 今天有朋友问到如下一则案例,ORA-01114,ORA-27067以及OSD-04026错误同时出现:*** ACTION NAME:()
- 不知上过ChinaRen校友录的朋友们有没有注意,ChinaRen在改版后很多方面都进行了较大的改动。例如留言与回复方面已经不再像以前那样,
- 上回 说到“大屏幕浏览页面的良好体验,本就应该用户自己调整窗口。”根据屏幕不同大小,缩小窗口出横向滚动条在所难免,但理想情况下,页面应该能适
- 作者: Terrance译者:Sheneyan(子乌)时间:2010.2.6英文原文:13 Useful WordPress SQL Que
- 在项目开发中,经常出现这样的需求。在新增或修改一个主表数据时,对应的从表也要进行同步,此时我们是怎么操作的了?典型的方法就是对于主表的各数据
- 处理页面中的间歇无缝滚动新闻的时候,最常见的方法就是将滚动区内容复制追加一份,然后通过控制和判断滚动块的scrollTop来实现滚动停止效果
- 当今越来越多的应用程序迁移到web平台上。由于没有平台的限制和安装的要求,SAAS的模式看起来非常有吸引力。Web应用程序的界面设计,其核心
- 一.ASP使用SQL查询数据库方法: 方法1 Set&nbs