python selenium 查找隐藏元素 自动播放视频功能
作者:zdz 发布时间:2022-03-01 18:54:14
在使用python做爬虫的过程中,有些页面的的部分数据是通过js异步加载的,js调用接口的请求中有时还带有些加密的参数很难破解无法使用requests这样的包直接爬取数据,因此需要借助seleniu来完成js的自动加载。
通过selenium 模拟浏览器的真是操作来获取页面中的所有请求,并且可以查找到一下页面上一些隐藏的元素,这些元素在html源码中无法看到,并且和能通过xpath和正则来捕获,因此需要使用selenium来查找隐藏元素,例如视频网站的播放按钮
代码如下
import time
# 导入自动化测试模块
from selenium import webdriver
from selenium.webdriver.common.desired_capabilities import DesiredCapabilities
from selenium.webdriver.common.action_chains import ActionChains
import re
import json
d = DesiredCapabilities.CHROME
d['loggingPrefs'] = {'performance': 'ALL'}
# 设置谷歌浏览器参数,设置语言和浏览器版本(使用真实浏览器头信息代替字符浏览器头)
options = webdriver.ChromeOptions()
options.add_argument('lang=zh_CN.UTF-8')
options.add_argument('user-agent="Mozilla/5.0 (Linux; Android 6.0; Nexus 5 Build/MRA58N) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Mobile Safari/537.36"')
# 建立一个浏览器对象,调用PhantoJS来生成一个对象
browser = webdriver.Chrome(executable_path='D:\Python36\chromedriver.exe', chrome_options=options, desired_capabilities=d)
video_url = 'https://v.youku.com/v_show/id_XNDIyMjU1NjgzMg==.html?spm=a2ha1.12675304.m_2556_c_8261.d_2&s=a4de6bdc5675415ea280&scm=20140719.manual.2556.show_a4de6bdc5675415ea280'
browser.get(video_url)
time.sleep(10)
menu = browser.find_element_by_css_selector(".ykplayer") # 查找页面隐藏元素
# menu = browser.find_element_by_css_selector("div.x-video-play-ico.i-pause > dt").text
print(menu)
print(type(menu))
menu = browser.find_element_by_css_selector(".ykplayer").text # 获得隐藏元素的内容
print(menu)
print(type(menu))
###################
#ActionChains(browser).click()
browser.find_element_by_css_selector('.ykplayer').click() # 查找到隐藏元素位置后执行点击鼠标左键操作
time.sleep(10)
lo = browser.get_log('performance') # 捕获浏览器network中的数据
browser.get_network_conditions()
datalist = []
for entry in lo:
try:
print(entry)
datalist.append(entry)
except Exception as e:
continue
browser.close()
视频中被播放按钮是一个隐藏元素,用xpaht定位到指定的标签后也无法获取这个标签中的元素
通过 browser.find_element_by_css_selector(“.ykplayer”)
方法查找 .ykplayer 可以查找到,查找后输出的内容这个视频的标题,这样就实现了使用chromedriver
自动播放视频的功能
这里虽然实现的视频自动播放,但是请求优酷视频的视频地址的接口调用的结果却依然没法通过 browser.get_log(‘performance')
来获得,原因是有一部分数据没有全部加载,但接口实际已经取得了完整的数据。虽然可以通过 get_log中的结果获得请求的地址,但是这个请求的地址在此使用requests进行请求会提示无权访问,可以看到这个请求已经有请求体了,但是使用get_log却无法捕获。
而且这个请求地址是一次性的,在次请求的结果是没权限
{"cost":0.003000000026077032,"data":{"error":{"note":"客户端无权播放,201","code":-6004}},"e":{"code":0,"provider":"hsfprovider","desc":""}}
要解决这个问题需要使用到browsermob-proxy
利用BrowserMob Proxy实现类似chrome的开发者工具中network的功能,
监控浏览器中该页面的request,获取对应的response,从而得到对应的json数据。
其大致原理是设置一个本地代理,并监控浏览器通过该代理的网络活动。
最后,我的解决方案是:python3 + selenium + chrome + browsermob-proxy
下载好BrowserMob Proxy和chromedriver,并记住对应的路径,稍后需要配置。
https://bmp.lightbody.net/
http://npm.taobao.org/mirrors/chromedriver/
另外,使用browsermob-proxy
需要安装Java依赖环境,首次安装后可能需要重启。
python的环境可安装anaconda获得,然后是安装额外的python库
pip install browsermob-proxy
pip install selenium
软件环境配置完成后,可开始搭建抓取 * 页的框架,
下面是我做的一个简单框架(browsermonitor.py),其中未涉及数据的加工,可针对需要抓取的网页,直接继承后,根据需求加工数据:
?
"""step 1 导入依赖库"""
from os import path
from browsermobproxy import Server
from selenium import webdriver
import re
"""step 2 新建浏览器监控类"""
class Monitor(object):
"""
step 3 配置chromedriver 和 browermobproxy 路径
需要使用完整路径,否则browsermobproxy无法启动服务
我是将这两个部分放到了和monitor.py同一目录
同时设置chrome为屏蔽图片,若需要抓取图片可自行修改
"""
PROXY_PATH = path.abspath("./browsermob-proxy/bin/browsermob-proxy.bat")
CHROME_PATH = path.abspath("./chromedriver.exe")
CHROME_OPTIONS = {"profile.managed_default_content_settings.images":2}
def __init__(self):
"""
类初始化函数暂不做操作
"""
pass
def initProxy(self):
"""
step 4 初始化 browermobproxy
设置需要屏蔽的网络连接,此处屏蔽了css,和图片(有时chrome的设置会失效),可加快网页加载速度
新建proxy代理地址
"""
self.server = Server(self.PROXY_PATH)
self.server.start()
self.proxy = self.server.create_proxy()
self.proxy.blacklist(["http://.*/.*.css.*","http://.*/.*.jpg.*","http://.*/.*.png.*","http://.*/.*.gif.*"],200)
def initChrome(self):
"""
step 5 初始化selenium, chrome设置
将chrome的代理设置为browermobproxy新建的代理地址
"""
chromeSettings = webdriver.ChromeOptions()
chromeSettings.add_argument('--proxy-server={host}:{port}'.format(host = "localhost", port = self.proxy.port))
chromeSettings.add_experimental_option("prefs", self.CHROME_OPTIONS)
self.driver = webdriver.Chrome(executable_path = self.CHROME_PATH, chrome_options = chromeSettings)
def genNewRecord(self, name = "monitor", options={'captureContent':True}):
"""
step 6 新建监控记录,设置内容监控为True
"""
self.proxy.new_har(name,options = options)
def getContentText(self, targetUrl):
"""
step 7 简单的获取目标数据的函数
其中 targetUrl 为浏览器获取对应数据调用的url,需要用正则表达式表示
"""
if self.proxy.har['log']['entries']:
for loop_record in self.proxy.har['log']['entries']:
try:
if re.fullmatch(targetUrl , loop_record["request"]['url']):
return loop_record["response"]['content']["text"]
except Exception as err:
print(err)
continue
return None
def Start(self):
"""step 8 配置monitor的启动顺序"""
try:
self.initProxy()
self.initChrome()
except Exception as err:
print(err)
def Quit(self):
"""
step 9 配置monitor的退出顺序
代理sever的退出可能失败,目前是手动关闭,若谁能提供解决方法,将不胜感激
"""
self.driver.close()
self.driver.quit()
try:
self.proxy.close()
self.server.process.terminate()
self.server.process.wait()
self.server.process.kill()
except OSError:
pass
if __name__ == '__main__':
monitor = Monitor()
monitor.Start()
monitor.genNewRecord()
# 这使用优酷视频的地址
url = 'https://v.youku.com/v_show/id_XNDIyMjU1NjgzMg==.html?spm=a2ha1.12675304.m_2556_c_8261.d_2&s=a4de6bdc5675415ea280&scm=20140719.manual.2556.show_a4de6bdc5675415ea280'
monitor.driver.get(url)
targetUrl = "https://ups.youku.com/ups/get.json.*" # 这是获取视频播放地址的接口请求的前缀
text = monitor.getContentText(targetUrl)
monitor.Quit()
总结
以上所述是小编给大家介绍的python selenium 查找隐藏元素 自动播放视频功能,网站的支持!
如果你觉得本文对你有帮助,欢迎转载,烦请注明出处,谢谢!
来源:http://www.zhengdazhi.com/archives/1765
猜你喜欢
- 一、multiprocess模块multiprocess不是一个模块而是python中一个操作、管理进程的包。子模块分为四个部分:创建进程部
- 用途:图形化界面操作:通过设计一个图形化的界面,用户可以通过按钮或其他操作方式调用后台的Python程序进行数据处理、图像处理等功能。自动化
- ASCII(str) 返回字符串str的第一个字符的ASCII值(str是空串时返回0)mysql> select ASCII(
- 本文实例为大家分享了python对实例属性进行类型检查的具体代码,供大家参考,具体内容如下案例:在某项目中,我们实现了一些类,并希望能像静态
- 万恶的源泉:Fireboo的疑问(当然 lambda 本身写的就有问题):>>> filter( lambda x: x
- 我就废话不多说了,直接上代码吧!obj = Obj.objects.get(id=1)print obj.name #此时name的值假定为
- 本文实例讲述了PHP利用func_get_args和func_num_args函数实现函数重载的方法。分享给大家供大家参考。具体方法分析如下
- 登录流程:实例化一个driver,然后driver.get()发送请求最重要的:切换iframe子框架,因为豆瓣的网页中的登录那部分是一个i
- 一、前言何谓动态导入模块,就是说模块的导入可以根据我们的需求动态的去导入,不是像一般的在代码文件开头固定的导入所需的模块。何谓反射机制,利用
- 1.函数array()功能:创建一个数组变量格式:array(list)参数:list为数组变量中的每个数值列,中间用逗号间隔例子:<
- Django内置的filter有很多,然而我们由于业务逻辑的特殊要求,有时候仍然会不够用,这个时候就需要我们自定义filter来实现相应的内
- python的版本及依赖的库的安装#版本python 3.7.1pip install pywin32==224pip install nu
- php mysql获取表字段名称和字段信息的三种方法先给出本实例中使用的表的信息:使用desc获取表字段信息php代码如下:<?php
- 本文实例讲述了Python根据指定日期计算后n天,前n天是哪一天的方法。分享给大家供大家参考,具体如下:# -*- coding:utf-8
- 一、爬虫的简单理解1. 什么是爬虫?网络爬虫也叫网络蜘蛛,如果把互联网比喻成一个蜘蛛网,那么蜘蛛就是在网上爬来爬去的蜘蛛,爬虫程序通过请求u
- Python装饰器(decorator)在实现的时候,被装饰后的函数其实已经是另外一个函数了(函数名等函数属性会发生改变),为了不影响,Py
- 在Python中,函数本身也是对象,所以可以将函数作为参数传入另一函数并进行调用在旧版本中,可以使用apply(function, *arg
- 一、tensor加减乘除加法操作import torchx = torch.randn(2, 3)y = torch.randn(2, 3)
- tags: django中对条件查询一些cms项目都会使用到多条件查询,我们后端如何处理请求的条件呢?满足一个条件满足两个条件满足多个条件…
- 我发现有的网站利用了SQL SERVER提供的通过EXCHANGE或OUTLOOK收发邮件的扩展存储过程来完成收发和自动处理邮件(这句话太长