python使用xpath获取页面元素的使用
作者:Sun@Python 发布时间:2021-04-30 10:32:09
标签:python,xpath,获取,元素
关于python 使用xpath获取网页信息的方法?
1、xpath的使用方法?
XPath 使用路径表达式来选取 XML 文档中的节点或节点集。节点是通过沿着路径 (path) 或者步 (steps) 来选取的。
常用路径表达式含义
表达式 | 描述 |
---|---|
/ | 从根节点选取(取子节点) |
// | 选择的当前节点选择文档中的节点 |
. | 选取当前节点。 |
… | 选取当前节点的父节点。 |
@ | 选取属性 |
* | 表示任意内容(通配符) |
| | 运算符可以选取多个路径 |
常用功能函数
函数 | 用法 | 解释 |
---|---|---|
startswith() | xpath(‘//div[starts-with(@id,”ma”)]‘) | #选取id值以ma开头的div节点 |
contains() | xpath(‘//div[contains(@id,”ma”)]‘) | #选取id值包含ma的div节点 |
and() | xpath(‘//div[contains(@id,”ma”) and contains(@id,”in”)]‘) | #选取id值包含ma的div节点 |
text() | _.xpath('./div/div[4]/a/em/text()') | #选取em标签下文本内容 |
备注:
1、html中当相同层次存在多个标签例如div,它们的顺序是从1开始,不是0
2、浏览器中使用开发者工具可以快速获取节点信息
2、实例:
#!/usr/bin/python3
# -*- coding: utf-8 -*-
# @Time : 2021/9/7 9:35
# @Author : Sun
# @Email : 8009@163.com
# @File : sun_test.py
# @Software: PyCharm
import requests
from lxml import etree
def get_web_content():
try:
url = "htpps://***keyword=%E6%97%A0%E9%92%A2%E5%9C%88&wq=%E6%97%A0%E"
"9%92%A2%E5%9C%88&ev=1_68131%5E&pvid=afbf41410b164c1b91d"
"abdf18ae8ab5c&page=5&s=116&click=0 "
header = {
"user-agent": "Mozilla/5.0 (Windows NT 10.0; WOW64)"
"AppleWebKit/537.36 (KHTML, like Gecko) "
"Chrome/75.0.3770.100 Safari/537.36 "}
response = requests.request(method="Get", url=url, headers=header)
result = response.text
return result
except TimeoutError as e:
return None
def parsing():
result = get_web_content()
if result is not None:
html = etree.HTML(result)
# 先获取一个大的节点,包含了想要获取的所有信息
ii = html.xpath('//*[@id="J_goodsList"]/ul/li')
for _ in ii:
# 采用循环,依次从大节点中获取小的节点内容
# ''.join() 将列表中的内容拼接成一个字符串
infoResult = {
# @href 表示:获取属性为href的内容
'href': "https:" + _.xpath('./div/div[1]/a/@href')[0],
'title': ''.join(
_.xpath('./div/div[2]/div/ul/li/a/@title')),
# text()表示获取节点i里面的文本信息
'price': _.xpath('./div/div[3]/strong/i/text()')[0],
'info': ''.join(
_.xpath('./div/div[4]/a/em/text()')).strip(),
'province': _.xpath('./div/div[9]/@data-province')[0]}
print(infoResult)
else:
raise Exception("Failed to get page information, please check!")
return None
if __name__ == '__main__':
parsing()
结果图片:
来源:https://blog.csdn.net/qq_40267002/article/details/120197707
0
投稿
猜你喜欢
- 我就废话不多说了,还是直接看代码吧!from IPython.display import display,Latex,Math%matpl
- 在我们平时的开发过程中,为了方便调试程序,我们都是打开开发者模式,即Debug=True,当我们正式上线的时候肯定就需要把开发者模式关掉,用
- 列表(元组)基本操作符回顾len()函数在列表与元组上的使用示例如下:names = ['Neo', 'Lily
- JIRA介绍: JIRA是Atlassian公司出品的项目与事务跟踪工具,被广泛应用于缺陷跟踪、需求
- 一、I/O模型IO在计算机中指Input/Output,也就是输入和输出。由于程序和运行时数据是在内存中驻留,由CPU这个超快的计算核心来执
- 本文实例为大家分享了python开发飞机大战游戏的具体代码,供大家参考,具体内容如下import pygameimport randomim
- 认识pip众所周知,pip可以对python的第三方库进行安装、更新、卸载等操作,十分方便。pip的全称:package installer
- 进入主题1.import turtle as timport matht.pensize(3)t.tracer(10)t.hideturtl
- def get_area_list(self): &qu
- 基于socket的文件传输并进行MD5值校验,供大家参考,具体内容如下文件传输分为两个类,一个是服务端,一个是客户端。客户端发起发送文件或接
- 安装 SQL2000 时,系统经常会提示:操作被挂起,要求重新启动计算机,如图1: 图1重新启动后,再次安装时问题仍然存在。解决办
- 本文实例讲述了php下pdo的mysql事务处理用法。分享给大家供大家参考。具体分析如下:php+mysql事务处理的几个步骤:1.关闭自动
- 音频预处理这一讲主要介绍些音频基本处理方式,为接下来的语音识别打基础。三种播放音频的方式使用 python 播放音频有以下几种方式:os.s
- 安全性问题一直DBA是比较关心的问题,因为建立数据库的目的就是让相关的的客户端来进行访问,所以很难避免不出现安全隐患,例如客户端链接的权限、
- 本文实例为大家分享了python实现排序算法的具体代码,供大家参考,具体内容如下一、冒泡排序def bububle_sort(alist):
- rss.asp格式的 下面代码保存为rss.asp 代码如下:<!--#include file="conn.as
- 这几天正在追剧,原名《大秦帝国之天下》的《大秦赋》,看着看着又想把前几部刷一遍了,但第一部《裂变》自己没有高清资源,搜了一波发现yout
- Python + OpenCV 直接上代码import cv2 import numpy as np from matplotlib imp
- 嗯,你可以说我很无聊。最近疯狂加班,今天才得以有时间搞一个CSS的像素图来消遣休息下。先看效果:运行代码框<!DOCTYPE html
- 本文记录下自己使用Python实现一个简易的ORM模型使用到的知识1、元类2、描述器元类对于元类,我的理解其实也便较浅,大概是这个意思所有的