Python xpath表达式如何实现数据处理

xpath表达式

1. xpath语法

<bookstore>
<book>
<title lang="eng">Harry Potter</title>
<price>999</price>
</book>
<book>
<title lang="eng">Learning XML</title>
<price>888</price>
</book>
</bookstore>

1.1 选取节点

XPath 使用路径表达式来选取 XML 文档中的节点或者节点集。这些路径表达式和我们在常规的电脑文件系统中看到的表达式非常相似。

使用chrome插件选择标签时候，选中时，选中的标签会添加属性class="xh-highlight"

下面列出了最有用的表达式：

实例

• 选择所有的h1下的文本

• //h1/text()

• 获取所有的a标签的href

• //a/@href

• 获取html下的head下的title的文本

• /html/head/title/text()

• 获取html下的head下的link标签的href

• /html/head/link/@href

1.2 查找特定的节点

注意点: 在xpath中，第一个元素的位置是1，最后一个元素的位置是last(),倒数第二个是last()-1

1.3 选取未知节点

XPath 通配符可用来选取未知的 XML 元素。

实例

在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：

1.4 选取若干路径

通过在路径表达式中使用“|”运算符，您可以选取若干个路径。

实例

在下面的表格中，我们列出了一些路径表达式，以及这些表达式的结果：

实例：

from lxml import etree
text = ''' <div> <ul>
   <li class="item-1"><a href="link1.html" rel="external nofollow" >first item</a></li>
   <li class="item-1"><a href="link2.html" rel="external nofollow" >second item</a></li>
   <li class="item-inactive"><a href="link3.html" rel="external nofollow" >third item</a></li>
   <li class="item-1"><a href="link4.html" rel="external nofollow" >fourth item</a></li>
   <li class="item-0"><a href="link5.html" rel="external nofollow" >fifth item</a>
   </ul> </div> '''

html = etree.HTML(text)

#获取href的列表和title的列表
href_list = html.xpath("//li[@class='item-1']/a/@href")
title_list = html.xpath("//li[@class='item-1']/a/text()")

#组装成字典
for href in href_list:
 item = {}
 item["href"] = href
 item["title"] = title_list[href_list.index(href)]
 print(item)

# 如果取到的是一个节点，返回的是element对象，可以继续使用xpath方法，对此我们可以在后面的数据提取过程中：先根据某个标签进行分组，分组之后再进行数据的提取
li_list = html.xpath("//li[@class='item-1']")

#在每一组中继续进行数据的提取
for li in li_list:
 item = {}
 item["href"] = li.xpath("./a/@href")[0] if len(li.xpath("./a/@href"))>0 else None
 item["title"] = li.xpath("./a/text()")[0] if len(li.xpath("./a/text()"))>0 else None
 print(item)

来源：https://www.cnblogs.com/caijunchao/p/12644104.html