Python爬虫基于lxml解决数据编码乱码问题
作者：This_is_Y 发布时间：2021-09-11 23:48:44
标签：Python,爬虫,lxml,编码,乱码
lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高
XPath，全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言，它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索
XPath的选择功能十分强大，它提供了非常简明的路径选择表达式，另外，它还提供了超过100个内建函数，用于字符串、数值、时间的匹配以及节点、序列的处理等，几乎所有我们想要定位的节点，都可以用XPath来选择
XPath于1999年11月16日成为W3C标准，它被设计为供XSLT、XPointer以及其他XML解析软件使用，更多的文档可以访问其官方网站：https://www.w3.org/TR/xpath/
问题状况：
response = requests.get(url=url, headers=headers).text
html = etree.HTML(response)
name = html.xpath("/html/body/div[2]/ul/li[1]/a/p/text()")[0]
print(name)
可以正常获取数据，但是结果是
å·²éªŒè¯ å®‰å…¨ 盾牌
这样子的乱码
解决方法：
name = html.xpath("/html/body/div[2]/ul/li[1]/a/p/text()")[0].encode('ISO-8859-1').decode('UTF-8')
这边的UTF-8根据网页编码情况而定
看网页编码情况
F12
来源：https://www.cnblogs.com/This-is-Y/p/13390506.html
0
投稿猜你喜欢
- 1.了解oracle外部表 外部表定义：结构被存放在数据字典，而表数据被放在OS文件中的表 作用：在数据库中查询OS文件的数据，还可以将OS
异常：python3的xadmin主题只显示默认和bootstrap2解决办法：慢慢来相信能遇到这个问题的人，都是已经配置好xadmin的，- 平时经常看php的错误日志，很少有机会去自己动手写日志，看了王健的《最佳日志实践》觉得写一个清晰明了，结构分明的日志还是非常有必要的。在写日
- 本文实例讲述了thinkphp3.x连接mysql数据库的方法。分享给大家供大家参考，具体如下：惯例配置文件：ThinkPHP/conf/c
- 冷备份是数据库文件的物理备份，通常在数据库通过一个shutdown normal或shutdown immediate 命令正常关闭后进行。
- 天下武功，唯快不破。编程也不例外，你的代码跑的快，你能快速找出代码慢的原因，你的码功就高。安装pip install pyinstrumen
- 本文实例讲述了python动态参数用法。分享给大家供大家参考。具体分析如下：先来看一段代码：class Person: &nb
- <?php /** * 单例模式 * * 保证一个类仅有一个实例,并提供一个访问它的全局访问点 * */ class Singleto
- 本文实例讲述了Python实现统计文本文件字数的方法。分享给大家供大家参考，具体如下：统计文本文件的字数，从当前目录下的file.txt取文
- 在Python中将字符串转换为集合使用 set() 类将字符串转换为集合，例如 my_set = set(my_str)。 set() 类将
- php对数字进行万。亿的转化/** * 格式化数字 */public function float_number($number){ &nb
- IIS上设置301 跳转相信大家都会，只要在网站-属性-主目录里 选择重定向URL就行了，这样整站就跳转到目标站点了，但是有个问
- 定义行为要定义行为，通过继承 yii\base\Behavior 或其子类来建立一个类。如：namespace app\components
- 如果要得到返回值，需要用Command的方法。 首先说明，返回值有两种。一种是在存储过程中直接return一个值，就象C和VB的函数返回值那
- 上篇博文我们实现了两百行代码实现贪吃蛇游戏，这次我们来实现一个代码量更加少，功能却更加完整的python代码实现贪吃蛇游戏，具体代码与文件可
- python的numpy库提供矩阵运算的功能，因此我们在需要矩阵运算的时候，需要导入numpy的包。一、numpy的导入和使用from&nb
- 有一个同学在Gne的群里面咨询如何通过Selenium获取当前鼠标指向的元素，在我讲了方法以后，他过了两天又来问：那么，我今天就来写一篇文章
- numpy.amin()和numpy.amax()numpy.amin()用于计算数组中元素沿着指定轴的最小值。numpy.amax()用于
- 软件环境： 1、操作系统：Windows 2000 Server 2、数 据 库：Oracle 8i R2 (8.1.7) for NT 企
- Access爱好者以会VBa为荣。我觉得这不是好现象。vba只是vb的子集，有着很多限制，比如不支持继承，不支持指针，不支持子界类型等。使用
