Python爬虫基于lxml解决数据编码乱码问题
作者：This_is_Y 发布时间：2021-09-11 23:48:44
标签：Python,爬虫,lxml,编码,乱码
lxml是python的一个解析库，支持HTML和XML的解析，支持XPath解析方式，而且解析效率非常高
XPath，全称XML Path Language，即XML路径语言，它是一门在XML文档中查找信息的语言，它最初是用来搜寻XML文档的，但是它同样适用于HTML文档的搜索
XPath的选择功能十分强大，它提供了非常简明的路径选择表达式，另外，它还提供了超过100个内建函数，用于字符串、数值、时间的匹配以及节点、序列的处理等，几乎所有我们想要定位的节点，都可以用XPath来选择
XPath于1999年11月16日成为W3C标准，它被设计为供XSLT、XPointer以及其他XML解析软件使用，更多的文档可以访问其官方网站：https://www.w3.org/TR/xpath/
问题状况：
response = requests.get(url=url, headers=headers).text
html = etree.HTML(response)
name = html.xpath("/html/body/div[2]/ul/li[1]/a/p/text()")[0]
print(name)
可以正常获取数据，但是结果是
å·²éªŒè¯ å®‰å…¨ 盾牌
这样子的乱码
解决方法：
name = html.xpath("/html/body/div[2]/ul/li[1]/a/p/text()")[0].encode('ISO-8859-1').decode('UTF-8')
这边的UTF-8根据网页编码情况而定
看网页编码情况
F12
来源：https://www.cnblogs.com/This-is-Y/p/13390506.html
0
投稿猜你喜欢
Ubuntu16.04自带python2.7与python3.5，某个项目编译却要求python版本大于等于3.7，遂考虑在原系统基础上再安- 一、前言最近做web网站的测试，遇到很多需要批量造数据的功能；比如某个页面展示数据条数需要达到10000条进行测试，此时手动构造数据肯定是不
- vue-draggable之前项目中需要用到拖动排序，就去网上找资料，本来最开始是想用jquery-ui里的拖动的，后面发现不符合我的预期也
- 今天在项目中，使用Mybatis对oracle数据库进行操作的时候，报出ORA-00911: invalid character的错误，检查
- 前言今天小编就带着大家来盘点一下数据抓取过程中这些主流的加密算法，它们有什么特征、加密的方式有哪些等等，知道了这些之后对于我们逆向破解这些加
- 你的主页或者你管理的网站有各种密码需要保护，把密码直接放在数据库或者文件中存在不少安全隐患，所以密码加密后存储是最常见的做法。在ASP.NE
- 本文实例讲述了Python线程threading模块用法。分享给大家供大家参考，具体如下：threading-更高级别的线程接口源代码：Li
- 在循环对象和函数对象中，我们了解了循环器(iterator)的功能。循环器是对象的容器，包含有多个对象。通过调用循环器的next()方法 (
- 组件<template><div> <input id="upload_file&quo
- 王者荣耀的火爆就不用说了，但是一局中总会有那么几个挂机的，总能看到有些人在骂人，我们发现，当你输入一些常见的辱骂性词汇时，系统会自动将该词变
- 在Go语言中，我们可以使用for、append()和copy()进行数组拷贝，对于某些对性能比较敏感且数组拷贝比较多的场景，我们可以会对拷贝
- 本文实例讲述了Python3.6简单反射操作。分享给大家供大家参考，具体如下：# -*- coding:utf-8 -*-#!python3
- 安装 php首先安装 php 的压缩包，目前下载地址解压文件到这个路径下：D:\Program Files\php-7.3.5(自行选择合适
- 两个跳转语法第一个参数是请求路径，第二个参数是http状态码。c.Redirect("/login",400) &nbs
- 效果图：代码如下：<!DOCTYPE html><html lang="en"><head
- python 3.x 环境下，使用h5py加载HDF5文件，查看keys，如下：>>> import h5py>&g
- 因为这两天在学习深度学习需要用到ubuntu+python3.6版本，所以就按照网上的教学安装，但是ubuntu16.04自带的是pytho
- 一、前言在写业务代码时候，有许多场景需要重试某块业务逻辑，例如网络请求、购物下单等，希望发生异常的时候多重试几次。本文分享如何利用Pytho
- 本文实例为大家分享了Python实现学生信息管理系统的具体代码，供大家参考，具体内容如下要求描述：学生的信息包括：学号，姓名，年龄，性别，出
- 1.下载 4个rpm包mysql-community-client-5.7.26-1.el7.x86_64.rpmmysql-communi
