Python响应对象text属性乱码解决方案
作者：何梦吉他 发布时间：2023-07-31 13:06:41
在获得网页响应对象res后，使用res.text属性可以获得网页源代码，但可能出现乱码！因为requests库会使用自动猜测的解码方式将抓取的网页源码进行解码，然后存储到res对象的text属性中；
但有的网站的编码格式和requests库默认的解码格式（）不一样（比如gbk gb2312是gbk的子集），这时候就要自己手动进行解码，先获得content属性，返回的是bytes类型的字符串，再进行解码decode（“网页的编码
格式”）
这时候可能出现新的问题
'gbk' codec can't decode byte 0xd0 in position 15264: illegal multibyte sequence
这是因为遇到了非法字符
比如网页中有这种字符
全角空格往往有多种不同的实现方式，比如\xa3\xa0，或者\xa4\x57，这些 字符，看起来都是全角空格，但它们并不是“合法”的全角空格（真正的全角空格是\xa1\xa1），因此在转码的过程中出现了异常。
只要字符串中出现了一个非法字符，整篇文章就都无法转码。
对于这种字符，根本不需要，不重要！
解决方法：在解码时候指定errors参数，
decode()的函数原型是decode([encoding], [errors='strict'])，可以用第二个参数控制错误处理的策略，默认的参数是strict，代表遇到非法字符时抛出异常；
如果设置为ignore，则会忽略非法字符；
如果设置为replace，则会用?取代非法字符；
如果设置为xmlcharrefreplace，则使用XML的字符引用
#requests库默认会使用自己猜测的解码方式将抓取下来的网页进行解码，然后存储到text属性上去；
#但在该网站中，编码方式和默认的解码方式不一样，就会产生乱码,所以要手动进行解码，先获得content再decode()解码
#右键查看网页源代码，发现是gb2312编码，gb2312就是gbk的子集，所以用decode("gbk")
来源：https://www.cnblogs.com/hemengjita/p/12496110.html
0
投稿猜你喜欢
- 不同的是setInterval会每隔指定的时间段就执行一次代码，具有重复性。而setTimeout只会调用后执行一次。 下面通过函数的建立和
首先将ORACLE 10g的安装光盘放入光驱，如果自动运行，一般会出现如图1安装界面： 图1 单击“开始安装”，就可以安装ORACLE 10- 楔子shutil 是一个 Python 内置模块，该模块对文件的复制、删除和压缩等操作都提供了非常方便的支持。下面来详细介绍一下该模块的用法
- 通常我们的网站里面会加载一些js代码，统计啊，google广告啊，百度同盟啊，阿里妈妈广告代码啊，一堆，最后弄得页面加载速度很慢，很慢。解决
- 我们在使用selenium库调用Chromedriver.exe时需要很多的配置参数下面列出了常用参数chrome_options.add_
- 全局引用公共的组件及公共的JS文件1. 创建一个公共的目录 timeline ，里面包含 timeline.js 和 timeline.vu
- 最近学习go语言写了个 成都房地产薪酬 网站，抓取网上的招聘信息并进行统计。中间遇到一些坑在这里记录下来方便以后查阅gzip压缩是每个web
- 目录1、为什么使用2、空结构体的特殊性3、使用场景3.1 实现方法接收者3.2 实现集合类型3.3 实现空通道前言:在 Go 语言中，有一个
- 1.申明一个数组 var a[2] int 或者 a:=[2]int{1,2}2.数组索引数组就是索引的来建立如下图我们再来一个测试3.go
- 在进行数据操作时，经常会根据条件批量的修改数据，如以下数据，按照日期的条件，将部门日期下的promotion改为1tot_qtypriced
- 1，不带参数的存储过程2，带输入参数的存储过程3，带输入和输出参数的存储过程4，带返回值的存储过程不带参数的存储过程例如，以下存储过程返回E
- 本文实例讲述了Python使用add_subplot与subplot画子图操作。分享给大家供大家参考，具体如下：子图：就是在一张figure
- 本文实例讲述了python中栈的原理及实现方法。分享给大家供大家参考，具体如下：栈（stack），有些地方称为堆栈，是一种容器，可存入数据元
- （一）什么是json：JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式。易于人阅读和编写。同时也
- 虽然说标题将的是首页的访问感受，但是同样适合于网站其它页面的用户体验设计，一个好的网站设计应当尽量做到首页和次页一视同仁。第一步（视觉设计）
- 实验环境：tensorflow版本1.2.0，python2.7介绍关于空洞卷积的理论可以查看以下链接，这里我们不详细讲理论：1.Long
- 小白尝试写任意文件读取poc我是一个小白，完全不懂Python，但是Python在渗透中往往是一个重要的角色。有一个CSDN百万大佬写了这样
- Powerdesigner界面－tools-Resources－DBMS,点击左上角的New,选择copy from templete,如果
- 本文在前面文章基础上介绍tkinter添加图片和文本，在这之前，我们需要安装一个图片库，叫Pillow，这个需要下载exe文件，根据下面图片
- 1.API接口:hello world 案例from flask import Flaskfrom flask_restful import
