python中requests爬去网页内容出现乱码问题解决方法介绍
作者：Winterto1990 发布时间：2023-09-14 01:00:11
最近在学习python爬虫，使用requests的时候遇到了不少的问题，比如说在requests中如何使用cookies进行登录验证，这可以查看这篇文章。这篇博客要解决的问题是如何避免在使用requests的时候出现乱码。
import requests
res=requests.get("https://www.baidu.com")
print res.content
我们可以通过在网页上右击查看源代码中查看编码方式：content="text/html;charset=utf-8"->
我们便可以知道网页的编码方式是utf8.由于中文的编码方式为gbk，所以我们需要将编码方式改变为gbk。
我查看了一些资料，说requests可以自动获取网页的编码方式的，并且通过res.encode输出一看是utf8，是的 没错。但是输出来的内容中文存在乱码。 有说可以直接指定获取到内容的encode属性即可，"res.encode='gbk'"，但我尝试了不可以的。
python内部的编码方式为utf8，也就是说python在处理其他字符串内容的时候首先要先将内容转化为utf8的编码方式，然后在解码为你想要的编码方式输出。
例如s=”中文” 为str类型的字符串 编码方式为gb2312
需要 s.decode("gb2312")将gb2312编码方式的内容解码为Unicode编码
然后输出的时候要将s的编码方式规定为gbk->s.encode("gbk")
言归正传，我们获取到网页内容res后， 通过res.content.decode("utf8","ignore").encode("gbk","ignore")就不会有乱码了。
这里所使用的ignore属性意思是忽略其中有一场的编码，仅显示有效的编码。
来源：http://blog.csdn.net/winterto1990/article/details/51217363
0
投稿猜你喜欢
本文实例讲述了Python wxpython模块响应鼠标拖动事件操作。分享给大家供大家参考，具体如下：wxpython鼠标拖动事件小案例：#- 公共的抽象基类import numpy as npfrom abc import ABCMeta, abstractmethodclass
- 作者：Jahongir Rahmonov机器之心编译参与：魔王PyCharm 是一种 Python IDE，可以帮助程序员节约时间，提高生产
- 一安装pyinstaller(两种方式)1.通过命令：pip install pyinstaller具体操作：打开pycharm下方的Ter
- js 读取csv内容拼接成jsonformdata对象上传了csv文件，读取文件内容拼接成json对象var form = new Form
- 事情的起因是，一个应用升级后，某一个操作导致一个表的几个列全部被更新为同一值（忍不住又要唠叨测试的重要性）。这样的错误居然出现在应用代码中，
- 使用python删除excel表格重复行。# 导入pandas包并重命名为pdimport pandas as pd# 读取Excel中Sh
- 实践是检验真理的唯一途径，本篇只是站在索引使用的全局来定位的，你只需要通读全篇并结合具体的例子，或回忆以往使用过的地方，对整体有个全面认识，
- 先来看看什么是书签查找： 当优化器所选择的非聚簇索引只包含查询请求的一部分字段时，就需要一个查找（lookup）来检索其他字段来满足请求。对
- 数据过滤器（Data filters）在数据库开发中，我们一般会运用软删除(soft-delete)模式,即不直接从数据库删除数据,而是标记
- Python 提供了 日期和时间模块用来处理日期和时间，还可以用于格式化日期和时间等常见功能。时间间隔是以秒为单位的浮点小数。每个时间戳都以
- 马上就到春节了，今天看到有网友分享了网页版的虎年头像制作工具，感觉很不错，正好打算做个小程序练手没啥主题，那就用这个试试吧。先上最终效果图：
- 本文实例讲述了python计算圆周率pi的方法。分享给大家供大家参考。具体如下：from sys import stdout scale =
- 1、首先停止mysql服务管理员身份开启CMD下命令关闭或者windows服务页面关闭C:\Users\xxx>net stop my
- 大部分新手刚学Django开发的时候默认用的都是SQLite数据库，上线部署的时候，大多用的却是Mysql。那么我们应该如何把数据库从SQL
- 本文章是建立在已经安装MySQL数据库的前提，默认安装在C:\Program Files (x86)\MySQL,建议在安装时选中Conne
- 概述在本文中，我们将以深度库即 Mediapipe为基础库，以及其他计算机视觉预处理的CV2库来制作手部地标检测模型。市场上有很多关于这种问
- 我们知道深度神经网络的本质是输入端数据和输出端数据的一种高维非线性拟合，如何更好的理解它，下面尝试拟合一个正弦函数，本文可以通过简单设置节点
- 1. 现在的日期时间命令是<％=now％> 即可2.ASP取得表格(from)数据输入的方法，是使用一个内置
- 一、 软件配置安装必备爬虫环境软件:python 3.8pip install requestspip install beautifuls
