python3中编码获取网页的实例方法
作者：PYCN 发布时间：2023-07-17 23:31:47
标签：python3,编码,获取网页
学了python后，之前一些我们常用的方法，也可以换一种思路用python中的知识来解决。相信操作出来后，能收获一大批小粉丝们。就像我们没学习编程之前，看到那种大神都是可望而不可即。今天我们就之前简单获取网页的这种操作用python中的编码来解决，大家可以自行体会一下两者的不同。
1. encoding和apparent_encoding
import scrapy
url="https://www.xxx.net/html/gndy/dyzz/index.html"
re=requests.get(url)
#获取响应头Content-Type的charset值，有的网站没有charset字段，就可能使用默认的 ISO-8859-1
print(re.encoding)
#apparent_encoding就是获取网站真实的编码
print(re.apparent_encoding)
2. 处理方案
直接用r.encoding = ‘xxx'
re.encoding='utf-8'
3. requests的text() 跟 content() 有什么区别
re.text返回的是处理过的Unicode型的数据，
而使用re.content返回的是bytes型的原始数据。
4. 爬虫拿到的HTML和浏览器中的源码不相同时
通过下载源码对比
import requests
url = 'https://www.xxx.net/html/gndy/dyzz/index.html'
r = requests.get(url)
r.encoding = r.apparent_encoding
html = r.text
with open('test.html','w',encoding='utf8') as f:
f.write(html)
来源：https://www.py.cn/jishu/jichu/20849.html
0
投稿猜你喜欢
- 有助于效率的类型选择1、使你的数据尽可能小最基本的优化之一是使你的数据(和索引)在磁盘上(并且在内存中)占据的空间尽可能小。这能给出巨大的改
- 也许你刚刚来到一家公司，他们希望进行一些“可用性”工作。你可能是一名UI设计师，业务分析师，或前端开发人员，一名产品经理，或者负责用户体验部
- ABS(x) 函数，此函数用来返回一个数的绝对值。 ACOS(x)函数，返回X的反余弦值。X范围从1到-1，输入值从0到派，以弧度为单位。
效果： 思路：利用onmousemove事件，然后获取鼠标的坐标，之后把DIV挨个遍历，最后把鼠标的坐标赋给DIV。代码：<- ORACLE的这类错误在ORALCE的文档中有详细说明，但原因及措施说明不详细，本文当着重说明如何解决这类错误。1、ORA-12571、OR
- 有没有想过用尺子来直接量网页上的区块间距，文字行高？屏幕标尺就是干这个的。这个功能非常适合F2E在调试样式尺寸的时候使用。打开屏幕标尺，屏幕
- 可能接触网站与编程设计的人都知道，一个属性值需要引号包括起来，但是有的时候就是因为没有正确设定引号类型，导致程序出错，就连我自己也是这样，我
- 从python2.4版本开始,可以用subprocess这个模块来产生子进程,并连接到子进程的标准输入/输出/错误中去，还可以得到子进程的返
- 0 环境Python版本：3.6.8系统版本：macOS MojavePython Jupyter Notebook1 引言七月了，大家最近
- 一 安装oracle数据库成功之后,会显示相关的数据库信息: 全局数据库名:oracle 系统标识符(SID):oracle 服务器参数文件
- 本文实例讲述了PHP实现根据数组某个键值大小进行排序的方法。分享给大家供大家参考，具体如下：问题：针对给定数组的某个键的键值进行排序解决方法
- 一位资深的设计师曾经向我抱怨，说老板不仅让他做“设计”工作，还让他做“制作”工作，真是很烦。言下之意，“制作”还要一个资深设计师亲自上阵，未
- 在现代LOGO设计当中，叶子的形状被视做好的创意。或者说，是一种变革的想法。在网页中他们大多被用于轻量级的解决方案、干净的不抽像的设计。在实
- python3字符串操作 x = 'abc' y = 'defgh' print(x + y)
- 前面也讲过一次phar文件上传的东西，但是那都是过滤比较低，仅仅过滤了后缀。知道今天看到了一篇好的文章如果过滤了phar这个伪造协议的话，那
- 还是网站在不同操作系统不同浏览器下兼容性的问题,但难度加了一层.如果是要检查用户登录后的页面的兼容性,该怎么办?现在一般的测试网站,都是提交
- 一、Python短信发送界面最后的效果二、准备：注册腾讯云账号并配置短信功能（1）注册腾讯云账号登录腾讯云网址（2）获取AppID、AppK
- mapmap(function,iterable)x = [1,2,3,4,5]def square(num): return num*nu
- SQL语句优化的原则：◆1、使用索引来更快地遍历表缺省情况下建立的索引是非群集索引，但有时它并不是最佳的。在非群集索引下，数据在物理上随机存
- 函数input()的工作原理函数input()让程序暂停运行，等待用户输入一些文本。获取用户输入后，Python将其存储在一个变量中，以方便
