判断网页编码的方法python版
作者：mickelfeng 发布时间：2022-06-29 10:01:18
标签：python,网页编码
在web开发的时候我们经常会遇到网页抓取和分析，各种语言都可以完成这个功能。我喜欢用python实现，因为python提供了很多成熟的模块，可以很方便的实现网页抓取。
但是在抓取过程中会遇到编码的问题，那今天我们来看一下如何判断网页的编码：
网上很多网页的编码格式都不一样，大体上是GBK,GB2312，UTF-8等。
我们在获取网页的的数据后，先要对网页的编码进行判断，才能把抓取的内容的编码统一转换为我们能够处理的编码，避免乱码问题的出现。
下面介绍两种判断网页编码的方法：
总结：第二个方法很准确，在网页编码分析的时候用python模块分析内容是最准确的，而使用分析meta头信息的方法是不太准确的。
方法一：使用urllib模块的getparam方法
import urllib
#autor：pythontab.com
fopen1 = urllib.urlopen('http://www.baidu.com').info()
print fopen1.getparam('charset')# baidu
方法二：使用chardet模块
#如果你的python没有安装chardet模块，你需要首先安装一下chardet判断编码的模块哦
#author:pythontab.com
import chardet
import urllib
#先获取网页内容
data1 = urllib.urlopen('http://www.baidu.com').read()
#用chardet进行内容分析
chardit1 = chardet.detect(data1)
print chardit1['encoding'] # baidu
0
投稿猜你喜欢
- 本文实例总结了Python操作redis方法。分享给大家供大家参考，具体如下：python连接方式可参考：https://www.jb51.
- 在使用ORACLE的过程过，我们会经常遇到一些ORACLE产生的错误，对于初学者而言，这些错误可能有点模糊，而且可能一时不知怎么去处理产生的
- 一、简介在这篇文章中，我们将学习Python中的高级数据结构，如堆、栈、队列、链表等，并使用Python实现常见的算法，如排序、查找等。我们
1、概述在前面的文章中，我有分享了vue+drf+第三方滑动验证码接入的实现 （文中也留了分享图片验证码功能的实现），即本文将要分享的是基于- Mysql数据库是一个多用户，多线程的关系型数据库，是一个客户机/服务器结构的应用程序。它是对个人用户和商业用户是免费的.Mysql数据库具
- 本文介绍了Scrapy项目实战之爬取某社区用户详情，分享给大家，具有如下：get_cookies.pyfrom selenium impor
- 使用df=df.values，可以把Pandas中的dataframe转成numpy中的array来源：https://blog.csdn.
- python烟花代码如下# -*- coding: utf-8 -*-import math, random,timeimport thre
- 百度贴吧的爬虫制作和糗百的爬虫制作原理基本相同，都是通过查看源码扣出关键数据，然后将其存储到本地txt文件。项目内容：用Python写的百度
- Python入门 本系列为Python学习相关笔记整理所得，IT人
- package work;import java.io.BufferedReader;import java.io.IOException;
- 本文实例讲述了Python中xml和json格式相互转换操作。分享给大家供大家参考，具体如下：Python中xml和json格式是可以互转的
- 1、python中__name__是什么意思？很多python的初学者可能都会遇到一个问题：__name__是什么意思？在刚开始学习pyth
- 动机： 查询功能是我们在网站上见过的最普遍也是最常用的一个功能模块了。以往的信息查询都是连接到数据库的，每一次点击都必须要后台数据库的支持。
- Web抓取Web站点使用HTML描述，这意味着每个web页面是一个结构化的文档。有时从中 获取数据同时保持它的结构是有用的。web站点不总是
- def get_area_list(self): &qu
- 数组是一种有序的集合，可随时添加、删除其中的元素book = ['xiao zhu pei qi','xiao ji
- 我们对 DataFrame 进行选择，大抵从这三个层次考虑：行列、区域、单元格。其对应使用的方法如下：一. 行，列 --> df[]二
- SQL中的单记录函数1.ASCII返回与指定的字符对应的十进制数;SQL> select ascii('A') A,a
- Python 安装Graphviz 详细教程Python安装Graphviz画图器首先，要明确他是一个独立的软件，如果大家用pip的方法装了
