python 获取网页编码方式实现代码
作者：lqh 发布时间：2023-07-21 08:15:14
标签：python,网页编码
python 获取网页编码方式实现代码
<span style="font-family: Arial, Helvetica, sans-serif; background-color: rgb(255, 255, 255);">
</span><span style="font-family: Arial, Helvetica, sans-serif; background-color: rgb(255, 255, 255);">
python开发，自动化获取网页编码方式用到了chardet库，字符集检测，这个类在python2.7中没有，需要在官网上下载。
这里我下载好了chardet-2.3.0.tar.gz压缩包文件，只需要将压缩包文件解压后的chardet文件放到python安装包下的
python27/lib/site-packages/下，就可以了。</span>
然后import chardet
下面写了一个自动化检测的函数供检测Url连接，然后返回网页url的编码方式。
import chardet #字符集检测
import urllib
url="http://www.jd.com"
def automatic_detect(url):
content=urllib.urlopen(url).read()
result=chardet.detect(content)
encoding=result['encoding']
return encoding
urls=['http://www.baidu.com','http://www.163.com','http://dangdang.com']
for url in urls:
print url,automatic_detect(url)
上面用到了chardet类的detect方法，返回字典，然后取出编码方式encoding
感谢阅读，希望能帮助到大家，谢谢大家对本站的支持！
0
投稿猜你喜欢
原因是dict.keys()的返回结果不再是一个list了Python3的keys(), values(), items()返回的都是迭代器- 如下所示：# the basic ways = 0for x in range(10): s += x# the right ways =
- 在python中，我们定义好一个字符串，如下所示。在python中定义个字符串然后把它赋值给一个变量。我们可以通过下标访问单个的字符，跟所有
- 1. 首先VC++的DLL的导出函数定义成标准C的导出函数： #ifdef LRDLLTEST_EXPORTS #define LRDLLT
- 实际的项目网站中或多或少的或用到多选框，我选用的一款是 Bootstrap Multiselect。 官
- 重现如下： <!doctype html> <html> <head> <title>设置i
- 上下文代码smart_girl = {"name":"yuan wai", "age&qu
- 在项目过程中，需要设置各种IP和端口号信息等，如果每次都在源程序中更改会很麻烦(因为每次都要重启项目重新加载配置信息)，因此将需要修改的参数
- 首先得抛出个重要的前提观点，大屏幕、宽屏幕根本不是为方便“扫视”准备的。所以说以内容为基础的网站设计不用考虑超宽、超大的场景，甚至包括服务类
- 一、概述KNN（K-最近邻）算法是相对比较简单的机器学习算法之一，它主要用于对事物进行分类。用比较官方的话来说就是：给定一个训练数据集，对新
- Python中pack()方法#Copyright (c)2017, 东北大学软件学院学生# All rightsreserved#文件名称
- 下列语句部分是Mssql语句，不可以在access中使用。 SQL分类： DDL—数据定义语言(CREATE，ALTER，DROP，DECL
- 在这个教材中,我们假定你已经安装了Scrapy。假如你没有安装,你可以参考这个安装指南。我们将会用开放目录项目(dmoz)作为我
- 首先感谢朋友们对第一篇文章的鼎力支持，感动中....... 今天说的是选择排序，包括“直接选择排序”和“堆排序”。话说
- 第一步一般是建立一个关键字替换表 如 id keyword url 等字段第二步是文章显示时把【文章】内容和【关键字替换表】对应的关键字替换
- 所有编程语言都离不开循环。因此，默认情况下，只要有重复操作，我们就会开始执行循环。但是当我们处理大量迭代（数百万/十亿行）时，使用循环是一种
- 本文列举了所有关于PHP语言中使用socket相关服务的一些函数。注意使用如下函数之前，你需要确保你的socket已打开，如果你没有打开，请
- 引言在 Linux 服务器上，磁盘空间的使用情况是一个非常重要的指标。如果服务器上的磁盘空间不足，可能会导致服务器崩溃，影响网站的正常运行。
- 一、内容简介本篇文章着重结合源码版本V3.2.20介绍Reactive和Ref。前置技能需要了解Proxy对象的工作机制，以下贴出的源码均在
- 我的文章的意义服务端开发,python,django这些内容上面的链接中有详细的阐述. 我写的内容肯定没有上面的完备,准确. 我的文章的价值
