使用php判断网页是否gzip压缩
发布时间：2024-06-05 09:47:41
标签：php,gzip,压缩
昨天晚上群里有朋友采集网页时发现file_get_contents 获得的网页保存到本地为乱码,响应的header 里 Content-Encoding:gzip
但在浏览器里看是正常的。
因为我有过相关经验马上发现是网站开启了gzip而file_get_contents 获得的是压缩过的页面，而不是解压过的页面（不知道是不是要file_get_conttents 请求网页时带上相应的参数，直接获得没有被gzip压缩过的网页？）
刚好我前不久刚看到可以用读取文件的前2个字节判断文件类型。群里面的朋友也说gzip压缩过的网页(gbk编码)前2字节是 1F 8B 于是就可以判断网页是否gzip压缩过。
代码如下：
//米尔军事网采用 gzip压缩网页
//file_get_contents 直接获得的网页是乱码。
header('Content-Type:text/html;charset=utf-8' );
$url = 'http://www.miercn.com';
$file = fopen($url, "rb");
//只读2字节 如果为(16进制)1f 8b (10进制)31 139则开启了gzip ;
$bin = fread($file, 2);
fclose($file);
$strInfo = @unpack("C2chars", $bin);
$typeCode = intval($strInfo['chars1'].$strInfo['chars2']);
$isGzip = 0;
switch ($typeCode)
{
case 31139:
//网站开启了gzip
$isGzip = 1;
break;
default:
$isGzip = 0;
}
$url = $isGzip ? "compress.zlib://".$url:$url; // 三元表达式
$mierHtml = file_get_contents($url); //获得米尔军事网数据
$mierHtml = iconv("gbk","utf-8",$mierHtml);
echo $mierHtml;
0
投稿猜你喜欢
对象存储（Cloud Object Storage，COS）是一种存储海量文件的分布式存储服务，具有高扩展性、低成本、可靠安全等优点。对象存- 一.图像掩膜直方图如果要统计图像的某一部分直方图，就需要使用掩码（蒙板）来进行计算。假设将要统计的部分设置为白色，其余部分设置为黑色，然后使
- 在文章《用CSS实现柱状图（Bar Graph）的方法总结与比较（三）》中我强调说不同浏览器对于相同元素的默认样式并不一致，这也是为什么我们
- 列表是什么列表是元素的集合，存储在一个变量中。列表中存储的元素类型没有限制,根据需要动态分配和回收内存列表中的每个元素都会分配一个数字用来表
- 除了常用的csv文件和excel文件之外，我们还可以通过PY把数据保存文npy文件格式和mat文件格式。1. npy文件npy即numpy对
- 本篇文章博主将带大家一起学习MySQL中常用的数据查询语言。DQL(Data Query Language 数据查询语言)SELECT 语法
- 主要利用了XMLHTTP的一些方法和属性来获取服务器的信息。 以下是全部源代码： &
- 在输入框里面预设一段提示文字，当焦点在输入框的时候清空这段文字，这在目前来说已经不是什么新鲜事了。淘宝的搜索框就用到了这样一种设计：这种设计
- 基础类似于自定义指令，可以用全局方法 Vue.filter() 注册一个自定义过滤器，它接收两个参数：过滤器 ID 和过滤器函数。过滤器函数
- 本文实例为大家分享了readAsDataUrl方法预览图片的具体代码，供大家参考，具体内容如下<html> <head&
- 在并不知道DIV浮动层的宽度，高度的情况下，如何使浮动层在任何分辩率的情况下居中呢！ 下面使用了JAVASCRIPT来
- 一般情况下，当数据表中，莫一列被设置成了标识列之后，是无法向标识列中手动的去插入标识列的显示值。但是，可以通过设置SET IDENTITY_
- 1.Vuex是什么？学院派：Vuex 是一个专为 Vue.js 应用程序开发的状态管理模式；集中存储和管理应用的所有组件状态。理解：以上这4
- 1、什么是数据库连接池就是一个容器持有多个数据库连接，当程序需要操作数据库的时候直接从池中取出连接，使用完之后再还回去，和线程池一个道理。2
- 最初打算使用scroll-view实现，效果好、流畅、有惯性滑动，但由于滚动条没法去掉、无法实现上下层的帧布局，最终放弃了。还是自己写个吧，
- 需求场景，五百个文件里面，选取50个指定文件，放入新的文件夹里。1、准备工作1 安装python环境可能会报错，并且pip install
- 你是否知道JavaScript其实也是一个函数式编程语言呢？本指南将教你如何利用JavaScript的函数式特性。要求：你应当已经对Java
- 首先要用designer设计ui界面打开后就和c#一样拖动控件做ui界面保存后是xxx.ui文件再添加个工具Arguments：-m PyQ
- 废话不多说了，直接给大家贴代码了，具体代码如下所示：-- 开窗函数：在结果集的基础上进一步处理(聚合操作)-- Over函数,添加一个字段显
- python怎么查看数据类型?第一步我们首先需要知道在python中查看变量数据类型是使用type()函数，type函数的用法如下图所示：第
