python使用自定义user-agent抓取网页的方法
作者：令狐不聪 发布时间：2021-12-27 03:09:56
标签：python,user-agent,抓取网页
本文实例讲述了python使用自定义user-agent抓取网页的方法。分享给大家供大家参考。具体如下：
下面python代码通过urllib2抓取指定的url的内容，并且使用自定义的user-agent，可防止网站屏蔽采集器
import urllib2
req = urllib2.Request('http://192.168.1.2/')
req.add_header('User-agent', 'Mozilla 5.10')
res = urllib2.urlopen(req)
html = res.read()
希望本文所述对大家的Python程序设计有所帮助。
0
投稿猜你喜欢
- SQL Server 的扩展存储过程，其实就是一个普通的 Windows DLL,只不过按照某种规则实现了某些函数而已。近日在写一个扩展存储
- DataFrame对象的创建，修改，合并import pandas as pdimport numpy as np创建DataFrame对象
异常的参数一个异常可以带上参数，可作为输出的异常信息参数。你可以通过except语句来捕获异常的参数，如下所示：变量接收的异常值通常包含在异- asp 中处理文件上传以及删除时常用的自定义函数：删除文件,建立目录的程序,根据原文件名生成新的随机文件名,CMS替换函数,将所有开始，结束
- 本文实例讲述了python用来获得图片exif信息的库用法。分享给大家供大家参考。具体分析如下：exif-py是一个纯python实现的获取
- 最近收到一个朋友委托的需求，要将MP3的音频格式转换成wav的音频格式。于是，使用python写了这个小工具便于批量进行转换操作。首先，下载
- 今天继续给大家介绍Python相关知识，本文主要内容是Python asyncio异步编程常见问题。一、asyncio编程简单示例首先，我们
- 注:所有文字,除注明网站类型外,其他均针对企业站点.请随时注意留言,若修改则会在首页提示文字里标注.若牵扯到业务方面的问题,我可能不会做过多
- 代码如下: <％ dim fso,objFolder,objFiles dim filelist Set fso=Server.Cre
- Django 中自带了 sitemap框架，用来生成 xml 文件Sitemap(站点地图)是通知搜索引擎页面的地址，页面的重要性，帮助站点
- 问一下谁知道如何用 javascript 获取硬盘信息1.获得硬盘当前有几个盘符.2.每个盘符的 大小，已经使用的大小，和没有使用的大小原理
- laravel入门简介作为PHP最常用的框架之一，Laravel的框架目录布置得尤其清晰，适用于各种类型的项目开发。今天来记录下larave
- 这个问题对于规模稍微大些的项目而言，显得尤其重要了，数据库中如果有几百个存储过程， 难道还一个个找不成，即使自己很了解业务和系统，时间长了，
- from urllib.request import urlopen
- 用程序来求积分的方法有很多，这篇文章主要是有关牛顿-科特斯公式。学过插值算法的同学最容易想到的就是用插值函数代替被积分函数来求积分，但实际上
- 开发web应用程序是一件非常辛苦的事情，你需要花大把大把的时间来做无数的事情。假如你不运用有条理的方法，尤其是在复杂的项目中，你会承受忽视项
- 计算机一般来说是需要定期的清理，系统的内存不能无限延伸，同时有一些不需要的文件也可以得以清除掉。有些人会使用os.remove来进行文件的清
- JavaScript 读取、删除 Cookie 的函数* * WebFXCookie class */ fun
- 一、requests库requests是使用Apache2 licensed 许可证的HTTP库。比urllib模块更简洁。Request支
- 目前市面上成熟的CMS产品有很多，无外乎两种解决方案：第一种就是用XSL+XML的方式来实现客户端具体数据；第二种是生成HTML或者SHTM
