python使用自定义user-agent抓取网页的方法
作者：令狐不聪 发布时间：2021-12-27 03:09:56
标签：python,user-agent,抓取网页
本文实例讲述了python使用自定义user-agent抓取网页的方法。分享给大家供大家参考。具体如下：
下面python代码通过urllib2抓取指定的url的内容，并且使用自定义的user-agent，可防止网站屏蔽采集器
import urllib2
req = urllib2.Request('http://192.168.1.2/')
req.add_header('User-agent', 'Mozilla 5.10')
res = urllib2.urlopen(req)
html = res.read()
希望本文所述对大家的Python程序设计有所帮助。
0
投稿猜你喜欢
使用python去除文中的某个字符是非常麻烦的一件事，不同的环境可以用到多种方法，例如正则表达式，del语法，现在发布的是一个比较简单易行的- pandas可以将读取到的表格型数据（文件不一定要是表格）转成DataFrame类型的数据结构，然后我们可以通过操作DataFrame进行数
- 目录1 摘要2 概述2.1 什么是并行计算？2.2 为什么要并行计算？2.3 谁都在使用并行计算？科学界和工程界：工业界和商业界：全球应用：
- 一、Go语言实战——自定义集合Set在Go语言中有作为Hash Table实现的字典（Map）类型，但标准数据类型中并没有集合（Set）这种
- 本文实例讲述了Python3.6实现连接mysql或mariadb的方法。分享给大家供大家参考，具体如下：python3.6的安装查看前面一
- 本文实例讲述了python开发之thread实现布朗运动的方法。分享给大家供大家参考，具体如下：这里我将给大家介绍有关python中thre
- 提起Apple，大部分人都会提起Apple的设计，除了Apple里拥有一批天才设计师外，还因为乔布斯对于设计有着苛刻的要求。所以在IT界，A
- 在Apache, PHP, MySQL的体系架构中，MySQL对于性能的影响最大，也是关键的核心部分。对于Discuz!论坛程序也是如此，M
- 前言Python中使用SSH需要用到OpenSSH，而OpenSSH依赖于paramiko模块，而paramiko模块又依赖于pycrypt
- python读取Excel表格文件，例如获取这个文件的数据python读取Excel表格文件，需要如下步骤：1、安装Excel读取数据的库-
- 开发环境 linux: python3.5.2 + ubuntu-gnome-16.04-desktop-amd64 w
- 本文实例为大家分享了js实现选项卡效果的具体代码，供大家参考，具体内容如下<!DOCTYPE html><html>
- 本文实例讲述了Android基于TCP和URL协议的网络编程。分享给大家供大家参考，具体如下：手机本身是作为手机终端使用的，因此它的计算能力
- PyTorch中实现卷积的重要基础函数1、nn.Conv2d:nn.Conv2d在pytorch中用于实现卷积。nn.Conv2d( &nb
- 如果你对长篇大论没有兴趣，也可以直接看看结果，或许你对结果感兴趣。在实际应用中经过存储、优化可以做到在超过9千万数据中的查询响应速度控制在1
- <?php$dsn = "mysql:host=localhost;dbname=group";$db = new
- 本文整理了一些MySQL的通用优化方法，做个简单的总结分享，旨在帮助那些没有专职MySQL DBA的企业做好基本的优化工作，至于具体的SQL
- 以前讲过利用phantomjs做爬虫抓网页 https://www.jb51.net/article/55789.htm 是配合选择器做的利
- django程序，需要写很多api，每个函数都需要几个装饰器，例如@csrf_exempt @require_POST
- 常用指令agent指令-bind=0.0.0.0 指定consul所在机器的ip地址-http-port 指定web接口服务端口-clien
