python3.7简单的爬虫实例详解
作者：pascal1000 发布时间：2023-06-30 15:55:13
标签：python,3.7,爬虫
python3.7简单的爬虫，具体代码如下所示：
#https://www.runoob.com/w3cnote/python-spider-intro.html
#Python 爬虫介绍
import urllib.parse
import urllib.request
from http import cookiejar
url = "http://www.baidu.com"
response1 = urllib.request.urlopen(url)
print("第一种方法")
#获取状态码，200表示成功
print(response1.getcode())
#获取网页内容的长度
print(str(response1.read()))
print(len(response1.read()))
print("第二种方法")
request = urllib.request.Request(url)
#模拟Mozilla浏览器进行爬虫
request.add_header("user-agent","Mozilla/5.0")
response2 = urllib.request.urlopen(request)
print(response2.getcode())
print(len(response2.read()))
print("第三种方法")
cookie = cookiejar.CookieJar()
#加入urllib2处理cookie的能力#
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cookie))
urllib.request.install_opener(opener)
response3 = urllib.request.urlopen(url)
print(response3.getcode())
print(len(response3.read()))
print(cookie)
code： https://github.com/pascal19821003/python
path： python/study/tutorial/pachong/1.py
总结
以上所述是小编给大家介绍的python3.7简单的爬虫实例详解,网站的支持！
如果你觉得本文对你有帮助，欢迎转载，烦请注明出处，谢谢！
来源：https://www.cnblogs.com/pascal1000/p/10849621.html
0
投稿猜你喜欢
mmdetection简介 目标检测工具箱mmdetection是香- 有时候在一个页面用到收放功能的时候时，总有一个虚线框在触发收放的功能按钮上，显得特别刺眼，那如何去除这个虚线框呢？在IE下，需要在标签 a
- 往往我们在建立一个较为大型的网站的时候会有很多的副页面框架模式甚至一些小的细节元素都是相同的,但是令人困扰的是在更新它们时却要费些周折，要一
- 前言默认情况下SQL SERVER的安装路径与数据库的默认存放路径是在C盘的--这就很尴尬。平时又不注意，有天发现C盘的剩余空间比较吃紧了，
- python修改FTP服务器上的文件名，具体代码如下所示：#-*- coding:utf-8 -*-#修改ftp服务器上的文件名from f
- 大多数程序都旨在解决最终用户的问题，为此，需要从用户那里获取一些信息。函数input()让程序暂停运行，等待用户输入一些文本。例如：name
- 目录1.Python 变量的概述：2.Python 变量的命名3.Python 变量赋值3.1 Python 变量赋值概述3.2 Pytho
- 目录一、v-bind关键源码分析1、v-bind化的属性统一存储在哪里：attrsMap与attrsList2、解析HTML，解析出属性集合
- 不知不觉，玩爬虫玩了一个多月了。我愈发觉得，爬虫其实并不是什么特别高深的技术，它的价值不在于你使用了什么特别牛的框架，用了多么了不起的技术，
- 一、用户管理在mysql库里有个user表可以查看已经创建的用户1.创建MySQL用户注意：MySQL中不能单纯通过用户名来说明用户，必须要
- reduce总的来说用的不多，但最近看一些文章上的reduce的用法真的是骚气，其实reduce跟常用的map，forEach一样，也是用于
- 项目有时要用一些Ajax的效果，因为比较简单，也就没有去用什么Ajax.net之类的东西，手写代码也就实现了。、第二天，有人反馈错误；说是只
- 刚在虚拟机里面安装了pycharm，配置（setting）完后，新建一个py文件，键入"hello world"，竟然没
- 方法一.Image { max-width:600px;height:
- 什么是索引 拿汉语字典的目录页（索引）打比方：正如汉语字典中的汉字按页存放一样，SQL Server中的数据记录也是按页存放的，每页容量一般
- pandas的DataFrame对象，本质上是二维矩阵，跟常规二维矩阵的差别在于前者额外指定了每一行和每一列的名称。这样内部数据抽取既可以用
- 每天急匆匆赶地铁上班的时候总会一不小心就会忘记打卡，尤其是软件打卡，那有没有什么办法可以解决忘打卡的问题呢？今天给大家推荐一下一款神器，利用
- 本文实例讲述了php基于curl实现随机ip地址抓取内容的方法。分享给大家供大家参考，具体如下：使用php curl 我们可以模仿用户行为，
- 有些时候（如开发聊天程序），我们需要将将滚动条（scrollbar）保持在最底部，比如聊天窗口，最新发出和收到的信息要显示在最下方，如果要看
- 前言最近在网上搜了许多关于pandas.DataFrame的操作说明，都是一些基础的操作，但是这些操作组合起来还是比较费时间去正确操作Dat
