python3.7简单的爬虫实例详解
作者：pascal1000 发布时间：2023-06-30 15:55:13
标签：python,3.7,爬虫
python3.7简单的爬虫，具体代码如下所示：
#https://www.runoob.com/w3cnote/python-spider-intro.html
#Python 爬虫介绍
import urllib.parse
import urllib.request
from http import cookiejar
url = "http://www.baidu.com"
response1 = urllib.request.urlopen(url)
print("第一种方法")
#获取状态码，200表示成功
print(response1.getcode())
#获取网页内容的长度
print(str(response1.read()))
print(len(response1.read()))
print("第二种方法")
request = urllib.request.Request(url)
#模拟Mozilla浏览器进行爬虫
request.add_header("user-agent","Mozilla/5.0")
response2 = urllib.request.urlopen(request)
print(response2.getcode())
print(len(response2.read()))
print("第三种方法")
cookie = cookiejar.CookieJar()
#加入urllib2处理cookie的能力#
opener = urllib.request.build_opener(urllib.request.HTTPCookieProcessor(cookie))
urllib.request.install_opener(opener)
response3 = urllib.request.urlopen(url)
print(response3.getcode())
print(len(response3.read()))
print(cookie)
code： https://github.com/pascal19821003/python
path： python/study/tutorial/pachong/1.py
总结
以上所述是小编给大家介绍的python3.7简单的爬虫实例详解,网站的支持！
如果你觉得本文对你有帮助，欢迎转载，烦请注明出处，谢谢！
来源：https://www.cnblogs.com/pascal1000/p/10849621.html
0
投稿猜你喜欢
- 问题:因为有的友情连接的网站关闭或者网络连接较慢导致连接的LOGO图片显示不出来或者显示很慢.在IE下面老是提示剩下几项没打开,看起来很不舒
由于新云CMS系统，网站底部“版权信息”字段在数据库中是“文本”类型，有250个字符的限制。想在这里给加网站统计代码，因为字数限制的原因，就- 首先要兼容IE\FF滴然后有一个环境与条件：必须是使用em单位布局。因为这个是利用字号做缩放效果，并且兼容fontSize各项单位，例如px
- 今天发现sympy依赖的库mpmath里也有很多数学函数，其中也有在复平面绘制二维图的函数cplot，具体例子如下from mpmath i
- Protocol Buffers （类似XML的一种数据描述语言）最新版本2.3里，protoc—py_out命令只生成原生的P
- 代码如下:'************************************ '截取文字长度函数，支持UT
- 本文实例讲述了php+js实现的无刷新下载文件功能。分享给大家供大家参考，具体如下：服务器端页面步骤就是，设置头文件参数，然后读入并输出文件
- 原来的程序是使用sqlite这个嵌入式数据库作为Remit(code name)的数据源的,因为NHibernate支持这个,然而有一点不好
- 正常使用了go 1.8一段时间没有发现异常，为了发布便捷，以及后期引入plug-in，开始将大项目分解。涉及到通过vendor引入私有库保存
- 开放源代码社区为了扩展MySQL的使用范围，开发出了.Net框架(.NET Framework)中可以使用的数据库连接器。我们就来学习一下如
- 下拉框连动JavaScript代码，市区二级联动多级联动下拉选择框，动态获取下一级琥珀无限级联动菜单-JavaScript版 <htm
- 一、yield使用简析yield是一个生成器generator，返回一个interable对象。该对象具有next()方法，可以通过next
- 本文实例讲述了PHP实现的简单排列组合算法应用。分享给大家供大家参考，具体如下：一、问题：给你一个40斤的西瓜，给3个人分，有多少种分法？二
- new fun的执行过程分析，学习面向对象的朋友可以参考下。（1）创建一个新的对象，并让this指针指向它；（2）将函数的prototype
- <?php function BigEndian2Int($byte_word, $signed = false) { $int_va
- 用js限制网页只在微信浏览器中打开js代码一$(function(){//判断页面是否是在微信浏览器打开//对浏览器的UserAgent进行
- 如下所示：try:a=1except Exception as e: print (e)import tracebackimport sys
- PHP join() 函数实例把数组元素组合为一个字符串：<?php $arr = array('Hello',
- 这是一款简单，方便，功能齐全的分页类，可以根据自己的需要更改CSS样式文件以实现分页颜色的控制，利用p
- Java Java 是由 Sun 公司开发而成的一种编程语言，利用 Jave 写成的小程序叫做 Java
