python网络爬虫学习笔记（1）
作者：赖权华 发布时间：2023-12-24 04:08:16
标签：python,爬虫,网络爬虫
本文实例为大家分享了python网络爬虫的笔记，供大家参考，具体内容如下
（一） 三种网页抓取方法
1、 正则表达式：
模块使用C语言编写，速度快，但是很脆弱，可能网页更新后就不能用了。
2、Beautiful Soup
模块使用Python编写，速度慢。
安装：
pip install beautifulsoup4
3、 Lxml
模块使用C语言编写，即快速又健壮，通常应该是最好的选择。
（二） Lxml安装
pip install lxml
如果使用lxml的css选择器，还要安装下面的模块
pip install cssselect
（三） 使用lxml示例
import urllib.request as re
import lxml.html
#下载网页并返回HTML
def download(url,user_agent='Socrates',num=2):
print('下载:'+url)
#设置用户代理
headers = {'user_agent':user_agent}
request = re.Request(url,headers=headers)
try:
#下载网页
html = re.urlopen(request).read()
except re.URLError as e:
print('下载失败'+e.reason)
html=None
if num>0:
#遇到5XX错误时，递归调用自身重试下载，最多重复2次
if hasattr(e,'code') and 500<=e.code<600:
return download(url,num-1)
return html
html = download('https://tieba.baidu.com/p/5475267611')
#将HTML解析为统一的格式
tree = lxml.html.fromstring(html)
# img = tree.cssselect('img.BDE_Image')
#通过lxml的xpath获取src属性的值，返回一个列表
img = tree.xpath('//img[@class="BDE_Image"]/@src')
x= 0
#迭代列表img,将图片保存在当前目录下
for i in img:
re.urlretrieve(i,'％s.jpg'％x)
x += 1
来源：https://www.cnblogs.com/simple-free/p/8757758.html
0
投稿猜你喜欢
- 类的特殊成员之call#!/usr/bin/env python# _*_coding:utf-8 _*_class SpecialMemb
- 前言博主学习python有个几年了，对于python的掌握越来越深，很多时候，希望自己能掌握python越来越多的知识，但是，也意识很多时候
- Python工程师面试必备25条Python知识点：1.到底什么是Python？你可以在回答中与其他技术进行对比下面是一些关键点：Pytho
- 如下所示：try:a=1except Exception as e: print (e)import tracebackimport sys
前言（结尾有彩蛋欧）目前，许多网站采取各种各样的措施来反爬虫，其中一个措施便是使用验证码。随着技术的发展，验证码的花样越来越多。验证码最初是- 一、基本类型和引用类型基本的数据类型有5个：undefined，boolean，number，string，nulltypeof null;
- 在给客户做个程序时,突然遇到个问题,就是产品页用户提交视频播放文件时,如何根据提交的网址内的视频格式进行正确的播放呢....郁闷了一会,想好
- 先来看一道题目：>>> def func(numbers=[], num=1):... numbers.append(nu
- 本文实例讲述了ES6 Promise对象的应用。分享给大家供大家参考，具体如下：The Promise object represents
- 在开发的时候，用户要求在认证的时候自动添加xadmin登录账户和分配组权限from django.contrib.auth.models i
- PDOStatement::bindColumnPDOStatement::bindColumn — 绑定一列到一个 PHP 变量(PHP
- 前言本文主要基于在Uber的Go monorepo中发现的各种数据竞争模式，分析了其背后的原因与分类，希望能够帮助更多的Go开发人员，去关注
- 很多网友在浏览网页时应该会发现很多网页有显示时间和日期的功能，这个不难，使用可视化网页制作软件Drea
- 通过购物车的一个案列，把vuex学习了一篇。vuex概念浅谈Vuex 是一个专为 Vue.js 应用程序开发的状态管理模式。它采用集中式存储
- 分享一个用正则表达式校验电话号码、身份证号、日期格式、URL、Email等等格式的工具类package com.eabax.util;imp
- 首先总结的意义就是让杂乱无章变得更加井然有序，这样在使用的过程思路会更加清晰。数组使用方法注意点：变异方法和非变异方法。即变异方法使用会改变
- 随着网络技术的不断发展，网络应用已经渗透到人类社会的各个角落。作为网络世界的支撑点的网站，更是人们关注的热点：政府利用网站宣传自己的施政纲领
- 一、SeabornSeaborn 建于 matplotlib 库的之上。它有许多内置函数，使用这些函数，只需简单的代码行就可以创建漂亮的绘图
- 在写django项目的时候，有的数据没有使用模型管理（数据表是动态添加的），所以要直接使用mysql。前端请求数据的时候可能会指定这几个参数
- torch.argmax()函数解析1. 官网链接torch.argmax()，如下图所示：2. torch.argmax(input)函数
