python3.4爬虫demo
作者：chenqiangdage 发布时间：2023-10-24 21:46:24
标签：python,爬虫
python 3.4 所写爬虫
仅仅是个demo，以百度图片首页图片为例。能跑出图片上的图片；
使用 eclipse pydev 编写：
from SpiderSimple.HtmLHelper import *
import imp
import sys
imp.reload(sys)
#sys.setdefaultencoding('utf-8')
html = getHtml('http://image.baidu.com/')
try:
getImage(html)
exit()
except Exception as e:
print(e)
HtmlHelper.py文件
上面的 SpiderSimple是自定义的包名
from urllib.request import urlopen,urlretrieve
#正则库
import re
#打开网页
def getHtml(url):
page = urlopen(url)
html = page.read()
return html
#用正则爬里面的图片地址
def getImage(Html):
try:
#reg = r'src="(.+?\.jpg)" class'
#image = re.compile(reg)
image = re.compile(r'<img[^>]*src[=\"\']+([^\"\']*)[\"\'][^>]*>', re.I)
Html = Html.decode('utf-8')
imaglist = re.findall(image,Html)
x =0
for imagurl in imaglist:
#将图片一个个下载到项目所在文件夹
urlretrieve(imagurl, '％s.jpg' ％ x)
x+=1
except Exception as e:
print(e)
要注意个大问题，python 默认编码的问题。
有可能报UnicodeDecodeError: 'ascii' codec can't decode byte 0x?? in position 1: ordinal not in range(128)，错误。这个要设置python的默认编码为utf-8.
设置最好的方式是写bat文件，
echo off
set PYTHONIOENCODING=utf8
python -u ％1
然后重启电脑。
来源：https://blog.csdn.net/chenqiangdage/article/details/51168231
0
投稿猜你喜欢
Python 提供了多个图形开发界面的库。Tkinter就是其中之一。 Tkinter 模块(Tk 接口)是 Python 的标准 Tk G- 最近想学习一些python数据分析的内容，就弄了个爬虫爬取了一些数据，并打算用Anaconda一套的工具（pandas, numpy, sc
- 本文实例讲述了Python正则替换字符串函数re.sub用法。分享给大家供大家参考，具体如下：python re.sub属于python正则
- 最近在一个项目中遇到一个查询页面，其中一个查询条件是根据选择的年份、月以及周数显示选择的该周从几号到几号，这样一个需求。在网上搜
- 较基础的SVM，后续会加上多分类以及高斯核，供大家参考。Talk is cheap, show me the codeimport tens
- 自己编写的用于对lineEdit编辑框输入的子网，例如：192.168.60.1/24字符串校验是否合规。# 限制lineEdit编辑框只能
- 一、概述机器学习算法在近几年大数据点燃的热火熏陶下已经变得被人所“熟知”，就算不懂得其中各算法理论，叫你喊上一两个著名算法的名字，你也能昂首
- 图像的阈值处理一般使得图像的像素值更单一、图像更简单。阈值可以分为全局性质的阈值，也可以分为局部性质的阈值，可以是单阈值的也可以是多阈值的。
- 一、前言图像拼接技术就是将数张有重叠部分的图像(可能是不同时间、不同视角或者不同传感器获得的)拼成一幅无缝的全景图或高分辨率图像的技术。二、
- 前言python参数类型和参数传递形式多样，相对于其他语言python使用会更加灵活。它传参形式一般分为两种：位置传参，关键字传参。传参形式
- pygame对键盘的连续监听，供大家参考，具体内容如下大家请看下面这一段代码：for event in pygame.event.get()
- 一：绑定方法：其特点是调用方本身自动作为第一个参数传入1.绑定到对象的方法：调用方是一个对象，该对象自动传入2.方法绑定到类：调用方是类，类
- 本文实例讲述了Python实现的旋转数组功能算法。分享给大家供大家参考，具体如下：一、题目给定一个数组，将数组中的元素向右移动 k 个位置，
- 简介此样式基于bootstrap-3.3.0,样式文件里的源码行数都是指的这个版本.CSS源文件放到了Content文件夹下的bootstr
- GitHub : https://github.com/jayknoxqu/id-number-util身份组成方式中华人民共和国国家标准G
- 前言本文提供将视频按照自定义尺寸进行裁剪的工具方法，一如既往的实用主义。环境依赖ffmpeg环境安装，可以参考文章：windows ffmp
- 我就废话不多说了，直接上代码吧！import turtleturtle.pensize(5)turtle.pencolor("ye
- 这篇博客将介绍如何使用Python，OpenCV对图像进行平移转换。平移是图像沿x轴和y轴的移动。使用平移，可以将图像上下左右移动，以及上述
- 使用php就不一样了,php包含了zlib的链接库,可以直接使用其相关功能,下面是我写的压缩和结压缩swf文件的例子: //没有加入判断sw
- 本文实例讲述了python读写配置文件操作。分享给大家供大家参考，具体如下：在用编译型语言写程序的时候，很多时候用到配置文件，作为一个约定的
