Python使用正则表达式获取网页中所需要的信息
作者:帘外雨潺潺 发布时间:2023-04-08 17:13:33
使用正则表达式的几个步骤:
1、用import re 导入正则表达式模块;
2、用re.compile()函数创建一个Regex对象;
3、用Regex对象的search()或findall()方法,传入想要查找的字符串,返回一个Match对象;
4、调用Match对象的group()方法,返回匹配到的字符串。
在交互式环境中简单尝试一下,查询字符串中的固话:
import re
text = '小明家的固话是0755-123456,而小丽家的固话时0789-654321,小王家的电话是123456789'#用于检测的字符串
ph_re = re.compile(r'\d{4}?-\d+') #创建Regex对象,匹配几种电话的方式,\d表示0-9的数字,{4}表示前面的匹配4次,?表示可选,+表示出现1次或多次。
matchs1 = ph_re.findall(text) #findall()表示查找所有匹配项,返回一个字符串
matchs2 = ph_re.search(text)#search(),查找第一次匹配的文本,返回一个对象。
print(matchs1)
print(matchs2)
matchs2.group()
返回的结果,是这样的:
findall()方法返回的是一个字符串,可以直接打印出来。而search()方法返回的是一个对象,所以打印出来的是是如图的第二行。
调用group(),对象返回匹配的结果。
最后,小王的电话之所以没有匹配到,是因为'-'没有进行可选即在其后加上‘?'。
下面进行一个小的实验,获取某个网页中所有的http/https网址,并计算有多少个。
首先是获取HTML文件。这里要用到requests模块。
# -*- coding: utf-8 -*-
import requests
import re
def get_html(url):
res = requests.get(url)
res.encoding = 'utf-8'
html = res.text
return html
这里get_html函数返回的,其实就类似上面例子中的text,用来匹配的文本。
然后,创建正则表达式:
def get_addr(response):
addr_regex = re.compile(r'''(
(http://|https://)?#http/https
(www)?
(\.[a-z1-9A-Z]+)
(\.com|\.cn)
)''',re.VERBOSE)#匹配网址,
matchs = []
for groups in addr_regex.findall(response):
matchs.append(groups[0])
if len(matchs) == 0:
print('没有网址')
return matchs
这里向re.compile(),传入变量re.VERBOSE,作为第二个参数,可以将正则表达式放在多行,并进行注释,如上。
返回一个matchs列表对象。
再来个启动函数。
def start():
url = 'http://news.163.com/18/0127/18/D966K4CO0001899N.html'
a = get_html(url)
b = get_addr(a)
print('\n'.join(b))
print(str(len(b)))
print('ok')
if __name__ == '__main__':
start()
这里传入的url是我随意找的一个新闻链接。
然后调用get_html()
和get_addr(),
就得到了想要的东西。str(len(b))
,为统计的数量。
测试的结果是类似这样的:
这里似乎获取一些URL,没什么卵用。。。但是,如果结合前面的查询新闻列表的方式,获取批量url,
而创建的正则是xxx.jpg,然后调用os模块,os.mkdir(folder)、os.chdir(folder),将获取到的匹配结果写入文件,放入某个文件夹。
那么就可以实现,从某些网站上批量获取jpg图片,然后存入某个文件夹的爬虫功能。实测,可行!
总结
以上所述是小编给大家介绍的Python使用正则获取网页中所需要的信息网站的支持!
来源:http://www.cnblogs.com/fqxtony/p/8373511.html
猜你喜欢
- 函数名:chk_Email()'返回值:布尔值(True为通过,False为未通过)'参数:email(需要判断的email
- 学习目的: 掌握文本框的用法 初次接触try…catch…语法 今天内容很轻松,用一个例子,输入年月日,判断输入是否正确 图片如下: 用个
- 1. 什么是存储过程?存储过程是SQL server所提供的Tran
- MySQL目前不支持列的Default 为函数的形式,如达到你某列的默认值为当前更新日期与时间的功能,你可以使用TIMESTAMP列类型下面
- 可以不依靠DSN,但又可以在数据库连接字符串中指定驱动程序、服务器名字、数据库、数据库账号和密码吗?可以。在SQL Server 7,使用这
- 下面开始构造HTTP数据包,IP层和TCP层使用python的Impacket库,http内容自行填写。#!/usr/bin/env pyt
- 1.collections模块collections模块自Python 2.4版本开始被引入,包含了dict、set、list、tuple以
- COOKIE函数库:cookie.inc.php3 <?php if (!isset($__cookie_inc__)){ $__co
- —— 八数码难题 ——1.题目描述八数码问题也称为九宫问题。在3×3的棋盘,摆有八个棋子,每个棋子上标有1至8的某一数字,不同棋子上标的数字
- 示例代码: BulkStockBll bll = new BulkStockBll(); DataSet ds = bll.GetBulkS
- #coding=utf-8#对话框import sysfrom PyQt4 import QtGui, QtCoreclass Window
- asp如何实现当前月份距离以前某个时间的月份数 如今天是2011年1月份,我想知道离2010年3月,计算这中间一共是几个月 最佳答案 <
- 在ASP输出页面只是调出数据库里内容展现给用户看没有使用SESSION等动态属性,是可以CACHE的,以加快访问速度具体操作方法如下:在as
- Div+CSS+JS组和能够实现很多好看的特殊的效果,这里推荐一款可刷新的下拉菜单:下面是js代码部分:<script type=te
- 组件:"Adodb.Stream" 有下列方法: Canc
- 当使用AJAX进行GET请求的时候,会有一个现象就是刷新网页后,AJAX请求的数据没有改变,只有把IE的缓存清空,或者从新打开一个IE窗口的
- 随着同时开发的项目越来越多,需要不停的在各个不同版本的 python 环境之间切换,所以想到了pyenv。以前一直使用的 vir
- 我就废话不多说了,直接上代码吧!import torchimport torch.nn.functional as Fimport nump
- 本文主要跟大家分享在类unix操作系统下supervisor的使用以及一些关于进程的知识一、问题背景1、背景如何才能让一个进程摆脱终端,获得
- 代码如下:CREATE PROCEDURE page @tblName varchar(255), -- 表名 @strGetF