Python实现周期性抓取网页内容的方法
作者：intergret 发布时间：2023-04-12 01:33:36
标签：Python,抓取,网页
本文实例讲述了Python实现周期性抓取网页内容的方法。分享给大家供大家参考，具体如下：
1.使用sched模块可以周期性地执行指定函数
2.在周期性执行指定函数中抓取指定网页，并解析出想要的网页内容，代码中是六维论坛的在线人数
论坛在线人数统计代码：
#coding=utf-8
import time,sched,os,urllib2,re,string
#初始化sched模块的scheduler类
#第一个参数是一个可以返回时间戳的函数，第二个参数可以在定时未到达之前阻塞。
s = sched.scheduler(time.time,time.sleep)
#被周期性调度触发的函数
def event_func():
req = urllib2.Request('http://bt.neu6.edu.cn/')
response = urllib2.urlopen(req)
rawdata = response.read()
response.close()
usernump = re.compile(r'总计 <em>.*?</em> 人在线')
usernummatch = usernump.findall(rawdata)
if usernummatch:
currentnum=usernummatch[0]
currentnum=currentnum[string.index(currentnum,'>')+1:string.rindex(currentnum,'<')]
print "Current Time:",time.strftime('％Y,％m,％d,％H,％M',time.localtime(time.time())),'User num:',currentnum
# 保存结果，供图表工具amcharts使用
result=open('liuvUserNUm','a')
result.write('{year: new Date('+time.strftime('％Y,％m,％d,％H,％M',time.localtime(time.time()))+'),value:'+currentnum+'},\n')
result.close()
#enter四个参数分别为：间隔事件、优先级（用于同时间到达的两个事件同时执行时定序）、被调用触发的函数，给他的参数（注意：一定要以tuple给如，如果只有一个参数就(xx,)）
def perform(inc):
s.enter(inc,0,perform,(inc,))
event_func()
def mymain(inc=900):
s.enter(0,0,perform,(inc,))
s.run()
if __name__ == "__main__":
mymain()
希望本文所述对大家Python程序设计有所帮助。
0
投稿猜你喜欢
- 处理excel表格的时候经常遇到合并单元格的情况，使用xlrd中的merged_cells的方法可以获取当前文档中的所有合并单元格的位置信息
- 使用非常简单，小伙伴们只要修改对应的参数即可，这里就不多废话了，直接奉上实例吧。<div class="txt1"
- 如下所示：import numpy as np三维数组arr1 = np.arange(16).reshape((2, 2, 4)) #[[
- 参数Parameters解析响应时间resolveTimeout 数据类型：长整型。简单地说就是程序对目标主机的名字解析解析的一个过程时间。
- 这些对文本的操作经常用到， 那我就总结一下。 陆续补充。。。操作：strip_html(cls, text) 去除html标签separat
- js获取日期函数//获取当前时间日期function CurentTime(){ var now = new Date(); &
- 在SQL Server中，当我们设置字符型字段的时候，往往有很多个数据类型供我们选择，如：char nchar varchar nvarch
本文实例讲述了Python框架Flask的基本数据库操作方法。分享给大家供大家参考，具体如下：数据库操作在web开发中扮演着一个很重要的角色- 我在传递数据的时候老是出错，请问如何处理？不管是什么数据库，一般来说，是它所包含引号的字符串带来的问题。假设我们使用名为“strDate”的
- 大型网站为了软解大量的并发访问，除了在网站实现分布式负载均衡，远远不够。到了数据业务层、数据访问层，如果还是传统的数据结构，或者只是单单靠一
- 通过当前排序字段获取相邻数据项1.业务场景（1）需要专门以一个弹窗页面展示一项数据的所有字段值.其中一些字段值长度较大。（2）能够左右切换上
- Matplotlib 制作Matplotlib 作为 Python 家族最为重要的可视化工具，其基本的 API 以及绘制流程还是需要掌握的。
- 前言在我们很多应用中会遇到有一种基于一系列时间的数据需要处理，通过时间的顺序可以将这些数据点连成线，再通过数据统计后可以做成多纬度的报表，也
- PyQt5布局控件QVBoxLayout简介采用QVBoxLayout类，按照从上到下的顺序添加控件本节内容较少，演示两个实例，便于明白QV
- 语言的内存管理是语言设计的一个重要方面。它是决定语言性能的重要因素。无论是C语言的手工管理，还是Java的垃圾回收，都成为语言最重要的特征。
- 基于 Snapchat 的增强现实胡子挂件融合第一个项目中，我们将在检测到的脸上覆盖了一个小胡子。我们可以使用从摄像头捕获的连续视频帧，也可
- 关于php的引用（就是在变量或者函数、对象等前面加上&符号）的作用，我们先看下面这个程序。<?php
- mysql> select 'name',id from table_b; //'name' 不在ta
- 一、什么是执行计划（explain plan） 执行计划：一条查询语句在ORACLE中的执行过程或访问路径的描述。 二、如何查看执行计划 1
- 引言在 Golang 中，将 URL 打包用于从服务器获取数据非常重要。只需了解您是否正在处理任何应用程序并且您想从任何外部位置或服务器获取
