Python 爬虫爬取指定博客的所有文章
作者:mdxy-dxy 发布时间:2021-09-10 04:44:51
自上一篇文章 Z Story : Using Django with GAE Python 后台抓取多个网站的页面全文 后,大体的进度如下:
1.增加了Cron: 用来告诉程序每隔30分钟 让一个task 醒来, 跑到指定的那几个博客上去爬取最新的更新
2.用google 的 Datastore 来存贮每次爬虫爬下来的内容。。只存贮新的内容。。
就像上次说的那样,这样以来 性能有了大幅度的提高: 原来的每次请求后, 爬虫才被唤醒 所以要花大约17秒的时间才能从后台输出到前台而现在只需要2秒不到
3.对爬虫进行了优化
1. Cron.yaml 来安排每个程序醒来的时间
经过翻文档, 问问题终于弄明白google的cron的工作原理--实际上只是google每隔指定的时间虚拟地访问一个我们自己指定的url…
因此在Django 下, 根本不需要写一个纯的python 程序 一定不要写:
if __name__=="__main__":
只需要自己配置一个url 放在views.py里:
def updatePostsDB(request):
#deleteAll()
SiteInfos=[]
SiteInfo={}
SiteInfo['PostSite']="L2ZStory"
SiteInfo['feedurl']="feed://l2zstory.wordpress.com/feed/"
SiteInfo['blog_type']="wordpress"
SiteInfos.append(SiteInfo)
SiteInfo={}
SiteInfo['PostSite']="YukiLife"
SiteInfo['feedurl']="feed://blog.sina.com.cn/rss/1583902832.xml"
SiteInfo['blog_type']="sina"
SiteInfos.append(SiteInfo)
SiteInfo={}
SiteInfo['PostSite']="ZLife"
SiteInfo['feedurl']="feed://ireallife.wordpress.com/feed/"
SiteInfo['blog_type']="wordpress"
SiteInfos.append(SiteInfo)
SiteInfo={}
SiteInfo['PostSite']="ZLife_Sina"
SiteInfo['feedurl']="feed://blog.sina.com.cn/rss/1650910587.xml"
SiteInfo['blog_type']="sina"
SiteInfos.append(SiteInfo)
try:
for site in SiteInfos:
feedurl=site['feedurl']
blog_type=site['blog_type']
PostSite=site['PostSite']
PostInfos=getPostInfosFromWeb(feedurl,blog_type)
recordToDB(PostSite,PostInfos)
Msg="Cron Job Done..."
except Exception,e:
Msg=str(e)
return HttpResponse(Msg)
cron.yaml 要放在跟app.yaml同一个级别上:
cron:
- description: retrieve newest posts
url: /task_updatePosts/
schedule: every 30 minutes
在url.py 里只要指向这个把task_updatePostsDB 指向url就好了
调试这个cron的过程可以用惨烈来形容。。。在stackoverflow上有很多很多人在问为什么自己的cron不能工作。。。我一开始也是满头是汗,找不着头脑。。。最后侥幸弄好了,大体步骤也是空泛的很。。但是很朴实:
首先,一定要确保自己的程序没有什么syntax error….然后可以自己试着手动访问一下那个url 如果cron 正常的话,这个时候任务应该已经被执行了 最后实在不行的话多看看log…
2. Datastore的配置和利用--Using Datastore with Django
我的需求在这里很简单--没有join…所以我就直接用了最简陋的django-helper..
这个models.py 是个重点:
from appengine_django.models import BaseModel
from google.appengine.ext import db
classPostsDB(BaseModel):
link=db.LinkProperty()
title=db.StringProperty()
author=db.StringProperty()
date=db.DateTimeProperty()
description=db.TextProperty()
postSite=db.StringProperty()
前两行是重点中的重点。。。。我一开始天真没写第二行。。。结果我花了2个多小时都没明白是怎么回事。。得不偿失。。。
读写的时候, 千万别忘了。。。PostDB.put()
一开始的时候,我为了省事,就直接每次cron被唤醒, 就删除全部的数据, 然后重新写入新爬下来的数据。。。
结果。。。一天过后。。。有4万条读写纪录。。。。而每天免费的只有5万条。。。。
所以就改为在插入之前先看看有没有更新, 有的话就写,没的话就不写。。总算把数据库这部分搞好了。。。
3.爬虫的改进:
一开始的时候,爬虫只是去爬feed里给的文章。。这样一来,如果一个博客有24*30篇文章的话。。。最多只能拿到10篇。。。。
这次,改进版能爬所有的文章。。我分别拿孤独川陵, 韩寒, Yuki和Z的博客做的试验。。成功的很。。。其中孤独川陵那里有720+篇文章。。。无遗漏掉的被爬下来了。。
import urllib
#from BeautifulSoup import BeautifulSoup
from pyquery import PyQuery as pq
def getArticleList(url):
lstArticles=[]
url_prefix=url[:-6]
Cnt=1
response=urllib.urlopen(url)
html=response.read()
d=pq(html)
try:
pageCnt=d("ul.SG_pages").find('span')
pageCnt=int(d(pageCnt).text()[1:-1])
except:
pageCnt=1
for i in range(1,pageCnt+1):
url=url_prefix+str(i)+".html"
#print url
response=urllib.urlopen(url)
html=response.read()
d=pq(html)
title_spans=d(".atc_title").find('a')
date_spans=d('.atc_tm')
for j in range(0,len(title_spans)):
titleObj=title_spans[j]
dateObj=date_spans[j]
article={}
article['link']= d(titleObj).attr('href')
article['title']= d(titleObj).text()
article['date']=d(dateObj).text()
article['desc']=getPageContent(article['link'])
lstArticles.append(article)
return lstArticles
def getPageContent(url):
#get Page Content
response=urllib.urlopen(url)
html=response.read()
d=pq(html)
pageContent=d("div.articalContent").text()
#print pageContent
return pageContent
def main():
url='http://blog.sina.com.cn/s/articlelist_1191258123_0_1.html'#Han Han
url="http://blog.sina.com.cn/s/articlelist_1225833283_0_1.html"#Gu Du Chuan Ling
url="http://blog.sina.com.cn/s/articlelist_1650910587_0_1.html"#Feng
url="http://blog.sina.com.cn/s/articlelist_1583902832_0_1.html"#Yuki
lstArticles=getArticleList(url)
for article in lstArticles:
f=open("blogs/"+article['date']+"_"+article['title']+".txt",'w')
f.write(article['desc'].encode('utf-8')) #特别注意对中文的处理
f.close()
#print article['desc']
if __name__=='__main__':
main()
对PyQuery的推荐。。
很遗憾的说, BueautifulSoup让我深深的失望了。。。在我写上篇文章的时候,当时有个小bug..一直找不到原因。。在我回家后,又搭上了很多时间试图去弄明白为什么BueautifulSoup一直不能抓到我想要的内容。。。后来大体看了看它selector部分的源代码觉得应该是它对于很多还有<script>tag的不规范html页面的解析不准确。。。
我放弃了这个库, 又试了lxml..基于xpath 很好用。。但是xpath的东西我老是需要查文档。。。所以我又找了个库PyQuery…可以用jQuery选择器的工具。。。非常非常非常好用。。。。具体的用法就看上面吧。。。这个库有前途。。。
隐忧
因为pyquery基于lxml…而lxml的底层又是c…所以估计在gae上用不了。。。我这个爬虫只能现在在我的电脑上爬好东西。。。然后push到server上。。。
总结
一句话, 我爱死Python了
两句话, 我爱死Python了,我爱死Django了
三句话, 我爱死Python了,我爱死Django了,我爱死jQuery了。。。
四句号, 我爱死Python了,我爱死Django了,我爱死jQuery了,我爱死pyQuery了。。。
猜你喜欢
- mysql5.x升级至mysql5.7后导入之前数据库date出错的解决方法如下所示:修改mysql5.7的配置文件即可解决,方法如下:li
- 上期我们介绍了函数式编程,这期内容就是关于递归的函数内容,本期还是按照老规矩,给大家进行核心整理,内容通俗易懂,搭配实际应用,以供大家理解。
- request请求头信息的键会加上HTTP_转换成大写存到request.META中因此你只需要content_range = reques
- 目录1.程序入口2.__name__是什么?场景1:直接运行脚本场景2:从其他脚本导入3.__name__可以显示包路径5.测试模块里函数关
- Python中除了字典,列表,元组还有一个非常好用的数据结构,那就是set了,灵活的运用set可以减去不少的操作(虽然set可以用列表代替)
- 在oracle中创建一个函数,本来是想返回一个index table的,没有成功。想到文本也可以传输信息,就突然来了灵感,把返回值设置文本格
- 使用shell调用一个python文件,并向shell中传入参数,举例如下:p1='wang'p2='shuang&
- 用v-model绑定单选框能带来很多便捷的开发体验。基础用法<template> <div id="app&qu
- 代码如下: function astro(birth) astro="" if birth=""
- Python 很强大其原因就是因为它庞大的三方库 , 资源是非常的丰富 , 当然也不会缺少关于音频的库关于音频, PyAudio 这个库,
- 前端时间写了一篇《利用CSS框架进行高效率的站点开发》,有不少朋友问我相关的问题。很早5key就在公司进行CSS框架的架构,也对不少朋友提出
- 在一个Web App中,所有数据,包括用户信息、发布的日志、评论等,都存储在数据库中。在awesome-python-app中,我们选择My
- 前提示时间一个博友,建议我提供PHP开发环境的搭建文章。当然我们一般在windows平台下开发的居多,那么,今天我就在Windows平台下搭
- Centos6.5在线安装mysql 8.0的顺序如下,希望大家可以顺利进行安装。Mysql卸载从下往上顺序 [root@localhost
- 前言做一个简单的日志数据库功能不需要特别繁琐主要就是记录普通日志和错误日志(INFO,ERROR)用数据库作为日志有好处也有坏处相比于文本来
- 链接字典chainMap是逻辑上合并两个字典为一个逻辑单元,合并后的结构实际上是一个列表,只是逻辑上是仍然为一个字典(并未生成新的),对此列
- E盘根目录新建一个Excel文件aa.xls后测试如下代码use tempdb go if (object_id ('udf_get
- 一、Node.js实现代码var http = require('http');var util = require(
- 在代码中添加以下两行可以解决:torch.backends.cudnn.enabled = Truetorch.backends.cudnn
- 一、文本文件文本文件,主要包括csv和txt两种等,相应接口为read_csv()和to_csv(),分别用于读写数据1. read_csv