如何使用python爬取知乎热榜Top50数据
作者:小狐狸梦想去童话镇 发布时间:2021-11-13 05:47:09
标签:python,爬取知乎,网络爬虫
1、导入第三方库
import urllib.request,urllib.error #请求网页
from bs4 import BeautifulSoup # 解析数据
import sqlite3 # 导入数据库
import re # 正则表达式
import time # 获取当前时间
2、程序的主函数
def main():
# 声明爬取网页
baseurl = "https://www.zhihu.com/hot"
# 爬取网页
datalist = getData(baseurl)
#保存数据
dbname = time.strftime("%Y-%m-%d", time.localtime()) #
dbpath = "zhihuTop50 " + dbname
saveData(datalist,dbpath)
3、正则表达式匹配数据
#正则表达式
findlink = re.compile(r'<a class="css-hi1lih" href="(.*?)" rel="external nofollow" rel="external nofollow" ') #问题链接
findid = re.compile(r'<div class="css-blkmyu">(.*?)</div>') #问题排名
findtitle = re.compile(r'<h1 class="css-3yucnr">(.*?)</h1>') #问题标题
findintroduce = re.compile(r'<div class="css-1o6sw4j">(.*?)</div>') #简要介绍
findscore = re.compile(r'<div class="css-1iqwfle">(.*?)</div>') #热门评分
findimg = re.compile(r'<img class="css-uw6cz9" src="(.*?)"/>') #文章配图
4、程序运行结果
5、程序源代码
import urllib.request,urllib.error
from bs4 import BeautifulSoup
import sqlite3
import re
import time
def main():
# 声明爬取网页
baseurl = "https://www.zhihu.com/hot"
# 爬取网页
datalist = getData(baseurl)
#保存数据
dbname = time.strftime("%Y-%m-%d", time.localtime())
dbpath = "zhihuTop50 " + dbname
saveData(datalist,dbpath)
print()
#正则表达式
findlink = re.compile(r'<a class="css-hi1lih" href="(.*?)" rel="external nofollow" rel="external nofollow" ') #问题链接
findid = re.compile(r'<div class="css-blkmyu">(.*?)</div>') #问题排名
findtitle = re.compile(r'<h1 class="css-3yucnr">(.*?)</h1>') #问题标题
findintroduce = re.compile(r'<div class="css-1o6sw4j">(.*?)</div>') #简要介绍
findscore = re.compile(r'<div class="css-1iqwfle">(.*?)</div>') #热门评分
findimg = re.compile(r'<img class="css-uw6cz9" src="(.*?)"/>') #文章配图
def getData(baseurl):
datalist = []
html = askURL(baseurl)
# print(html)
soup = BeautifulSoup(html,'html.parser')
for item in soup.find_all('a',class_="css-hi1lih"):
# print(item)
data = []
item = str(item)
Id = re.findall(findid,item)
if(len(Id) == 0):
Id = re.findall(r'<div class="css-mm8qdi">(.*?)</div>',item)[0]
else: Id = Id[0]
data.append(Id)
# print(Id)
Link = re.findall(findlink,item)[0]
data.append(Link)
# print(Link)
Title = re.findall(findtitle,item)[0]
data.append(Title)
# print(Title)
Introduce = re.findall(findintroduce,item)
if(len(Introduce) == 0):
Introduce = " "
else:Introduce = Introduce[0]
data.append(Introduce)
# print(Introduce)
Score = re.findall(findscore,item)[0]
data.append(Score)
# print(Score)
Img = re.findall(findimg,item)
if (len(Img) == 0):
Img = " "
else: Img = Img[0]
data.append(Img)
# print(Img)
datalist.append(data)
return datalist
def askURL(baseurl):
# 设置请求头
head = {
# "User-Agent": "Mozilla/5.0 (Windows NT 10.0;Win64;x64) AppleWebKit/537.36(KHTML, likeGecko) Chrome/80.0.3987.163Safari/537.36"
"User-Agent": "Mozilla / 5.0(iPhone;CPUiPhoneOS13_2_3likeMacOSX) AppleWebKit / 605.1.15(KHTML, likeGecko) Version / 13.0.3Mobile / 15E148Safari / 604.1"
}
request = urllib.request.Request(baseurl, headers=head)
html = ""
try:
response = urllib.request.urlopen(request)
html = response.read().decode("utf-8")
# print(html)
except urllib.error.URLError as e:
if hasattr(e, "code"):
print(e.code)
if hasattr(e, "reason"):
print(e.reason)
return html
print()
def saveData(datalist,dbpath):
init_db(dbpath)
conn = sqlite3.connect(dbpath)
cur = conn.cursor()
for data in datalist:
sql = '''
insert into Top50(
id,info_link,title,introduce,score,img)
values("%s","%s","%s","%s","%s","%s")'''%(data[0],data[1],data[2],data[3],data[4],data[5])
print(sql)
cur.execute(sql)
conn.commit()
cur.close()
conn.close()
def init_db(dbpath):
sql = '''
create table Top50
(
id integer primary key autoincrement,
info_link text,
title text,
introduce text,
score text,
img text
)
'''
conn = sqlite3.connect(dbpath)
cursor = conn.cursor()
cursor.execute(sql)
conn.commit()
conn.close()
if __name__ =="__main__":
main()
来源:https://blog.csdn.net/gets_s/article/details/115096619
0
投稿
猜你喜欢
- python爬虫要用到的库:请求库:实现 HTTP 请求操作urllib:一系列用于操作URL的功能。requests:基于 urllib
- 背景随着Web技术的发展和移动互联网的发展,Hybrid技术已经成为一种前端开发的主流技术方案。那什么是Hybrid App呢?Hybrid
- 在VBScript中,有一个On Error Resume Next语句,它使脚本解释器忽略运行期错误并继续脚本代码的执行。接着该脚本可以检
- 本文实例为大家分享了python3实现弹弹球小游戏的具体代码,供大家参考,具体内容如下from tkinter import *from t
- 简介:pycharm 是一款功能强大的 Python 编辑器,具有跨平台性。下载地址第一步:下载pycharm 软件下载时会有两个版本供选择
- 代码如下: 代码如下:///<summary> /// 将两个列不同的DataTable合并成一个新的DataTab
- JS在firefox中的兼容性问题,自己也经常遇到.此文是网上资料,不过时间较久不记得原址了...1. document.form.item
- Truncate是SQL中的一个删除数据表内容的语句,用法是:TRUNCATE TABLE [Table Name]。下面是对Truncat
- # -*- coding: utf-8 -*-import Image,ImageDraw,ImageFontimport randomim
- 许多网站缺乏针对性和友好的导航设计,难以找到连接到相关网页的路径,也没有提供有助于让访客/用户找到所需信息的帮助,用户体验非常糟糕。本期薯片
- 如果你需要一个PDF文件合并工具,那么本文章完全可以满足您的要求。哈喽,大家好呀,这里是滑稽研究所。不多废话,本期我们利用Python合
- jQuery是一个非常优秀的JavaScript 框架,使用简单灵活,同时还有许多成熟的插件可供选择,它可以帮助你在项目中加入一些非常好的效
- getattr函数(1)使用 getattr 函数,可以得到一个直到运行时才知道名称的函数的引用。>>> li = [&q
- 本文实例为大家分享了python3单目标粒子群算法的具体代码,供大家参考,具体内容如下关于PSO的基本知识......就说一下算法流程1)
- 一、概述OLAP的系统(即Online Aanalyse Process)一般用于系统决策使用。通常和数据仓库、数据分析、数据挖掘等概念联系
- 本文实例讲述了Python基于Socket实现的简单聊天程序。分享给大家供大家参考,具体如下:需求:SCIENCE 和MOOD两个人软件专业
- 前言:perl是什么,干什么用的?perl原来设计者的意图是用来处理 字符的,80%的强项是处理字符,当然其它的很多都可以。现在很多网页也是
- pytorch定义新的自动求导函数在pytorch中想自定义求导函数,通过实现torch.autograd.Function并重写forwa
- 写个小教程,以期能让大家对jQuery有所了解,甚至喜欢上它(请不要怪我)。不废话,先说明我们的目的。我们知道,当代浏览器(modern b
- 用QQ聊过天的朋友都对它的自动隐藏窗口功能爱不释手,它可以使窗口显得清爽整洁而且富有动感,笔者的几个朋友都想在自己的网页中加入类似的东东,经