Python3实现爬取简书首页文章标题和文章链接的方法【测试可用】
作者：Sailfish23 发布时间：2021-10-08 00:22:10
标签：Python3,爬取,文章标题,文章链接
本文实例讲述了Python3实现爬取简书首页文章标题和文章链接的方法。分享给大家供大家参考，具体如下：
from urllib import request
from bs4 import BeautifulSoup #Beautiful Soup是一个可以从HTML或XML文件中提取结构化数据的Python库
#构造头文件，模拟浏览器访问
url="http://www.jianshu.com"
headers = {'User-Agent':'Mozilla/5.0 (Windows NT 10.0; Win64; x64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/55.0.2883.87 Safari/537.36'}
page = request.Request(url,headers=headers)
page_info = request.urlopen(page).read().decode('utf-8')#打开Url,获取HttpResponse返回对象并读取其ResposneBody
# 将获取到的内容转换成BeautifulSoup格式，并将html.parser作为解析器
soup = BeautifulSoup(page_info, 'html.parser')
# 以格式化的形式打印html
#print(soup.prettify())
titles = soup.find_all('a', 'title')# 查找所有a标签中class='title'的语句
'''''
# 打印查找到的每一个a标签的string和文章链接
for title in titles:
print(title.string)
print("http://www.jianshu.com" + title.get('href'))
'''
#open()是读写文件的函数,with语句会自动close()已打开文件
with open(r"D:\articles.txt","w") as file: #在磁盘以只写的方式打开/创建一个名为 articles 的txt文件
for title in titles:
file.write(title.string+'\n')
file.write("http://www.jianshu.com" + title.get('href')+'\n\n')
本机测试运行结果如下：
希望本文所述对大家Python程序设计有所帮助。
来源：https://blog.csdn.net/weixin_37636702/article/details/78759862
0
投稿猜你喜欢
- smtplib模块负责发送邮件：是一个发送邮件的动作，连接邮箱服务器，登录邮箱，发送邮件（有发件人，收信人，邮件内容）。email模块负责构
引言：在阅读源码时，有很多简写的形式，其中一个比较常用的就是getattr()用来调用一个类中的变量或者方法，相关联的hasat- 话不多说，随小编一起看看实例代码吧<html><head> <meta http-equiv="Co
- 本文实例讲述了python图像处理之反色实现方法。分享给大家供大家参考。具体如下：我们先加载一个8位灰度图像每一个像素对应的灰度值从0-25
- 本文实例讲述了PHP自定义函数格式化json数据的方法。分享给大家供大家参考，具体如下：<?php /**
- 本文实例为大家分享了python字符串循环左移的具体代码，供大家参考，具体内容如下字符串循环左移给定一个字符串S[0…N-1]，要求把S的前
- 这几天在学习PyQt编程，用CSDN来记录一下学过的东西，免得以后忘记了大笑import sys from PyQt4 import QtG
- 下面介绍两种查看django 执行的sql语句的方法。方法一：queryset = Apple.objects.all()print que
- 本文实例讲述了python通过加号运算符操作列表的方法。分享给大家供大家参考。具体如下：li = ['a', 'b&
- 相对于 Ajax，服务端 XMLHTTP 就是在服务端使用 XMLHttpRequest 对象了。虽然说，在服务端使用异步请求是比较不方便的
- 5月20日，微软正式提供了Windows XP下可用的雅黑字体下载，雅黑字体是一款近乎完美的字体，解决了宋体小文字无法辩认的问
- 开发人员有时候使用类似下面SQL将字符串转换为日期时间类型，乍一看，这样的SQL的写法是没有什么问题的。但是这样的SQL其实有时候就是一个定
- 【原文地址】New C# "Orcas" Language Features: Automatic Properties
- 没什么说的，就是生成随机数而已！！相关文章推荐：8个asp生成随机字符的函数<％ Function gen_key(digi
- RSA是目前最有影响力的公钥加密算法，它能够抵抗到目前为止已知的绝大多数密码攻击，已被ISO推荐为公钥数据加密标准。今天只有短的RSA钥匙才
- 一、使用步骤 1.引入库（安装Python环境、PyQt、PyQt-tools)from PyQt5 import QtCore,
- 一、数据创建1.tf.constant()创建自定义类型，自定义形状的数据，但不能创建类似于下面In [59]这样的，无法解释的数据。2.t
- 互联网时代数据是 * 式增长，我们常常需要把结构化数据和非结构化数据（如文档，演示文稿，视频，音频，图像）存储在一起。通常有几种方案： 1。在
- 今天看到的这篇文章， 让我对Chrome能够带来的影响，有了点新想法。Update: 发现我在跟别人讨论时，比直接写作文说得清楚一些，对这个
- 上一次很多朋友写文字屏蔽说到要用正则表达，其实不是我不想用（我正则用得不是很多,看过我之前爬虫的都知道,我直接用BeautifulSoup的
