Python3使用requests包抓取并保存网页源码的方法
作者：小谈博客 发布时间：2022-05-27 06:48:38
标签：Python3,requests
本文实例讲述了Python3使用requests包抓取并保存网页源码的方法。分享给大家供大家参考，具体如下：
使用Python 3的requests模块抓取网页源码并保存到文件示例：
import requests
html = requests.get("http://www.baidu.com")
with open('test.txt','w',encoding='utf-8') as f:
f.write(html.text)
这是一个基本的文件保存操作，但这里有几个值得注意的问题：
1.安装requests包，命令行输入pip install requests即可自动安装。很多人推荐使用requests，自带的urllib.request也可以抓取网页源码
2.open方法encoding参数设为utf-8，否则保存的文件会出现乱码。
3.如果直接在cmd中输出抓取的内容，会提示各种编码错误，所以保存到文件查看。
4.with open方法是更好的写法，可以自动操作完毕后释放资源。
另一个例子：
import requests
ff = open('testt.txt','w',encoding='utf-8')
with open('test.txt',encoding="utf-8") as f:
for line in f:
ff.write(line)
ff.close()
这是演示读取一个txt文件，每次读取一行，并保存到另一个txt文件中的示例。
因为在命令行中打印每次读取一行的数据，中文会出现编码错误，所以每次读取一行并保存到另一个文件，这样来测试读取是否正常。（注意open的时候制定encoding编码方式）
转自：小谈博客 http://www.tantengvip.com/2015/05/requests-html/
希望本文所述对大家Python程序设计有所帮助。
0
投稿猜你喜欢
前言大家好，我是Peter~本文记录的是Pandas两种少用的读取文件方式：读取在线文件的数据读取剪贴板的数据声明：本文案例和在线数据仅用于- 问题你想将一个多层嵌套的序列展开成一个单层列表解决方案可以写一个包含 yield from 语句的递归生成器来轻松解决这个问题。比如：fro
- Infopath的使用避免了最终用户以完全手写的方式生成XML数据文件，同时也可以统一XML文件的格式，在MOSS系统和网站开发中被广泛使用
- 前言本实验中所用数据库创建SQL语句以及插入数据到数据库中的SQL语句链接：链接: https://pan.baidu.com/s/1BnF
- 本文为大家分享了python链表的基础概念和基础用法，供大家参考，具体内容如下一、什么是链表链表是由多个不同的节点组成，每个节点通过指针区域
- 组合字面量组合字面量是最直接方式初始化Go对象，假设定义了Book类型，使用字面量初始化代码如下：type Book struct { &n
- 之前就想要把自己的BlogsToWordpress打开成exe了。一直没去弄。又看到有人提到python打开成exe的问题。所以打算现在就去
- 声明定位元素：position属性值设置除默认值static以外的元素，包括relative，absolute，fixed。平台：win/I
- 1、给定的日期格式相同，则使用简单的比较运算符来比较日期。<?php//声明两个日期、初始化$date1 = "2021-1
- 最近开始学Python，想直接通过命令行的方式进行学习。奈何没有Tab补全，操作实在麻烦，网上各种百度后无果(x64系统，x86的可以直接下
- 使用python爬虫其实就是方便，它会有各种工具类供你来使用，很方便。Java不可以吗？也可以，使用httpclient工具、还有一个大神写
- 本篇文章介绍了Python中一些常见的包的作用和安装方法，希望对学习Python中的朋友有帮助！Python中一些包的基本用处和安装方法pi
- 代码如下:<％ Randomize Do While Len(pass)<12
- 本文向大家介绍了使用SQL语句提取数据库所有表的表名、字段名的实例代码，在SQLserver 中进行了测试，具体内容如下：--查询所有用户表
- response.getWriter().write() 功能：向前台页面显示一段信息。当在普通的url方式中，会生成一个新的页面来显示内容
- goroutine简介goroutine是go语言中最为NB的设计，也是其魅力所在，goroutine的本质是协程，是实现并行计算的核心。g
- 0 写在前面josephus问题是数据结构教材中的一个常见实例，其问题可以描述为：设nnn个人围坐一圈，现在要求从第kkk个人开始报数，报到
- 写在前面：最近在做的person功能，由于后期系统中person人数较多，不利用查找person,故需求方将要求可以自己编辑每页显示的数目，
- 一、中间键的引入：Django中间件（Middleware）是一个 轻量级、底层的 “插件”系 统，可以介入 Django的请求和响应处理过
- 本文实例讲述了Python实现将HTML转成PDF的方法。分享给大家供大家参考，具体如下：主要使用的是wkhtmltopdf的Python封
