Python基于pandas爬取网页表格数据
作者：HuaBro 发布时间：2023-03-13 07:30:32
以网页表格为例：https://www.kuaidaili.com/free/
该网站数据存在table标签，直接用requests，需要结合bs4解析正则/xpath/lxml等，没有几行代码是搞不定的。
今天介绍的黑科技是pandas自带爬虫功能，pd.read_html()，只需传人url，一行代码搞定。
原网页结构如下：
python代码如下：
import pandas as pd
url='http://www.kuaidaili.com/free/'
df=pd.read_html(url)[0]
# [0]：表示第一个table，多个table需要指定，如果不指定默认第一个
# 如果没有【0】，输入dataframe格式组成的list
df
输出dataframe格式数据
再次保存到本地，csv格式，注意中文编码：utf_8_sig
print(type(df))df.to_csv('free ip.csv',mode='a', encoding='utf_8_sig', header=1, index=0)print('done!')
查看csv文件
先来了解一下read_html函数的api:
pandas.read_html(io, match='.+', flavor=None, header=None, index_col=None, skiprows=None, attrs=None, parse_dates=False, tupleize_cols=None, thousands=', ', encoding=None, decimal='.', converters=None, na_values=None, keep_default_na=True, displayed_only=True)
常用的参数：
io:可以是url、html文本、本地文件等；
flavor：解析器；
header：标题行；
skiprows：跳过的行；
attrs：属性，比如 attrs = {'id': 'table'}；
parse_dates：解析日期
注意：返回的结果是**DataFrame**组成的**list**。
若要dataframe，直接取list【0】
来源：https://www.cnblogs.com/hightech/p/12759895.html
0
投稿猜你喜欢
1.安装mockjs和vite-plugin-mocknpm i mockjs vite-plugin-mock --save-dev2.在- jquery模拟SELECT框，效果图如下： <!DOCTYPE html> <html lang="
- 问题，用python生成如下所示的1000个txt文件？解答：import osfor i in range(0,1001): os.mkn
- 前言很多人都认为人脸识别是一项非常难以实现的工作，看到名字就害怕，然后心怀忐忑到网上一搜，看到网上N页的教程立马就放弃了。这些人里包括曾经的
- 分支的新建与合并现在让我们来看一个简单的分支与合并的例子，实际工作中大体也会用到这样的工作流程：开发某个网站。为实现某个新的需求，创建一个分
- 简介：psutil（进程和系统实用程序）是一个跨平台库，用于检索Python中运行进程和系统利用率（CPU、内存、磁盘、网络、传感器）的信息
- 数组排序排序是指将元素按有序顺序排列。有序序列是拥有与元素相对应的顺序的任何序列，例如数字或字母、升序或降序。NumPy ndarray 对
- 简介：网络爬虫（又被称为网页蜘蛛)，网络机器人，是一种按照一定的规则，自动地抓信息的程序或者脚本。假设互联网是一张很大的蜘蛛网，每个页面之间
- 一、split()函数的简单应用1.join()函数Python join() 方法用于将序列中的元素以指定的字符连接生成一个新的字符串。j
- 常用的python第三方库安装工具大概有三种：1、pip （推荐）2、easy_install3、setup.py常见的安装包格式：1、wh
- 前言某个夜深人静的夜晚，夜微凉风微扬，月光照进我的书房~当我打开文件夹以回顾往事之余，惊现许多看似杂乱的无聊代码。我拍腿正坐，一个想法油然而
- 设置模板路径在django项目下创建templats文件来存放html文件为了减少模板加载调用过程及模板本身的冗余代码，Django 提供了
- django-mdeditorGithub地址:https://github.com/pylixm/django-mdeditor 欢迎试用
- Jupyter notebook 更改文件打开的默认路径第一步：修改图标- 找到 Jupyter notebook 桌面图标- 对着 Jup
- 今天给一个客户巡检的情况下发从库没有业务的情况mysqld的cpu的一个core占用100％.查主库慢查询也没有关于写的SQL.可以说是典的
- 本文实例讲述了python读写二进制文件的方法。分享给大家供大家参考。具体如下：初学python，现在要读一个二进制文件，查找doc只发现
- 前言最近需要通过python来获取cad模型的内容信息，然而笔者也没学过python，只能用过查询+动手摸索一步一步进行下去，然后通过dxf
- 本文研究的主要是python处理csv数据动态显示曲线，分享了实现代码，具体如下。代码：# -*- coding: utf-8 -*- &q
- 无论是Windows、Linux、还是树莓派 。配置python3的opencv环境都是让人头大的一件事情，尤其是许多人用pip安装以后，发
- 前言Pandas是为一次性处理整个行或列的矢量化操作而设计的，循环遍历每个单元格、行或列并不是它的设计用途。所以，在使用Pandas时，你应
