python爬虫爬取网页表格数据
作者：zhuxunyuoyi 发布时间：2023-06-04 08:23:14
标签：python,爬取
用python爬取网页表格数据，供大家参考，具体内容如下
from bs4 import BeautifulSoup
import requests
import csv
import bs4
#检查url地址
def check_link(url):
try:
r = requests.get(url)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
print('无法链接服务器！！！')
#爬取资源
def get_contents(ulist,rurl):
soup = BeautifulSoup(rurl,'lxml')
trs = soup.find_all('tr')
for tr in trs:
ui = []
for td in tr:
ui.append(td.string)
ulist.append(ui)
#保存资源
def save_contents(urlist):
with open("D:/2016年中国企业500强排行榜.csv",'w') as f:
writer = csv.writer(f)
writer.writerow(['2016年中国企业500强排行榜'])
for i in range(len(urlist)):
writer.writerow([urlist[i][1],urlist[i][3],urlist[i][5]])
def main():
urli = []
url = "http://www.maigoo.com/news/463071.html"
rs = check_link(url)
get_contents(urli,rs)
save_contents(urli)
main()
来源：http://blog.csdn.net/zhuxunyuoyi/article/details/75210705
0
投稿猜你喜欢
本文实例讲述了Python查找最长不包含重复字符的子字符串算法。分享给大家供大家参考，具体如下：题目描述请从字符串中找出一个最长的不包含重复- 尾递归简介尾递归是函数返回最后一个操作是递归调用，则该函数是尾递归。递归是线性的比如factorial函数每一次调用都会创建一个新的栈(la
- Python input()函数Python input()函数教程在 Python 中，input() 函数用于获取用于的输入，并给出提示
- 本文实例讲述了PHP基于rabbitmq操作类的生产者和消费者功能。分享给大家供大家参考，具体如下：注意事项：1、accept.php消费者
- 到底什么是Python?•Python是一种解释性语言。Python代码在运行之前不需要编译。其它解释性语言还包括PHP和Ruby。•Pyt
- 网上有这样一道题目：一个字符串String=“adadfdfseffserfefsefseetsdg”，找出里面出现次数最多的字母和出现的次
- 本文实例讲述了Python实现根据日期获取当天凌晨时间戳的方法。分享给大家供大家参考，具体如下：# -*- coding:utf-8 -*-
- 本文假设某些特定类型的文件和大小为0的文件为垃圾文件，可以自由扩展代码的列表，也就是垃圾文件的类型。from os.path import
- Python的全局变量：int string， list， dic(map) 如果存在global就能够修改它的值。而不管这个global是
- 方法一：//PHP stdClass Object转array function object_array($array) {&
- 最近因为项目原因需要编写数据库设计文档，但是由于数据表太多，手动编写耗费的时间太久，所以搞了一个简单的脚本快速生成数据库结构，保存到word
- 使用distinct在mysql中查询多条不重复记录值的解决办法如何使用distinct在mysql中查询多条不重复记录值?有时候想用dis
- 模块介绍：from ftplib import FTP ftp = FTP() #设置变量 ftp.set_debuglevel(2) #打
- 本文实例讲述了Python3读取UTF-8文件及统计文件行数的方法。分享给大家供大家参考。具体实现方法如下：'''&
- 这是一篇关于怎样精简代码和Asp 特征以获得最快执行速度的详细文章。对于一个急燥的用户来说，任何在按下用户按钮到结果出现在它们的屏幕之间的延
- FrontPage服务器扩展可以做以下工作：（1），保存和检索Web服务器的文件；（2），远程执行所有文件管理操作；（3），改名或移动文件时
- 均方损失函数：这里 loss, x, y 的维度是一样的，可以是向量或者矩阵，i 是下标。很多的 loss 函数都有 size_averag
- <?php $url="http://www.golden-book.com/booksinfo/12/264.html&q
- 上一篇博客主要介绍了决策树的原理，这篇主要介绍他的实现，代码环境python 3.4，实现的是ID3算法，首先为了后面matplotlib的
- 反射反射即想到4个内置函数分别为:getattr、hasattr、setattr、delattr 获取成员、检查成员、设置成员、
