用Python程序抓取网页的HTML信息的一个小实例
作者：cyqian 发布时间：2021-02-14 12:52:05
标签：Python
抓取网页数据的思路有好多种，一般有：直接代码请求http、模拟浏览器请求数据（通常需要登录验证）、控制浏览器实现数据抓取等。这篇不考虑复杂情况，放一个读取简单网页数据的小例子：
目标数据
将ittf网站上这个页面上所有这些选手的超链接保存下来。
数据请求
真的很喜欢符合人类思维的库，比如requests，如果是要直接拿网页文本，一句话搞定：
doc = requests.get(url).text
解析html获得数据
以beautifulsoup为例，包含获取标签、链接，以及根据html层次结构遍历等方法。参考见这里。下面这个片段，从ittf网站上获取指定页面上指定位置的链接。
url = 'http://www.ittf.com/ittf_ranking/WR_Table_3_A2.asp?Age_category_1=&Age_category_2=&Age_category_3=&Age_category_4=&Age_category_5=&Category=100W&Cont=&Country=&Gender=W&Month1=4&Year1=2015&s_Player_Name=&Formv_WR_Table_3_Page='+str(page)
doc = requests.get(url).text
soup = BeautifulSoup(doc)
atags = soup.find_all('a')
rank_link_pre = 'http://www.ittf.com/ittf_ranking/'
mlfile = open(linkfile,'a')
for atag in atags:
#print atag
if atag!=None and atag.get('href') != None:
if "WR_Table_3_A2_Details.asp" in atag['href']:
link = rank_link_pre + atag['href']
links.append(link)
mlfile.write(link+'\n')
print 'fetch link: '+link
mlfile.close()
0
投稿猜你喜欢
- SQL触发器实例1 定义： 何为触发器？在SQL Server里面也就是对某一个表的一定的操作，触发某种条件，从而执行的一段程序。触发器是一
requests模块：python中原生的一款基于网络请求的模块，功能非常强大，简单便捷，效率极高。作用：模拟浏览器发请求。提示：老版使用- WeTest 导读小程序科普类的文章已经很多了，今天这里讲的是针对小程序的优化方法，可以有效提高小程序的响应速度和用户体验。当然，开发体验也
- 如何用METADATA替换ADOVBS.INC？ 在ASP中，使用组件时，如ADO，得先包含
- <!DOCTYPE html> <html> <head> <meta charset="
- 一.脚本基础1.USE语句设置当前数据库。2.声明变量语法：DECLARE @变量名 变量类型在声明变量后，给变量赋值之前，变量的值为NUL
- 检测缺失值我们先创建一个带有缺失值的数据框(DataFrame)。import pandas as pddf = pd.DataFrame(
- 00 前言什么是ImageMagick？ImageMagick是一个功能强大的开源图形处理软件,可以用来读、写和处理超过90种的图片文件,包
- 好东西找起来很麻烦，好用的又不太容易找到，之前看到很多用JS写的，固定漂浮这种效果拖动时难免会产生抖动，自己对CSS还是蛮有好感的，找来找去
- js 代码中经常会碰到 undefined 这种错误，下面本文分享一下为什么会发生这种错误以及如何处理这种错误，js 中如果通过 var 声
- 在CentOS7下，默认安装的就是python2.7，我现在来教大家如何安装python3：1、首先安装python3.6可能使用的依赖#
- 不用库，写了很久，一直出bug，到网上一搜，可以直接输入之后，eval(str)即可得到结果！eval程序如下：s=input("
- 大家都知道对于一个页面来说，最基本的结构呢就是<html> <head> <!-- 头部信息内容区域
- mysql数据库中的表数据量几千万后，查询速度会很慢，日常各种卡慢，严重影响使用体验。在考虑升级数据库或者换用大数据解决方案前，必须优化现有
- 系统：ubuntu18.04 x64GitHub：https://github.com/xingjidemimi/DjangoAPI.git
- 摘要：发现给div绑定keyup.enter事件是没有效果的。那该如何实现呢？下面直接上代码吧1、在template中代码2、在create
- matplotlib官方除了提供了鼠标十字光标的示例，还提供了同一图像内多子图共享光标的示例，其功能主要由widgets模块中的MultiC
- Ajax 是异步的JavaScript和XML的简称，是一种更新页面某部分的机制。它赋予了你从服务器获取数据后，更新页面某部分的权力，从而避
- vscode来写python，配置灵活，界面美观，是个非常好的选择。我这里是在ubuntu系统下配置vscode的python3开发环境，当
- AES加密AES对称加密简介AES是一个对称密码，旨在取代DES成为广泛使用的标准。是美国联邦政府采用的一种区块加密标准。AES对称加密过程
