urllib和BeautifulSoup爬取 * 的词条简单实例
作者：powerpoint_2016 发布时间：2023-10-25 21:46:59
标签：python,爬虫,urllib,beautifulsoup
本文实例主要实现的是使用urllib和BeautifulSoup爬取 * 的词条，具体如下。
简洁代码：
#引入开发包
from urllib.request import urlopen
from bs4 import BeautifulSoup
import re
#请求URL并把结果用UTF-8编码
resp=urlopen("https://zh.wikipedia.org/wiki/Wikipedia:％E9％A6％96％E9％A1％B5").read().decode("utf-8")
#使用BeautifulSoup去解析
soup=BeautifulSoup(resp,"html.parser")
#print(soup)
#获取所有以/wiki/开头的a标签的href属性
listUrl=soup.findAll("a",href=re.compile("^/wiki/"))
#输出所有词条对应的名称和URL
for link in listUrl:
if not re.search("\.(jpg|JPG)$",link["href"]):
print(link.get_text(),"<----->","https://zh.wikipedia.org"+link["href"])
运行结果：
总结
总的来说，Python是简洁而又强大的，调用几个库，就能实现其他语言一大堆代码才能实现的功能。
来源：http://blog.csdn.net/m0_38066258/article/details/77751909
0
投稿猜你喜欢
- 本文实例讲述了Python实现采用进度条实时显示处理进度的方法。分享给大家供大家参考，具体如下：前言在大多数时候，我们的程序会一直进行循环处
- 又一个js加密工具：js混淆，完整源代码如下，有点长呵呵：<HTML><HEAD><TITLE>Cunf
- 别误会，IE是不支持CSS3高级选择器，包括最新的IE8（详见《CSS选择器的浏览器支持》），但是CSS选择器的确是很有用的，它可以大大的简
- 目录实践步骤完整代码参考实践步骤1.寻找合适的Python库（安装是否麻烦、使用是否简便、执行会不会太久）moviepy 音视频库。分析需要
- 详解Python 模拟实现生产者消费者模式的实例散仙使用python3.4模拟实现的一个生产者与消费者的例子，用到的知识有线程，队列，循环等
1.过程蜘蛛纸牌大家玩过没有？之前的电脑上自带的游戏，用他来摸鱼过的举个手。但是现在的电脑上已经没有蜘蛛纸牌了。所以…- 如下所示：device = torch.device("cuda:0" if torch.cuda.is_availab
- 这篇文章主要介绍了python使用rsa非对称加密过程解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要
- 数据集介绍《悲惨世界》中的人物关系图，图中共77个节点、254条边。数据集截图：打开README文件：Les Misérables netw
- 为什么Python中0.2+0.1不等于0.3大家请看下面的python程序代码：print(0.2+0.1)猜一猜运行结果是什么，是0.3
- 0.目录1.前言2.安装python3.使用pip下载、安装包3.1 安装Scrapy3.2 安装PyQt3.3 同时安装多个包3.4 pi
- 本文实例讲述了Python实现将HTML转成PDF的方法。分享给大家供大家参考，具体如下：主要使用的是wkhtmltopdf的Python封
- 打开文件用open,该函数创建一个文件对象，这将用来调用与之关联的其他支持方式。file object = open(file_name [
- Python中 join() 函数的使用函数：string.join()Python中有join()和os.path.join()两个函数，
- 在SQL Server 2005数据库还原的过程中出现错误：备份集中的数据库备份与现有的'xxxx'数据库不同，网上找了几个
- 捣鼓了一天一直报错：Error running ‘mypython': Can't run remote python in
- 这是由十几位视觉设计师设计的挂历，每个月份都是不同的风格，就像每个月都有不同温度和心情一样，思维跳跃性很大，可以作为挂历设计参考。当然，如果
- 如下所示：<!doctype html><html><head><meta charset=&qu
- pyspark 操作hive表pyspark 操作hive表，hive分区表动态写入；最近发现spark动态写入hive分区，和saveAs
- 在正式的生产环境中，我们常常会需要监控服务器的状态，以保证公司整个业务的正常运转，常常我们会用到像nagios、zabbix这类工具进行实时
