python使用BeautifulSoup分析网页信息的方法
作者：令狐不聪 发布时间：2022-02-07 11:33:40
本文实例讲述了python使用BeautifulSoup分析网页信息的方法。分享给大家供大家参考。具体如下：
这段python代码查找网页上的所有链接，分析所有的span标签，并查找class包含titletext的span的内容
#import the library used to query a website
import urllib2
#specify the url you want to query
url = "http://www.python.org"
#Query the website and return the html to the variable 'page'
page = urllib2.urlopen(url)
#import the Beautiful soup functions to parse the data returned from the website
from BeautifulSoup import BeautifulSoup
#Parse the html in the 'page' variable, and store it in Beautiful Soup format
soup = BeautifulSoup(page)
#to print the soup.head is the head tag and soup.head.title is the title tag
print soup.head
print soup.head.title
#to print the length of the page, use the len function
print len(page)
#create a new variable to store the data you want to find.
tags = soup.findAll('a')
#to print all the links
print tags
#to get all titles and print the contents of each title
titles = soup.findAll('span', attrs = { 'class' : 'titletext' })
for title in allTitles:
print title.contents
希望本文所述对大家的Python程序设计有所帮助。
0
投稿猜你喜欢
- 由用户指定需要扫描的盘符或目录，输入需要查找的文件或者文件夹名称（不包含中文名称）代码：# encoding=utf-8import os.
模型经过训练测试之后，我们往往用一两张图对模型预测结果进行分析讨论，那么下面介绍在keras中用已训练的模型经过测试的方法。下面是以利用预训- 这是一个使用scrapy的ImagesPipeline爬取下载图片的示例，生成的图片保存在爬虫的full文件夹里。scrapy startp
- /// <summary> /// 获得目标
- 一、存储过程存储过程（Stored Procedure）是在大型数据库系统中，一组为了完成特定功能的SQL语句集，经编译后存储在数据库中，用
- 前言最近在使用pytorch的时候，模型训练时，不需要使用forward，只要在实例化一个对象中传入对应的参数就可以自动调用 forward
- 视图是一种常用的数据库对象，它将查询的结果以虚拟表的形式存储在数据中。因为视图有非常多的优点：1，可以简化操作，2，可以建立前台和后台的缓冲
- 本文实例讲述了Python计算斗牛游戏概率算法。分享给大家供大家参考，具体如下：过年回家，都会约上亲朋好友聚聚会，会上经常会打麻将，斗地主，
- 一 Process对象的join方法在主进程运行过程中如果想并发地执行其他的任务，我们可以开启子进程，此时主进程的任务与子进程的任务分两种情
- 本文实例为大家分享了js文字列表无缝滚动的具体代码，供大家参考，具体内容如下HTML代码：<div id="rule&quo
- 本文较为详细的讲述了Python中常用的模块，分享给大家便于大家查阅参考之用。具体如下：1.内置模块(不用import就可以直接使用)常用内
- python 判断三个数字中的最大值，具体代码如下所示：#判断三个数中最大值n1= int(input('please enter
- 使用fetch基本方式：fetch('https://mywebsite.com/endpoint/', { method:
- 一、最长回文子串问题描述🪐大家已经熟悉了AABCC、AABBCC这种类型的字符串是回文串。也就是说,排除掉字符串中的各种字符，字母不区分大小
- 引言提到 numpy 的数组操作，我们就不得不说到 np.concatenate() 函数，concatenate 一词在英文中是级联的意思
- 本文实例为大家分享了opencv实现双边滤波的具体代码，供大家参考，具体内容如下1、2D卷积#!/usr/bin/env python3#
- 问题描述尝试用Python写一个Wordcloud的时候，出现了编码问题。照着网上某些博客的说法添添改改后，结果是变成了“UnicodeDe
- 长期以来一直以为iframe跟div一样都是块级元素，直到今天在一个群中看到一位朋友问到iframe怎么居中的时候，测试了下发现原来我一直对
- 首先，项目结构如下：想要让导航栏、侧边栏变为公共页面，则要在App.vue页面中加入。假设已经有了Header.vue和Left.vue，这
- 有时候在一个页面用到收放功能的时候时，总有一个虚线框在触发收放的功能按钮上，显得特别刺眼，那如何去除这个虚线框呢？在IE下，需要在标签 a
