Python使用requests及BeautifulSoup构建爬虫实例代码
作者：sober_qianyang 发布时间：2021-08-13 11:33:13
标签：python,requests,beautifulsoup,爬虫
本文研究的主要是Python使用requests及BeautifulSoup构建一个网络爬虫，具体步骤如下。
功能说明
在Python下面可使用requests模块请求某个url获取响应的html文件，接着使用BeautifulSoup解析某个html。
案例
假设我要http://maoyan.com/board/4猫眼电影的top100电影的相关信息，如下截图：
获取电影的标题及url。
安装requests和BeautifulSoup
使用pip工具安装这两个工具。
pip install requests
pip install beautifulsoup4
程序
__author__ = 'Qian Yang'
# -*- coding:utf-8 -*-
import requests
from bs4 import BeautifulSoup
def get_one_page(url):
response= requests.get(url)
if response.status_code == 200:
return response.content.decode("utf8","ignore").encode("gbk","ignore")
#采用BeautifulSoup解析
def bs4_paraser(html):
all_value = []
value = {}
soup = BeautifulSoup(html,'html.parser')
# 获取每一个电影
all_div_item = soup.find_all('div', attrs={'class': 'movie-item-info'})
for r in all_div_item:
# 获取电影的名称和url
title = r.find_all(name="p",attrs={"class":"name"})[0].string
movie_url = r.find_all('p', attrs={'class': 'name'})[0].a['href']
value['title'] = title
value['movie_url'] = movie_url
all_value.append(value)
value = {}
return all_value
def main():
url = 'http://maoyan.com/board/4'
html = get_one_page(url)
all_value = bs4_paraser(html)
print(all_value)
if __name__ == '__main__':
main()
代码测试可用，实现效果：
来源：http://blog.csdn.net/qy20115549/article/details/78111615
0
投稿猜你喜欢
- 其中x1,y1;x2,y2分别表示两个矩形框的中心点def calcIOU(x1, y1, w1, h1, x2, y2, w2, h2):
前言哈喽！哈喽。栗子上线啦~要说什么游戏能够获得大家的喜爱？唯射击游戏莫属。此前大火手游的《刺激战场》当然现在是叫做《和平精英》啦，想当初我- 本文是关于人物角色的一些简单介绍，感谢瑶芝同学提供的大力帮助！ 人物角色（Personas）作为一种技术
- python-pymysql获取字段名称-获取内容获取字段名称-获取内容import pymysql# 连接数据库db = pymysql.
- Python内置函数isdigit()使用今天简单介绍一下Python中的isdigit()函数的用法：判断单个字符是否为数字判断字符串中是
- Flask是一个用Python编写的Web应用程序框架，Flask是python的web框架，最大的特征是轻便，让开发者自由灵活的兼容要开发
- ClickHouse是近年来备受关注的开源列式数据库（DBMS），主要用于数据联机分析（OLAP）领域，于2016年开源。目前国内社区火热，
- 我们在编写软件时，一般会有版本号以及生成的时间，Go编译的程序中，如何添加当时的编译时间以及版本信息？C/C++语言，非常方便，可以直接使用
- 数据结构：通俗点说，就是储存大量数据的容器。这里主要介绍Python的4种基本数据结构：列表、字典、元组、集合。格式如下：列表：list =
- eclipse 配置 python 默认头打开eclipse 点 窗口（Windows）->首选项（Preferences）Prefe
- 先看一个需求from collections import defaultdict"""需求: 统计user_
- 一、为表创建自增长自段有两种，一种是不同的表使用各自的Sequence，方法如下： 1、在Oracle sequence首先创建sequen
- 核心技术：Python3.7GUI技术：Tkinter （Python已经内置）好多文章写Python GUI之tkinter窗口视窗教程大
- 大部分语言，例如c语言，交换两个变量的值需要使用中间变量。例如交换a,b伪代码：tmp = aa = bb = tmppython里面可以实
- 对批量WAV音频进行等长分割对WAV格式的音频以相同长度进行分割。import osimport waveimport numpy as n
- 1．如何获取表单<select>域的选择部分的文本？ <form name="a"> <s
- 本文实现文件分类器的目的主要是为了将办公过程中产生的各种格式的文件完成整理。通过自定义需要整理的文件目录，将该目录下面的全部文件按照文件格式
- 一、腾讯语音合成介绍腾讯云语音合成技术（TTS）可以将任意文本转化为语音，实现让机器和应用张口说话。 腾讯TTS技术可以应用到很多场景，比如
- SQLServer中开启CDC之后，在某些情况下会导致事务日志空间被占满的现象为：在执行增删改语句（产生事务日志）的过程中提示，The tr
- *#type.jsfunction Person(name, age) { this.name = name; this
