python基于BeautifulSoup实现抓取网页指定内容的方法
作者：光索与诺 发布时间：2022-11-29 12:11:48
标签：python,BeautifulSoup,抓取
本文实例讲述了python基于BeautifulSoup实现抓取网页指定内容的方法。分享给大家供大家参考。具体实现方法如下：
# _*_ coding:utf-8 _*_
#xiaohei.python.seo.call.me:)
#win+python2.7.x
import urllib2
from bs4 import BeautifulSoup
def jd(url):
page = urllib2.urlopen(url)
html_doc = page.read()
soup = BeautifulSoup(html_doc.decode('gb2312','ignore'))
for i in soup.find_all('div', id="sortlist"):
one = i.find_all('a')
two = i.find_all('li')
print ("％s ％s" ％ (one,two))
jd("http://channel.jd.com/computer.html")
希望本文所述对大家的Python程序设计有所帮助。
0
投稿猜你喜欢
- Python引入了一个机制：引用计数。引用计数python内部使用引用计数，来保持追踪内存中的对象，Python内部记录了对象有多少个引用，
- 摘 要： 恢复丢失的数据库文件在很大程度上取决于所采用的备份策略。本文从恢复的灵活性出发，对Oracle8数据库的备份及恢复策略进行了探讨，
- BEGIN -- 声明变量 DECLARE v_addtime_begin varchar(13); DECLARE v_addtime_e
- 部署apache服务的步骤：准备环境：关闭防火墙 ：service iptables stop设置开机关闭防火墙：chkconfig ipt
- 本文实例讲述了Python使用scrapy采集数据时为每个请求随机分配user-agent的方法。分享给大家供大家参考。具体分析如下：通过这
一、Python下载安装1、Python官方下载地址：https://www.python.org/downloads官方下载速度太慢，你可- Python 2里面读取输入的函数是raw_input()， Python 3的是input()，读入一个值后回车读取输入就退出了，想要一次
- 我就废话不多说了，大家还是直接看代码吧！'''Created on 2018-4-4'''k
- 本文介绍了如何在Linux下安装MySQL8.0，供大家参考，具体内容如下准备工作：mysql8.0 rpm文件测试工具（比如 idea的d
- pytorch读取图像数据转成opencv格式方法：先转成numpy通用的格式，再将其转换成opencv格式。pytorch读取的数据使用l
- 一、安装Docker安装环境：系统：CentOS Linux7 x86_64安装脚本wget -qO- https://get.docker
- mysql 配置白名单访问的步骤1.登录mysql -uroot -pmysql2.切换至mysql库use mysql;3.查看有白名单权
- 本文实例讲述了Python多线程threading模块用法。分享给大家供大家参考，具体如下：多线程 - threadingpython的th
- 前言Hello！大家好，有好几天没有跟大家见面咯~不知道大家是否在等待《小玩意儿》专栏的更新呢上一篇的文章【老师见打系列】：我只是写了一个自
- 概述WSGI接口包含两方面：server/gateway 及 application/framework。server调用由applicat
- 可迭代(iterable)迭代(遍历)就是按照某种顺序逐个访问对象中的每一项。Python中有很多对象都是可以通过for语句来直接遍历的，例
- 调用函数：#!/usr/bin/env python3 # -*- coding: utf-8 -*- # 函数调用 >>>
- 本文是对《Python Qt GUI快速编程》的第10章的例子剪贴板用Python3+PyQt5进行改写，分别对文本，图片和html文本的复
- import time, randomclass GuessNum: def __init__(self
- 2012年，AlexNet横空出世。它首次证明了学习到的特征可以超越手工设计的特征。它一举打破了计算机视觉研究的现状。AlexNet使用了8
