python爬虫爬取淘宝商品信息
作者：OliverkingLi 发布时间：2023-07-04 10:33:24
标签：python,爬虫,爬取
本文实例为大家分享了python爬取淘宝商品的具体代码，供大家参考，具体内容如下
import requests as req
import re
def getHTMLText(url):
try:
r = req.get(url, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return ""
def parasePage(ilt, html):
try:
plt = re.findall(r'\"view_price\"\:\"[\d\.]*\"', html)
tlt = re.findall(r'\"raw_title\"\:\".*?\"', html)
for i in range(len(plt)):
price = eval(plt[i].split(':')[1])
title = eval(tlt[i].split(':')[1])
ilt.append([price, title])
except:
print("")
def printGoodsList(ilt):
tplt = "{:4}\t{:8}\t{:16}"
print(tplt.format("序列号", "价格", "商品名称"))
count = 0
for j in ilt:
count = count + 1
print(tplt.format(count, j[0], j[1]))
def main():
goods = "python爬虫"
depth = 3
start_url = 'https://s.taobao.com/search?q=' + goods
infoList = []
for i in range(depth):
try:
url = start_url + '&s=' + str(44*i)
html = getHTMLText(url)
parasePage(infoList, html)
except:
continue
printGoodsList(infoList)
main()
效果图：
更多内容请参考专题《python爬取功能汇总》进行学习。
来源：http://blog.csdn.net/oliverkingli/article/details/78037864
0
投稿猜你喜欢
- ASPError Object 这个新增的，内置与ASP 3.0中的对象提供了一个以往版本中没有的专门用来处理错误的对象，这样，我们来操纵错
- 如今各个框架都在模块化，连前端的javascript也不例外。每个模块负责一定的功能，模块与模块之间又有相互依赖，那么问题来了：javasc
- 在mysql的手册中已经对max_user_connections有一点说明，它是用来限制用户资源的，怎么限制用户资源呢？这里做了个小测试。
- degrees()方法从弧度转换到度角x语法以下是degrees()方法的语法：degrees(x)注意：此函数是无法直接访问的
打开CMD命令 执行：sqlcmd/? 这是sqlcmd命令的一些帮助信息 通过上面可以知道怎么连数据库了 执行：sqlcmd -S 服务器- 看看下面：function zr4(y)' 准备数据dim z(10)z(1)="ONE&q
- 一.克隆表法一mysql> create table info1 like info;复制格式，通过LIKE方法，复制info表结构生
- 前段时间跟这suggest项目走，没想到这么一个小小的输入框居然会带来那么多的问题。首先来比较一下几个主流的搜索引擎的suggest效果。为
- 由于CPython实现中的GIL的限制，python中的多线程其实并不是真正的多线程，如果想要充分地使用多核CPU的资源，在python中大
- 本文实例讲述了Python反转序列的方法。分享给大家供大家参考，具体如下：序列是python中最基本的数据结构，序列中每个元素都有一个跟位置
- 本文实例讲述了Python设计模式之命令模式原理与用法。分享给大家供大家参考，具体如下：命令模式(Command Pattern):将请求封
- --利用T-SQL语句,实现数据库的备份与还原的功能 ----体现了SQL Server中的四个知识点： ----1． 获取SQL Serv
- 前言:Turtle库是Python语言中一个很流行的绘制图像的函数库，想象一个小乌龟，在一个横轴为x、纵轴为y的坐标系原点，(0,0)位置开
- uni-app自定义导航栏右侧做增加按钮并跳转链接uni-app 在页面上的导航栏右侧做一个增加的图标 并实现跳转1. 先看效果图2. 实现
- 本文实例为大家分享了python实现图书管理系统的具体代码，供大家参考，具体内容如下添加新书查询借阅二次添加新书(读取已有的.xls并修改)
- 最近在开发中用到了vue3的defineProps、defineEmits和defineExpose，感觉发现新大陆一般，所以利用闲碎时间对
- 网上搜到的代码，千篇一律是这个 Function Sort(ary) Dim KeepChecking,I,FirstV
- 本文实例讲述了Python3搜索及替换文件中文本的方法。分享给大家供大家参考。具体实现方法如下：# 将文件中的某个字符串改变成另一个 # 下
- models.py：from django.db import models # 出版社class Publisher(models.Mod
- 字典（dict）对象是 Python 最常用的数据结构，社区曾有人开玩笑地说："Python企图用字典装载整个世界"，字
