python爬取淘宝商品详情页数据
作者:HP的博客 发布时间:2021-05-28 14:38:08
标签:python,爬取
在讲爬取淘宝详情页数据之前,先来介绍一款 Chrome 插件:Toggle JavaScript (它可以选择让网页是否显示 js 动态加载的内容),如下图所示:
当这个插件处于关闭状态时,待爬取的页面显示的数据如下:
当这个插件处于打开状态时,待爬取的页面显示的数据如下:
可以看到,页面上很多数据都不显示了,比如商品价格变成了划线价格,而且累计评论也变成了0,说明这些数据都是动态加载的,以下演示真实价格的找法(评论内容找法类似),首先检查页面元素,然后点击Network选项卡,刷新页面,可以看到很多动态加载的数据,在里面找到包含商品价格的链接(可以使用Ctrl+f查找),如下图所示:
将此链接在新的标签页打开,如下图所示,可以看到,被禁止访问了,所以爬取的时候要在headers中加上Referer字段告诉服务器你是从哪个页面链接过来的,Referer字段可以在这里查看:
评论数据的链接可以直接访问(和价格信息找法类似),这里我知己去访问它,如下图所示:
可以看到评论信息总共有7页,而且都是json格式的数据,所以可以用json反序列化去抽取数据,当然也可以用正则表达式,下面我将演示用正则去抽取数据,因为评论数据过多,这里只抓取第一页,如果需要所有评论数据,可以循环构造url,只需要修改currentPage参数的值就行。程序源码如下:
# filename:spider_taobao.py
#!/usr/bin/env python
# -*- coding=utf-8 -*-
import re
import urllib2
def spider_taobao(url):
headers = {
'Accept':'application/json, text/plain, */*',
'Accept-Language':'zh-CN,zh;q=0.3',
'Referer':'https://item.taobao.com/item.htm',
'User-Agent':'Mozilla/5.0 (X11; Linux x86_64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/58.0.3029.110 Safari/537.36',
'Connection':'keep-alive',
}
goods_id = re.findall('id=(\d+)', url)[0]
try:
req = urllib2.Request(url=url, headers=headers)
res = urllib2.urlopen(req).read().decode('gbk', 'ignore')
except Exception as e:
print '无法打开网页:', e.reason
try:
title = re.findall('<h3 class="tb-main-title" data-title="(.*?)"', res)
title = title[0] if title else None
line_price = re.findall('<em class="tb-rmb-num">(.*?)</em>', res)[0]
# 30-42行为抓取淘宝商品真实价格,该数据是动态加载的
purl = "https://detailskip.taobao.com/service/getData/1/p1/item/detail/sib.htm?itemId={}&modules=price,xmpPromotion".format(goods_id)
price_req = urllib2.Request(url=purl, headers=headers)
price_res = urllib2.urlopen(price_req).read()
data = list(set(re.findall('"price":"(.*?)"', price_res)))
# data列表中的价格可能是定值与区间的组合,也可能只是定值,而且不一定有序
real_price = ""
for t in data:
if '-' in t:
real_price = t
break
if not real_price:
real_price = sorted(map(float, data))[0]
# 45-53行为抓取评论数据,该数据也是动态加载的
comment_url = "https://rate.tmall.com/list_detail_rate.htm?itemId={}&sellerId=880734502¤tPage=1".format(goods_id)
comment_data = urllib2.urlopen(comment_url).read().decode("GBK", "ignore")
temp_data = re.findall('("commentTime":.*?),"days"', comment_data)
temp_data = temp_data if temp_data else re.findall('("rateContent":.*?),"reply"', comment_data)
comment = ""
for data in temp_data:
comment += data.encode('utf-8')
comment = comment if comment else "暂无评论"
except Exception as e:
print '数据抽取失败!!!'
print '商品名:', title
print '划线价格:', line_price
print '真实价格:', real_price
print '商品链接:', url
print '部分评论内容:', comment
if __name__ == '__main__':
#url = 'https://item.taobao.com/item.htm?spm=a230r.1.14.30.43306a3fOeuZ0B&id=553787375606&ns=1&abbucket=10#detail'
url = raw_input("请输入商品链接: ")
spider_taobao(url)
运行结果如下:
更多内容请参考专题《python爬取功能汇总》进行学习。
来源:http://blog.csdn.net/Oscer2016/article/details/78992404
0
投稿
猜你喜欢
- 这段时间服务器崩溃2次,一直没有找到原因,今天看到论坛发出的错误信息邮件,想起可能是mysql的默认连接数引起的问题,一查果然,老天,默认
- 学了一个礼拜Python之后写的,代码很粗糙,只是为了完成利用163邮箱远程关电脑功能。直接把代码发上来吧。要执行的话得先安装一些模块,看i
- 八月的UCDChina书友会主题是“信息分类和方法”,在会场中的内容是不足以简单的概述的,而这次交流至少对于分类、属性、关键词与Tag的定义
- 众所周知当前(甚至接下来的几年)最酷的东西是iPhone。不仅仅是因为iPhone看起来不错,它们在网站方面也很不错。而且,更重要的是,很多
- 完成了UI,我们就需要对数据进行处理了。在开始“数据”的本地存储之前,我们先来了解一下client-side database storag
- 如下所示:fp = open(''test2.txt','w') #打开你要写得文件test2.tx
- 突发奇想,写了以下这段代码,感觉还不错,拿来和大家分享作用:查看页面布局使用方法:在页面底部包含以下这段代码ff3,ie7测试可用var&n
- 在这篇入门教程中,我们假定你已经有了PHP语言程序、MySQL数据库、计算机网络通讯及XML语言基础。如果你还没有,那么请先学习相关知识。我
- ps:不曾想还有那么好用的方法。汗一个先。Div即父容器不根据内容自适应高度,我们看下面的代码:<div id="main&
- 视图(View)“视图”主要指我们送到Web浏览器的最终结果??比如我们的脚本生成的HTML。当说到视图时,很多人想到的是模版,但是把模板方
- 本文实例为大家分享了js实现瀑布流效果的具体代码,供大家参考,具体内容如下CSS样式:<style> .cont{margin:
- AddHeaderAddHeader 方法用指定的值添加 HTML 标题。该方法常常向响应添加新的 HTTP 标题。它并不替代现有的同名标题
- asp之家注:本篇asp留言本教程可以说是我见过的最详细,写的最认真的,最适合初学者来学习asp的一篇教程。在此感谢作者hemooday。可
- 本文实例为大家分享了bootstrapTable+ajax加载数据,和refresh更新数据两部分,供大家参考,具体内容如下1.html&l
- 用QQ聊过天的朋友都对它的自动隐藏窗口功能爱不释手,它可以使窗口显得清爽整洁而且富有动感,笔者的几个朋友都想在自己的网页中加入类似的东东,经
- 游标的使用提到游标这个词,人们想到的是在屏幕上一个闪动的方框,用以指示用户将要输入字符的位置。而在关系型数据库的SQL语言中,游标却有另外的
- 安装使用pip install XlsxWriter来安装,Xlsxwriter用来创建excel表格,功能很强大,下面具体介绍:1.简单使
- 问题:无法上传较大的文件“Request 对象 错误 'ASP 0104 : 80004005'”或者上传成功后,找不到文件
- 本文实例讲述了php以post形式发送xml的方法。分享给大家供大家参考。具体方法如下:方法一,使用curl:$xml_data = <
- aspjpeg组件实现加水印函数的调用方法: <%printwater "/images/水印图片.gif",&q