Python CSS选择器爬取京东网商品信息过程解析
作者：dcpeng 发布时间：2022-01-17 21:18:17
CSS选择器
目前，除了官方文档之外，市面上及网络详细介绍BeautifulSoup使用的技术书籍和博客软文并不多，而在这仅有的资料中介绍CSS选择器的少之又少。在网络爬虫的页面解析中，CCS选择器实际上是一把效率甚高的利器。虽然资料不多，但官方文档却十分详细，然而美中不足的是需要一定的基础才能看懂，而且没有小而精的演示实例。
京东商品图
首先进入京东网，输入自己想要查询的商品，向服务器发送网页请求。在这里小编仍以关键词“狗粮”作为搜索对象，之后得到后面这一串网址：
https://search.jd.com/Search?keyword=％E7％8B％97％E7％B2％AE&enc=utf-8，其中参数的意思就是我们输入的keyword，在本例中该参数代表“狗粮”，具体详情可以参考Python大神用正则表达式教你搞定京东商品信息。所以，只要输入keyword这个参数之后，将其进行编码，就可以获取到目标URL。之后请求网页，得到响应，尔后利用CSS选择器进行下一步的数据采集。
商品信息在京东官网上的部分网页源码如下图所示：
部分网页源码
仔细观察源码，可以发现我们所需的目标信息在红色框框的下面，那么接下来我们就要一层一层的去获取想要的信息。
在Python的urllib库中提供了quote方法，可以实现对URL的字符串进行编码，从而可以进入到对应的网页中去。
CSS选择器在线复制
很多小伙伴都觉得CSS表达式很难写，其实掌握了基本的用法也就不难了。在线复制CSS表达式如上图所示，可以很方便的复制CSS表达式。但是通过该方法得到的CSS表达式放在程序中一般不能用，而且长的没法看。所以CSS表达式一般还是要自己亲自上手。
直接上代码，利用CSS去提取目标信息，如商品的名字、链接、图片和价格，具体的代码如下图所示：
代码实现
如果你想快速的实现功能更强大的网络爬虫，那么BeautifulSoupCSS选择器将是你必备的利器之一。BeautifulSoup整合了CSS选择器的语法和自身方便使用API。在网络爬虫的开发过程中，对于熟悉CSS选择器语法的人，使用CSS选择器是个非常方便的方法。
最后得到的效果图如下所示：
最终效果图
新鲜的狗粮再一次出炉咯~~~
CSS选择器
关于CSS选择器的简单介绍：
BeautifulSoup支持大部分的CSS选择器。其语法为：向tag对象或BeautifulSoup对象的.select()方法中传入字符串参数，选择的结果以列表形式返回，即返回类型为list。
tag.select("string")
BeautifulSoup.select("string")
注意：在取得含有特定CSS属性的元素时，标签名不加任何修饰，如class类名前加点，id名前加 /#。
来源：https://www.cnblogs.com/dcpeng/p/12985344.html
0
投稿猜你喜欢
话不多说，小工具需求如下: 功能需求 -- 电脑开机后自动执行时间同步 非功能需求 -- 安装执行简单，无需安装额外环境一、代码实现基于以上- 前言：相比大家都听过自动化生产线、自动化办公等词汇，在没有人工干预的情况下，机器可以自己完成各项任务，这大大提升了工作效率。编程世界里有各种
- 问题：由于自己做项目的时候，需要循环的绘制数据，假设有100个样本,每个样本包含两个坐标点（A, B），我需要对这两个点标上不同的颜色，同时
- union all在MySQL5.6下的表现Part1:MySQL5.6.25[root@HE1 ~]# MySQL -uroot -pEn
- 一、撤销修改（git add/rm 之前）git checkout -- * //是撤销从上次提交之后所做的所有修改git c
- 前言发现本站没有一个靠谱的tp6记录行为日志的教程,于是就整理了一下自己在项目中已经投入使用的行为日志中间件的详细配置步骤供大家参考提示：先
- 一、Pycharm中安装Django此教程默认你已安装并配置了Python 3.7.6）1.File—>Settings二、搭建Dja
- 目录元组集合字符串1、字符串的驻留机制2、常用操作函数1、函数的优点：2、函数的创建：def 函数名（[输入参数])3、函数的参数传递：4、
- provide和inject的用法(vue组件爷孙传值)聊聊概念成对出现：provide和inject是成对出现的作用：用于父组件向子孙组件
- 引伸阅读解读absolute与relativeposition:relative/absolute无法冲破的等级定位一直是WEB标准应用中的
- Python 中如果需要对一个变量进行增量运算通常有两种写法，a = a + b 或 a += b。虽然两种方法能够得到同样的结果，但两者却
- 利用python3来实现TCP协议，和UDP类似。UDP应用于及时通信，而TCP协议用来传送文件、命令等操作，因为这些数据不允许丢失，否则会
- 本文为大家分享了做360度的全景照片的详细步骤，其中要注意以下几个问题：1、如何在拖图片时，使其加载变快？---注意让图片隐藏的性能比让图片
- 在python中使用socket进行linux服务器与win10主机间的图像传输，供大家参考，具体内容如下前提：服务器与主机需要在同一局域网
- 效果如下图：当点击问题时显示下面的回复内容。script type="text/javascript"> onlo
- 最近整理了一下网上关于MySql 链接url 参数的设置，有不正确的地方希望大家多多指教: mysql JDBC URL格式如下： jdbc
- 一、背景故事圣诞节风波马上不就到圣诞节了嘛，我看到朋友圈里很多小伙伴再纷纷炫耀自己收到的专属圣诞树，也有小伙伴私信我，说还没有自己的圣诞树！
- 最近发现session的知识有点脱节了，默认设置愣是搞半天，看来忘了不少。今天把一些通用设置贴上来，以备随时回顾。配置文件中设置默认操作（通
- 发现问题最近在打开项目的时候，发现我的默认路由没加载上linkActiveClass，网上一搜，发现很多同学也有这个问题，查了一些资料发现这
- 为了降低用户注册难度，国际站的主注册表单一直在改进。主注册三月至今发生了两次较大的变化，现在对表单调整的地方分解如下：1． 两步
