Python爬虫爬取商品失败处理方法
作者：py 发布时间：2021-04-11 11:26:31
标签：Python爬虫,爬取失败
1.登陆网站，开启开发者模式。
可以在浏览器中点击右键检查或者F12打开开发者模式。
2.点选 NetWork，DOC，然后刷新页面。
在 network 中选择 doc，在请求的 headers 中搜索 cookie。
3.获取对应的 cookie 以及 user-agent。
4.在代码中添加到 headers 里面。
def getHTMLText(url):
kv = {
'cookie': 'adsgadfafegadsgadsfaefasdfaewfadsfag'
'uaer-agent': 'Mozilla/5.0 (Macintosh; Intel Mac OS X 10_14_4) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/73.0.3683.86 Safari/537.36'
}
try:
r = requests.get(url, headers=kv, timeout=30)
r.raise_for_status()
r.encoding = r.apparent_encoding
return r.text
except:
return "gg"
实例扩展：
程序的结构设计
提交商品搜索请求，循环获取页面
对于每个页面，提取商品名称和价格信息
将信息输出
遇到问题
爬取成功，数据有问题
打印 html 文件，返回如下
<script type="text/javascript">
TRLang = {
ERROR_NICK_BLANK: "请填写账户名",
ERROR_PASSWORD_BLANK: "请输入密码",
ERROR_NICK_PASSWORD_BLANK: "请输入账户名和密码",
ERROR_CHECKCODE_BLANK: "请输入验证码",
TIPS_REMEMBER_PASSWORD: "记住密码",
TIPS_NOT_REMEMBER_PSW_ON_PUBLIC: "不要在公共计算机记住密码，防止账户被盗"
};
</script>
来源：https://www.py.cn/jishu/spider/32181.html
0
投稿猜你喜欢
后端代码就不介绍了，可以参考 django rest framework 实现用户登录认证这里介绍一下前端代码，和前后端的联调过程在comp- 网站用户为什么注册？这个问题在平时我们讨论的并不多。我们常常单纯的在设想如何简化注册流程，如何从细节的关怀入手避免用户注册时填写错误信息造成
- 在ACCESS中更改控件的默认属性 Lisa Friedrichsen, 欧弗兰帕克,堪萨斯州 如果您在设计一个Microsoft ACCE
- 不同于行级或页级锁定的选项：· 版本(例如，为并行的插入在MySQL中使用的技术)，其中可以一个写操作，同时有许多读取操作。这明数据库或表支
- 前言这是一篇罗里吧嗦的前言，可能更多的属于个人的感慨以及吐槽。首先打个广告：你每天点点点累么？面对越来越卷的环境你彷徨么？被要求 2 天做一
- 给静态网页加密的方法有很多，有的简单有的复杂。前两天看见有人问静态网页加密问题，就写了这个代码思路：加密时：先把用户的密钥A用md5加密为B
- 会员注册以后，有些会员可能会遇到忘记登录密码的问题，因而网站具备“找回密码/忘记密码”功能不仅是必须的，而且是服务贴心的具体表现之一。在此，
- 1. 引言pprint的英文全称Data pretty printer，顾名思义就是让显示结果更加直观漂亮。print()和pprint()
- 一、简介eval()函数用来执行一个字符表达式的值，并返回表达式的值二、语法具体语法：eval(expression[, globals[,
- 大家在开发Python的过程中，一定会遇到很多反斜杠的问题，很多人被反斜杠的数量搞得头大。首先我们写一段非常简单的Python代码，它的作用
- 一、将对象转为json字符串json.dumps：将 Python 对象编码成 JSON 字符串json.loads：将已编码的 JSON
- tomorrow是我最近在用的一个爬虫利器，该模块属于第三方的一个模块，使用起来非常的方便，只需要用其中的threads方法作为装饰器去修饰
- 一、摘要Python使用被称为异常 的特殊对象来管理程序执行期间发生的错误。每当发生让Python不知所措的错误时，它都会创建一个异常对象。
- 本文实例讲述了Python设计模式之工厂方法模式。分享给大家供大家参考，具体如下：工厂方法模式(Factory Method Pattern
- 在默认情况下，MySQL搜索不区分大小写（但某些字符集始终区分大小写，如czech）。这意味着，如果你使用col_name LIKE
- 本文实例讲述了Python mutiprocessing多线程池pool操作。分享给大家供大家参考，具体如下：python — mutipr
- 不用切图，只要设置基本的 图片及其属性即可！用鼠标右键控制图片翻转！<style>*{ FONT-SIZE: 12px; }se
- set函数也是python内置函数的其中一个，属于比较基础的函数。其具体介绍和使用方法，下面进行介绍。set() 函数创建一个无序不重复元素
- 这个任务是自己在项目中数据处理的一部分内容，待处理的图片如下所示：我需要将目标区域给裁剪出来，要不然在后期训练网络的时候整幅图像过大，且目标
- 一、前言最近本都是开开心心的打开电脑写一些祖传BUG但一个报错阻碍了我写BUG的进度！这年代还有能阻碍我写BUG的报错？？？二、解决过程一个
