Python爬虫后获取重定向url的两种方法
作者：lemon_tree1002 发布时间：2022-01-08 18:06:06
标签：python爬虫,url
下面给大家分享Python爬虫后获取重定向url的两种方法，具体内容如下所示；
方法（一）
# 获得重定向url
from urllib import request
# https://zhidao.baidu.com/question/681501874175782812.html
url = "https://www.baidu.com/link?url=IscBx0u8h9q4Uq3ihTs_PqnoNWe7slVWAd2dowQKrnqJedvthb3zrh9JqcMJu3ZqFrbW_DKVuTnTypDbMkZx_hwCQIGFPRVWGyxRXA-65jK&wd=&eqid=f7aeecba00092ed7000000065ec62596"
print(request.urlopen(url).geturl())
方法（二）
# 请求头，这里我设置了浏览器代理
headers = headers = {'User-Agent': 'xx'}
# 这里chrome的user-agent获取方式：在浏览器地址栏输入 about://version 即可得到结果
url = "https://www.baidu.com/link?url=IscBx0u8h9q4Uq3ihTs_PqnoNWe7slVWAd2dowQKrnqJedvthb3zrh9JqcMJu3ZqFrbW_DKVuTnTypDbMkZx_hwCQIGFPRVWGyxRXA-65jK&wd=&eqid=f7aeecba00092ed7000000065ec62596"
# 请求网页
response = requests.get(url, headers=headers)
# print(response.status_code) # 打印响应的状态码
print(response.url) # 打印重定向后的网址
# 两个结果都是：https://zhidao.baidu.com/question/681501874175782812.html
来源：https://blog.csdn.net/weixin_39568072/article/details/106258743
0
投稿猜你喜欢
核心代码是：browser.execute_cdp_cmd('Network.setUserAgentOverride',- 目录socket概念socket基本用法创建tcp套接字创建udp套接字socket内建方法实现端口扫描总结socket概念socket又称
- 前言之前学python时在网上找了好多小程序，由于年代久远，已经忘记出自哪里了，给代码加了点注释，再稍微修改了一下，让代码的可读性更好，如有
- 当大家发现数据库查询性能很慢的时候，大家都会想到加索引来优化数据库查询性能，但是面对一个复杂的SQL语句，找到一个优化的索引组合对人脑来讲，
- 代码实现：<!DOCTYPE html><html lang="en"><head>
- CBV添加装饰器给CBV添加装饰器有三种方法，三种方法都需要导入模块：from django.utils.decorators import
- 索引是以表列为基础的数据库对象。索引中保存着表中排序的索引列，并且纪录了索引列在数据库表中的物理存储位置，实现了表中数据的逻辑排序。通过索引
- 1. 警告不是异常你是不是经常在使用一些系统库或者第三方模块的时候，会出现一些既不是异常也不是错误的警告信息？这些警告信息，有时候非常多，对
- 1、创建表1.1、创建表基本语法CREATE TABLE tablename (column_name_1 column_type_1 co
- 读取问题如下所示，我们在文本中写了一个问题，然后将其读取出来。“黄河远上白云间，一片孤城万仞山。”的作者是谁？王之涣李白白居易杜甫file
- 这个就没什么好说的了。。直接上代码啊！！ 首先是HTML的代码。其中包含了登录点击按钮以及一个简陋的登录框。 <body> &l
- 两种方式以及效果：方式一，使用PIL.Image.blend方式：from PIL import Image, ImageDrawim =
- typora使用latex进行公式的编写，下面是具体的行间公式和行内公式的快捷键方法：CTRL+SHIFT+M开启行间公式$$开启行内公式1
- 1、路径https://www.lfd.uci.edu/~gohlke/pythonlibs/PS：网上说有时候报404，解决办法是换浏览器
- 前言本文主要给大家介绍了关于Django中CBV和FBV的相关内容，分享出来供大家参考学习，下面话不多说了，来一起看看详细的介绍吧。一、&n
- Ajax的流行给用户体验带来了很大程序的提升，而“注册“这项做为互联网最常用到的功能也自然而然的成为Ajax最常光顾的地方，实时判断用户输入
- 0.摘要本文介绍了生成连续和随机字母表的方法，用于快速生成大量字母数据。主要使用chr（）函数，将数字通过ASCII表转换为相应字母。1.c
- Swagger是一个API开发者的工具框架，用于生成、描述、调用和可视化RESTful风格的Web服务。总体目标是使客户端和文件系统服务器以
- 道友问我的一个问题，之前确实没遇见过，在此记录一下。问题描述在某网站主页提取url进行迭代，爬虫请求主页时没有问题，返回正常，但是在访问在主
- 1.3 安装 ASP.net跟基督山一起检查你们的计算机哦CPU Pentium II 450以上，推荐733内存 256M 推荐 512M
