Python爬虫后获取重定向url的两种方法
作者：lemon_tree1002 发布时间：2022-01-08 18:06:06
标签：python爬虫,url
下面给大家分享Python爬虫后获取重定向url的两种方法，具体内容如下所示；
方法（一）
# 获得重定向url
from urllib import request
# https://zhidao.baidu.com/question/681501874175782812.html
url = "https://www.baidu.com/link?url=IscBx0u8h9q4Uq3ihTs_PqnoNWe7slVWAd2dowQKrnqJedvthb3zrh9JqcMJu3ZqFrbW_DKVuTnTypDbMkZx_hwCQIGFPRVWGyxRXA-65jK&wd=&eqid=f7aeecba00092ed7000000065ec62596"
print(request.urlopen(url).geturl())
方法（二）
# 请求头，这里我设置了浏览器代理
headers = headers = {'User-Agent': 'xx'}
# 这里chrome的user-agent获取方式：在浏览器地址栏输入 about://version 即可得到结果
url = "https://www.baidu.com/link?url=IscBx0u8h9q4Uq3ihTs_PqnoNWe7slVWAd2dowQKrnqJedvthb3zrh9JqcMJu3ZqFrbW_DKVuTnTypDbMkZx_hwCQIGFPRVWGyxRXA-65jK&wd=&eqid=f7aeecba00092ed7000000065ec62596"
# 请求网页
response = requests.get(url, headers=headers)
# print(response.status_code) # 打印响应的状态码
print(response.url) # 打印重定向后的网址
# 两个结果都是：https://zhidao.baidu.com/question/681501874175782812.html
来源：https://blog.csdn.net/weixin_39568072/article/details/106258743
0
投稿猜你喜欢
- 网页兼容测试，除了做不同浏览器的兼容测试，还要观察网页在不同分辨率下的表现情况。在页面中使用了CSS绝对定位，发现在宽屏下错位。随后测试非1
WEB标准化之前的互联网是TABLE布局的天下，但随着互联网的高速发展，TABLE布局已经不能满足千变万化的页面所来来的更新压力和服务器压力- 以图像处理见长的微软Live实验室，最近发布了一款新作：Pivot。装完启动后的第一印象就是一款浏览器，和IE、FF、Chrome又不太一样
- 思想：4个数字的排列，加上3个运算符的排列，使用后缀表达式的表现如下：情形一：1,2,3,4,+,-,* => 24*24*4情形二：
- 需求背景女朋友的论文需要爬取YouTube视频热评，但爬下来的都是外文。主要设计 读取一个表格文件，获取需要翻译的文本
- 一，红绿灯揭示板案例思路1. 创建Traffic_light红绿灯类(1)静态属性 ：<1> 绿灯时间，<2> 黄灯
- 数据采集XPath，XML路径语言的简称。XPath即为XML路径语言（XML Path Language），它是一种用来确定XML文档中某
- 一、去除空格strip()" xyz ".strip() &n
- 大家知道直接使用ASP是不能够重启服务器的，这时我们需要制作一个组件来实现功能，ASP通过这个组件调用系统API，然后按照不同的重启和关机方
- 1. ASCII 返回与指定的字符对应的十进制数; SQL> select ascii(A) A,ascii(a) a,as
- 一、实现代码1.sql-- phpMyAdmin SQL Dump-- version 4.5.1-- http://www.phpmyad
- 简介Github：https://github.com/spf13/cobraStar：26.5KCobra是一个用Go语言实现的命令行工具
- 这篇文章主要介绍了微信小程序转发事件实现解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考
- 使用xmlhttp中的getResponseHeader 从响应信息中获取指定的http头strValue = oXML
- 当你连接一个MySQL服务器时，你通常应该使用一个口令。口令不以明文在连接上传输。所有其它信息作为能被任何人读懂的文本被传输。如果你担心这个
- 一、前言B站上的漂亮的小姐姐真的好多好多，利用 you-get * 下载了一个 B 站上跳舞的小姐姐视频，利用视频中的弹幕来制作一个漂亮小姐
- 今天发现了一个显示ORACLE语法的好网站。内容太多，就不一一摘录了，记在这里，也方便自己查找。http://ss64.com/ora/ 目
- php开启openssl的方法，大多数情况下openssl是没有开启的，要想启用需要进行下简单的设置windows下开启方法：1： 首先检查
- blur事件在元素失去焦点时触发。在一些jquery的教程、api手册等上面对blur事件，提供了一个错误的例子，就是关于p标签失去焦点的问
- 1、文件编码：指的是页面文件(.html,.php等)本身是以何种编码来保存的。记事本和Dreamweaver在打开页面时候会自动识别文件编
