requests.gPython 用requests.get获取网页内容为空 ’ ’问题
作者：你隔壁的小王 发布时间：2021-12-06 08:52:31
标签：requests.gPython,requests.get,获取,网页
下面先来看一个例子：
import requests
result=requests.get("http://data.10jqka.com.cn/financial/yjyg/")
result
输出结果：
继续运行，发现返回空值，在请求网页爬取的时候，输出的text信息中会出现抱歉，无法访问等字眼，这就是禁止爬取，需要通过反爬机制去解决这个问题。headers是解决requests请求反爬的方法之一，相当于我们进去这个网页的服务器本身，假装自己本身在爬取数据。对反爬虫网页，可以设置一些headers信息，模拟成浏览器取访问网站 。
一、如何设置headers
拿两个常用的浏览器举例：
1、QQ浏览器
界面 F12
点击network 键入 CTRL+R
单击第一个 最下边就是我门需要的 把他设置成headers解决问题
2、Miscrosft edge
二、微软自带浏览器
同样 F12 打开开发者工具
点击网络，CTRL+R
前文代码修改：
import requests
ur="http://data.10jqka.com.cn/financial/yjyg/"
headers = {'User-Agent': 'Mozilla/5.0 (Windows NT 10.0; WOW64) AppleWebKit/537.36 (KHTML, like Gecko) Chrome/70.0.3538.25 Safari/537.36 Core/1.70.3880.400 QQBrowser/10.8.4554.400 '}
result = requests.get(ur, headers=headers)
result.text
成功解决不能爬取问题
来源：https://blog.csdn.net/weixin_43212535/article/details/122290890
0
投稿猜你喜欢
需求：小程序端拍照调用python训练好的图片分类模型。实现图片分类识别的功能。微信小程序端：重点在chooseImage函数中，根据图片路- 可匹配单行，也支持换行匹配[\s\S]*?加上括号，效果更好([\s\S]*?)来源：https://blog.csdn.net/ASUKA
- 微信小程序分享效果：js代码：page({/** * 用户点击分享按钮或右上角分享 */ onShareAppMessage: functi
- 第一种，也是我最常用的,第一帧里加上这个比较灵活，想要自定义加入菜单，只要定义drMenu这个对象就可以了var drMenu&n
- 地图服务是指可以提供数据信息的接口，比如说本地搜索/路线规划等，下面小编给大家整理下百度地图API之本地搜索和范围搜索，具体请看下文。地图服
- 概述这是一个简单的python爬虫程序，仅用作技术学习与交流，主要是通过一个简单的实际案例来对网络爬虫有个基础的认识。什么是网络爬虫简单的讲
- 左为旧版，右为更新到1.0版本后的名字定义变量的更新tf.VARIABLES ——> tf.GLOBAL_VARIABLEStf.al
- 简介 本文介绍解决SecureCRT通过SSH连接Ubuntu时vi命令有多余的m的问
- 前言GO语言在WEB开发领域中的使用越来越广泛，Hired 发布的《2019 软件工程师状态》报告中指出，具有 Go 经验的候选人是迄今为止
- .xls格式 Office2003及以下版本 .xlsx格式Offi
- 在一般问题的优化中，最速下降法和共轭梯度法都是非常有用的经典方法，但最速下降法往往以”之”字形下降，速度较慢，不能很快的达到最优值，共轭梯度
- 工作中发现表单提交方便的问题，很多时候IE下提交好好的，打了火狐下就出现了问题，利用提交按钮就不成功了，于是利用JS的方式就成功了，也不知道
- 今天写爬虫偶然想到了初学正则表达式时候，看过一篇文章非常不错。检索一下还真的找到了。re模块re.search经常用match = re.s
- 本文实例为大家分享了python实现发送邮件功能的具体代码，供大家参考，具体内容如下# -*- coding: utf-8 -*- # Au
- 原文链接：https://vien.tech/article/157前言本文将介绍ubuntu系统下如何定时执行shell脚本、python
- 如果你是一位前端开发工程师，对“跨平台”一词应该不会感到陌生。像常见的前端框架：比如React、Vue、Angular，它们可以做网页端，也
- 这里提供在使用python进行开发中常使用到的方法技巧，如有不对欢迎批评指正。要点：开发中类、变量特性查询，类型就是类，断言的使用，深浅复制
- 字符串的编码格式什么是编码格式？通俗来讲，编码格式就是编码的规则在脚本的开头指定编码格式，来告诉操作系统根据什么编码规则来解析代码常见的编码
- 迭代器跟生成器，与上篇文章讲的装饰器一样，都是属于我的一个老大难问题。通常就是遇到的时候就去搜一下，结果在一大坨各种介绍博客中看了看，回头又
- 本文实例讲述了javascript正则表达式模糊匹配IP地址功能。分享给大家供大家参考，具体如下：function checkip() {
