python 采集中文乱码问题的完美解决方法
作者：jingxian 发布时间：2021-05-13 13:46:58
标签：python,中文,乱码
近几日遇到采集某网页的时候大部分网页OK,少部分网页出现乱码的问题,调试了几日,终于发现了是含有一些非法字符造成的..特此记录
1. 在正常情况下..可以用
import chardet
thischarset = chardet.detect(strs)["encoding"]
来获取该文件或页面的编码方式
或直接抓取页面的charset = xxxx 来获取
2. 遇到内容中有特殊字符时指定的编码一样会造成乱码..即内容中非法字符造成的,可以采用编码忽略非法字符的方式来处理.
strs = strs.decode("UTF-8","ignore").encode("UTF-8")
decode的第二个参数表示遇到非法字符时所采取的方式
该参数默认为抛出异常.
0
投稿猜你喜欢
- /* --SQLServer中将字符串首字母设置大写： --作者:jinjazz /csdn --SQLServer2005启用OLEAut
前言这篇文章主要介绍了JS大坑之19位数的Number型精度丢失问题，文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习- 一、KNN概述简单来说，K-近邻算法采用测量不同特征值之间的距离方法进行分类优点：精度高、对异常值不敏感、无数据输入假定缺点：计算复杂度高、
- 最近刚重构完，我们的一个项目，由原来的jsp模式改为了前后端分离，前端选型为vue，开发完成之后第一件时间就是要部署测试，服务端选的是Apa
- 前言本文主要给大家介绍了关于Django快速分页的相关内容，分享出来供大家参考学习，下面话不多说了，来一起看看详细的介绍吧。分页在web开发
- 前言Logistic回归涉及到高等数学，线性代数，概率论，优化问题。本文尽量以最简单易懂的叙述方式，以少讲公式原理，多讲形象化案例为原则，给
- 有的时候取出全部数据库记录也许正好满足你的要求，不过，在大多数情况下我们通常只需得到部分记录。这样一来该如何设计查询呢？当然会更费点脑筋了，
- 查询微信里的一些精选的，点击量比较大的文章。 别忘记申请apikey（登录百度账号即可获取），要完成的功能是：1、用户回复&quo
- TensorFlow中tf.batch_matmul()用法如果有两个三阶张量，size分别为a.shape = [100, 3, 4]b.
- vue实现菜单切换，点击菜单导航切换不同的内容以及为当前点击的选项添加样式，或者组件。method里： css:html代码：&l
- 三遍记忆,让你记住海量素材的准确位置和用途,提高其可用性.这仅仅是一个示意图.在以往的日子里,我做到了只要脑袋里冒出一个想法,立刻就能知道我
- Oracle 的正规表达式的实施是以各种 SQL 函数和一个 WHERE 子句操作符的形式出现的。如果您不熟悉正规表达式，那么这篇文章可以让
- ASP 能快速执行你的 * 页，但你还可以通过紧缩代码和数据库连接以使它们执行更快。这是一篇关于怎样精简代码和Asp 特征以获得最快执行速度
- 使用vscode的过程中 自己或者push代码以后 代码的格式可能会出现错乱,作为一个成熟的开发 , 当然应该遵守一些代码规范, 首先代码整
- 如果显示网格，代码应类似这样：<div class="container"><div class=&q
- 这篇文章主要介绍了Python监控服务器实用工具psutil使用解析,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习
- 最近在学习机器学习的过程中，常常需要将本地写的代码传到GPU服务器中，然后在服务器上运行。之前的做法一直是先在本地写好代码，然后通过File
- android开发中在和服务器端接口对接时出现编码问题，从服务器端获取到的数据是 "\u8bbe\u59071ID-\u
- 这篇文章主要介绍了深入了解如何基于Python读写Kafka,文中通过示例代码介绍的非常详细，对大家的学习或者工作具有一定的参考学习价值,需
- python的百分号输出比较奇怪，代码如下print('％s％％'％(5))#这样就能输出‘5％'来源：https:
