python 采集中文乱码问题的完美解决方法
作者：jingxian 发布时间：2021-05-13 13:46:58
标签：python,中文,乱码
近几日遇到采集某网页的时候大部分网页OK,少部分网页出现乱码的问题,调试了几日,终于发现了是含有一些非法字符造成的..特此记录
1. 在正常情况下..可以用
import chardet
thischarset = chardet.detect(strs)["encoding"]
来获取该文件或页面的编码方式
或直接抓取页面的charset = xxxx 来获取
2. 遇到内容中有特殊字符时指定的编码一样会造成乱码..即内容中非法字符造成的,可以采用编码忽略非法字符的方式来处理.
strs = strs.decode("UTF-8","ignore").encode("UTF-8")
decode的第二个参数表示遇到非法字符时所采取的方式
该参数默认为抛出异常.
0
投稿猜你喜欢
- 四、XML应用分类 总的说来的XML的应用可分为四类： （1）应用于客户需要与不同的数据源进行交互时。数据可能来自不同的数据库，他们都有各自
- # coding=utf-8 from BeautifulSoup import BeautifulSoup, Tag, Navigable
我们在建立一个大型网站的时候会有很多副页面框架模式，甚至一些细节元素都是相同的。但令人困扰的是更新它们却要费些周折，要一遍遍地反复更新每个页- 一、dim的定义TensorFlow对张量的阶、维度、形状有着明确的定义，而在pytorh中对其的定义却模糊不清，仅仅有一个torch.si
- 目录1.技术背景2.问题复现3.解决思路4.总结概要1.技术背景笔者在执行一个Jax的任务中，又发现了一个奇怪的问题，就是明明只分配了很小的
- 本文实例为大家分享了python使用itchat实现手机控制电脑的具体代码，供大家参考，具体内容如下1.准备材料首先电脑上需要安装了pyth
- 以下实例为通过用户输入两个数字，并计算两个数字之和：# -*- coding: UTF-8 -*-# Filename : test.py#
- Rosenbrock函数的定义如下：其函数图像如下：我分别使用梯度下降法和牛顿法做了寻找Rosenbrock函数的实验。梯度下降梯度下降的更
- CSS样式和JavaScript脚本是应该放在外部文件中呢？还是把它们放在页面本身之内呢？如何处理是关于一些性能规则的思维，就这些问题，我们
- 网上async with和async for的中文资料比较少，我把PEP 492中的官方陈述翻译一下。异步上下文管理器”async with
- Django添加静态文件有两种方法：首先setting.py配置文件中添加静态文件的路径：STATICFILES_DIRS = [ os.p
- 本文实例讲述了Python实现的数据结构与算法之基本搜索。分享给大家供大家参考。具体分析如下：一、顺序搜索顺序搜索 是最简单直观的搜索方法：
- import pyspherefrom pysphere import VIServerhost_ip = "200.200.17
- 一、安装cuda1、在英伟达官网下载最新版的cuda驱动https://developer.nvidia.com/zh-cn/cuda-do
- <％ '#######以下是一个类文件，下面的注解是调用类的方法####################
- 在document.form1.submit();后加document.body.innerHtml = "W
- 以下是服务端代码var HTTPREQUEST_PROXYSETTING_DEFAULT = 0;var&nb
- 引子如果遇到了 Must provide secret_key to use csrf错误提醒，原因就是没有设置secret_key ，在代
- Pandas 处理数据的效率还是很优秀的，相对于大规模的数据集只要掌握好正确的方法，就能让在数据处理时间上节省很多很多的时间。Pandas
- 详细代码见仓库github地址：github.com/nerkeler/account重要提示程序默认密码：password密钥位置：./r
