Python转码问题的解决方法
发布时间：2023-06-30 07:48:52
比如，若要将某个String对象s从gbk内码转换为UTF-8，可以如下操作
s.decode('gbk').encode('utf-8′)
可是，在实际开发中，我发现，这种办法经常会出现异常：
UnicodeDecodeError: ‘gbk' codec can't decode bytes in position 30664-30665: illegal multibyte sequence
这 是因为遇到了非法字符——尤其是在某些用C/C++编写的程序中，全角空格往往有多种不同的实现方式，比如\xa3\xa0，或者\xa4\x57，这些 字符，看起来都是全角空格，但它们并不是“合法”的全角空格（真正的全角空格是\xa1\xa1），因此在转码的过程中出现了异常。
这样的问题很让人头疼，因为只要字符串中出现了一个非法字符，整个字符串——有时候，就是整篇文章——就都无法转码。
解决办法：
s.decode('gbk', ‘ignore').encode('utf-8′)
因为decode的函数原型是decode([encoding], [errors='strict'])，可以用第二个参数控制错误处理的策略，默认的参数就是strict，代表遇到非法字符时抛出异常；
如果设置为ignore，则会忽略非法字符；
如果设置为replace，则会用?取代非法字符；
如果设置为xmlcharrefreplace，则使用XML的字符引用。
python文档
decode( [encoding[, errors]])
Decodes the string using the codec registered for encoding. encoding defaults to the default string encoding. errors may be given to set a different error handling scheme. The default is 'strict', meaning that encoding errors raise UnicodeError. Other possible values are 'ignore', 'replace' and any other name registered via codecs.register_error, see section 4.8.1.
0
投稿猜你喜欢
pycharm中光标变粗，如下：原因：光标进入了改写状态。解决方法：按一下键盘中的Insert键就好了。- Python生成指定数量的优惠码打开Python开发工具IDLE，新建‘codeGen.py'文件，并保存导入需要的包，这里需要ra
- PHPMailer是一个封装好的PHP邮件发送类，支持发送HTML内容的电子邮件，以及可以添加附件发送，并不像PHP本身mail()函数需要
- 类中定义的方法大致可以分为两类：绑定方法和非绑定方法。其中绑定方法又可以分为绑定到对象的方法和绑定到类的方法。一、绑定方法1 对象的绑定方法
- 1、定义标记变量；利用变量值的变化退出循环# 第一种嵌套形式a = [[1, 2, 3], [5, 5, 6], [7, 8, 9]]# i
- 封装是一个将Python数据对象转化为字节流的过程，拆封是封装的逆操作，将字节文件或字节对象中的字节流转化为Python数据对象，不要从不收
- 二维列表转一维列表from compiler.ast import flattena=[[1,2],[5,6]]print(flatten(
- 前言在跑项目时，常常会安装很多的包，也通常会遇到需要安装指定版本的包，以及包与包不兼容的问题。比如：在项目1中安装librosa时，会自动安
- 最近用Python写了个 * ，需要部署到Linux环境的服务器上，由于之前本地开发时使用virtualenv，使用这个虚拟环境有个好处是项目
- 一、关系型数据库设计规则遵循ER模型和三范式E entity 代表实体的意思 对应到数据库当中的一张表R relationship 代表关系
- 代码如下dat=['1', '2', '3', '0', '0
- git还原到某次commit并强制推送远程不可逆提交一、reset1.git log查看提交记录git log2.选择某次提交的commit
- Python运算符重载 Python语言提供了运算符重载功能，增强了语言的灵活性
- 先记下,免得以后想不起来又到处去找! PHP操作数据库的时候,数据库中数据使用UTF8编码,在读出来的时候,显示的全是???????问号乱码
- defer关键字defer关键字可以让函数或语句延迟到函数语句块的最结尾时，即即将退出函数时执行，即便函数中途报错结束、即便已经panic(
- 页面大小、窗口大小和滚动条位置这三个数值在不同的浏览器例如Firefox和IE中有着不同的实现。即使在同一种浏览器例如IE中，不同版本也有不
- 使用环境：Win10 x64 Python：3.6.4 SqlServer：2008R2 因为
- 目录1. Dash2. Pillow3. Colorama4. JmesPath5. Simplejson6. Emoji7. 进度条：pr
- 创建作业，执行以下命令 exec master..XP_cmdshell 'http://srm.rapoo.cn?op=sapin
- curses 库 ( ncurses ) 提供了控制字符屏幕的独立于终端的方法。curses 是大多数类似于 UNIX 的系统（包括 Lin
