python读取中文txt文本的方法
作者：jingyi130705008 发布时间：2021-06-10 03:55:51
标签：python,读取,中文,txt
对于python2.7
字符串在Python2.7内部的表示是unicode编码，因此，在做编码转换时，通常需要以unicode作为中间编码，即先将其他编码的字符串解码成unicode，再从unicode编码成另一种编码。
先用一些编辑器（如editplus ）看一下你的txt文件保存的是utf-8，还是gb2312或其他的。当你读行时可以这样
line = (file1.readline()).decode('utf-8').encode('gb2312')或
line = (file1.readline()).decode('gb2312').encode('utf-8')
注意：txt使用utf8编码的时候会默认在文件开头插入三个不可见字符。这个是windows用来判断txt编码是否为utf8的。所以如果你直接使用decode('utf-8')的话是得不到正确结果的。
必须先判断前三个字符是否是windows插入的那三个。这个python已经定义了一个常量了，可以直接和这个常量比较，如果一样就删除前三个字符然后再decode。
import codecs
data = open("Test.txt").read()
if data[:3] == codecs.BOM_UTF8:
data = data[3:]
print data.decode("utf-8")
延伸：
因为decode的函数原型是decode([encoding], [errors='strict'])，可以用第二个参数控制错误处理的策略，默认的参数就是strict，代表遇到非法字符时抛出异常；
如果设置为ignore，则会忽略非法字符；
如果设置为replace，则会用?取代非法字符；
如果设置为xmlcharrefreplace，则使用XML的字符引用。
对于Python3
python3下比较简单,打开的时候指定encoding参数即可：open("txt.txt", encoding="gbk").read()。
来源：https://blog.csdn.net/jingyi130705008/article/details/71513984
0
投稿猜你喜欢
MySQL关键字Distinct用法介绍DDLPrepare SQL：create table test(id bigint not nul- 小孩子刚刚开始学说话的时候，常常是一个字一个字地开始学，比如学说“饺子”，对他/她来讲，似乎有点难度，大人也聪明，于是就简化了，用“饺饺”来
- 前言聚簇索引就是innodb默认创建的基于主键的索引结构，而且表里的数据就是直接放在聚簇索引里，作为叶节点的数据页：基于主键的数据搜索：从聚
- 列表解析 在需要改变列表而不是需要新建某列表时，可以使用列表解析。列表解析表达式为： [expr for iter_var in itera
- 线程锁相当于同时只能有一个线程申请锁，有的场景无数据修改互斥要求可以同时让多个线程同时运行，且需要限制并发线程数量时可以使用信号量impor
- ADF是oracle提供的一套企业开发的解决方案。 最近做性能测试， 需要获取当前页面有多少SQL 查询，花费多少时间。首先想到的就是常用的
- js代码：$(".head").change(function() {var val = $(this).val();i
- CSV文件是一种纯文本文件，它使用特定的结构来排列表格数据。CSV文件内容看起来应该是下面这样的：column 1 name,column
- 本文讲述的内容基于 Django 1.11摘要Django 中的中间件（middleware），是一个镶嵌到Django的request/r
- node有一个模块叫n（这名字可够短的。。。），是专门用来管理node.js的版本的。首先安装n模块：npm install -g n第二步
- 基本设置class Map3D( # 初始化配置项，参考 `global_options.InitOpts` &n
- 目录0. 前言1. 测试环境及关键代码解释1.1 测试环境2. 模块介绍及演示2.1 platform模块使用示例2.2 netifaces
- 前言其实Python使用QQ邮箱发送Email代码很简单，短短几行代码就可以实现这个功能。使用到的模块有smtplib和email这个两个模
- 引言普遍意义上讲，生成器是一种特殊的迭代器，它可以在执行过程中暂停并在恢复执行时保留它的状态。而协程，则可以让一个函数在执行过程中暂停并在恢
- 本文实例为大家分享了Python代码实现双链表的具体代码，供大家参考，具体内容如下双链表的每个节点有两个指针： 一个指向后一个节点，另一个指
- 问题背景查询MySQL中用逗号分隔的字段【a,b,c】是否包含【a】场景模拟现有表【ec_logicplace】，如下图所示：要求判断数值【
- 过滤器模板层对变量的操作实际还有很多，过滤器就是其中一种。学过Linux系统的一定知道管道操作符，其可以将上一步输出直接作为下一步输入进行处
- 目前由于phantomjs已经不维护了，而新版的Chrome（59+）推出了Headless模式，对爬虫来说尤其是定时任务的爬虫截屏之类的是
- python 内置函数filterclass filter(object): """ filter(funct
- numpy.random.shuffle在做将caffe模型和预训练的参数转化为tensorflow的模型和预训练的参数，以便微调，遇到如下
