Python读写Json涉及到中文的处理方法
作者：jingxian 发布时间：2021-10-29 10:26:24
标签：python,读写,json
今天在帮前端准备数据的时候，需要把数据格式转成json格式，说实话，涉及到中文有时候真的是很蛋疼，除非对Python的编码规则比较了解，不然处理起来真的很蛋疼。
整个逻辑
我们需要处理的是把一些文章处理，生成多个html文件，然后用json来显示文章的列表，图片，摘要和标题。
思路
为了以后的数据扩展，那必须有一个数据库，我的想法就是自己写一个简单的网页做为提交输入，然后post到后台以后录入到数据库中，再写一个展示文章的页面，展示效果正确后，写一个requests动态的把所有的数据都爬下来生成一个一个的html文档。最后的json数据我只要从数据库把数据抽出来生成就行了。
前端
其实前端的东西很简单，最近一直在写网页，所以前端的东西分分钟就搞定了。代码如下：
urls.py
from django.conf.urls import url, include
from . import views
urlpatterns = {
url(r'^$', views.index, name='index'),
url(r'add_article/', views.add_article, name='add_article'),
url(r'^article/(?P<main_id>\S+)/$', views.article, name='article'),
}
views.py
# coding=utf-8
from django.shortcuts import render
from .models import Tzxy
# Create your views here.
def index(request):
return render(request, 'index.html')
def add_article(request):
error = 'error'
if request.method == 'POST':
# 获取前段request的内容
main_id = request.POST['main_id']
img_url = request.POST['img_url']
title = request.POST['title']
content = request.POST['content']
abstract = content[:50]
print main_id
indb = Tzxy(
main_id=main_id,
img_url=img_url,
title=title,
content=content,
abstract=abstract
)
indb.save()
error = 'success'
return render(request, 'index.html', {'error': error})
return render(request, 'index.html')
def article(request, main_id):
article_detial = Tzxy.objects.get(main_id=main_id)
return render(request, 'views.html', {'content': article_detial})
models.py
from __future__ import unicode_literals
from django.db import models
from django.contrib import admin
class Tzxy(models.Model):
main_id = models.CharField(max_length=10)
img_url = models.CharField(max_length=50, null=True)
title = models.CharField(max_length=50)
content = models.TextField()
abstract = models.CharField(max_length=200)
admin.site.register(Tzxy)
模板我就随便写了一个简单的表单
index.html
<!DOCTYPE html>
<html lang="en">
<head>
<meta charset="UTF-8">
<title>Title</title>
<link href="http://libs.baidu.com/bootstrap/3.0.3/css/bootstrap.min.css" rel="stylesheet">
<script src="http://libs.baidu.com/jquery/2.0.0/jquery.min.js"></script>
<script src="http://libs.baidu.com/bootstrap/3.0.3/js/bootstrap.min.js"></script>
</head>
<body>
<form method="post" action="/tzxy/add_article/">
{％ csrf_token ％}
main_id: <input type="text" name="main_id"><br>
img_url: <input type="text" name="img_url"><br>
title: <input type="text" name="title"><br>
{％ if error == 'success' ％}
<div class="alert alert-success">{{ error }}</div>
{％ endif ％}
<textarea name="content" rows="25" style="width: 600px;"></textarea><br>
<input type="submit" name="Submit">
</form>
</body>
</html>
展示的页面
{％ load custom_markdown ％}
<!DOCTYPE html>
<html lang="zh-cn">
<head>
<meta charset="UTF-8">
<meta name="viewport" content="initial-scale=1.0,maximum-scale=1.0,minimum-scale=1.0,user-scalable=no" />
<meta name="apple-touch-fullscreen" content="yes" />
<meta name="apple-mobile-web-app-capable" content="yes" />
<meta name="format-detection" content="telephone=no">
<meta http-equiv="Cache-Control" content="no-store" />
<meta http-equiv="Pragma" content="no-cache" />
<meta http-equiv="Expires" content="0" />
<title>{{ content.title }}</title>
<link rel="stylesheet" href="../../css/cssreset.min.css">
<link rel="stylesheet" href="../../css/fx_tzxy_content.min.css">
</head>
<body>
<div class="page">
<h1>{{ content.title }}</h1>
<div class="content">
{{ content.content | custom_markdown | linebreaksbr }}
</div>
</div>
</body>
</html>
当然，我里面使用了markdown来处理了一些数据。有关markdown的集成，可以移步《Django开发博客（六）——添加markdown支持》
爬数据的小脚本如下，需要使用到requests模块
# coding=utf-8
import sys
import requests
reload(sys)
sys.setdefaultencoding('utf8')
def tohtml(file_name, startpos, endpos):
"""
请求网页数据后把网页源码存储为html格式,启动脚本时要先启动Django的Server
:param file_name:生成文件名的前缀,最后一位用传入的数字来代替
:param startpos:开始的数字
:param endpos:结束的数字
:return:None
"""
for x in range(startpos, endpos):
r = requests.get('http://127.0.0.1:8000/tzxy/article/' + file_name + str(x))
with open('/Users/SvenWeng/Desktop/test/' + file_name + str(x) + '.html', 'w') as f:
f.write(r.text)
print 'success'
if __name__ == '__main__':
tzhtl_name = 'tzxy_tzhtl_h_'
djjyy_name = 'tzxy_djjyy_h_'
tohtml(djjyy_name, 1, 39)
里面的一些命名自己可以根据需要去修改。
生成json
说实话，json的使用方式很简单，Python对json的支持也很好，不过涉及到中文就有点蛋疼了，我的代码是这样的：
# coding=utf-8
import sqlite3
import json
import sys
reload(sys)
sys.setdefaultencoding('utf8')
list_json = []
conn = sqlite3.connect('db.sqlite3')
c = conn.cursor()
sql = 'select * from Tzxy_tzxy'
c.execute(sql)
all_thing = c.fetchall()
for x in all_thing:
dic_member = {'id': x[1].split('_')[3],
'img': x[2],
'title': x[3],
'abstract': ''}
list_json.append(dic_member)
conn.close()
final_json = json.dumps(list_json, sort_keys=True, indent=4)
with open('test.json', 'w') as f:
f.write(final_json)
代码逻辑是：定义一个空列表，用来装生成的字典信息，然后从sqlite里面把之前存的数据全部抓出来。把数据循环生成自己想要的格式的字典，一个一个的插到列表中。再用Python提供的json.dumps方法把数据转成json格式，再写入文件就行了。
逻辑看上去是没什么问题，实现起来也很完美，但是最后我打开json文件检查的时候发现所有的中文都变成Unicode了。这简直是坑爹啊。
大致查了一下，好像网络上对这块说的内容并不详细，举得例子也都是非常非常简单的那种，直接给中文的，并不是我想要的，最后只能硬着头皮去看官方的说明，最后找到了这么一个东西ensure_ascii=False，在Python转Json的时候带上这个方法，也就是
final_json = json.dumps(list_json, sort_keys=True, indent=4, ensure_ascii=False)
这样处理之后，写入文件就是正常的中文了。
0
投稿猜你喜欢
对于如何结束一个Python程序或者用Python操作去结束一个进程等，Python本身给出了好几种方法，而这些方式也存在着一些区别，对相关- FSO中除了可以对驱动器、文件夹的操作以外，功能最强大的就是对文件的操作了。它可以用来记数、内容管理、搜索还可生成动态HTML页面等等。一、
- 大家经常在网上登陆的时候经常会看到让你输入验证码，有的是文字的，有的呢是图片，比如chinaren.com校友录中留言的时候，我们就会看到数
- 前言回调函数是我们在python编程中经常会遇到的一个问题，而想在将来某一时刻进行函数回调，可以使用call_later()函数来实现，第一
- 如题，本次是要实现点击超链接实现执行js代码，并确认是否删除数据库数据，采用php。首先链接数据库，查询数据库数据：<?php$dbm
- 原来sql还有个stuff的函数，很强悍。 一个列的格式是单引号后面跟着4位的数字，比如'0003,'0120,'4
- 方式一：叠加文字水印最简单的一种方式是，在图片上绘制半透明文本来实现水印效果。主要用到Figure.text函数参数类型说明x, yfloa
- 昨天我突发奇想,想用display:inline来实现三列的布局可是搞了半天就是不行。但是理论上是可以的呀（后来才发现是不理解的不深刻，我的
- 最近在研究Hacker News API时遇到一个HTTPS问题。因为所有的Hacker News API都是通过加密的HTTPS协议访问的
- 网上给出了各种方法，都无碍乎先切换到Python脚本所在目录，然后输入Python脚本名称并回车，本文这里给出了更简便的方法。方法一：进入P
- 问题：不同版本提交的城市文件夹数量固定，怎样确定本版本成果中缺少了哪些城市？背景：已有参照文件作为标准，利用取差集的方法#-*- codin
- 本文实例为大家分享了python实现名片管理系统的具体代码，供大家参考，具体内容如下主程序：import cards_tools# 无限循环
- 一、回顾一下前面《Oracle开发之窗口函数》中关于全统计一节，我们使用了Oracle提供的：sum(sum(tot_sales)) ove
- 前言：博主在刚接触Python的时候时常听到GIL这个词，并且发现这个词经常和Python无法高效的实现多线程划上等号。本着不光要知其然，还
- 1.执行cmd命令，不显示执行过程中弹出的黑框def run_cmd( cmd_str='', echo_print=1):
- 代码如下:Function splitx(strs1 As String, strs2 A
- 网页过渡是指当浏览者进入或离开网页时，页面呈现的不同的刷新效果，比如卷动、百叶窗等。这样你的网页看起来
- 在开发 图像 动画 游戏 相关的程序时, 双缓冲( double-buffer )一直是程序员常用(必用)的技巧. 当然 随着各种引擎 框架
- 遍历指定文件夹下的文件，根据文件后缀名，获取指定类型的文件列表；根据文件列表里的文件路径，逐个获取文件属性里的“修改时间”，如果“修改时间”
- 这个问题用了我整整一晚上的时间才解决，希望有人遇到和我一样的时能少走些弯路。启动Django，服务器拒绝访问，可以尝试以下方法解决：1. 没
