Mysql数据迁徙方法工具解析
作者:luozx207 发布时间:2024-01-23 18:23:30
这篇文章主要介绍了mysql数据迁徙方法工具解析,文中通过示例代码介绍的非常详细,对大家的学习或者工作具有一定的参考学习价值,需要的朋友可以参考下
数据迁徙是每个后端都会遇到的工作之一,本文介绍了一些常见的数据迁徙方法与工具
mysqldump:数据结构不变的数据迁徙
导出数据
mysqldump -u root -p DATABASE_NAME table_name > dump.sql
恢复数据
mysql -u root -p DATABESE_NAME < dump.sql
或者连接mysql客户端
mysql> source dump.sql
使用pymysql连接数据库
可以直接用用户名密码连接的数据库
class GeneralConnector:
def __init__(self, config, return_dic=False):
self.return_dic = return_dic
self.config = config
def __enter__(self):
self.conn = pymysql.connect(**self.config, port=3306)
if self.return_dic:
# 一行数据会变成一个字典
self.cursor = self.conn.cursor(pymysql.cursors.DictCursor)
else:
self.cursor = self.conn.cursor()
return self.cursor
def __exit__(self, *args):
self.cursor.close()
self.conn.commit()
self.conn.close()
使用:
# local_db = {
# 'user': 'root',
# 'passwd': '',
# 'host': '127.0.0.1',
# 'db': 'local_db'
# }
with GeneralConnector(const.local_db, return_dic=True) as cursor:
cursor.execute('SELECT `col1`, `col2` FROM test;')
return cursor.fetchall()
连接处于需要SSH连接的服务器的数据库
class SSHConnector:
def __init__(self, server, config, return_dic=False):
self.return_dic=return_dic
self.server = server
self.config = config
def __enter__(self):
self.conn = pymysql.connect(**self.config, port=self.server.local_bind_port)
if self.return_dic:
# 一行数据会变成一个字典
self.cursor = self.conn.cursor(pymysql.cursors.DictCursor)
else:
self.cursor = self.conn.cursor()
return self.cursor
def __exit__(self, *args):
self.cursor.close()
self.conn.commit()
self.conn.close()
使用:
# SERVER = SSHTunnelForwarder(
# (remote_host, ssh_port),
# ssh_username=USERNAME,
# ssh_pkey=SSH_KEY,
# ssh_private_key_password=SSH_KEY_PASSWD,
# remote_bind_address=('127.0.0.1', 3306) # mysql服务位置
# )
# server_db = {
# 'user': 'root',
# 'passwd': '',
# 'host': '127.0.0.1',
# 'db': 'server_db'
# }
# 创建一个隧道将服务端的mysql绑定到本地3306端口
with const.SERVER as server:
with SSHConnector(server, const.server_db) as cursor:
cursor.execute('show tables;')
data = cursor.fetchall()
print(data)
cursor的各种操作
1.cursor.execute(sql_statement)
执行一条sql语句
2.cursor.fetchall()
获取cursor的所有结果,常跟在select语句后使用
3.cursor.fetchone()
获取cursor的第一条结果
4.cursor.lastrowid
最后一条数据的id
5.cursor.executemany(insert_statement, data_list)
批量插入一批数据,如
with const.SERVER as server:
with connector.Connector(server, const.db_1) as cursor:
cursor.execute('select * from preference')
preferences = cursor.fetchall()
with connector.Connector(server, const.db_2) as cursor:
cursor.executemany('insert into preference (`id`,`theme`,`user_id`) values (%s,%s,%s)',preferences)
从cursor获取list类型的结果
cursor.execute('SELECT `name` FROM user;')
直接使用fetchall(),只能得到tuple包裹的数据
cursor.fetchall()
# (('Jack',), ('Ben'))
现在希望得到一个list结果集,做到像Django中flat=True那样的效果
有两种方法
列表解析式(list comprehension)
name_list = [x[0] for x in cursor.fetchall()]
这个方法的缺点在于会先使用fetchall()将结果集读到内存,再做列表转换,并不高效。
itertools工具
name_list = list(itertools.chain.from_iterable(cursor))
推荐使用这个方式,第一它不会将所有结果fetch到内存中,第二使用itertools生成列表比列表解析式要快
如何在数据迁徙中使用Django的model
需要拷贝Django的settings文件,删掉不需要的配置,并设置好迁徙目标数据库
需要拷贝用到此model的文件
需要在settings.INSTALLED_APPS中引入models.py文件所在的目录
在迁徙脚本头部启动Django
import os
import django
import sys
sys.path.append(os.path.dirname(os.path.dirname(os.path.abspath(__file__))))
os.environ.setdefault("DJANGO_SETTINGS_MODULE", "translate.settings")
django.setup()
通过SSH隧道的本地转发实现Django连接远程数据库
创建一个ssh隧道,将远程数据库映射到本地端口
ssh -L local_port:localhost:<remote mysql port> <username>@<remote host>
ssh连接进行时,可以通过访问本地端口来访问远程数据库
在Django的settings中配置数据库
DATABASES = {
'default': {
'ENGINE': 'django.db.backends.mysql',
'NAME': db_name,
'USER': remote_mysql_user, # 远程数据库账号密码
'PASSWORD': remote_mysql_password,
'HOST': "localhost",
'PORT': local_port, # 远程数据库映射到本地的端口
'OPTIONS': {'init_command': 'SET default_storage_engine=INNODB;'}
}
}
至此,在使用Django的model时,将通过ssh隧道访问远程数据库
注意事项
事先了解迁徙数据量,并且取5%~10%的数据测试迁徙速度
由测试数据预估总迁徙用时,如果总迁徙用时大于一小时,一定要把迁徙脚本放到服务器运行,这样迁徙过程不易中断,且服务器性能远比个人电脑更优
尽量使用批量插入减少写数据库的次数,使用cursor.executemany或者Django的bulk_create
迁徙过程要写好log,这样能够知道数据迁徙到了哪一步,如意外终端也能找到断点继续运行
创建时间字段加上auto_add_now会自动记录数据的创建时间,在插入数据的时候对这个字段赋值无效
来源:https://www.cnblogs.com/luozx207/p/11792337.html
猜你喜欢
- 一、数据集爬取现在的深度学习对数据集量的需求越来越大了,也有了许多现成的数据集可供大家查找下载,但是如果你只是想要做一下深度学习的实例以此熟
- 本文实例为大家分享了python多进程读图提取特征存npy的具体代码,供大家参考,具体内容如下import multiprocessingi
- 本文实例讲述了Python递归及尾递归优化操作。分享给大家供大家参考,具体如下:1、递归介绍递归简而言之就是自己调用自己。使用递归解决问题的
- 今天的这一章节我们来学习一下,Python 中的三个高级函数,也被称之为 魔法函数。之所以把他们交的这么高级,主要是因为它们返回的
- 前言前几天去我姐家里蹭饭吃,发现我姐家里的小外甥女儿已经上小学了,正在疯狂赶作业,加减乘除还有很多题目都经常出错。我姐说老师每天给他们布置了
- 1. 新建文件夹if not os.path.exists(feature_dir): os.makedirs(f
- 折线图是数据分析的一种手段,但是有时候我们也需要柱状图进行不同数据的可视化量化对比。使用pandas的DataFrame方法进行柱状图的绘制
- 使用JDBC连接MySQL数据库进行数据插入的时候,特别是大批量数据连续插入(10W+),如何提高效率呢?在JDBC编程接口中Stateme
- 游戏玩法游戏玩法: 该游戏由 2 到 6 个人玩,使用除大小王之外的 52 张牌,游戏者的目标是使手中的牌的点数之和不超过 21 点且尽量大
- 前言:现在写爬虫,入门已经不是一件门槛很高的事情了,网上教程一大把,但很多爬虫新手在爬取数据的过程中依旧会遇到这样那样的问题。今天整理了部分
- 用比较笨的方法来做abc ="AlkjA;lkjlkjAlkAkjAlkjAAAA" if instr(abc,&quo
- 1 调试过程用Python3.6+Sciter+PyCharm写了一个py测试脚本helloworld.py,该脚本中只含有一条语句“imp
- 前言Python是面向对象的程序设计(Object Oriented Programming)。面向对象的程序设计的一条基本原则是:计算机程
- 本文实例为大家分享了Python曲线拟合的最小二乘法,供大家参考,具体内容如下模块导入import numpy as npimport ga
- 一、爬取数据话不多说了,直接上代码( copy即可用 )import requestsimport pandas as pdclass Sp
- 如下所示:>>> import numpy as np>>> a = np.array([[1, 2,
- 前言因为NLP作业需要用到kenlm,而kenlm在linux下更为方便。本人win10之前开启了子系统,所以就打算在子系统下进行相关作业的
- 公司在codereview的时候限制了看代码的时间,实际上不少代码属于框架自动生成,并不需要花费太多时间看,为了达标,需要刷点时间(鼠标点击
- 前言其实容器类型的转换可以说是数据类型的转换,涉及到三个函数,分别是tuple()、list()、set()。为什么要做容器类型的转换,是因
- 一、检测网络信息和系统信息 在Frontpage 2000 的Explorer管理器中选择帮助(Help)|关于Frontpage管理器(A