如何利用Golang解析读取Mysql备份文件
作者:daoshud1 发布时间:2024-01-28 20:51:19
标签:golang,解析,mysql
前言
前期误操作,导致数据库表删除,虽然数据量不多,但是通过binlog恢复比较麻烦,通过备份文件来恢复,备份文件达36个G打开都是问题;
使用备份文件恢复
大文件编辑器,glogg-latest-x86_64-setup通过该文件打开备份文件,虽然过程稍慢,但是能够打开,且正常读取编辑信息,要恢复的数据量不大时采取是没问题的,但是如果表几十万行,操作起来就比较麻烦了;
Golang读取备份文件
采用Golang读取,借助编程语言的优势来读取备份,经过测试读取指定备份文件(约36GB)表,大约需要12min,其实主要就是读取遍历备份文件的过程;
**
* @Author: ws
* @File: main
* @Date: 2019/11/16 0016 14:35
* @Remark:
*/
var(
_INSERT_INTO="INSERTINTO${table}VALUES"
_Dir="temp"
)
var TABLE_CAR="T_SCM_CAR"
func ReadSqlFile(){
t1 := time.Now() // get current time
f, err := os.Open("E:\\update\\crm_20191112_210001.sql\\crm_20191112_210001.sql")
defer f.Close()
if err != nil {
}
buf := bufio.NewReader(f)
nfs:=getTxtFile(TABLE_CAR)
for {
s, err := buf.ReadString('\n')
if(err!=nil){
logger.ERROR(err.Error())
break
}
if err == nil {
if s==""{
continue
}
sqlstr:=getSqlStr(s,TABLE_CAR)
if(sqlstr!=""){
nfs.Write([]byte(sqlstr))
}
}
}
elapsed := time.Since(t1)
fmt.Println("App elapsed: ", elapsed)
}
/**
调整验证每一行数据的格式化,并与预设是否一致,如果一致则读取加载到
*/
func getSqlStr(sqlstr,tableName string)string{
var realTableName=strings.Replace(_INSERT_INTO,"${table}",tableName,-1)
replaceEmptyStr:=strings.Replace(sqlstr," ","",-1)
tempS:=strings.ToUpper(strings.Replace(replaceEmptyStr,"`","",-1))
if(len(tempS)>=len(realTableName)) {
tabName := tempS[0:len(realTableName)]
if (tabName ==realTableName) {
return sqlstr
}
}
return ""
}
/**
打开txt文件
*/
func getTxtFile(fileName string)os.File{
txtFile:=createToFile(fmt.Sprintf("%v/%v.txt",_Dir,fileName))
nfs, err := os.OpenFile(txtFile.Name(), os.O_APPEND |os.O_RDWR|os.O_CREATE, 0644)
if err != nil {
logger.ERROR(fmt.Sprintf("打开文件失败:%v",err.Error()))
}
defer nfs.Close()
nfs.Seek(0, io.SeekEnd)
return *nfs
}
func readLine(r *bufio.Reader) (string, error) {
line, isprefix, err := r.ReadLine()
for isprefix && err == nil {
var bs []byte
bs, isprefix, err = r.ReadLine()
line = append(line, bs...)
}
return string(line), err
}
func createToFile(fileName string)os.File{
_, err := os.Stat(_Dir)
if err == nil {
}
if os.IsNotExist(err) {
os.MkdirAll(_Dir, os.ModePerm)
}
newFile, err := os.Create(fileName)
if err != nil {
logger.ERROR(fmt.Sprintf("文件创建失败:%v",err.Error()))
}
defer func() {
newFile.Close()
}()
newFile.WriteString("\xEF\xBB\xBF") // 写入UTF-8 BOM,防止中文乱码
return *newFile
}
func main() {
ReadSqlFile()
}
来源:https://www.jianshu.com/p/50b1968c42c6
0
投稿
猜你喜欢
- 一、object类的源码class object: """ The most bas
- /* 建立数据表 */ create table td_base_data( id int(10) not null auto_increm
- 1、Config命令Config命令主要用于修改SSI的默认设置。其中:Errmsg:设置默认错误信息。为了能够正常的返回用户设定的错误信息
- 使用图层可以像素为单位精确定位页面元素,并且可以将层放置在页面的任意位置。当把页面元素放入图层之中时,还可以控制哪个显示在前面、哪个显示在后
- 下面就是今天下午的研究成果。发布系统需要响应用户的中断请求,需要在GET方法中杀掉由subprocess派生的子进程,刚开始直接用os.ki
- 本文实例为大家分享了python实现opencv+scoket网络实时图传的具体代码,供大家参考,具体内容如下服务器分析:1.先通过在服务器
- 一、前言如果你自己打印过东西,应该有过这种经历。如果用自己拍的图片,在手机上看感觉还是清晰可见,但是一打印出来就是漆黑一片。比如下面这两张图
- 1、背景在项目中,我们经常使用到update语句,那么update语句会锁定表中的那些记录呢?此处我们通过一些简单的案例来模拟下。此处是我自
- 如下所示:来源:https://blog.csdn.net/qq_33485434/article/details/80604370
- 本文实例分析了MySQL索引用法。分享给大家供大家参考,具体如下:MYSQL描述:一个文章库,里面有两个表:category和article
- 本文实例讲述了Python操作多维数组输出和矩阵运算。分享给大家供大家参考,具体如下:在许多编程语言中(Java,COBOL,BASIC),
- VScode 配置为 LaTeX IDE在Windows中,配置VScode作为LaTeX的编辑器(IDE),并使用SumatraPDF预览
- 本文实例讲述了Python编程实现控制cmd命令行显示颜色的方法。分享给大家供大家参考,具体如下:基于win7 + python3.4运行效
- Python爬虫包 BeautifulSoup 递归抓取实例详解概要:爬虫的主要目的就是为了沿着网络抓取需要的内容。它们的本质是
- 前言写爬虫的小伙伴可能遇到过这种情况:正当悠闲地喝着咖啡,满意地看着屏幕上的那一行行如流水般被爬下来的数据时,突然一个Error弹出,提示抓
- 序列解包(Sequence Unpacking)是Python中非常重要和常用的一个功能,可以使用非常简洁的形式完成复杂的功能,大幅度提高了
- 代码实例:try: import termios, TERMIOS 1except ImportErro
- 1.1 ID定位HTML Tag 的 id 属性值是唯一的,故不存在根据 id 定位多个元素的情况。下面以在百度首页搜索框输入文本
- 先用使用常规方法,两个指针:golang实现:type Node struct { value int next *
- 常用的python第三方库安装工具大概有三种:1、pip (推荐)2、easy_install3、setup.py常见的安装包格式:1、wh