Qt数据库应用之实现通用数据生成器
作者:feiyangqingyun 发布时间:2024-01-16 00:37:49
一、前言
有两种应用场景需要用到数据生成器,一种是需要测试数据库性能,比如在100万条和1000万条记录的时候对比查询或更新语句执行耗时,一种是随机模拟生成一堆数据,用来测试程序的性能,看下程序中到了百万千万级别的数据量的时候,程序的代码执行是否受影响,影响有大等。很多人觉得sqlite数据库性能超过几十万就不行,于是亲自用这个数据发生器随机模拟生成了一亿条记录,测试下来发现性能有损失,但是不像传说中的垃圾,起码还是完全可用的,只要注意索引要建好,文件体积比较大就是,文件体积膨胀到了1.2GB,估计性能损耗很大程度上在磁盘读写。
通过对各种数据库(sqlite、postgres、mysql、sqlserver等)不同数据量阶段(1万条、100万条、1000万条等)做不同的sql语句处理(查询、插入、删除、更新),Qt内置了sqlite数据库,所以对sqlite的支持是最快最友好的,其次是postgresql数据库、然后是mysql,支持最差的性能最低的是ODBC模式连接的数据库,比如sqlserver数据库必须用odbc的形式连接,由于odbc是一个中间层,理论上性能也是肯定没有直接连接处理快,不过纵观各种用Qt写的项目的场景,很少是需要千万级别亿级别的数据量的,真的到了这个程度可以考虑分库分表来解决。
关于Qt数据库相关开发的一些经验总结
二、功能特点
同时支持多种数据库比如odbc、sqlite、mysql、postgresql、sqlserver、oracle、人大金仓等。
一个数据库类即可管理本地数据库通信,也支持远程数据库通信等。
数据库线程支持执行各种sql语句,包括单条和批量。
组件中的所有类打印信息、错误信息、执行结果都信号发出去。
集成数据库通用翻页类(负责具体处理逻辑),搭配分页导航控件(负责外观),形成超级牛逼的翻页控件。
集成数据库自动清理类,设定最大记录数后台自动清理早期数据。
集成自定义委托类,支持复选框、文本框、下拉框、日期框、微调框、进度条等。
同时支持Qt4-Qt6,亲测Qt4.6到Qt6.3任意版本,任意系统和编译器。
本组件无故障 360天7乘24小时 运行在至少上万个现场,商业级别品质保证。
每个类都对应完整详细的使用示例,注释详细,非常适合阅读学习。
可以作为独立的程序运行,比如自动清理早期数据,同步数据到云端。
全部线程处理,不卡界面,自动重连数据库。
普通测试情况,sqlite数据库,数据库发生器每秒钟插入1000条记录约0.003秒钟,同时自动清理数据类每秒钟删除1000条记录约0.13秒,不同线程互不干扰。
三、体验地址
体验地址:https://pan.baidu.com/s/15ZKAlptW-rDcNq8zlzdYLg 提取码:uyes 文件名:bin_dbtool.zip
国内站点:https://gitee.com/feiyangqingyun
国际站点:https://github.com/feiyangqingyun
四、效果图
五、相关代码
void frmDbCreat::on_btnOpen_clicked()
{
if (ui->btnOpen->text() == "打开数据库") {
DbInfo dbInfo;
dbInfo.connName = this->objectName();
dbInfo.dbName = AppConfig::DbName2;
dbInfo.hostName = AppConfig::HostName2;
dbInfo.hostPort = AppConfig::HostPort2;
dbInfo.userName = AppConfig::UserName2;
dbInfo.userPwd = AppConfig::UserPwd2;
QString dbType = AppConfig::DbType2.toUpper();
if (dbType == "SQLITE") {
dbInfo.dbName = DbHelper::getDbDefaultFile();
}
dbConn->setConnInfo(DbHelper::getDbType(dbType), dbInfo);
if (dbConn->openDb()) {
dbConn->start();
ui->btnOpen->setText("关闭数据库");
} else {
QString error = dbConn->getDatabase().lastError().text();
QUIHelper::showMessageBoxError("打开数据库失败!\n" + error, 3);
}
} else {
dbConn->stop();
dbConn->closeDb();
ui->btnOpen->setText("打开数据库");
on_btnClear_clicked();
}
QTimer::singleShot(100, this, SLOT(getMaxID()));
QTimer::singleShot(1000, this, SLOT(on_btnStart_clicked()));
}
void frmDbCreat::on_btnCopy_clicked()
{
//将数据库设置参数一键粘贴过来
ui->cboxDbType->setCurrentIndex(ui->cboxDbType->findText(AppConfig::LocalDbType));
ui->txtDbName->setText(AppConfig::LocalDbName);
ui->txtHostName->setText(AppConfig::LocalHostName);
ui->txtHostPort->setText(QString::number(AppConfig::LocalHostPort));
ui->txtUserName->setText(AppConfig::LocalUserName);
ui->txtUserPwd->setText(AppConfig::LocalUserPwd);
}
void frmDbCreat::getMaxID()
{
if (!dbConn->getOk()) {
return;
}
//根据插入sql语句取出对应的表名和自增字段
QString sqlColumn = AppConfig::SqlColumn2;
QString sqlValue = AppConfig::SqlValue2;
if (sqlValue.contains("AUTO_INCREMENT")) {
sqlColumn.replace("insert into ", "");
sqlValue.replace("values", "");
QString tableName = sqlColumn.split("(").first();
sqlColumn.replace(tableName, "");
sqlColumn.replace("(", "");
sqlColumn.replace(")", "");
sqlValue.replace("(", "");
sqlValue.replace(")", "");
QStringList listColumn = sqlColumn.split(",");
QStringList listValue = sqlValue.split(",");
int index = listValue.indexOf("'AUTO_INCREMENT'");
QString columnName = listColumn.at(index);
//取出最大记录数
maxID = DbHelper::getMaxID(tableName, columnName, dbConn->getDatabase());
}
}
void frmDbCreat::on_btnDo_clicked()
{
if (!dbConn->getOk()) {
return;
}
QString sql = AppConfig::SqlColumn2 + " " + AppConfig::SqlValue2;
//qDebug() << TIMEMS << sql;
QStringList sqls;
for (int i = 0; i < AppConfig::Count2; ++i) {
QString temp = sql;
//替换自增ID
maxID++;
temp.replace("AUTO_INCREMENT", QString::number(maxID));
//替换时间
temp.replace("DATETIME", DATETIME);
sqls << temp;
}
dbConn->append(sqls);
}
void frmDbCreat::on_btnCount_clicked()
{
dbConn->selectCount("LogInfo", "LogID", "where 1=1");
}
void frmDbCreat::on_btnStart_clicked()
{
if (ui->btnStart->text() == "启动服务") {
on_btnDo_clicked();
timer->start();
ui->btnStart->setText("停止服务");
} else {
timer->stop();
ui->btnStart->setText("启动服务");
}
}
来源:https://blog.csdn.net/feiyangqingyun/article/details/123001131
猜你喜欢
- 如果你的PHP网站换了空间,必定要对Mysql数据库进行转移,一般的转移的方法,是备份再还原,有点繁琐,而且由于数据库版本的不一样会导致数据
- 本文实例为大家分享了python如何实现视频转代码视频的具体代码,供大家参考,具体内容如下# -*- coding:utf-8 -*-#co
- 首先,这次讲解的tansforms功能,通俗地讲,类似于在计算机视觉流程里的图像预处理部分的数据增强。transforms的原理:说明:图片
- 需求对于部署在阿里云上的重要系统一般是不让其他人访问的,所以会在负载均衡(SLB)上加上访问控制列表。而使用ASDL拨号上网的宽带来说一般公
- 如下所示:class Login(QMainWindow): """登录窗口""
- 本文实例为大家分享了bootstrapTable+ajax加载数据,和refresh更新数据两部分,供大家参考,具体内容如下1.html&l
- 1069错误(由于登录失败而无法启动服务)解决方法在本版面出现这个问题的频率也算是很高的了,新手通常会比较多遇到这个问题原因很简单,安装SQ
- 1. 换源,sohu的相当好用。 1.1备份CentOS-Base.repo cd /etc/yum.repos.d/ cp CentOS-
- 在开发的时候,用户要求在认证的时候自动添加xadmin登录账户和分配组权限from django.contrib.auth.models i
- 表单的验证一直是网页设计者头痛的问题,表单验证类 Validator就是为解决这个问题而写的,旨在使设计者从纷繁复杂的表单验证中解放出来,把
- 知识点爬虫基本流程re正则表达式简单使用requestsjson数据解析方法视频数据保存开发环境Python 3.8Pycharm爬虫基本思
- 一、先让飞机在屏幕上飞起来吧。(一)实现飞机类class Plane: def __init__(self,fil
- 他们是如何不让我的Teleport和Webzip工作的?你也可以做得到哦: <%dim UserAgentUser
- 我认为多选列表具有完美的功能——只需按下Ctrl键,同时点击鼠标从列表中选择多个项目。以下是一个典型的多选列表框:选出你最喜爱的快餐:&nb
- 一、Jenkins 是什么?Jenkins是一款开源 CI&CD 软件,用于自动化各种任务,包括构建、测试和部署软件。二、准备工作安
- CUDA的线程与块GPU从计算逻辑来讲,可以认为是一个高并行度的计算阵列,我们可以想象成一个二维的像围棋棋盘一样的网格,每一个格子都可以执行
- 1.单独使用Pillow包时,图片会弹出新窗口显示:from Pillow import Imageimg = Image.open(
- 主要是要注意权限的问题,一般做发布/订阅,建议你做如下准备工作: 1.发布服务器,订阅服务器都创建一个同名的windows用户,并设置相同的
- 花了两个多钟在看 ThinkPHP 框架,不想太过深入的知道它的所有高深理论。单纯想知道怎么可以用起来,可以快捷的搭建一个网站。所以是有选择
- 在tensorflow中,经常会遇到参数初始化问题,比如在训练自己的词向量时,需要对原始的embeddigs矩阵进行初始化,更一般的,在全连