MySQL-tpch 测试工具简要手册
作者：mdxy-dxy 发布时间：2024-01-12 16:12:46
tpch是TPC(Transaction Processing Performance Council)组织提供的工具包。用于进行OLAP测试，以评估商业分析中决策支持系统（DSS）的性能。它包含了一整套面向商业的ad-hoc查询和并发数据修改，强调测试的是数据库、平台和I/O性能，关注查询能力。
官网：http://www.tpc.org/tpch
下载地址：http://www.tpc.org/tpch/spec/tpch_2_14_3.tgz 或 http://www.tpc.org/tpch/spec/tpch_2_14_3.zip
1、编译安装
下载源码包，解压缩，然后：
cp makefile.suite makefile
修改makefile文件中的CC、DATABASE、MACHINE、WORKLOAD等定义：
################
## CHANGE NAME OF ANSI COMPILER HERE
################
CC = gcc
# Current values for DATABASE are: INFORMIX, DB2, ORACLE,
# SQLSERVER, SYBASE, TDAT (Teradata)
# Current values for MACHINE are: ATT, DOS, HP, IBM, ICL, MVS,
# SGI, SUN, U2200, VMS, LINUX, WIN32
# Current values for WORKLOAD are: TPCH
DATABASE= MYSQL
MACHINE = LINUX
WORKLOAD = TPCH
修改tpcd.h文件，增加几行宏定义：
#ifdef MYSQL
#define GEN_QUERY_PLAN ""
#define START_TRAN "START TRANSACTION"
#define END_TRAN "COMMIT"
#define SET_OUTPUT ""
#define SET_ROWCOUNT "limit ％d;\n"
#define SET_DBASE "use ％s;\n"
#endif
然后执行make编译，编译完毕后会生成两个可执行文件：
dbgen：数据生成工具。在使用InfiniDB官方测试脚本进行测试时，需要用该工具生成tpch相关表数据。
qgen：SQL生成工具
生成初始化测试数据：
[root@imysql tpch]# time ./dbgen -s 50
TPC-H Population Generator (Version 2.9.0)
Copyright Transaction Processing Performance Council 1994 - 2008
real 192m43.897s
user 37m45.398s
sys 19m4.132s
[root@imysql tpch]# ls -lh *tbl
-rw-r--r-- 1 root root 1.2G Sep 21 15:23 customer.tbl
-rw-r--r-- 1 root root 1.4G Sep 21 15:23 lineitem.tbl
-rw-r--r-- 1 root root 2.2K Sep 21 15:23 nation.tbl
-rw-r--r-- 1 root root 317M Sep 21 15:23 orders.tbl
-rw-r--r-- 1 root root 504K Sep 21 15:23 partsupp.tbl
-rw-r--r-- 1 root root 464K Sep 21 15:23 part.tbl
-rw-r--r-- 1 root root 389 Sep 21 15:23 region.tbl
-rw-r--r-- 1 root root 69M Sep 21 15:23 supplier.tbl
dbgen参数 -s 的作用是指定生成测试数据的仓库数，建议基准值设定在100以上，在我的测试环境中，一般都设定为1000。
由于源码包中自带的tpch初始化库表脚本并不能完全适用MySQL，需要修改部分代码。
先生成测试SQL脚本：
[root@imysql tpch]# ./qgen | sed -e 's/\r//' > queries/tpch_queries.sql
而后用vim打开tpch_queries.sql脚本，进行下面几次全局替换：
:％s/;\nlimit/ limit/g
:％s/limit -1/limit 1/g
搜索所有类似下面的语句，去掉后面的 (3)：
l_shipdate <= date '1998-12-01' - interval '106' day (3)
=>
l_shipdate <= date '1998-12-01' - interval '106' day
再修改第369行附近：
count(o_orderkey)
=>
count(o_orderkey) as c_count
修改第376行左右
) as c_orders (c_custkey, c_count)
=>
) as c_orders
修改第431行附近：
drop view revenue0 limit 1;
=>
drop view revenue0;
最后把大的查询SQL脚本拆分成23个独立的SQL查询脚本，分别从tpch_01.sql ~ tpch_23.sql。
2、初始化库表
tpch提供的数据库表初始化脚本有些小问题，需要进行修改：
dss.ddl – DSS库初始化DDL脚本
dss.ri – DSS数据表创建索引、外键脚本
dss.ddl脚本需要增加几行：
drop database tpch;
create database tpch;
use tpch;
dss.ri脚本需要修改几个地方：
修改第4行左右：
CONNECT TO TPCD;
=>
Use tpch;
修改第6~13行，所有的SQL注释符 “--” 后面再加一个空格：
-- ALTER TABLE TPCD.REGION DROP PRIMARY KEY;
-- ALTER TABLE TPCD.NATION DROP PRIMARY KEY;
-- ALTER TABLE TPCD.PART DROP PRIMARY KEY;
-- ALTER TABLE TPCD.SUPPLIER DROP PRIMARY KEY;
-- ALTER TABLE TPCD.PARTSUPP DROP PRIMARY KEY;
-- ALTER TABLE TPCD.ORDERS DROP PRIMARY KEY;
-- ALTER TABLE TPCD.LINEITEM DROP PRIMARY KEY;
-- ALTER TABLE TPCD.CUSTOMER DROP PRIMARY KEY;
修改第25行：
ADD FOREIGN KEY NATION_FK1 (N_REGIONKEY) references TPCD.REGION;
=>
ADD FOREIGN KEY NATION_FK1 (N_REGIONKEY) references TPCD.REGION(R_REGIONKEY);
修改第40行：
ADD FOREIGN KEY SUPPLIER_FK1 (S_NATIONKEY) references TPCD.NATION;
=>
ADD FOREIGN KEY SUPPLIER_FK1 (S_NATIONKEY) references TPCD.NATION(N_NATIONKEY);
修改第55行：
ADD FOREIGN KEY CUSTOMER_FK1 (C_NATIONKEY) references TPCD.NATION;
=>
ADD FOREIGN KEY CUSTOMER_FK1 (C_NATIONKEY) references TPCD.NATION(N_NATIONKEY);
修改第73行：
ADD FOREIGN KEY PARTSUPP_FK1 (PS_SUPPKEY) references TPCD.SUPPLIER;
=>
ADD FOREIGN KEY PARTSUPP_FK1 (PS_SUPPKEY) references TPCD.SUPPLIER(S_SUPPKEY);
修改第78行：
ADD FOREIGN KEY PARTSUPP_FK2 (PS_PARTKEY) references TPCD.PART;
=>
ADD FOREIGN KEY PARTSUPP_FK2 (PS_PARTKEY) references TPCD.PART(P_PARTKEY);
修改第84行：
ADD FOREIGN KEY ORDERS_FK1 (O_CUSTKEY) references TPCD.CUSTOMER;
=>
ADD FOREIGN KEY ORDERS_FK1 (O_CUSTKEY) references TPCD.CUSTOMER(C_CUSTKEY);
修改第90行：
ADD FOREIGN KEY LINEITEM_FK1 (L_ORDERKEY) references TPCD.ORDERS;
=>
ADD FOREIGN KEY LINEITEM_FK1 (L_ORDERKEY) references TPCD.ORDERS(O_ORDERKEY);
修改第96行：
TPCD.PARTSUPP;
=>
TPCD.PARTSUPP(PS_PARTKEY,PS_SUPPKEY);
另外，由于tpch生成的表名是大写的，需要修改下表名成小写的，因此再增加几行：
use tpch;
alter table CUSTOMER rename to customer ;
alter table LINEITEM rename to lineitem ;
alter table NATION rename to nation ;
alter table ORDERS rename to orders ;
alter table PART rename to part ;
alter table PARTSUPP rename to partsupp ;
alter table REGION rename to region ;
alter table SUPPLIER rename to supplier ;
3、导入数据
测试数据生成了，测试库表也初始化完了，接下来就可以开始导入数据了。
需要注意下，如果开启了binlog，在导入前最好先关闭binlog，否则会提示超出max_binlog_cache_size的错误提示，如果不能关闭binlog，则需要把导入文件切分成多个小文件再导入。
myqsl -e "LOAD DATA INFILE 'path/dbgen/customer.tbl' INTO TABLE CUSTOMER FIELDS TERMINATED BY '|';"
myqsl -e "LOAD DATA INFILE 'path/dbgen/orders.tbl' INTO TABLE ORDERS FIELDS TERMINATED BY '|';"
myqsl -e "LOAD DATA INFILE 'path/dbgen/lineitem.tbl' INTO TABLE LINEITEM FIELDS TERMINATED BY '|';"
myqsl -e "LOAD DATA INFILE 'path/dbgen/nation.tbl' INTO TABLE NATION FIELDS TERMINATED BY '|';"
myqsl -e "LOAD DATA INFILE 'path/dbgen/partsupp.tbl' INTO TABLE PARTSUPP FIELDS TERMINATED BY '|';"
myqsl -e "LOAD DATA INFILE 'path/dbgen/part.tbl' INTO TABLE PART FIELDS TERMINATED BY '|';"
myqsl -e "LOAD DATA INFILE 'path/dbgen/region.tbl' INTO TABLE REGION FIELDS TERMINATED BY '|';"
myqsl -e "LOAD DATA INFILE 'path/dbgen/supplier.tbl' INTO TABLE SUPPLIER FIELDS TERMINATED BY '|';"
4、执行tpch测试
接下来就可以进行tpch测试了，逐个执行23个查询SQL脚本即可，每次执行前都要重启下MySQL实例，确保每次的内存缓冲区都是干净的。
简单循环测试脚本如下：
#!/bin/sh
##
## 执行tpch OLAP测试
##
## writed by yejr(http://imysql.com), 2012/12/14
##
PATH=$PATH:/usr/local/bin
export PATH
. ~/.bash_profile > /dev/null 2>&1
exec 3>&1 4>&2 1>> tpch-benchmark-olap-`date +'％Y％m％d％H％M％S'`.log 2>&1
I=1
II=3
while [ $I -le $II ]
do
N=1
T=23
while [ $N -lt $T ]
do
if [ $N -lt 10 ] ; then
NN='0'$N
else
NN=$N
fi
echo "query $NN starting"
/etc/init.d/mysql restart
time mysql -f tpch < ./queries/tpch_${NN}.sql
echo "query $NN ended!"
N=`expr $N + 1`
done
I=`expr $I + 1`
Done
附件：tpch初始化、自动化测试脚本压缩包与word手册。
0
投稿猜你喜欢
- 安装npm install --save reduxnpm install --save redux-saga配置actionactionT
目录一、基础说起（一）实现最简单的窗体二、好戏开始了（一）把灰色设置成透明色（二）放置一个矩形框在canvas上。（三）大家有发现变化吗？三- 写在之前首先是写在之前的一些建议：首先是关于这本书，我真的认为他是将神经网络里非常棒的一本书，但你也需要注意，如果你真的想自己动手去实现，那
- 程序中的错误一般被称为 Bug，无可否认，这几乎总是程序员的错。。。程序员的一生，始终伴随着一件事 - 调试（错误检测、异常处理）。反反复复
- 最近公司产品和百度贴吧合作搞活动，为了增加人气，打算做个自动签到的小程序。这个是测试登录的代码，写的比较随意，仅实现了登录并读取关注贴吧列表
- 在写代码的时候，往往会漏掉日志这个关键因素，导致功能在使用的时候出错却无法溯源。其实，只需要写一个非常简单的日志装饰器，我们就能大大提升排查
- 1. settings.py文件做开发离不开必定离不开日志, 以下是我在工作中写Django项目常用的logging配置.# 日志配置BAS
- 问题背景：日常对Sql Server 2005关系数据库进行操作时，有时对数据库（如：Sharepoint网站配置数据库名Sharepoin
- 项目背景 在之前的一个项目中用Python的Flask写了一个提供公共基础服务的Rest应用，上面大佬的意思是需要将这一部分封装成容器化服
- 运行环境Python 2.7操作实例1.原始文本格式：空格分隔的txt,例如2016-03-22 00:06:24.4463094 中文测试
- PyCaret 是一个开源、低代码的 Python 机器学习库，可自动执行机器学习工作流。它是一种端到端的机器学习和模型管理工具，可以以指数
- 本文实例为大家分享了python实现彩色图转换成灰度图的具体代码，供大家参考，具体内容如下from PIL import Imageimpo
- 接上一篇内容：https://www.jb51.net/article/249934.htm一、聚簇索引其实之前内容中介绍的 B+ 树就是聚
- 一、测试常用规则一个测试单元必须关注一个很小的功能函数，证明它是正确的；每个测试单元必须是完全独立的，必须能单独运行。这样意味着每一个测试方
- 不知道在坛子里有多少朋友使用触发器，如果你已经对触发器很了解了，那么请跳过此文，如果你还没有使用过触发器的话，那就让我们来认识一下吧。相关阅
- 呵，以前也没考虑过这方面的东西，现在写的代码越来越多，越来越复杂，如果再不把不用的变量及时释放掉，到时肯定会出问题。今天无意中在无忧Q群里看
- 今天我们用python和pygame实现一个乒乓球的小游戏，或者叫弹珠球游戏。笑脸乒乓球游戏功能介绍乒乓球游戏功能如下：乒乓球从屏幕上方落下
- 安装方法: regsvr32 parmf.dll附 如果想取消注册可以:regsvr32 /u&nb
- 今天遇到一个需求，就是将一个list文件读取后，存入一个txt配置文件。存入时，发现list文件无法直接存入，必须转为str模式。但在读取t
- 字典dict1 = {'name':'han','age':18,'class
