Deepgreen与Greenplum TPC-H性能测试对比（使用VitesseData脚本）-白红宇

前两天发了一篇基于[ ]的测试对比文章，由于测试数据量少，两个数据库有几轮测试都是1秒持平，但是大多数测试Deepgreen均优于Greenplum，有的甚至快至百倍，感兴趣的朋友可以再回头看看。

今天分享一下Deepgreen提供的TPC-H测试脚本，这个脚本分为浮点类型、数值类型两类进行22轮测试，更加细化，并且结果值更加中肯。

一、测试环境

服务器         IP              节点Master          192.168.100.107 1 MasterSegment1        192.168.100.107 3 instanceSegment2        192.168.100.106 3 instance软件版本：Greenplum 4.3.12Deepgreen 16.17

二、TPC-H脚本安装

脚本放在github上，有3种方式可以下载，为方便大家，分别介绍一下：

1. 如果已经与github主机建立ssh互信（点此访问建立方法）：

# 使用语句克隆repo：git clone git@github.com:cktan/bench.git# 初始化子模块（tpch-dbgen）：cd bench;git submodule initgit submodule update

2.如果懒得建立ssh互信，但是本机装有git工具：

# 克隆bench：git clone https://github.com/vitessedata/bench# 切换目录：cd bench# 克隆tpch-dbgen模块：git clone https://github.com/electrum/tpch-dbgen

3. 如果你机器上什么都没有，或者不能直接访问外网：

访问 - https://github.com/vitessedata/bench，点击右侧clone or download按钮，下载zip包访问 - https://github.com/electrum/tpch-dbgen，点击右侧clone or download按钮，下载zip包将两个压缩包整合上传到服务器解压缩，并把tpch-dbgen文件夹放到bench下面  访问 - https://github.com/vitessedata/bench，点击右侧clone or download按钮，下载zip包访问 - https://github.com/electrum/tpch-dbgen，点击右侧clone or download按钮，下载zip包将两个压缩包整合上传到服务器解压缩，并把tpch-dbgen文件夹放到bench下面

三、执行测试

1. 登录服务器重新编译：

cd bench/tpch-dbgenmake cleanrm *.tblmake

2. 生成测试文件、初始化数据库、加载数据：

[dgadmin@linux1 bench]$ python create.py 10fdbgen 10TPC-H Population Generator (Version 2.14.0)Copyright Transaction Processing Performance Council 1994 - 2010TPC-H Population Generator (Version 2.14.0)Copyright Transaction Processing Performance Council 1994 - 2010TPC-H Population Generator (Version 2.14.0)Copyright Transaction Processing Performance Council 1994 - 2010TPC-H Population Generator (Version 2.14.0)Copyright Transaction Processing Performance Council 1994 - 2010TPC-H Population Generator (Version 2.14.0)Copyright Transaction Processing Performance Council 1994 - 2010createdb tpch10fmktabmkviewload    customer    lineitem    nation    orders    part    partsupp    region    supplieranalyzeWARNING:  skipping "__gp_localid" --- cannot analyze indexes, views, external tables or special system tablesWARNING:  skipping "__gp_masterid" --- cannot analyze indexes, views, external tables or special system tablesWARNING:  skipping "__gp_log_segment_ext" --- cannot analyze indexes, views, external tables or special system tablesWARNING:  skipping "__gp_log_master_ext" --- cannot analyze indexes, views, external tables or special system tablesWARNING:  skipping "gp_disk_free" --- cannot analyze indexes, views, external tables or special system tables

备注：create.py脚本解读：

该脚本用于创建测试数据文件、创建数据库、初始化表、初始化试图、加载数据文件到数据库表、Analyze数据库。

它接受一个参数，用于指定测试的数据类型及数据量，具体如下：
- 1f: scale 1 with float8 type
- 1n: scale 1 with numeric type
- 10f: scale 10 with float8 type
- 10n: scale 10 with numeric type

3. 执行测试：

[dgadmin@linux1 bench]$ python run.py 10fWARNING:  "work_mem": setting is deprecated, and may be removed in a future release.ERROR:  unrecognized configuration parameter "vitesse.thread"WARNING:  "work_mem": setting is deprecated, and may be removed in a future release.ERROR:  unrecognized configuration parameter "vitesse.thread"

备注：run.py脚本解读：该脚本用于执行测试，脚本接受一个参数，指定测试类型及数据量，与create.py脚本参数一致。

四、对比结果

最终结果分四列展示，分别为：查询编号、Greenplum查询耗时、Deepgreen查询耗时、加速倍数。下面为10G数据量解释结论：

1. float8:

1 13514 2399 5.632 1850 616 3.003 6011 1930 3.114 5647 1566 3.615 5688 1711 3.326 3432 859 4.007 5651 1803 3.138 5357 1773 3.029 12323 4253 2.9010 7532 3818 1.9711 1933 1343 1.4412 5605 1727 3.2513 5422 3337 1.6214 3433 999 3.4415 7222 1970 3.6716 1969 761 2.5917 22211 7526 2.9518 15879 4745 3.3519 4274 1842 2.3220 6826 2915 2.3421 18977 4274 4.4422 6388 2493 2.56tot: 167144 54660 3.06

75007c84715f9d87b97b2ee04ff864d4143ccbea

2. numeric:

[dgadmin@linux1 bench]$ python run.py 10nWARNING:  "work_mem": setting is deprecated, and may be removed in a future release.ERROR:  unrecognized configuration parameter "vitesse.thread"WARNING:  "work_mem": setting is deprecated, and may be removed in a future release.ERROR:  unrecognized configuration parameter "vitesse.thread"1 32405 21151 1.532 2303 702 3.283 5934 1969 3.014 5653 1766 3.205 5471 1673 3.276 4307 1264 3.417 5396 1889 2.868 6055 1913 3.179 11853 4544 2.6110 6006 2696 2.2311 2153 1299 1.6612 5619 2284 2.4613 5417 3429 1.5814 3526 1136 3.1015 8265 2910 2.8416 1768 808 2.1917 23811 14610 1.6318 40284 28665 1.4119 4321 2359 1.8320 7177 4440 1.6221 16938 5039 3.3622 6439 2685 2.40tot: 211101 109231 1.93l

b1f6dc468dfffa1fc29adb57b0c239ba719d17cc

End~