Deepgreen与Greenplum TPC-H性能测试对比(使用德哥脚本)

2023-11-06 04:50

本文主要是介绍Deepgreen与Greenplum TPC-H性能测试对比(使用德哥脚本),希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

Deepgreen数据库基于开源MPP数据库Greenplum而来,那么他的优越性几何?今天给大家分享数据仓库测试TPC-H的结果让大家加以比较:
本次对比需要注意的几点:
  1. 测试参照德哥2015年发的【Greenplum的TPC-H】测试,只做了压缩类型的简单修改
  2. 由于测试机器性能问题,可能无法最大化展示二者性能(greenplum部分测试timeout)
一、测试环境:

服务器         IP              节点
Master          192.168.100.107 1 Master
Segment1        192.168.100.108 2 instance
Segment2        192.168.100.109 2 instance
软件版本:
Greenplum 4.3.12
Deepgreen 16.16
二、TPC-H测试结果
Greenplum:
 
2017-05-19 13:59:16 [1495173556] : preparing TPC-H database
2017-05-19 13:59:16 [1495173556] :   loading data
2017-05-19 13:59:39 [1495173579] :   creating primary keys
2017-05-19 13:59:39 [1495173579] :   creating foreign keys
2017-05-19 13:59:39 [1495173579] :   creating indexes
2017-05-19 13:59:57 [1495173597] :   analyzing
2017-05-19 14:00:10 [1495173610] : running TPC-H benchmark
2017-05-19 14:00:10 [1495173610] : running queries defined in TPC-H benchmark
2017-05-19 14:00:10 [1495173610] :   running query 1
2017-05-19 14:00:21 [1495173621] :     query 1 finished OK (6 seconds)
2017-05-19 14:00:21 [1495173621] :   running query 2
2017-05-19 14:08:37 [1495174117] :     query 2 finished OK (250 seconds)
2017-05-19 14:08:37 [1495174117] :   running query 3
2017-05-19 14:53:15 [1495176795] :     query 3 finished OK (1363 seconds)
2017-05-19 14:53:15 [1495176795] :   running query 4
2017-05-19 14:53:17 [1495176797] :     query 4 finished OK (1 seconds)
2017-05-19 14:53:17 [1495176797] :   running query 5
2017-05-19 14:53:18 [1495176798] :     query 5 finished OK (1 seconds)
2017-05-19 14:53:18 [1495176798] :   running query 6
2017-05-19 14:53:19 [1495176799] :     query 6 finished OK (1 seconds)
2017-05-19 14:53:19 [1495176799] :   running query 7
2017-05-19 15:28:32 [1495178912] :     query 7 finished OK (1057 seconds)
2017-05-19 15:28:32 [1495178912] :   running query 8
2017-05-19 15:54:09 [1495180449] :     query 8 finished OK (777 seconds)
2017-05-19 15:54:09 [1495180449] :   running query 9
2017-05-19 21:52:26 [1495201946] :     killing query 9 (timeout)
2017-05-19 21:52:36 [1495201956] :   running query 10
2017-05-19 21:52:37 [1495201957] :     query 10 finished OK (1 seconds)
2017-05-19 21:52:37 [1495201957] :   running query 11
2017-05-19 21:55:26 [1495202126] :     query 11 finished OK (85 seconds)
2017-05-19 21:55:26 [1495202126] :   running query 12
2017-05-19 21:55:27 [1495202127] :     query 12 finished OK (1 seconds)
2017-05-19 21:55:27 [1495202127] :   running query 13
2017-05-20 00:45:29 [1495212329] :     killing query 13 (timeout)
2017-05-20 00:45:39 [1495212339] :   running query 14
2017-05-20 00:45:40 [1495212340] :     query 14 finished OK (1 seconds)
2017-05-20 00:45:40 [1495212340] :   running query 15
2017-05-20 00:45:42 [1495212342] :     query 15 finished OK (1 seconds)
2017-05-20 00:45:42 [1495212342] :   running query 16
2017-05-20 00:48:30 [1495212510] :     query 16 finished OK (84 seconds)
2017-05-20 00:48:30 [1495212510] :   running query 17
2017-05-20 00:48:46 [1495212526] :     query 17 finished OK (8 seconds)
2017-05-20 00:48:46 [1495212526] :   running query 18
2017-05-20 02:06:47 [1495217207] :     killing query 18 (timeout)
2017-05-20 02:06:58 [1495217218] :   running query 19
2017-05-20 07:11:50 [1495235510] :     killing query 19 (timeout)
2017-05-20 07:12:00 [1495235520] :   running query 20
2017-05-20 07:12:02 [1495235522] :     query 20 finished OK (1 seconds)
2017-05-20 07:12:02 [1495235522] :   running query 21
2017-05-20 09:57:36 [1495245456] :     killing query 21 (timeout)
2017-05-20 09:57:46 [1495245466] :   running query 22
2017-05-20 10:12:01 [1495246321] :     query 22 finished OK (428 seconds)
2017-05-20 10:12:01 [1495246321] : finished TPC-H benchmark
Deepgreen:

[dgadmin@linux1 results]$ cat bench.log
2017-05-19 11:44:56 [1495165496] : preparing TPC-H database
2017-05-19 11:44:56 [1495165496] :   loading data
2017-05-19 11:45:14 [1495165514] :   creating primary keys
2017-05-19 11:45:14 [1495165514] :   creating foreign keys
2017-05-19 11:45:14 [1495165514] :   creating indexes
2017-05-19 11:45:29 [1495165529] :   analyzing
2017-05-19 11:45:32 [1495165532] : running TPC-H benchmark
2017-05-19 11:45:32 [1495165532] : running queries defined in TPC-H benchmark
2017-05-19 11:45:32 [1495165532] :   running query 1
2017-05-19 11:45:40 [1495165540] :     query 1 finished OK (4 seconds)
2017-05-19 11:45:40 [1495165540] :   running query 2
2017-05-19 11:52:23 [1495165943] :     query 2 finished OK (199 seconds)
2017-05-19 11:52:23 [1495165943] :   running query 3
2017-05-19 11:52:27 [1495165947] :     query 3 finished OK (3 seconds)
2017-05-19 11:52:27 [1495165947] :   running query 4
2017-05-19 11:52:28 [1495165948] :     query 4 finished OK (1 seconds)
2017-05-19 11:52:28 [1495165948] :   running query 5
2017-05-19 11:52:29 [1495165949] :     query 5 finished OK (1 seconds)
2017-05-19 11:52:29 [1495165949] :   running query 6
2017-05-19 11:52:30 [1495165950] :     query 6 finished OK (1 seconds)
2017-05-19 11:52:30 [1495165950] :   running query 7
2017-05-19 11:52:34 [1495165954] :     query 7 finished OK (3 seconds)
2017-05-19 11:52:34 [1495165954] :   running query 8
2017-05-19 11:52:36 [1495165956] :     query 8 finished OK (1 seconds)
2017-05-19 11:52:36 [1495165956] :   running query 9
2017-05-19 12:26:01 [1495167961] :     query 9 finished OK (1002 seconds)
2017-05-19 12:26:01 [1495167961] :   running query 10
2017-05-19 12:26:02 [1495167962] :     query 10 finished OK (1 seconds)
2017-05-19 12:26:02 [1495167962] :   running query 11
2017-05-19 12:26:05 [1495167965] :     query 11 finished OK (3 seconds)
2017-05-19 12:26:05 [1495167965] :   running query 12
2017-05-19 12:26:07 [1495167967] :     query 12 finished OK (1 seconds)
2017-05-19 12:26:07 [1495167967] :   running query 13
2017-05-19 12:45:19 [1495169119] :     query 13 finished OK (588 seconds)
2017-05-19 12:45:19 [1495169119] :   running query 14
2017-05-19 12:45:20 [1495169120] :     query 14 finished OK (1 seconds)
2017-05-19 12:45:20 [1495169120] :   running query 15
2017-05-19 12:45:21 [1495169121] :     query 15 finished OK (1 seconds)
2017-05-19 12:45:21 [1495169121] :   running query 16
2017-05-19 12:45:25 [1495169125] :     query 16 finished OK (3 seconds)
2017-05-19 12:45:25 [1495169125] :   running query 17
2017-05-19 12:45:30 [1495169130] :     query 17 finished OK (3 seconds)
2017-05-19 12:45:30 [1495169130] :   running query 18
2017-05-19 12:45:32 [1495169132] :     query 18 finished OK (1 seconds)
2017-05-19 12:45:32 [1495169132] :   running query 19
2017-05-19 12:45:34 [1495169134] :     query 19 finished OK (1 seconds)
2017-05-19 12:45:34 [1495169134] :   running query 20
2017-05-19 12:45:35 [1495169135] :     query 20 finished OK (1 seconds)
2017-05-19 12:45:35 [1495169135] :   running query 21
2017-05-19 12:45:36 [1495169136] :     query 21 finished OK (1 seconds)
2017-05-19 12:45:36 [1495169136] :   running query 22
2017-05-19 12:57:30 [1495169850] :     query 22 finished OK (357 seconds)
2017-05-19 12:57:30 [1495169850] : finished TPC-H benchmark

三、结果对比

总的来说,Deepgreen在整个测试中整体优于Greenplum。在22轮测试中,有8轮持平,其余14轮Deepgreen均优于Greenplum。其中Q3、Q7、Q8、Q11、Q16查询比Greenplum快指数倍;Greenplum的Q9、Q13、Q18、Q19、Q21 timeout,而Deepgreen没有;Q4、Q5、Q6、Q10、Q12、Q14、Q15、Q20二者持平。
d2bd8ac17549d3ce91d384d6422c844b068e30cc
8a9741c119a601992c790d88ecb6ce0f0595629b

这篇关于Deepgreen与Greenplum TPC-H性能测试对比(使用德哥脚本)的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/354562

相关文章

Vue3 的 shallowRef 和 shallowReactive:优化性能

大家对 Vue3 的 ref 和 reactive 都很熟悉,那么对 shallowRef 和 shallowReactive 是否了解呢? 在编程和数据结构中,“shallow”(浅层)通常指对数据结构的最外层进行操作,而不递归地处理其内部或嵌套的数据。这种处理方式关注的是数据结构的第一层属性或元素,而忽略更深层次的嵌套内容。 1. 浅层与深层的对比 1.1 浅层(Shallow) 定义

性能测试介绍

性能测试是一种测试方法,旨在评估系统、应用程序或组件在现实场景中的性能表现和可靠性。它通常用于衡量系统在不同负载条件下的响应时间、吞吐量、资源利用率、稳定性和可扩展性等关键指标。 为什么要进行性能测试 通过性能测试,可以确定系统是否能够满足预期的性能要求,找出性能瓶颈和潜在的问题,并进行优化和调整。 发现性能瓶颈:性能测试可以帮助发现系统的性能瓶颈,即系统在高负载或高并发情况下可能出现的问题

中文分词jieba库的使用与实景应用(一)

知识星球:https://articles.zsxq.com/id_fxvgc803qmr2.html 目录 一.定义: 精确模式(默认模式): 全模式: 搜索引擎模式: paddle 模式(基于深度学习的分词模式): 二 自定义词典 三.文本解析   调整词出现的频率 四. 关键词提取 A. 基于TF-IDF算法的关键词提取 B. 基于TextRank算法的关键词提取

使用SecondaryNameNode恢复NameNode的数据

1)需求: NameNode进程挂了并且存储的数据也丢失了,如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2)故障模拟 (1)kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 (2)删除NameNode存储的数据(/opt/module/hadoop-3.1.4/data/tmp/dfs/na

Hadoop数据压缩使用介绍

一、压缩原则 (1)运算密集型的Job,少用压缩 (2)IO密集型的Job,多用压缩 二、压缩算法比较 三、压缩位置选择 四、压缩参数配置 1)为了支持多种压缩/解压缩算法,Hadoop引入了编码/解码器 2)要在Hadoop中启用压缩,可以配置如下参数

Makefile简明使用教程

文章目录 规则makefile文件的基本语法:加在命令前的特殊符号:.PHONY伪目标: Makefilev1 直观写法v2 加上中间过程v3 伪目标v4 变量 make 选项-f-n-C Make 是一种流行的构建工具,常用于将源代码转换成可执行文件或者其他形式的输出文件(如库文件、文档等)。Make 可以自动化地执行编译、链接等一系列操作。 规则 makefile文件

字节面试 | 如何测试RocketMQ、RocketMQ?

字节面试:RocketMQ是怎么测试的呢? 答: 首先保证消息的消费正确、设计逆向用例,在验证消息内容为空等情况时的消费正确性; 推送大批量MQ,通过Admin控制台查看MQ消费的情况,是否出现消费假死、TPS是否正常等等问题。(上述都是临场发挥,但是RocketMQ真正的测试点,还真的需要探讨) 01 先了解RocketMQ 作为测试也是要简单了解RocketMQ。简单来说,就是一个分

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题,本文将一起从代码层去分析为什么没有建立索引? 开源ERP项目地址:https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置

使用opencv优化图片(画面变清晰)

文章目录 需求影响照片清晰度的因素 实现降噪测试代码 锐化空间锐化Unsharp Masking频率域锐化对比测试 对比度增强常用算法对比测试 需求 对图像进行优化,使其看起来更清晰,同时保持尺寸不变,通常涉及到图像处理技术如锐化、降噪、对比度增强等 影响照片清晰度的因素 影响照片清晰度的因素有很多,主要可以从以下几个方面来分析 1. 拍摄设备 相机传感器:相机传

pdfmake生成pdf的使用

实际项目中有时会有根据填写的表单数据或者其他格式的数据,将数据自动填充到pdf文件中根据固定模板生成pdf文件的需求 文章目录 利用pdfmake生成pdf文件1.下载安装pdfmake第三方包2.封装生成pdf文件的共用配置3.生成pdf文件的文件模板内容4.调用方法生成pdf 利用pdfmake生成pdf文件 1.下载安装pdfmake第三方包 npm i pdfma