Presto Benchmark Driver 的使用

2024-02-14 11:18
文章标签 使用 driver presto benchmark

本文主要是介绍Presto Benchmark Driver 的使用,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

最近在做Presto的研究,系统中有时候会因为重复执行部分SQL查询而导致整个系统的查询会很慢,为了便于重现慢SQL的一些执行过程,这里用到了 Benchmark Driver,本文主要描述 Benchmark Driver的使用方法
  1. 安装
    1. 下载文件:https://repo1.maven.org/maven2/com/facebook/presto/presto-benchmark-driver/0.150/presto-benchmark-driver-0.150-executable.jar
    2. 重命名文件:mv presto-benchmark-driver-0.150-executable.jar presto-benchmark-driver
    3. 修改文件权限:chmod u+x presto-benchmark-driver
  2. 配置:
    1. 在presto-benchmark-driver的相同目录创建suite.json文件,内容如下
      {
      "file_formats": {
      "query": ["test.*"],   #此处为正则表达式,表明sql目录下所有test开头的文件都会被执行。目前的版本貌似每个文件只能写一个SQL
      "schema": [ "default.*" ], #此处定义匹配执行的schema,同样为正则表达式
      "session": {}
      }
      }

    2. 在presto-benchmark-driver的相同目录创建sql目录,在sql目录下面创建test.sql
  3. 执行
    1. 执行:./presto-benchmark-driver --server localhost:8082  --debug  --catalog hv --warm 10
      此处执行了presto的server,catalog,重复执行次数(默认为4次)
    2. 更多参数可以通过--help来查看
  4. 观察
    最终执行效果如下:

    一共包含三种时间WallTime,ProcessCpuTime,queryCpuTime,每种时间都包含P50,Mean,stand三个值
    WallTime:用户要可以看到查询结果要等待的时间
    processCpuTime:整个集群为助理查询而消耗的CPU时间,包含一些垃圾回收的时间
    queryCpuTime:整个集群为助理查询而消耗的CPU时间

这篇关于Presto Benchmark Driver 的使用的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/708345

相关文章

Mysql中RelayLog中继日志的使用

《Mysql中RelayLog中继日志的使用》MySQLRelayLog中继日志是主从复制架构中的核心组件,负责将从主库获取的Binlog事件暂存并应用到从库,本文就来详细的介绍一下RelayLog中... 目录一、什么是 Relay Log(中继日志)二、Relay Log 的工作流程三、Relay Lo

使用Redis实现会话管理的示例代码

《使用Redis实现会话管理的示例代码》文章介绍了如何使用Redis实现会话管理,包括会话的创建、读取、更新和删除操作,通过设置会话超时时间并重置,可以确保会话在用户持续活动期间不会过期,此外,展示了... 目录1. 会话管理的基本概念2. 使用Redis实现会话管理2.1 引入依赖2.2 会话管理基本操作

Springboot请求和响应相关注解及使用场景分析

《Springboot请求和响应相关注解及使用场景分析》本文介绍了SpringBoot中用于处理HTTP请求和构建HTTP响应的常用注解,包括@RequestMapping、@RequestParam... 目录1. 请求处理注解@RequestMapping@GetMapping, @PostMappin

springboot3.x使用@NacosValue无法获取配置信息的解决过程

《springboot3.x使用@NacosValue无法获取配置信息的解决过程》在SpringBoot3.x中升级Nacos依赖后,使用@NacosValue无法动态获取配置,通过引入SpringC... 目录一、python问题描述二、解决方案总结一、问题描述springboot从2android.x

SpringBoot整合AOP及使用案例实战

《SpringBoot整合AOP及使用案例实战》本文详细介绍了SpringAOP中的切入点表达式,重点讲解了execution表达式的语法和用法,通过案例实战,展示了AOP的基本使用、结合自定义注解以... 目录一、 引入依赖二、切入点表达式详解三、案例实战1. AOP基本使用2. AOP结合自定义注解3.

Python中Request的安装以及简单的使用方法图文教程

《Python中Request的安装以及简单的使用方法图文教程》python里的request库经常被用于进行网络爬虫,想要学习网络爬虫的同学必须得安装request这个第三方库,:本文主要介绍P... 目录1.Requests 安装cmd 窗口安装为pycharm安装在pycharm设置中为项目安装req

使用Python将PDF表格自动提取并写入Word文档表格

《使用Python将PDF表格自动提取并写入Word文档表格》在实际办公与数据处理场景中,PDF文件里的表格往往无法直接复制到Word中,本文将介绍如何使用Python从PDF文件中提取表格数据,并将... 目录引言1. 加载 PDF 文件并准备 Word 文档2. 提取 PDF 表格并创建 Word 表格

使用Python实现局域网远程监控电脑屏幕的方法

《使用Python实现局域网远程监控电脑屏幕的方法》文章介绍了两种使用Python在局域网内实现远程监控电脑屏幕的方法,方法一使用mss和socket,方法二使用PyAutoGUI和Flask,每种方... 目录方法一:使用mss和socket实现屏幕共享服务端(被监控端)客户端(监控端)方法二:使用PyA

Python使用Matplotlib和Seaborn绘制常用图表的技巧

《Python使用Matplotlib和Seaborn绘制常用图表的技巧》Python作为数据科学领域的明星语言,拥有强大且丰富的可视化库,其中最著名的莫过于Matplotlib和Seaborn,本篇... 目录1. 引言:数据可视化的力量2. 前置知识与环境准备2.1. 必备知识2.2. 安装所需库2.3

Python数据验证神器Pydantic库的使用和实践中的避坑指南

《Python数据验证神器Pydantic库的使用和实践中的避坑指南》Pydantic是一个用于数据验证和设置的库,可以显著简化API接口开发,文章通过一个实际案例,展示了Pydantic如何在生产环... 目录1️⃣ 崩溃时刻:当你的API接口又双叒崩了!2️⃣ 神兵天降:3行代码解决验证难题3️⃣ 深度