opentsdb专题

OpenTSDB安装,配置,数据存储介绍

1.什么是OpenTSDB 2.OpenTSDB是用什么语言编写和构建的? 3.如何安装OpenTSDB? 1. OpenTSDB介绍 OpenTSDB用HBase存储所有的时序(无须采样)来构建一个分布式、可伸缩的时间序列数据库。它支持秒级数据采集所有metrics,支持永久存储,可以做容量规划,并很容易的接入到现有的报警系统里。OpenTSDB可以从大规模的集群(包括集群中

OpenTSDB Stats - OpenTSDB 统计信息

Stats   统计 OpenTSDB offers a number of metrics about its performance, accessible via various API endpoints. The main stats are accessible from the GUI via the "Stats" tab, from the Http API at /api/s

快速理解OpenTSDB的Schema设计

快速理解OpenTSDB的Schema设计 在时序数据库中,Time Series是一个基础概念。我们先来看看Wiki中关于Time Series的定义: Time Series是一组按照时间发生先后顺序进行排列的数据点序列。通常一组时间序列的时间间隔为一恒定值(如1秒,5分钟,1小时等)。 我们可以这样命名一个Time Series: webserver01.sys.cpu.0.u

OpenTSDB原理系列:读取流程

OpenTSDB原理系列:读取流程 一个完整的OpenTSDB HTTP Query请求,分别由OpenTSDB I/O Thread和AsyncHBase I/O Thread完成。OpenTSDB I/O Thread线程负责处理HTTP Query请求,AsyncHBase I/O Thread负责处理HBase的响应并发送HTTP响应。   请求处理流程 1.OpenTSDB

OpenTSDB原理系列:线程模型

OpenTSDB原理系列:线程模型 前面两篇文章介绍了 OpenTSDB的元数据模型以及数据表定义,这篇文章介绍OpenTSDB的线程模型,主要是处理HTTP请求的线程池以及负责HBase响应的线程池。   HTTP请求处理线程池 OpenTSDB启动时,会创建一个Netty服务端(默认端口为4242),以接收OpenTSDB服务端发送过来的HTTP请求。Netty的服务端实现包括了一个B

OpenTSDB原理系列:数据表设计

上一篇文章《OpenTSDB原理系列:元数据模型》讲到了OpenTSDB的基础概念,以及元数据模型,这篇文章介绍OpenTSDB的HBase数据表设计。OpenTSDB共涉及两种类型的数据:Metrics数据以及Annotation(注释)数据,在将这些数据存到HBase表中时,针对RowKey, Qualifier以及Value信息都做了特殊设计,从而使得存储更加高效。 Metrics Row

OpenTSDB原理系列:元数据模型

本文作为介绍OpenTSDB原理系列文章的第一篇,主要介绍了时序数据以及OpenTSDB的一些基础概念,以及OpenTSDB中的元数据模型定义。 什么是时序数据? Wiki中关于”时间序列(Time Series)“的定义: 时间序列(Time Series)是一组按照时间发生先后顺序进行排列的数据点序列,通常一组时间序列的时间间隔为一恒定值(如1秒,5分钟,1小时等)。 时间

存储成本仅为OpenTSDB的1/10,TDengine的最大杀手锏是什么?

在《这几个神秘参数,教你TDengine集群的正确使用方式》中,我们告诉了大家:如何才能让数据均匀的分布在节点中。接下来,我们和大家一起以产品使用者的视角继续向前探索。 如果说让数据均匀分布的目的是为了最大化地使用CPU资源的话,那么充分地利用数据压缩能力就是为了最大化地驾驭存储资源了。 我只能说,在这个方面TDengine做得棒极了。 在官网上,有这样的描述: TDengine 相对于

直播整理 | TDengine 技术分享:兼容 OpenTSDB

整理 | 尔悦 嘉宾 | 廖浩均 小 T 导读:近年来,随着各种新兴技术的发展,物联网、工业互联网等行业获得了快速发展,由此产生的时序数据量也越来越庞大,通用大数据方案越来越难以为继,各种时序数据库产品应运而生,迁移也成为企业面临的重难点操作之一。 相比于 TDengine,OpenTSDB 算是入场更早一些的“玩家”,基于 Hbase 的产品模式有利也有弊:为有 Hbase

hbase的TTL机制清除opentsdb的超时数据

我们发现用opentsdb向hbase写数据之后,磁盘占用率飙升得很快,我们存的业务数据只用保存一个月的即可,了解hbase的TTL机制可以清除相关表、相关行的超时数据,之前在数据备份时,我介绍了,opentsdb在hbase里面存储的数据主要有4个表,tsdb 、tsdb-meta 、tsdb-tree 、tsdb-uid。其中tsdb是元数据表,存储的内容最多,由此,清除数据主要清除ts

Opentsdb官方优化文档 - 翻译

文档地址 : Tuning — OpenTSDB 2.4 documentation Tuning As with any database there are many tuning parameters for OpenTSDB that can be used to improve write and read performance. Some of these options ar

opentsdb搭建

hbase搭建 参看:https://blog.csdn.net/vtopqx/article/details/78448787 hbase下载地址:https://mirrors.ustc.edu.cn/apache/hbase/2.2.6/ 版本:hbase-2.2.6-bin.tar.gz opentsdb搭建 参看:https://www.jianshu.com/p/e151bdb7

opentsdb搭建

hbase搭建 参看:https://blog.csdn.net/vtopqx/article/details/78448787 hbase下载地址:https://mirrors.ustc.edu.cn/apache/hbase/2.2.6/ 版本:hbase-2.2.6-bin.tar.gz opentsdb搭建 参看:https://www.jianshu.com/p/e151bdb7

时序列数据库 OpenTSDB (学习整理)

下载官网:http://opentsdb.net/ 官网用户指南:http://opentsdb.net/docs/build/html/index.html 学习时遇到的问题: 1、opentsdb总是被打挂? 我所遇到的问题原因和解决办法:      打到opentsdb中的数据量很大,队列满了还在往里面打,就挂了。 优化:在opentsdb和数据之间加了一层qbus,用来作为缓冲

OpenTSDB的metric查询分析

OpenTSDB查询端口/api/query的参数分析 /api/query的查询参数OpenTSDB的子查询subQuery参数按metric查询的格式依据参数m的值进行分析分析OpenTSDB源码如何处理查询请求 /api/query的查询参数 OpenTSDB的子查询subQuery参数 如上图所示,OpenTSDB的查询方式有两种,一种是按metric查询,子查

OpenTSDB源码导入eclipse

本人准备将opentsdb2.3.0.tar.gz源码导入到eclipse中进行学习。 操作系统:centos7 opentsdb版本:2.3.0 jdk1.8 hbase2.2.1(hbase启动或者不启动都报这个错) 按照教程https://www.jianshu.com/p/9f507a06535c 进行到./build.sh pom.xml时,报错如下 ./build-a

open-falcon opentsdb 部署

目的 部署 opentsdb 用于 open-falcon 存储 metric 信息 前期准备 组件参考zookeeper部署方法hapddop部署方法hbase部署方法\ opentsdb 信息 OpenTSDB由一个时间序列守护程序(TSD)和一组命令行实用程序组成。 与 OpenTSDB 的交互主要通过运行一个或多个 tsd 来实现。 每个TSD都是独立的。 没有主服务器

OpenTSDB(CVE-202035476)漏洞复现及利用

任务一: 复现环境中的命令注入漏洞。 任务二: 利用命令注入执行whoami,使用DNS外带技术获取结果 任务三:使用反弹shell,将漏洞环境中的shell反弹到宿主机或者vps服务器。 任务一: 1.搭建好环境 2.先去了解一下这个网站的功能 3.首先查看存在的metric,发现在这里是0 4.我们写入一个metric,首先利用burpsuite进行抓包然后用post请求添加请求体

OpenTSDB 写入介绍

OpenTSDB支持几种写入方式。包括Telnet API、HTTP API、import方式、客户端采集器(tcollector/telegraf)。Telnet适合测试用,tcollector/telegraf是日志采集客户端可用于流式加载日志,import方式适合批量导入数据。当然,最后还有一种方式就是直接写入Hbase(官网不推荐),这样OpenTSDB也可以直接展示数据。 一、创建

grafana接入OpenTSDB设置大盘语法

目录 1、filter过滤语法1.1 精准匹配1.2 正则匹配1.3 通配符匹配 完整示例1、 展示应用app的CPU利用率监控2)展示应用app的在线核数 1、filter过滤语法 1.1 精准匹配 literal_or : tagv的过滤规则: 精确匹配多项迭代值,多项迭代值以’|'分隔,大小写敏感 iliteral_or: tagv的过滤规则: 精确匹配多项迭代