clickhouse ttl不生效

2024-04-19 00:28
文章标签 clickhouse 生效 ttl

本文主要是介绍clickhouse ttl不生效,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

现象:
日志保留31天, 但是发现1年前的数据还有。

表结构:

CREATE TABLEads_xxxx_metrics_1m_local (`static_time` String COMMENT '统计时间',......) ENGINE = ReplacingMergeTree (process_time)
PARTITION BYtoYYYYMMDD (toDate (static_time))
ORDER BY(static_time,xxxreal_time_type) TTL parseDateTimeBestEffort (static_time) + toIntervalDay (31) 

定位:
是因为删除数据速度 赶不上插入数据速度,造成历史数据无法被清理。

优化:
TTL 删除数据按照 分区时间删除。

  `TTL parseDateTimeBestEffort (static_time) + toIntervalDay (31)  这个改成  toDate (static_time) + toIntervalDay (31)`   

加速删除数据的速度。

历史使用通过删除分区的方式删除。

  select
* 
fromsystem.parts
where
table = 'xxxxx'; 

通过 partition 字段查找 需要删除的分区。

alter table table_namexxxx DROP PARTITION ‘20231125’;

注意:

  1. TTL 策略默认不会对存量数据生效

这篇关于clickhouse ttl不生效的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/916181

相关文章

Clickhouse 的性能优化实践总结

文章目录 前言性能优化的原则数据结构优化内存优化磁盘优化网络优化CPU优化查询优化数据迁移优化 前言 ClickHouse是一个性能很强的OLAP数据库,性能强是建立在专业运维之上的,需要专业运维人员依据不同的业务需求对ClickHouse进行有针对性的优化。同一批数据,在不同的业务下,查询性能可能出现两极分化。 性能优化的原则 在进行ClickHouse性能优化时,有几条

ClickHouse备份方案

ClickHouse备份方案主要包括以下几种方法: 一、使用clickhouse-backup工具: (参考地址:https://blog.csdn.net/qq_43510111/article/details/136570850) **安装与配置:**首先从GitHub获取clickhouse-backup工具并按照文档进行安装配置。这个工具由Altinity维护,支持全量备份、增量

yii2 模糊搜索,使索引生效

$str1 = ‘名称’; $str2 = ‘描述’; Course::find() // %这样放,可以使name索引(设置了索引的话。同时false不能删掉,否则索引失效)生效 ->where([‘LIKE’, ‘name’, $str1.’%’, false]) ->andWhere([‘status’=>1]) // %这样放,可以使desc索引(设置了索引的话。同时false不能删掉,否

source配置文件不生效 原创 2016年03月14日 18:43:55 3558 问题背景: 升级jdk 1.8之后,启动时报版本编译问题,查看$JAVA_HOME,$JRE_HOME

source配置文件不生效 原创  2016年03月14日 18:43:55 3558 问题背景:       升级jdk 1.8之后,启动时报版本编译问题,查看$JAVA_HOME,$JRE_HOME,没有问题。      初步推断是没有source,sourec .bashrc 之后查看$JAVA_HOME,$JRE_HOME变成1.8版本,但启动时还是报错,这就

当flex-direction: column时,设置flex:1不生效解决办法

当需求是: 页面纵向排列,且最后一个元素撑满剩余高度  flex:1在横向排列时是可以的,但是纵向排列会失效,此时需要给最后一个子元素设置align-self: stretch;即可撑满剩余高度 <div class="father"><div class="child child1"></div><div class="child child2"></div><div class="ch

【ClickHouse】副本、分片集群 (六)

副本 副本的目的主要是保障数据的高可用性,即使一台ClickHouse节点宕机,那么也可以从其他服务器获得相同的数据。 https://clickhouse.tech/docs/en/engines/table-engines/mergetree-family/replication/ 副本写入流程 写入流程如图-18所示: 图-18 写入流程 配置步骤 1)启动zookeeper

CentOS7 修改hostname,ip地址以及etc/hosts(永久生效)

在局域网内配置多节点场合, 通常用VMare装好一个linux系统后可以直接克隆,只要设定不同的IP地址及主机名就可以了。 1.修改hostname ①# hostname  查看当前主机名 ②#hostnamectl set-hostname *** 修改主机名 ③#reboot 重启 2.修改IP地址 ①#ifconfig 查看IP地址及网卡(IP地址:192.168.

CentOS7 部署安装ClickHouse

一、什么是ClickHouse ClickHouse 是俄罗斯的Yandex于2016年开源的列式存储数据库(DBMS),使用C++语言编写,主要用于在线分析处理查询(OLAP),能够使用SQL查询实时生成分析数据报告。 OLAP场景需要在大型数据集上对具有以下特征的复杂分析查询进行实时响应: 数据集可以是巨大的——数十亿或数万亿行数据组织在包含多列的表中只选择少数几列来回答任何特定的查询必

Vue中使用$set()赋值,js直接赋值不生效的时候

Vue中的$set()的使用 今天在使用vue的时候,form表单中的有个属性是disabled,其数据是接口返回后赋值,赋值后页面有显示但是非空校验还是提示是空的: this.form.optnCode = item.optnCode 我开始就是像上面这样直接用js赋值的方式填值,但是校验不通过,我想这样给值应该是没影响form表单中校验对应的数据,后来百度看到有人用vue的$set