【OceanBase 系列】—— 什么是冻结和转储

2024-05-10 15:12
文章标签 系列 冻结 oceanbase 转储

本文主要是介绍【OceanBase 系列】—— 什么是冻结和转储,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

文章出处:OceanBase分布式数据库-海量数据 笔笔算数

本文主要介绍什么是冻结和转储。

适用版本

OceanBase 数据库所有版本。

冻结

冻结是指将 Active MEMTable 转化为 Frozen MEMTable 的过程。

冻结的触发方式

  • 手动触发:alter system minor freeze;

  • 某个租户的占用内存超过阈值(freeze_trigger_percentage)后,会自动触发这个租户下所有 MEMTable 的冻结。

如何看 MEMTable 有没有冻结

select * from __all_virtual_table_mgr where table_id = xxx and table_type = 0;​

​如果没有指定的 table_id,可以先查看所有冻结的 MEMTable。

select * from __all_virtual_table_mgr where table_type = 0 and is_active = 0 limit 10;

​查看 METable 的情况:

  • 当 MEMTable 的 is_active 字段为 1,表示是 Active MEMTable。
  • 当 MEMTable 的 is_active 字段为 0,表示是 Frozen MEMTable,表示正在等待转储和释放。

当内存占用过高时,如果 MEMTable 没有发生冻结,请联系 OceanBase 技术支持进行问题排查。

如果 MEMTable 发生了冻结,但是一直没有转储,日志中有 MEMTable cannot be minor merged now 的 WARN 报错,说明冻结的 MEMTable 不满足转储条件,需要联系 OceanBase 技术支持进行问题排查。

如何看一个租户冻结了多少次

select * from __all_server_event_history where event like "%freeze%"; 

转储

转储是将内存中 Frozen MEMTable 持久化到磁盘上生成 mini sstable 的过程,在生成 mini sstable 后会释放掉 Frozen MEMTable,是系统释放内存的重要手段。

如何判断转储结束

通过 SQL 查询当前系统中是否有冻结的 MEMTable。

select count(*) from __all_virtual_table_mgr where table_type = 0 and is_active=0; 

MEMTable 需要满足的转储条件

  • 在 V2.2.x,要求 MEMTable 上没有活跃事务。
  • 在 V3.x,需要检查冻结的状态,事务状态的回填,日志提交等状态。

如果 MEMTable 发生了冻结,通过 select * from __all_virtual_sys_task_status; 查看正在执行中的任务,可能转储正在执行中。

冻结和转储是什么关系

  • 冻结:当 Active MEMTable 占用内存达到阈值(freeze_trigger_percentage)的时候或执行了 alter system minor freeze; 命令,Active MEMTable 会冻结,变成一个 Frozen MEMTable,后续的写入会写到新创建的 Active MEMTable 上。
  • 转储:Frozen MEMTable 转储后会变成磁盘上的 SSTable;可能会同时拿到多个冻结 MEMTable 一起执行转储操作。​所以冻结和转储不是 1:1 的关系,并不是一次冻结后,一定对应一次转储。另外,冻结和转储是独立的,如果有冻结生成了 Frozen MEMTable,才会创建转储任务。

这篇关于【OceanBase 系列】—— 什么是冻结和转储的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/976794

相关文章

Spring Security 从入门到进阶系列教程

Spring Security 入门系列 《保护 Web 应用的安全》 《Spring-Security-入门(一):登录与退出》 《Spring-Security-入门(二):基于数据库验证》 《Spring-Security-入门(三):密码加密》 《Spring-Security-入门(四):自定义-Filter》 《Spring-Security-入门(五):在 Sprin

科研绘图系列:R语言扩展物种堆积图(Extended Stacked Barplot)

介绍 R语言的扩展物种堆积图是一种数据可视化工具,它不仅展示了物种的堆积结果,还整合了不同样本分组之间的差异性分析结果。这种图形表示方法能够直观地比较不同物种在各个分组中的显著性差异,为研究者提供了一种有效的数据解读方式。 加载R包 knitr::opts_chunk$set(warning = F, message = F)library(tidyverse)library(phyl

【生成模型系列(初级)】嵌入(Embedding)方程——自然语言处理的数学灵魂【通俗理解】

【通俗理解】嵌入(Embedding)方程——自然语言处理的数学灵魂 关键词提炼 #嵌入方程 #自然语言处理 #词向量 #机器学习 #神经网络 #向量空间模型 #Siri #Google翻译 #AlexNet 第一节:嵌入方程的类比与核心概念【尽可能通俗】 嵌入方程可以被看作是自然语言处理中的“翻译机”,它将文本中的单词或短语转换成计算机能够理解的数学形式,即向量。 正如翻译机将一种语言

flume系列之:查看flume系统日志、查看统计flume日志类型、查看flume日志

遍历指定目录下多个文件查找指定内容 服务器系统日志会记录flume相关日志 cat /var/log/messages |grep -i oom 查找系统日志中关于flume的指定日志 import osdef search_string_in_files(directory, search_string):count = 0

GPT系列之:GPT-1,GPT-2,GPT-3详细解读

一、GPT1 论文:Improving Language Understanding by Generative Pre-Training 链接:https://cdn.openai.com/research-covers/languageunsupervised/language_understanding_paper.pdf 启发点:生成loss和微调loss同时作用,让下游任务来适应预训

Java基础回顾系列-第七天-高级编程之IO

Java基础回顾系列-第七天-高级编程之IO 文件操作字节流与字符流OutputStream字节输出流FileOutputStream InputStream字节输入流FileInputStream Writer字符输出流FileWriter Reader字符输入流字节流与字符流的区别转换流InputStreamReaderOutputStreamWriter 文件复制 字符编码内存操作流(

Java基础回顾系列-第五天-高级编程之API类库

Java基础回顾系列-第五天-高级编程之API类库 Java基础类库StringBufferStringBuilderStringCharSequence接口AutoCloseable接口RuntimeSystemCleaner对象克隆 数字操作类Math数学计算类Random随机数生成类BigInteger/BigDecimal大数字操作类 日期操作类DateSimpleDateForma

Java基础回顾系列-第三天-Lambda表达式

Java基础回顾系列-第三天-Lambda表达式 Lambda表达式方法引用引用静态方法引用实例化对象的方法引用特定类型的方法引用构造方法 内建函数式接口Function基础接口DoubleToIntFunction 类型转换接口Consumer消费型函数式接口Supplier供给型函数式接口Predicate断言型函数式接口 Stream API 该篇博文需重点了解:内建函数式

Java基础回顾系列-第二天-面向对象编程

面向对象编程 Java类核心开发结构面向对象封装继承多态 抽象类abstract接口interface抽象类与接口的区别深入分析类与对象内存分析 继承extends重写(Override)与重载(Overload)重写(Override)重载(Overload)重写与重载之间的区别总结 this关键字static关键字static变量static方法static代码块 代码块String类特

Java基础回顾系列-第六天-Java集合

Java基础回顾系列-第六天-Java集合 集合概述数组的弊端集合框架的优点Java集合关系图集合框架体系图java.util.Collection接口 List集合java.util.List接口java.util.ArrayListjava.util.LinkedListjava.util.Vector Set集合java.util.Set接口java.util.HashSetjava