PostgreSQL 烤面包的味道好极了 TOAST

2023-12-18 21:40

本文主要是介绍PostgreSQL 烤面包的味道好极了 TOAST,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

在传统的数据库中,DBA最恨  听到的词就是,我要使用 BLOB 字段,或者类似的类型来处理,huge的数据,他可能是一段图形的在转换后的“乱码”,也可能是某个蹩脚 程序设计出来的 “怪胎”。如果是强有力的 DBER 可能直接驳回此类需求,但换来的是,“这不有这个字段嘛”, 为啥不让用,就你事多的,我就存几行诸如此类的,“欢迎词”。

PostgreSQL的管理员们是否会得到这样的欢迎词,就与他对Postgresql 的TOAST 的了解以有关。PG的默认的数据也大小是多少,8K,与SQL SERVER类似。MYSQL 是16KB的PAGE页(默认)

那TOAST 首先的含义以及出现的需求就有了,因为默认的数据库的页面,无法处理大容量的数据,所以针对大容量的数据就产生了一些字段的类型,来满足某些“变态” 的需求。TOAST的含义其实就是通过对大字段的分解,将其分配到多个物理行上的方式。所以一个大面包,把他切片,然后就是叫“吐司”,TOAST的名词来源可能是这样来的。

当然如果仅仅想到就是将多个物理行进行组织后来存储大型数据,未免想的还是少了一点,任何数据库的数据要进行处理,都需要走内存的这一关,而如何将大字段与内存进行一个友好的“匹配”, 那就还得在费点功夫。

这里如果对PG 陌生的话,先纠正一个概念,TOAST不是一个字段类型,他是一种底层数据存储的方式,在其上方才是那些需要扩展的字段类型,所以大型字段的存储都要经过TOAST一关。

还是先感官再理论,否则按照什么理论来发散,脑子大约会开始陷入停转可能。

CREATE TABLE messages (message text);

INSERT INTO messages

SELECT (SELECT

        string_agg(chr(floor(random() * 26)::int + 65), '')

        FROM generate_series(1,10000))

FROM generate_series(1,10);

在你的PG上(我这里的版本是11),运行了上面的语句,插入一堆数据后

我就得到了关于下面的这个图,一个存储数据的toast表的实际内容是什么样的

下面总结一下TOAST

1 PG的大容量数据和实体表不是存在一起的

2 PG会分配一个表来单独存储分出来的数据

3 这个表里面会存储大容量的数据。

4 在这个专门存储toast的数据类型也是有选择的,json , text,varchar, bytea等类型都会将数据存储在这个实体表对应的toast表中。

5 TOAST 的在存储数据的时候有四种模式  plain (不使用toast) extended (默认压缩,既要压缩,也要行外存储)external (不压缩,直接使用行外存储)  Main模式(压缩,但行外存储会排在最后的选择范围)

那这里就会对上面的产生一个问题,就是我们在处理这样的数据的时候,这四种可以选择的类型,那种是最优选,或者有什么推荐,或者还是使用默认的模式。

参看上面的文字,其中对于上面四种模式中给出了建议,使用Main 模式

怎么修改优化,参见下面的语句

ALTERTABLE YourTable
ALTERCOLUMN YourColumn SET STORAGE (PLAIN | EXTENDED | EXTERNAL |MAIN)
所以总结一下,PG 在处理比较大的字段上并没有什么问题,但涉及不合理的事情其实与能不能接受,
倒是无关,主要是数据库种类这么多,为何非要在一个数据库上“拼死拼活”, 不如找一个更合适字段处理特
别大的数据的数据库,他不香吗?

这篇关于PostgreSQL 烤面包的味道好极了 TOAST的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/509846

相关文章

PostgreSQL核心功能特性与使用领域及场景分析

PostgreSQL有什么优点? 开源和免费 PostgreSQL是一个开源的数据库管理系统,可以免费使用和修改。这降低了企业的成本,并为开发者提供了一个活跃的社区和丰富的资源。 高度兼容 PostgreSQL支持多种操作系统(如Linux、Windows、macOS等)和编程语言(如C、C++、Java、Python、Ruby等),并提供了多种接口(如JDBC、ODBC、ADO.NET等

PostgreSQL中的多版本并发控制(MVCC)深入解析

引言 PostgreSQL作为一款强大的开源关系数据库管理系统,以其高性能、高可靠性和丰富的功能特性而广受欢迎。在并发控制方面,PostgreSQL采用了多版本并发控制(MVCC)机制,该机制为数据库提供了高效的数据访问和更新能力,同时保证了数据的一致性和隔离性。本文将深入解析PostgreSQL中的MVCC功能,探讨其工作原理、使用场景,并通过具体SQL示例来展示其在实际应用中的表现。 一、

PostgreSQL入门介绍

一、PostgreSQL 背景及主要功能介绍 1、背景 PG数据库,全称为PostgreSQL数据库,是一款开源的关系型数据库管理系统(RDBMS)。其起源可以追溯到20世纪80年代末和90年代初,由加拿大的计算机科学家Michael Stonebraker及其团队在加州大学伯克利分校启动。该项目旨在创建一个强大的、开源的关系型数据库管理系统,作为早期关系型数据库系统Ingres的继承者。Mi

PostgreSQL索引介绍

梦中彩虹   博客园首页新随笔联系管理 随笔 - 131  文章 - 1  评论 - 14 PostgreSQL索引介绍 INDEX 索引是增强数据库性能的常用方法。索引使得数据库在查找和检索数据库的特定行的时候比没有索引快的多。但索引也增加了整个数据库系统的开销,所以应该合理使用。 介绍 假设我们有一个类似这样的表: CREATE TABLE test1 (id integ

PostgreSQL分区表(partitioning)应用实例详解

https://www.jb51.net/article/97937.htm   PostgreSQL分区表(partitioning)应用实例详解  更新时间:2016年11月22日 10:25:58   作者:小灯光环    我要评论   这篇文章主要为大家详细介绍了PostgreSQL分区表(partitioning)应用实例,具有一定的参考价值,感兴趣的小伙伴们可以参考一下

PostgreSql中WITH语句的使用

https://blog.csdn.net/chuan_day/article/details/44809125 PostgreSql中WITH语句的使用 With语句是为庞大的查询语句提供了辅助的功能。这些语句通常是引用了表表达式或者CTEs(一种临时数据的存储方式),可以看做是一个查询语句的临时表。在With语句中可以使用select,insert,update,delete语句。当然wit

Vite + Vue3 +Vant4出现Toast is not a function

今天写前端的时候出现了这个问题搞了我一会 搜集原因: 1:是vant版本的问题,Toast()的方法是vant3版本的写法,而我用的是vant4,vant4中的写法改成了showToast()方法,改正过来 import {showToast} from "vant";  发现还是报错,说是找不到对应的样式文件 2:Vant 从 4.0 版本开始不再支持 babel-plugin-i

PostgreSQL 17即将发布,新功能Top 3

按照计划,PostgreSQL 17 即将在 2024 年 9 月 26 日发布,目前已经发布了第一个 RC 版本,新版本的功能增强可以参考 Release Notes。 本文给大家分享其中 3 个重大的新增功能。 MERGE 语句增强 MERGE 语句是 PostgreSQL 15 增加的一个新功能,它可以在单个语句中实现 INSERT、UPDATE 以及 DELETE 操作,非常适合数据

Peewee+Postgresql+PooledPostgresqlDatabase重连机制

需求: Postgresql数据库服务重启后,需要业务代码正常读写数据库 方案: 通过继承playhouse.shortcuts.ReconnectMixin和playhouse.pool.PooledPostgresqlDatabase来创建一个新的ReconnectPooledPostgresqlDatabase类修改reconnect_errors属性来适配Postgresql

锁屏界面无法无法显示Toast

在锁屏界面开发几个快捷方式启动某些应用,例如:Calculator, Camera,Google voice和Call等,界面如下。且这种做法很普遍,很多厂商都有。 说明: 1>左边图片右下角为快速启动Calculator的快捷方式,在无需解锁的情况下,进入Calcaulator应用。 2>右边图片为从launcher中启动Calculator后,操作时弹出的Toast提示。 那么问