pg ash自制版 pg_active_session_history

2023-10-16 07:28
文章标签 session pg 自制 active history ash

本文主要是介绍pg ash自制版 pg_active_session_history，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

一、 实现功能

        由于pgsentinel插件存在严重的内存占用问题，本篇改为自行实现，但其语句仍可以参考pgsentinel插件。PostgreSQL ash —— pgsentinel插件 学习与踩坑记录_CSDN博客

        v1.0 根据pg 14版本设计及测试，仅支持收集主库信息。默认每10秒收集一次 active与idle in transaction 状态会话信息，保留两个月。

二、 历史会话与阻塞信息

       参考 pgsentinel插件的pg_active_session_history视图及pg pg_stat_activity视图，根据不同版本，其中部分字段的值可能为空。

pg_ash表

列名

数据类型

字段含义

ash_timetimestamp with time zone采样时间
datidoid会话连接的dbid
datnamename会话连接的DB名
pidinteger会话进程ID
leader_pidinteger并行进程leader id，pg 13新增
usesysidoiduser id
usenamename用户名
application_nametext应用程序名
client_addrinet客户端ip
client_hostnametext客户端主机名
client_portinteger客户端端口
backend_starttimestamp with time zone会话连接到服务器的时间
xact_starttimestamp with time zone当前事务开始的时间，若无活跃事务则为 NULL
query_starttimestamp with time zone当前活跃查询的开始时间。如果state不为active，则表示上个查询的开始时间
state_changetimestamp with time zonestate上次更改的时间
wait_event_typetext正在等待的事件类型（如果有）
wait_eventtext正在等待的事件名（如果有）
statetext当前会话状态
backend_xidxid该会话的顶层事务id（如果有）
backend_xminxid该会话的xmin horizon
querytext

active状态下，为当前正在执行的查询；其他状态下，表示最后执行的查询。

默认情况下，查询文本被截断为 1024 字节（由参数track_activity_query_size控制）

query_idbigint查询id，类似Oracle的sql_id，pg 14新增
backend_typetext当前会话类型，例如client backend, checkpointer, startup, walreceiver... pg 10新增
blockersinteger阻塞者数量
blockerpidinteger阻塞者进程id
blocker_statetext阻塞者状态

三、 表结构创建

1. 按月进行分区

CREATE TABLE public.pg_ash (

    ash_time timestamp with time zone,

    datid oid,

    datname name,

    pid integer,

    leader_pid integer,

    usesysid oid,

    usename name,

    application_name text,

    client_addr inet,

    client_hostname text,

    client_port integer,

    backend_start timestamp with time zone,

    xact_start timestamp with time zone,

    query_start timestamp with time zone,

    state_change timestamp with time zone,

    wait_event_type text,

    wait_event text,

    state text,

    backend_xid xid,

    backend_xmin xid,

    query text,

    query_id bigint,

    backend_type text,

    blockers integer,

    blockerpid integer,

    blocker_state text

) PARTITION BY RANGE(ash_time);

-- 索引创建

CREATE INDEX idx_pg_ash_n1 ON pg_ash(ash_time);

-- 分区创建，超出最大范围的值会落入默认的final分区

CREATE TABLE pg_ash_history PARTITION OF pg_ash DEFAULT;

CREATE TABLE pg_ash_202310 PARTITION OF pg_ash FOR VALUES FROM ('2023-10-01') TO ('2023-11-01');

CREATE TABLE pg_ash_202311 PARTITION OF pg_ash FOR VALUES FROM ('2023-11-01') TO ('2023-12-01');

CREATE TABLE pg_ash_202312 PARTITION OF pg_ash FOR VALUES FROM ('2023-12-01') TO ('2024-01-01');

2. 定期自动新增分区

3. 自动清理旧分区

四、 数据插入

vi pg_ash.sh

#!/bin/bash

. ~/profile << EOF

5432

EOF

psql << EOF

insert into pg_ash

select now(), act.datid, act.datname, act.pid, act.leader_pid, act.usesysid, act.usename,

 act.application_name, act.client_addr, act.client_hostname,

 act.client_port, act.backend_start, act.xact_start, act.query_start,

 act.state_change, act.wait_event_type, act.wait_event, act.state, act.backend_xid,

 act.backend_xmin,act.query,act.query_id,act.backend_type,cardinality(pg_blocking_pids(act.pid))

 as blockers,(pg_blocking_pids(act.pid))[1] as blockerpid ,blk.state as blocker_state

 from pg_stat_activity act left join pg_stat_activity blk

 on (pg_blocking_pids(act.pid))[1] = blk.pid

 where act.state in ('active', 'idle in transaction') and act.pid != pg_backend_pid();

EOF

五、 设置定时执行

由于crontab最小只能按分钟执行，这里利用while true+sleep实现每十秒执行。

vi run.sh   与pg_ash.sh放在相同目录

#!/bin/bash

source .bash_profile

while [ true ]

do

sh ./pg_ash.sh

sleep 10

done

后台运行run.sh

nohup ./run.sh &

六、 测试运行效果

1. pgbench压测

  • 初始化数据

-bash-4.2$ createdb pgbench       

-bash-4.2$ pgbench -i pgbench

dropping old tables...

NOTICE:  table "pgbench_accounts" does not exist, skipping

NOTICE:  table "pgbench_branches" does not exist, skipping

NOTICE:  table "pgbench_history" does not exist, skipping

NOTICE:  table "pgbench_tellers" does not exist, skipping

creating tables...

generating data (client-side)...

100000 of 100000 tuples (100%) done (elapsed 0.23 s, remaining 0.00 s)

vacuuming...

creating primary keys...

done in 0.49 s (drop tables 0.00 s, create tables 0.01 s, client-side generate 0.27 s, vacuum 0.11 s, primary keys 0.10 s).

-bash-4.2$

-bash-4.2$ psql

psql (14.0)

Type "help" for help.

postgres=# \l

                                 List of databases

   Name    |  Owner   | Encoding |  Collate   |   Ctype    |   Access privileges  

-----------+----------+----------+------------+------------+-----------------------

 pgbench   | postgres | UTF8     | en_US.utf8 | en_US.utf8 |

 postgres  | postgres | UTF8     | en_US.utf8 | en_US.utf8 |

 template0 | postgres | UTF8     | en_US.utf8 | en_US.utf8 | =c/postgres          +

           |          |          |            |            | postgres=CTc/postgres

 template1 | postgres | UTF8     | en_US.utf8 | en_US.utf8 | =c/postgres          +

           |          |          |            |            | postgres=CTc/postgres

 testdb    | postgres | UTF8     | en_US.utf8 | en_US.utf8 |

(5 rows)

postgres=# \c pgbench

You are now connected to database "pgbench" as user "postgres".

pgbench=# \d

              List of relations

 Schema |       Name       | Type  |  Owner  

--------+------------------+-------+----------

 public | pgbench_accounts | table | postgres

 public | pgbench_branches | table | postgres

 public | pgbench_history  | table | postgres

 public | pgbench_tellers  | table | postgres

(4 rows)

  • 压测脚本

vi test.sql

\set aid random(1, 100000 * :scale)

\set bid random(1, 1 * :scale)

\set tid random(1, 10 * :scale)

\set delta random(-5000, 5000)

BEGIN;

UPDATE pgbench_accounts SET abalance = abalance + :delta WHERE aid = :aid;

SELECT abalance FROM pgbench_accounts WHERE aid = :aid;

UPDATE pgbench_tellers SET tbalance = tbalance + :delta WHERE tid = :tid;

UPDATE pgbench_branches SET bbalance = bbalance + :delta WHERE bid = :bid;

INSERT INTO pgbench_history (tid, bid, aid, delta, mtime) VALUES (:tid, :bid, :aid, :delta, CURRENT_TIMESTAMP);

END;

  • 执行压测

pgbench -c 4 -t 30000 pgbench -r -f test.sql

2. 运行ash脚本

nohup ./run.sh &

3. 查询ash数据

postgres=# select * from pg_ash;       

-[ RECORD 1 ]----+-----------------------------------------------------------------------

ash_time         | 2023-10-12 05:44:07.152751+08

datid            | 41585

datname          | pgbench

pid              | 1530

leader_pid       |

usesysid         | 10

usename          | postgres

application_name | pgbench

client_addr      |

client_hostname  |

client_port      | -1

backend_start    | 2023-10-12 05:44:04.461672+08

xact_start       | 2023-10-12 05:44:07.144351+08

query_start      | 2023-10-12 05:44:07.145214+08

state_change     | 2023-10-12 05:44:07.145215+08

wait_event_type  | Lock

wait_event       | transactionid

state            | active

backend_xid      | 677819

backend_xmin     | 677814

query            | UPDATE pgbench_branches SET bbalance = bbalance + 3177 WHERE bid = 1;

query_id         | -6995838559535145041

backend_type     | client backend

blockers         | 1

blockerpid       | 1533

blocker_state    | active

-[ RECORD 2 ]----+-----------------------------------------------------------------------

ash_time         | 2023-10-12 05:44:07.152751+08

datid            | 41585

datname          | pgbench

pid              | 1531

leader_pid       |

usesysid         | 10

usename          | postgres

application_name | pgbench

client_addr      |

client_hostname  |

client_port      | -1

backend_start    | 2023-10-12 05:44:04.463697+08

xact_start       | 2023-10-12 05:44:07.151628+08

query_start      | 2023-10-12 05:44:07.152311+08

state_change     | 2023-10-12 05:44:07.152312+08

wait_event_type  | Lock

wait_event       | transactionid

state            | active

backend_xid      | 677821

backend_xmin     | 677817

query            | UPDATE pgbench_tellers SET tbalance = tbalance + 1637 WHERE tid = 8;

query_id         | -9151069917332221911

backend_type     | client backend

blockers         | 1

blockerpid       | 1530

blocker_state    | active

...

参考：

PostgreSQL Observability

GitHub - pgsentinel/pgsentinel: postgresql extension providing Active session history

这篇关于pg ash自制版 pg_active_session_history的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/219959。

相关文章

SIGMOD-24概览Part7: Industry Session (Graph Data Management)

SIGMOD-24概览Part7: Industry Session (Graph Data Management)

👇BG3: A Cost Effective and I/O Efficient Graph Database in ByteDance 🏛机构：字节 ➡️领域： Information systems → Data management systemsStorage management 📚摘要：介绍了字节新提出的ByteGraph 3.0(BG3)模型，用来处理大规模图结构数据 背景
阅读更多...
flask-login 生成 cookie,session

flask-login 生成 cookie,session

flask-login 生成 cookie,session Flask-Login login_user() 显示来自 Set-Cookie 标头的加密 cookie # 模拟一个用户类class User(UserMixin):def __init__(self, id):self.id = id@app.route('/login')def login():# 模拟用户登录过程user
阅读更多...
Session用法详解

Session用法详解

本文引用http://www.accdb.net/article.asp?id=1115 阅读本文章之前的准备 　　阅读本文章前，需要读者对以下知识有所了解。否则，阅读过程中会在相应的内容上遇到不同程度的问题。 　　懂得ASP/ASP.NET编程  　　了解ASP/ASP.NET的Session模型  　　了解ASP.NET Web应用程序模型  　　了解ASP.N
阅读更多...
history命令内容格式优化：添加日期时间及IP地址

history命令内容格式优化：添加日期时间及IP地址

目录 一、历史记录格式1.1操作步骤1.2其他说明 二、历史记录问题2.1记录显示不全2.2定时自动记录 一、历史记录格式 1.1操作步骤 [可选步骤]清空当前历史记录：history -c && > ~/.bash_history && history -r 编辑对应的配置文件： 用户配置文件：vim ~/.bashrc系统配置文件[推荐]：sudo vim /etc
阅读更多...
Vue 项目hash和history模式打包部署与服务器配置

Vue 项目hash和history模式打包部署与服务器配置

你好，我是沐爸，欢迎点赞、收藏、评论和关注。 在开发 Vue 项目时，Vue Router 提供了两种模式来创建单页面应用（SPA）的 URL：hash 模式和 history 模式。 简单说下两者的主要区别： hash 模式下的 URL 看起来不那么美观，带有一个 # 符号。在这种模式下，URL 中的 hash 值（# 后面的部分）会改变，但页面不会重新加载。因为不会向服务器发送请求，服
阅读更多...
报错:Reached the max session limit(DM8 达梦数据库)

报错:Reached the max session limit(DM8 达梦数据库)

报错:Reached the max session limit - - DM8 达梦数据库 1 环境介绍2 数据库启动SYSTEM IS READY后面日志3 数据库刚启动日志4 达梦数据库学习使用列表 1 环境介绍 某项目无法连接数据库,报错:超过最大会话数限制 , 检查 dmdba ulimit -a openfiles 已改检查 dm.ini 其中 MAX_SESSION
阅读更多...
Requests库对session的支持

Requests库对session的支持

场景：如何获取登录时响应消息中的sessionid，以及如何在后续请求中把sessionid添到cookie中 Requests库提供了一个Session类，通过requests库中的session对象，requests库会自动帮我们保存服务端返回的cookie数据(set-cookie里的内容)，也会在HTTP发出请求时自动在消息头中放入cookie数据。 用py模拟客户端接收响应消息：
阅读更多...
Flask-Session扩展，使用Redis存储会话数据

Flask-Session扩展，使用Redis存储会话数据

深入理解Flask-session扩展Redis Flask 应用中使用 flask-session 扩展将 session 数据存储在 Redis 中是一种高效且可扩展的方法，特别是在需要处理大量用户或需要分布式部署的应用中。以下是如何在 Flask 应用中配置 flask-session 以使用 Redis 存储 session 的步骤： 1. 安装必要的库 首先，你需要安装 Flask
阅读更多...
浏览器百科：网页存储篇-Session storage应用实例（九）

浏览器百科：网页存储篇-Session storage应用实例（九）

1.引言 在前面的文章中，我们详细介绍了如何在 Chrome 浏览器中打开并使用 Session storage 窗格，进行数据的查看、编辑和管理。作为网页存储技术的重要组成部分，sessionStorage在提升用户体验和数据管理能力方面发挥了重要作用。在本篇《浏览器百科：网页存储篇-Session storage应用实例（九）》中，我们将深入探讨sessionStorage的实际应用场景，通
阅读更多...
springboot 联合redis实现session共享springsession (springMVC的在上一篇) [二〇一八年十一月十四日]]

springboot 联合redis实现session共享springsession (springMVC的在上一篇) [二〇一八年十一月十四日]]

1创建springboot工程: 这个就不bb了, 不过我只能用main方法跑, 用tomcat跑回报一个redis的getConfig异常, 不管了 2引入依赖 <dependency><groupId>org.springframework.boot</groupId><artifactId>spring-boot-starter-redis</artifactId><version>1.
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2