pt-table-checksum 使用方法

2023-11-22 01:18
文章标签 使用 方法 table pt checksum

本文主要是介绍pt-table-checksum 使用方法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

27. pt-table-checksum

27.1 pt-table-checksum 作用

  主要用来检查主从数据是否一致,原理即在主库执行把表每行的列通过concat函数进行拼接,然后对拼接的值进行hash,并把该动作通过binlog传递到从库,从而在从库上也执行相关操作(pt-table-checksum会自动设置所在会话的binlog_format=statment)。默认主库上每对一个表完成checksum操作后,会等待所有从库对该表完成checksum,然后比对主从库上该表checksum值是否一致来判断数据是否一致。

  pt-table-checksum的使用有如下限制:

1)      pt-table_checksum需要主库的binlog_format=statement,在开始工作前,它会自动设置会话的binlog_format=statement,但是如果你的环境是级联架构,中间主库的binlog_format不会被修改(因为参数修改不会记录到binlog),所以这种情况下,你可能就无法检查中间主库和它的从库的数据是否一致。pt-table-checksum在进行checksum前会先检查所有mysql服务的binlog_format(可以通过—no-check-binlog-format)

2)      pt-table-checksum默认主库要检查的表在从库都存在,并且同主库表有相同的表结构。如果要检查的表在从库不存在,或者表结构同主库不一致,那么对该表的checksum会破坏从库复制线程。

##关于pt-table-checksum的详细说明,请参考我的博客:

 

 

27.2 常用参数

 常用参数请参考:pt-table-checksum 中文使用说明

http://blog.csdn.net/shaochenshuo/article/details/53098224

27.3 使用示例

 

27.3.1 检查所有表的主从数据一致性问题

 

1)       主从库都使用默认(3306)端口

grant all privileges on*.* to 'checksum'@'172.172.178.75' identified by 'root';

首先在主库(172.172.178.75)创建检查用户

##如果只有主库有这样的用户,而从库没有,报错如下(这样检查结果diff都为0)

Cannot connect to P=3306,h=172.172.178.76,p=...,u=checksum

Cannot connect to P=3306,h=172.172.178.77,p=...,u=checksum

 

Replica shao76 has binlog_format MIXED which could cause pt-table-checksum to break replication.  Please read "Replicas using row-basedreplication" in the LIMITATIONS section of the tool's documentation.  If you understand the risks, specify--no-check-binlog-format to disable this check.

Replica shao77 ………..

##我的主从库(一主两从)binlog_format都是mixed,所以这里报两个从库的binlog_format不为statement,可能会导致级联的从库复制出错。(因为pt-table-checksum会自动把设置会话的binlog_format=statement,所以76和77的复制不会因为checksum而出问题)

##因为我这里没有级联从库,所以可以直接指定--no-check-binlog-format来忽略该检查:

 

 

pt-table-checksum  --set-vars innodb_lock_wait_timeout=120   -uchecksum -proot -h172.172.178.75 -P3306--no-check-binlog-format --quiet

           TS ERRORS  DIFFS     ROWS CHUNKS SKIPPED    TIME TABLE

11-18T09:40:29      0     1        3       1      0   0.284 test1.test_concat

##指定--quiet时只输出errorswarnings和主从数据存在不一致的相关信息(在表非常多时该选项很有用)

 

2)       使用非默认端口(dsn指定从库)

如果主库使用非默认端口,--recursion-method默认值为hosts,这时如果从库没有配置report_host参数(注意该参数缺点),则pt-table-checksum无法自动检测到从库。

  如果主库使用的是默认端口,那么--recursion-method默认值为processlist,这时pt-table-checksum只能连上端口为3306的从库,无法连接非默认端口的从库

  所以如果如果主库或者从库使用了非默认端口,建议通过dsn指定从库信息

 

在主库创建dsn表,并插入从库信息

CREATE TABLE percona.`dsns` (

`id` int(11) NOT NULL AUTO_INCREMENT,

`parent_id` int(11) DEFAULT NULL,

`dsn` varchar(255) NOT NULL,

PRIMARY KEY (`id`)

);

insert into percona.dsns select 1,1,'h=172.172.178.76,u=checksum,p=root,P=3306';

insert into percona.dsns select 2,2,'h=172.172.178.77,u=checksum,p=root,P=3307';

 

pt-table-checksum --nocheck-binlog-format --replicate=percona.checksums --recursion-method=dsn=h=127.0.0.1,D=percona,t=dsns --set-varsinnodb_lock_wait_timeout=120 -uroot -proot -h127.0.0.1 -P3306 --quiet

 

           TS ERRORS  DIFFS     ROWS CHUNKS SKIPPED    TIME TABLE

11-18T10:47:25      0     1        3       1      0   0.340 test1.test_concat

##上面的结果中我们只看到某些表主从数据不一致,但是确无法判断到底哪个从库和主库数据不一致。我们可以在pt-table-checksum后,再次指定--replicate-check-only来执行pt-table-checksum,显示具体信息,例如:

 

pt-table-checksum --nocheck-binlog-format--replicate=percona.checksums --recursion-method=dsn=D=percona,t=dsns--set-vars innodb_lock_wait_timeout=120 -uroot -proot -h127.0.0.1 -P3306--replicate-check-only

 

Differences on shao76

TABLE CHUNK CNT_DIFF CRC_DIFF CHUNK_INDEXLOWER_BOUNDARY UPPER_BOUNDARY

test1.test_concat 1 0 1  

 

27.3.2 只检查指定的数据库,或者表

1) 只检查指定数据库下所有表

pt-table-checksum --nocheck-binlog-format--replicate=percona.checksums --recursion-method=dsn=D=percona,t=dsns--set-vars innodb_lock_wait_timeout=120 -uroot -proot -h127.0.0.1 -P3306--databases=test1,test5 --quiet

 

2) 只检查指定表

pt-table-checksum --nocheck-binlog-format--replicate=percona.checksums --recursion-method=dsn=D=percona,t=dsns--set-vars innodb_lock_wait_timeout=120 -uroot -proot -h127.0.0.1 -P3306--databases=test1 --tables=test_concat --quiet

或者--tables=database.table

pt-table-checksum --nocheck-binlog-format--replicate=percona.checksums --recursion-method=dsn=D=percona,t=dsns--set-vars innodb_lock_wait_timeout=120 -uroot -proot -h127.0.0.1 -P3306--tables=test1.test_concat –quiet

或者--tables-regex正则匹配指定表

pt-table-checksum --nocheck-binlog-format--replicate=percona.checksums --recursion-method=dsn=D=percona,t=dsns--set-vars innodb_lock_wait_timeout=120 -uroot -proot -h127.0.0.1 -P3306--databases=test1 --tables-regex=test_*

 

27.3.3 检查时忽略指定的数据库,或者表

--ignore-databases,--ignore-databases-regex,--ignore-tables,--ignore-tables-regex

1) 忽略指定数据库

pt-table-checksum --nocheck-binlog-format--replicate=percona.checksums --recursion-method=dsn=D=percona,t=dsns--set-vars innodb_lock_wait_timeout=120 -uroot -proot -h127.0.0.1 -P3306--ignore-databases=test5,mysql --quiet

##percona数据库默认被忽略

 

2) 忽略指定表

pt-table-checksum --nocheck-binlog-format--replicate=percona.checksums --recursion-method=dsn=D=percona,t=dsns--set-vars innodb_lock_wait_timeout=120 -uroot -proot -h127.0.0.1 -P3306  --ignore-tables-regex=test_*

##注意只能忽略所有库下的test_*表,没法指定只忽略某个库下test_*表,而对其他库下的test_*表进行检查

 

27.3.4 只检查指定表的某些列

pt-table-checksum --nocheck-binlog-format--replicate=percona.checksums --recursion-method=dsn=D=percona,t=dsns--set-vars innodb_lock_wait_timeout=120 -uroot -proot -h127.0.0.1 -P3306--databases=test1 --tables=test_concat --columns=id,name –quiet

 

27.3.5 检查时忽略某些列

pt-table-checksum --nocheck-binlog-format--replicate=percona.checksums --recursion-method=dsn=D=percona,t=dsns--set-vars innodb_lock_wait_timeout=120 -uroot -proot -h127.0.0.1 -P3306--databases=test1 --ignore-columns=id --quiet



相关链接:

pt-table-sync 中文使用说明
http://blog.csdn.net/shaochenshuo/article/details/53285439


pt-table-checksum 中文使用说明
http://blog.csdn.net/shaochenshuo/article/details/53098224


pt-table-sync 使用方法
http://blog.csdn.net/shaochenshuo/article/details/56009234

这篇关于pt-table-checksum 使用方法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/406421

相关文章

使用Java解析JSON数据并提取特定字段的实现步骤(以提取mailNo为例)

《使用Java解析JSON数据并提取特定字段的实现步骤(以提取mailNo为例)》在现代软件开发中,处理JSON数据是一项非常常见的任务,无论是从API接口获取数据,还是将数据存储为JSON格式,解析... 目录1. 背景介绍1.1 jsON简介1.2 实际案例2. 准备工作2.1 环境搭建2.1.1 添加

Java实现任务管理器性能网络监控数据的方法详解

《Java实现任务管理器性能网络监控数据的方法详解》在现代操作系统中,任务管理器是一个非常重要的工具,用于监控和管理计算机的运行状态,包括CPU使用率、内存占用等,对于开发者和系统管理员来说,了解这些... 目录引言一、背景知识二、准备工作1. Maven依赖2. Gradle依赖三、代码实现四、代码详解五

如何使用celery进行异步处理和定时任务(django)

《如何使用celery进行异步处理和定时任务(django)》文章介绍了Celery的基本概念、安装方法、如何使用Celery进行异步任务处理以及如何设置定时任务,通过Celery,可以在Web应用中... 目录一、celery的作用二、安装celery三、使用celery 异步执行任务四、使用celery

使用Python绘制蛇年春节祝福艺术图

《使用Python绘制蛇年春节祝福艺术图》:本文主要介绍如何使用Python的Matplotlib库绘制一幅富有创意的“蛇年有福”艺术图,这幅图结合了数字,蛇形,花朵等装饰,需要的可以参考下... 目录1. 绘图的基本概念2. 准备工作3. 实现代码解析3.1 设置绘图画布3.2 绘制数字“2025”3.3

JAVA中整型数组、字符串数组、整型数和字符串 的创建与转换的方法

《JAVA中整型数组、字符串数组、整型数和字符串的创建与转换的方法》本文介绍了Java中字符串、字符数组和整型数组的创建方法,以及它们之间的转换方法,还详细讲解了字符串中的一些常用方法,如index... 目录一、字符串、字符数组和整型数组的创建1、字符串的创建方法1.1 通过引用字符数组来创建字符串1.2

Jsoncpp的安装与使用方式

《Jsoncpp的安装与使用方式》JsonCpp是一个用于解析和生成JSON数据的C++库,它支持解析JSON文件或字符串到C++对象,以及将C++对象序列化回JSON格式,安装JsonCpp可以通过... 目录安装jsoncppJsoncpp的使用Value类构造函数检测保存的数据类型提取数据对json数

python使用watchdog实现文件资源监控

《python使用watchdog实现文件资源监控》watchdog支持跨平台文件资源监控,可以检测指定文件夹下文件及文件夹变动,下面我们来看看Python如何使用watchdog实现文件资源监控吧... python文件监控库watchdogs简介随着Python在各种应用领域中的广泛使用,其生态环境也

Python中构建终端应用界面利器Blessed模块的使用

《Python中构建终端应用界面利器Blessed模块的使用》Blessed库作为一个轻量级且功能强大的解决方案,开始在开发者中赢得口碑,今天,我们就一起来探索一下它是如何让终端UI开发变得轻松而高... 目录一、安装与配置:简单、快速、无障碍二、基本功能:从彩色文本到动态交互1. 显示基本内容2. 创建链

Java调用Python代码的几种方法小结

《Java调用Python代码的几种方法小结》Python语言有丰富的系统管理、数据处理、统计类软件包,因此从java应用中调用Python代码的需求很常见、实用,本文介绍几种方法从java调用Pyt... 目录引言Java core使用ProcessBuilder使用Java脚本引擎总结引言python

springboot整合 xxl-job及使用步骤

《springboot整合xxl-job及使用步骤》XXL-JOB是一个分布式任务调度平台,用于解决分布式系统中的任务调度和管理问题,文章详细介绍了XXL-JOB的架构,包括调度中心、执行器和Web... 目录一、xxl-job是什么二、使用步骤1. 下载并运行管理端代码2. 访问管理页面,确认是否启动成功