pt-table-checksum 使用方法

2023-11-22 01:18
文章标签 使用 方法 table pt checksum

本文主要是介绍pt-table-checksum 使用方法,希望对大家解决编程问题提供一定的参考价值,需要的开发者们随着小编来一起学习吧!

27. pt-table-checksum

27.1 pt-table-checksum 作用

  主要用来检查主从数据是否一致,原理即在主库执行把表每行的列通过concat函数进行拼接,然后对拼接的值进行hash,并把该动作通过binlog传递到从库,从而在从库上也执行相关操作(pt-table-checksum会自动设置所在会话的binlog_format=statment)。默认主库上每对一个表完成checksum操作后,会等待所有从库对该表完成checksum,然后比对主从库上该表checksum值是否一致来判断数据是否一致。

  pt-table-checksum的使用有如下限制:

1)      pt-table_checksum需要主库的binlog_format=statement,在开始工作前,它会自动设置会话的binlog_format=statement,但是如果你的环境是级联架构,中间主库的binlog_format不会被修改(因为参数修改不会记录到binlog),所以这种情况下,你可能就无法检查中间主库和它的从库的数据是否一致。pt-table-checksum在进行checksum前会先检查所有mysql服务的binlog_format(可以通过—no-check-binlog-format)

2)      pt-table-checksum默认主库要检查的表在从库都存在,并且同主库表有相同的表结构。如果要检查的表在从库不存在,或者表结构同主库不一致,那么对该表的checksum会破坏从库复制线程。

##关于pt-table-checksum的详细说明,请参考我的博客:

 

 

27.2 常用参数

 常用参数请参考:pt-table-checksum 中文使用说明

http://blog.csdn.net/shaochenshuo/article/details/53098224

27.3 使用示例

 

27.3.1 检查所有表的主从数据一致性问题

 

1)       主从库都使用默认(3306)端口

grant all privileges on*.* to 'checksum'@'172.172.178.75' identified by 'root';

首先在主库(172.172.178.75)创建检查用户

##如果只有主库有这样的用户,而从库没有,报错如下(这样检查结果diff都为0)

Cannot connect to P=3306,h=172.172.178.76,p=...,u=checksum

Cannot connect to P=3306,h=172.172.178.77,p=...,u=checksum

 

Replica shao76 has binlog_format MIXED which could cause pt-table-checksum to break replication.  Please read "Replicas using row-basedreplication" in the LIMITATIONS section of the tool's documentation.  If you understand the risks, specify--no-check-binlog-format to disable this check.

Replica shao77 ………..

##我的主从库(一主两从)binlog_format都是mixed,所以这里报两个从库的binlog_format不为statement,可能会导致级联的从库复制出错。(因为pt-table-checksum会自动把设置会话的binlog_format=statement,所以76和77的复制不会因为checksum而出问题)

##因为我这里没有级联从库,所以可以直接指定--no-check-binlog-format来忽略该检查:

 

 

pt-table-checksum  --set-vars innodb_lock_wait_timeout=120   -uchecksum -proot -h172.172.178.75 -P3306--no-check-binlog-format --quiet

           TS ERRORS  DIFFS     ROWS CHUNKS SKIPPED    TIME TABLE

11-18T09:40:29      0     1        3       1      0   0.284 test1.test_concat

##指定--quiet时只输出errorswarnings和主从数据存在不一致的相关信息(在表非常多时该选项很有用)

 

2)       使用非默认端口(dsn指定从库)

如果主库使用非默认端口,--recursion-method默认值为hosts,这时如果从库没有配置report_host参数(注意该参数缺点),则pt-table-checksum无法自动检测到从库。

  如果主库使用的是默认端口,那么--recursion-method默认值为processlist,这时pt-table-checksum只能连上端口为3306的从库,无法连接非默认端口的从库

  所以如果如果主库或者从库使用了非默认端口,建议通过dsn指定从库信息

 

在主库创建dsn表,并插入从库信息

CREATE TABLE percona.`dsns` (

`id` int(11) NOT NULL AUTO_INCREMENT,

`parent_id` int(11) DEFAULT NULL,

`dsn` varchar(255) NOT NULL,

PRIMARY KEY (`id`)

);

insert into percona.dsns select 1,1,'h=172.172.178.76,u=checksum,p=root,P=3306';

insert into percona.dsns select 2,2,'h=172.172.178.77,u=checksum,p=root,P=3307';

 

pt-table-checksum --nocheck-binlog-format --replicate=percona.checksums --recursion-method=dsn=h=127.0.0.1,D=percona,t=dsns --set-varsinnodb_lock_wait_timeout=120 -uroot -proot -h127.0.0.1 -P3306 --quiet

 

           TS ERRORS  DIFFS     ROWS CHUNKS SKIPPED    TIME TABLE

11-18T10:47:25      0     1        3       1      0   0.340 test1.test_concat

##上面的结果中我们只看到某些表主从数据不一致,但是确无法判断到底哪个从库和主库数据不一致。我们可以在pt-table-checksum后,再次指定--replicate-check-only来执行pt-table-checksum,显示具体信息,例如:

 

pt-table-checksum --nocheck-binlog-format--replicate=percona.checksums --recursion-method=dsn=D=percona,t=dsns--set-vars innodb_lock_wait_timeout=120 -uroot -proot -h127.0.0.1 -P3306--replicate-check-only

 

Differences on shao76

TABLE CHUNK CNT_DIFF CRC_DIFF CHUNK_INDEXLOWER_BOUNDARY UPPER_BOUNDARY

test1.test_concat 1 0 1  

 

27.3.2 只检查指定的数据库,或者表

1) 只检查指定数据库下所有表

pt-table-checksum --nocheck-binlog-format--replicate=percona.checksums --recursion-method=dsn=D=percona,t=dsns--set-vars innodb_lock_wait_timeout=120 -uroot -proot -h127.0.0.1 -P3306--databases=test1,test5 --quiet

 

2) 只检查指定表

pt-table-checksum --nocheck-binlog-format--replicate=percona.checksums --recursion-method=dsn=D=percona,t=dsns--set-vars innodb_lock_wait_timeout=120 -uroot -proot -h127.0.0.1 -P3306--databases=test1 --tables=test_concat --quiet

或者--tables=database.table

pt-table-checksum --nocheck-binlog-format--replicate=percona.checksums --recursion-method=dsn=D=percona,t=dsns--set-vars innodb_lock_wait_timeout=120 -uroot -proot -h127.0.0.1 -P3306--tables=test1.test_concat –quiet

或者--tables-regex正则匹配指定表

pt-table-checksum --nocheck-binlog-format--replicate=percona.checksums --recursion-method=dsn=D=percona,t=dsns--set-vars innodb_lock_wait_timeout=120 -uroot -proot -h127.0.0.1 -P3306--databases=test1 --tables-regex=test_*

 

27.3.3 检查时忽略指定的数据库,或者表

--ignore-databases,--ignore-databases-regex,--ignore-tables,--ignore-tables-regex

1) 忽略指定数据库

pt-table-checksum --nocheck-binlog-format--replicate=percona.checksums --recursion-method=dsn=D=percona,t=dsns--set-vars innodb_lock_wait_timeout=120 -uroot -proot -h127.0.0.1 -P3306--ignore-databases=test5,mysql --quiet

##percona数据库默认被忽略

 

2) 忽略指定表

pt-table-checksum --nocheck-binlog-format--replicate=percona.checksums --recursion-method=dsn=D=percona,t=dsns--set-vars innodb_lock_wait_timeout=120 -uroot -proot -h127.0.0.1 -P3306  --ignore-tables-regex=test_*

##注意只能忽略所有库下的test_*表,没法指定只忽略某个库下test_*表,而对其他库下的test_*表进行检查

 

27.3.4 只检查指定表的某些列

pt-table-checksum --nocheck-binlog-format--replicate=percona.checksums --recursion-method=dsn=D=percona,t=dsns--set-vars innodb_lock_wait_timeout=120 -uroot -proot -h127.0.0.1 -P3306--databases=test1 --tables=test_concat --columns=id,name –quiet

 

27.3.5 检查时忽略某些列

pt-table-checksum --nocheck-binlog-format--replicate=percona.checksums --recursion-method=dsn=D=percona,t=dsns--set-vars innodb_lock_wait_timeout=120 -uroot -proot -h127.0.0.1 -P3306--databases=test1 --ignore-columns=id --quiet



相关链接:

pt-table-sync 中文使用说明
http://blog.csdn.net/shaochenshuo/article/details/53285439


pt-table-checksum 中文使用说明
http://blog.csdn.net/shaochenshuo/article/details/53098224


pt-table-sync 使用方法
http://blog.csdn.net/shaochenshuo/article/details/56009234

这篇关于pt-table-checksum 使用方法的文章就介绍到这儿,希望我们推荐的文章对编程师们有所帮助!



http://www.chinasem.cn/article/406421

相关文章

Nginx设置连接超时并进行测试的方法步骤

《Nginx设置连接超时并进行测试的方法步骤》在高并发场景下,如果客户端与服务器的连接长时间未响应,会占用大量的系统资源,影响其他正常请求的处理效率,为了解决这个问题,可以通过设置Nginx的连接... 目录设置连接超时目的操作步骤测试连接超时测试方法:总结:设置连接超时目的设置客户端与服务器之间的连接

Java中String字符串使用避坑指南

《Java中String字符串使用避坑指南》Java中的String字符串是我们日常编程中用得最多的类之一,看似简单的String使用,却隐藏着不少“坑”,如果不注意,可能会导致性能问题、意外的错误容... 目录8个避坑点如下:1. 字符串的不可变性:每次修改都创建新对象2. 使用 == 比较字符串,陷阱满

Java判断多个时间段是否重合的方法小结

《Java判断多个时间段是否重合的方法小结》这篇文章主要为大家详细介绍了Java中判断多个时间段是否重合的方法,文中的示例代码讲解详细,感兴趣的小伙伴可以跟随小编一起学习一下... 目录判断多个时间段是否有间隔判断时间段集合是否与某时间段重合判断多个时间段是否有间隔实体类内容public class D

Python使用国内镜像加速pip安装的方法讲解

《Python使用国内镜像加速pip安装的方法讲解》在Python开发中,pip是一个非常重要的工具,用于安装和管理Python的第三方库,然而,在国内使用pip安装依赖时,往往会因为网络问题而导致速... 目录一、pip 工具简介1. 什么是 pip?2. 什么是 -i 参数?二、国内镜像源的选择三、如何

使用C++实现链表元素的反转

《使用C++实现链表元素的反转》反转链表是链表操作中一个经典的问题,也是面试中常见的考题,本文将从思路到实现一步步地讲解如何实现链表的反转,帮助初学者理解这一操作,我们将使用C++代码演示具体实现,同... 目录问题定义思路分析代码实现带头节点的链表代码讲解其他实现方式时间和空间复杂度分析总结问题定义给定

IDEA编译报错“java: 常量字符串过长”的原因及解决方法

《IDEA编译报错“java:常量字符串过长”的原因及解决方法》今天在开发过程中,由于尝试将一个文件的Base64字符串设置为常量,结果导致IDEA编译的时候出现了如下报错java:常量字符串过长,... 目录一、问题描述二、问题原因2.1 理论角度2.2 源码角度三、解决方案解决方案①:StringBui

Linux使用nload监控网络流量的方法

《Linux使用nload监控网络流量的方法》Linux中的nload命令是一个用于实时监控网络流量的工具,它提供了传入和传出流量的可视化表示,帮助用户一目了然地了解网络活动,本文给大家介绍了Linu... 目录简介安装示例用法基础用法指定网络接口限制显示特定流量类型指定刷新率设置流量速率的显示单位监控多个

Java覆盖第三方jar包中的某一个类的实现方法

《Java覆盖第三方jar包中的某一个类的实现方法》在我们日常的开发中,经常需要使用第三方的jar包,有时候我们会发现第三方的jar包中的某一个类有问题,或者我们需要定制化修改其中的逻辑,那么应该如何... 目录一、需求描述二、示例描述三、操作步骤四、验证结果五、实现原理一、需求描述需求描述如下:需要在

JavaScript中的reduce方法执行过程、使用场景及进阶用法

《JavaScript中的reduce方法执行过程、使用场景及进阶用法》:本文主要介绍JavaScript中的reduce方法执行过程、使用场景及进阶用法的相关资料,reduce是JavaScri... 目录1. 什么是reduce2. reduce语法2.1 语法2.2 参数说明3. reduce执行过程

C#中读取XML文件的四种常用方法

《C#中读取XML文件的四种常用方法》Xml是Internet环境中跨平台的,依赖于内容的技术,是当前处理结构化文档信息的有力工具,下面我们就来看看C#中读取XML文件的方法都有哪些吧... 目录XML简介格式C#读取XML文件方法使用XmlDocument使用XmlTextReader/XmlTextWr