MySQL数据xtrabackup物理备份方法

2023-10-27 19:01
文章标签 数据 mysql 方法 备份 物理 database xtrabackup

本文主要是介绍MySQL数据xtrabackup物理备份方法，希望对大家解决编程问题提供一定的参考价值，需要的开发者们随着小编来一起学习吧！

目录

  • 一、物理备份的方式
  • 二、xtrabackup物理备份
    • 1.安装xtrabackup
    • 2.完整备份/恢复流程
    • 3.增量备份流程
    • 4.差异备份流程
    • 5.物理备份总结

一、物理备份的方式

1.完整备份

每次对数据进行完整的备份，即对整个数据库的备份、数据库结构和文件结构的备份，保存的是备份完成时刻的数据库，是差异备份与增量备份的基础。
优点：备份与恢复操作简单方便，恢复时一次恢复到位，恢复速度快
缺点：占用空间大，备份速度慢

2.增量备份

每次备份上一次备份到现在产生的新数据，每次都是跟上一次的备份数据作对比
只有那些在上次完全备份或者增量备份后被修改的文件才会被备份。以上次完整备份或上次的增量备份的时间为时间点，仅备份这之间的数据变化。
特点：因而备份的数据量小，占用空间小，备份速度快。但恢复时，需要从上一次的完整备份起按备份时间顺序，逐个备份版本进行恢复，恢复时间长，如中间某次的备份数据损坏，将导致数据的丢失。
假设我们在第一天进行一次完全备份。第二天增量备份时，只会备份第二天和第一天之间的变化数据，第三天增量备份时，只会备份第三天和第二天之间的变化数据，以此类推。
增量备份的优势是每次备份需要备份的数据较少，耗时较短，占用的空间较小。
劣势是数据恢复比较麻烦，进行数据恢复时，就要先恢复完全备份的数据，再依次恢复第一次增量备份的数据、第二次增量备份的数据和第三次增量备份的数据，最终才能恢复所有的数据。
1

3.差异备份

只备份跟完整备份不一样的数据，每次都是跟完整备份作对比
备份那些自从第一次完全备份之后被修改过的所有文件，备份的时间起点是从第一次完整备份起，且以后每次备份都是和第一次完整备份进行比较（注意是【第一次】，不是上一次），备份自第一次完整备份以来所有的修改过的文件。备份数据量会越来越大。
特点：占用空间比增量备份大，比完整备份小，恢复时仅需要恢复第一个完整版本和最后一次的差异版本，恢复速度介于完整备份和增量备份之间。
假设我们在第一天进行一次完全备份。第二天差异备份时，会备份第二天和第一天之间的变化数据，第三天进行差异备份时，仍和第一天的原始数据进行对比，把第二天和第三天所有的变化数据都备份在第二次差异备份中，以此类推。
差异备份既不像完全备份一样把所有数据都进行备份，也不像增量备份在进行数据恢复时那么麻烦，只要先恢复完全备份的数据，再恢复差异备份的数据即可。
不过，随着时间的增加，和完全备份相比，变动的数据越来越多，那么差异备份也可能会变得数据量庞大、备份速度缓慢、占用空间较大。
2

总结

简单的讲，完整备份就是不管三七二十一，每次都把指定的备份目录完整的复制一遍，不管目录下的文件有没有变化；
增量备份就是每次将之前（第一次、第二次、直到前一次）做过备份之后有变化的文件进行备份；
差异备份就是每次都将第一次完整备份以来有变化的文件进行备份。

二、xtrabackup物理备份

Xtrabackup是开源免费的支持MySQL 数据库热备份的软件，在 Xtrabackup 包中主要有 Xtrabackup 和 innobackupex 两个工具。
其中 Xtrabackup 只能备份 InnoDB 和 XtraDB 两种引擎；
innobackupex则是封装了Xtrabackup，同时增加了备份MyISAM引擎的功能。
官网：https://www.percona.com
下载地址：https://www.percona.com/downloads
下载地址：https://downloads.percona.com/downloads/Percona-XtraBackup-2.4/Percona-XtraBackup-2.4.26/binary/redhat/7/x86_64/percona-xtrabackup-24-2.4.26-1.el7.x86_64.rpm

1.安装xtrabackup

//安装xtrabackup
//5.7版本：https://www.percona.com/downloads/Percona-XtraBackup-2.4/
​[root@localhost ~]# wget https://downloads.percona.com/downloads/Percona-XtraBackup-2.4/Percona-XtraBackup-2.4.26/binary/redhat/7/x86_64/percona-xtrabackup-24-2.4.26-1.el7.x86_64.rpm
​[root@localhost ~]# yum install percona-xtrabackup-24-2.4.26-1.el7.x86_64.rpm  -y//查看安装情况
​[root@localhost ~]# rpm -qa | grep xtrabackup
percona-xtrabackup-24-2.4.26-1.el7.x86_64//查看版本：
​[root@localhost ~]# xtrabackup --version
xtrabackup version 2.4.26 based on MySQL server 5.7.35 Linux (x86_64) (revision id: 19de43b)//注意：my.cnf需要确认配置文件内有数据目录的指定
​[root@localhost ~]# cat /etc/my.cnf
[mysqld]
datadir = /usr/local/mysql/data

2.完整备份/恢复流程

完整备份
语法：innobackupex --user=root --password='口令' /备份目录

//创建备份目录：
​[root@localhost ~]# mkdir /xtrabackup/full -p

//创建数据库、数据表，并插入数据
mysql> create database company;   
mysql> use company;
//创建一个测试表
mysql> \eCREATE TABLE company.employee5(id int primary key AUTO_INCREMENT not null,name varchar(30) not null,sex enum('male','female') default 'male' not null,hire_date date not null,post varchar(50) not null,job_description varchar(100),office int,dep_id int)
-> ;
Query OK, 0 rows affected (0.01 sec)
//插入数据：
mysql> \einsert into company.employee5(name,sex,hire_date,post,job_description,office,dep_id) values ('jack','male','20180202','instructor','teach',501,100),('harry','male','20180202','hr',NULL,502,101),('lili','female','20180206','sale','salecc',503,102),('xiaoguo','male','20180205','sale','',503,102)-> ;
Query OK, 4 rows affected (0.00 sec)
Records: 4  Duplicates: 0  Warnings: 0

//备份：
​[root@localhost ~]# innobackupex --user=root --password='JiannLt@123' /xtrabackup/full
​[root@localhost ~]# cd /xtrabackup/full/
​[root@localhost full]# ls
2022-06-08_10-03-34
​[root@localhost full]# du -sh *
26M     2022-06-08_10-03-34

完整备份的恢复

1.停止数据库；
2.清理环境；
3.重演回滚－> 恢复数据；
4.修改权限；
5.启动数据库

重演binlog语法：innobackupex --apply-log /备份目录/完整备份目录(年月日时分秒)
恢复数据语法：innobackupex --copy-back /备份目录/完整备份目录(年月日时分秒)

//为了实验效果，首先将数据库给删掉，看看数据是否能恢复成功
​[root@localhost ~]# mysql -uroot -p'JiannLt@123'
mysql> drop database company;
Query OK, 1 row affected (0.00 sec)

1、关闭数据库：

​[root@localhost ~]# systemctl stop mysqld
//注意：数据库目录必须为空，MySQL服务不能启动
​[root@localhost ~]# rm -rf /usr/local/mysql/data/ *

2、重演回滚：

​[root@localhost ~]# innobackupex --apply-log /xtrabackup/full/2019-08-20_11-47-49
……
InnoDB: Shutdown completed; log sequence number 2772008
230706 10:19:29 completed OK!

3、确认数据库目录：

//恢复之前需要确认配置文件内有数据库目录指定，不然xtrabackup不知道恢复到哪里
​[root@localhost ~]# cat /etc/my.cnf
[mysqld]
datadir = /usr/local/mysql/data

4、恢复数据：

​[root@localhost ~]# innobackupex --copy-back /xtrabackup/full/2019-08-20_11-47-49
………………
230706 10:22:02 [01] Copying ./ibtmp1 to /usr/local/mysql/data/ibtmp1
230706 10:22:02 [01]        ...done
230706 10:22:02 completed OK!

5、修改权限：

​[root@localhost ~]# chown -R mysql:mysql /usr/local/mysql///启动数据库：
​[root@localhost ~]# systemctl start mysqld
​[root@localhost ~]# netstat -ntlp
Active Internet connections (only servers)
Proto Recv-Q Send-Q Local Address           Foreign Address         State       PID/Program name
tcp6       0      0 :::3306                 :::*                    LISTEN      3687/mysqld
​[root@localhost ~]# cd /usr/local/mysql/data/     //看一下data目录下是否有文件，就能看出是否恢复成功了
​[root@localhost data]# ls
auto.cnf          client-cert.pem  ibdata1      mysql               private_key.pem  sys
binary-mysql.pid  client-key.pem   ib_logfile0  mysql.sock          public_key.pem   xtrabackup_binlog_pos_innodb
ca-key.pem        company          ib_logfile1  mysql.sock.lock     server-cert.pem  xtrabackup_info
ca.pem            ib_buffer_pool   ibtmp1       performance_schema  server-key.pem   xtrabackup_master_key_id//登录数据库，查看数据
​[root@localhost data]# mysql -uroot -p'JiannLt@123'
mysql> select id,name from company.employee5;
+----+---------+
| id | name    |
+----+---------+
|  1 | jack    |
|  2 | harry   |
|  3 | lili    |
|  4 | xiaoguo |
+----+---------+
4 rows in set (0.00 sec)

3.增量备份流程

原理：每次备份上一次备份到现在产生的新数据
在数据库上面创建一个测试的库和表，并往里面写入数据

mysql> create database testdb;
Query OK, 1 row affected (0.01 sec)mysql> create table testdb.t1(id int);
Query OK, 0 rows affected (0.01 sec)mysql> insert into testdb.t1 values(1);
Query OK, 1 row affected (0.01 sec)mysql> select * from testdb.t1;
+------+
| id   |
+------+
|    1 |
+------+
1 row in set (0.00 sec)

增量备份流程（重要)
1、进行完整备份
完整备份语法：innobackupex --user=root --password='口令' /备份目录/increment/
2、添加数据以后增量备份
增量备份语法：innobackupex --user=root --password='口令' --incremental /备份目录/increment/ --incremental-basedir=/xtrabackup/increment/上一备份目录(基于前一天)
–incremental 后面跟的是本次备份文件的存放路径
–incremental-basedir 后面跟的是基于哪次备份做数据备份？接的是上一次备份成功的目录

1.完整备份：周一

​[root@localhost ~]# rm -rf /xtrabackup/ *
​[root@localhost ~]# mkdir /xtrabackup/increment//完整备份
​[root@localhost ~]# innobackupex --user=root --password='JiannLt@123' /xtrabackup/increment
​[root@localhost ~]# cd /xtrabackup/increment
​[root@localhost increment]# ls
2019-08-20_14-51-35
​[root@localhost increment]# cd 2019-08-20_14-51-35/
​[root@localhost 2019-08-20_14-51-35]# ls
backup-my.cnf  ib_buffer_pool  mysql               sys   testdb                  xtrabackup_info
company        ibdata1         performance_schema  test  xtrabackup_checkpoints  xtrabackup_logfile

2.增量备份：周二~周三

//模拟周二的生产数据
mysql -uroot -p'JiannLt@123' -e 'insert into testdb.t1 values(2);'
//查询数据
mysql -uroot -p'JiannLt@123' -e 'select * from testdb.t1;' 
+------+
| id   |
+------+
|    1 |
|    2 |
+------+
//周二增量备份
[root@localhost ~]# innobackupex --user=root --password='JiannLt@123' --incremental /xtrabackup/increment/ --incremental-basedir=/xtrabackup/increment/2019-08-20_14-51-35/
//--incremental-basedir：基于哪个增量
[root@localhost ~]# cd /xtrabackup/increment/
[root@localhost increment ]# ls
2019-08-20_14-51-35  2019-08-20_15-04-29        //相当于周二的增量备份//模拟周三的生产数据
mysql -uroot -p'JiannLt@123' -e 'insert into testdb.t1 values(3);'
//查询数据
mysql -uroot -p'JiannLt@123' -e 'select * from testdb.t1;' 
+------+
| id   |
+------+
|    1 |
|    2 |
|    3 |
+------+
//周三增量备份
[root@localhost ~]# innobackupex --user=root --password='JiannLt@123' --incremental /xtrabackup/increment --incremental-basedir=/xtrabackup/increment/2019-08-20_15-04-29/    //基于前一天的备份为目录
//查看一下备份目录:
[root@localhost ~]# ls /xtrabackup/increment/
2019-08-20_14-51-35  2019-08-20_15-04-29  2019-08-20_15-10-56全备周一             增量周二               增量周三
//后面周四到周日都是这种方式来增量备份

增量备份恢复流程(重要)

1.停止数据库；
2.清理环境；
3.依次重演回滚redo log－> 恢复数据；
4.修改权限；
5.启动数据库

重演回滚语法：

  • innobackupex --apply-log --redo-only /xtrabackup/increment/全量目录
  • innobackupex --apply-log --redo-only /xtrabackup/increment/全量目录 --incremental-dir=/xtrabackup/increment/增量1目录
  • innobackupex --apply-log --redo-only /xtrabackup/全量目录 --incremental-dir=/xtrabackup/increment/增量2目录
    –apply-log --redo-only参数的作用是
    仅应用指定的增量备份redo log到全量备份上，不做数据恢复。
    通俗地说，就相当于将增量备份的修改应用到全量备份上，产生一个新的全量备份。

恢复数据语法：innobackupex --copy-back /xtrabackup/increment/全量目录

//为了实验效果，先将testdb库给删掉
[root@localhost increment]# mysql -uroot -p'JiannLt@123' -e 'drop database testdb;'                           
[root@localhost increment]# mysql -uroot -p'JiannLt@123' -e 'show databases;'
+--------------------+
| Database           |
+--------------------+
| information_schema |
| company            |
| mysql              |
| performance_schema |
| sys                |
+--------------------+
//停止服务，并清理数据目录
[root@localhost ~]# systemctl stop mysqld
[root@localhost ~]# rm -rf /usr/local/mysql/data/ *//依次重演回滚redo log：
[root@localhost ~]# innobackupex --apply-log --redo-only /xtrabackup/increment/2019-08-20_14-51-35    //重演回滚全量备份目录
[root@localhost ~]# innobackupex --apply-log --redo-only /xtrabackup/increment/2019-08-20_14-51-35 --incremental-dir=/xtrabackup/increment/2019-08-20_15-04-29
// /xtrabackup/2019-08-20_14-51-35：全量目录
// /xtrabackup/increment/2019-08-20_15-04-29：增量1目录
[root@localhost ~]# innobackupex --apply-log --redo-only /xtrabackup/increment/2019-08-20_14-51-35 --incremental-dir=/xtrabackup/increment/2019-08-20_15-10-56/
// /xtrabackup/2019-08-20_14-51-35：全量目录
// /xtrabackup/increment/2019-08-20_15-10-56：增量2目录//恢复数据：
[root@localhost ~]# innobackupex --copy-back /xtrabackup/increment/2019-08-20_14-51-35/
/xtrabackup/2019-08-20_14-51-35/：全量目录//修改权限
[root@localhost ~]# chown -R mysql:mysql /usr/local/mysql/
[root@localhost ~]# systemctl start mysqld
//执行sql语句看看库和表是否恢复成功
[root@localhost ~]# mysql -uroot -p'JiannLt@123' -e 'select * from testdb.t1;'
+------+
| id   |
+------+
|    1 |
|    2 |
|    3 |
+------+

4.差异备份流程

差异备份流程（重要)
1、完整备份
语法：innobackupex --user=root --password='口令' /备份目录/
2、增加数据后进行差异备份
语法：innobackupex --user=root --password='口令' --incremental /备份目录/ --incremental-basedir=/xtrabackup/第一次完全备份目录

//清理备份的环境
[root@localhost ~]# rm -rf /xtrabackup/ *
//登陆数据库，准备环境
mysql -uroot -p'JiannLt@123'
mysql> delete from testdb.t1;
mysql> insert into testdb.t1 values(1);    //插入数据1，模拟周一
mysql> select * from testdb.t1;
+------+
| id   |
+------+
|    1 |
+------+
mysql> \q

1.完整备份：周一

[root@localhost ~]# innobackupex --user=root --password='JiannLt@123' /xtrabackup

2.差异备份：周二~周三

[root@localhost ~]# innobackupex --user=root --password=888 --incremental /xtrabackup --incremental-basedir=/xtrabackup/2019-08-20_15-42-02/    //完全备份目录（周一）

3.模拟周二，插入数据2：

[root@localhost ~]# mysql -uroot -p'JiannLt@123' -e 'insert into testdb.t1 values(2);'    //插入数据2，模拟周二
[root@localhost xtrabackup]# mysql -uroot -p'JiannLt@123' -e 'select * from testdb.t1;'
+------+
| id   |
+------+
|    1 |
|    2 |
+------+
//差异备份周二的数据
[root@localhost ~]# innobackupex --user=root --password='JiannLt@123' --incremental /xtrabackup --incremental-basedir=/xtrabackup/2019-08-20_15-42-02/  //备份目录基于周一的完整备份

4.再次插入周三的数据

[root@localhost ~]# mysql -uroot -p'JiannLt@123' -e 'insert into testdb.t1 values(3);'    //插入数据3，模拟周三
[root@localhost xtrabackup]# mysql -uroot -p'JiannLt@123' -e 'select * from testdb.t1;'
+------+
| id   |
+------+
|    1 |
|    2 |
|    3 |
+------+
//再次差异备份
[root@localhost ~]# innobackupex --user=root --password='JiannLt@123' --incremental /xtrabackup --incremental-basedir=/xtrabackup/2019-08-20_15-42-02/  //还是基于周一的完整备份

5.延申到周四的数据

[root@localhost ~]# mysql -uroot -p'JiannLt@123' -e 'insert into testdb.t1 values(4);'    //插入数据4，模拟周四
[root@localhost xtrabackup]# mysql -uroot -p'JiannLt@123' -e 'select * from testdb.t1;'
+------+
| id   |
+------+
|    1 |
|    2 |
|    3 |
|    4 |
+------+
//差异备份周四
[root@localhost ~]# innobackupex --user=root --password='JiannLt@123' --incremental /xtrabackup --incremental-basedir=/xtrabackup/2019-08-20_15-42-02/    //还是基于周一的备份

6.查看一下备份目录

[root@localhost ~]# ls /xtrabackup/
2019-08-20_15-42-02  2019-08-21_15-46-53  2019-08-22_15-51-15  2019-08-23_15-53-28周一完整备份        周二差异备份           周三差异备份           周四差异备份

差异备份恢复流程(重要)

1.停止数据库；
2.清理环境；
3.重演回滚redo log（周一，某次差异）－> 恢复数据；
4.修改权限；
5.启动数据库

差异恢复重演回滚redo log恢复数据(重要)
1、恢复全量的redo log
语法：innobackupex --apply-log --redo-only /xtrabackup/全量目录
2、恢复差异的redo log(任意差异点，选择任意差异点恢复，那数据也就会恢复到当天的)
语法：innobackupex --apply-log --redo-only /xtrabackup/全量目录 --incremental-dir=/xtrabackup/某个差异备份目录
3、恢复数据
语法：innobackupex --copy-back /xtrabackup/完全备份目录

//为了实验效果，将testdb库给删除掉，看看通过差异恢复的方式数据能否恢复成功
[root@localhost ~]# mysql -uroot -p'JiannLt@123' -e 'drop database testdb;'
//停止数据库，删除数据目录下所有的文件/目录
[root@localhost ~]# systemctl stop mysqld
[root@localhost ~]# rm -rf /usr/local/mysql/data/ *

1.恢复全量的redo log

[root@localhost ~]# innobackupex --apply-log --redo-only /xtrabackup/2019-08-20_15-42-02/

2.恢复差异的redo log

//这里我们恢复周三的差异备份
[root@localhost ~]# innobackupex --apply-log --redo-only /xtrabackup/2019-08-20_15-42-02/ --incremental-dir=/xtrabackup/2019-08-22_15-51-15/

3.恢复数据

[root@localhost ~]# innobackupex --copy-back /xtrabackup/2019-08-20_15-42-02///修改权限：
[root@localhost ~]# chown -R mysql:mysql /usr/local/mysql/
[root@localhost ~]# systemctl start mysqld
//查看数据是否恢复成功(只有123；因为我们恢复的是周三的差异备份。)
[root@localhost xtrabackup]# mysql -uroot -p'JiannLt@123' -e 'select * from testdb.t1'
+------+
| id   |
+------+
|    1 |
|    2 |
|    3 |
+------+

5.物理备份总结

优先使用：完整，差异

完整备份
完整备份语法：innobackupex --user=root --password='口令' /备份目录

完全备份恢复流程
1.停止数据库；
2.清理环境；
3.重演回滚－> 恢复数据；
4.修改权限；
5.启动数据库
重演回滚语法：innobackupex --apply-log /备份目录/完整备份目录(年月日时分秒)
恢复数据语法：innobackupex --copy-back /备份目录/完整备份目录(年月日时分秒)

增量备份流程
1.进行完整备份；
完整备份语法：innobackupex --user=root --password='口令' /备份目录
2.添加数据以后增量备份：
增量备份语法：innobackupex --user=root --password='口令' --incremental /备份目录/ --incremental-basedir=/xtrabackup/上一备份目录

增量恢复流程
1.停止数据库；2. 清理环境；3. 增量重演回滚redolog－>恢复数据；4. 修改权限；5. 启动数据库
增量重演回滚语法：
a.innobackupex --apply-log --redo-only /xtrabackup/全量目录
b.innobackupex --apply-log --redo-only /xtrabackup/全量目录 --incremental-dir=/xtrabackup/增量1目录
c.innobackupex --apply-log --redo-only /xtrabackup/全量目录 --incremental-dir=/xtrabackup/增量2目录
恢复数据：innobackupex --copy-back /xtrabackup/全量目录

差异备份流程（重要)
1.完整备份
完整备份语法：innobackupex --user=root --password='口令' /备份目录
2.增加数据后进行差异备份：
差异备份语法：innobackupex --user=root --password='口令' --incremental /备份目录 --incremental-basedir=/xtrabackup/第一次完全备份目录

差异恢复流程
1.停止数据库；2.清理环境；3.差异重演回滚redo log－>恢复数据；4.修改权限；5.启动数据库
差异重演回滚语法：
a.恢复全量的redo log
innobackupex --apply-log --redo-only /xtrabackup/完全备份目录
b.恢复差异的redo log(任意差异点)
innobackupex --apply-log --redo-only /xtrabackup/完全备份目录 --incremental-dir=/xtrabacku/某个差异备份目录
恢复数据语法：innobackupex --copy-back /xtrabackup/完全备份目录

这篇关于MySQL数据xtrabackup物理备份方法的文章就介绍到这儿，希望我们推荐的文章对编程师们有所帮助！


http://www.chinasem.cn/article/287720。

相关文章

大模型研发全揭秘：客服工单数据标注的完整攻略

大模型研发全揭秘：客服工单数据标注的完整攻略

在人工智能（AI）领域，数据标注是模型训练过程中至关重要的一步。无论你是新手还是有经验的从业者，掌握数据标注的技术细节和常见问题的解决方案都能为你的AI项目增添不少价值。在电信运营商的客服系统中，工单数据是客户问题和解决方案的重要记录。通过对这些工单数据进行有效标注，不仅能够帮助提升客服自动化系统的智能化水平，还能优化客户服务流程，提高客户满意度。本文将详细介绍如何在电信运营商客服工单的背景下进行
阅读更多...
SQL中的外键约束

SQL中的外键约束

外键约束用于表示两张表中的指标连接关系。外键约束的作用主要有以下三点： 1.确保子表中的某个字段（外键）只能引用父表中的有效记录2.主表中的列被删除时，子表中的关联列也会被删除3.主表中的列更新时，子表中的关联元素也会被更新 子表中的元素指向主表 以下是一个外键约束的实例展示
阅读更多...
基于MySQL Binlog的Elasticsearch数据同步实践

基于MySQL Binlog的Elasticsearch数据同步实践

一、为什么要做 随着马蜂窝的逐渐发展，我们的业务数据越来越多，单纯使用 MySQL 已经不能满足我们的数据查询需求，例如对于商品、订单等数据的多维度检索。 使用 Elasticsearch 存储业务数据可以很好的解决我们业务中的搜索需求。而数据进行异构存储后，随之而来的就是数据同步的问题。 二、现有方法及问题 对于数据同步，我们目前的解决方案是建立数据中间表。把需要检索的业务数据，统一放到一张M
阅读更多...
关于数据埋点，你需要了解这些基本知识

关于数据埋点，你需要了解这些基本知识

产品汪每天都在和数据打交道，你知道数据来自哪里吗？ 移动app端内的用户行为数据大多来自埋点，了解一些埋点知识，能和数据分析师、技术侃大山，参与到前期的数据采集，更重要是让最终的埋点数据能为我所用，否则可怜巴巴等上几个月是常有的事。   埋点类型 根据埋点方式，可以区分为： 手动埋点半自动埋点全自动埋点 秉承“任何事物都有两面性”的道理：自动程度高的，能解决通用统计，便于统一化管理，但个性化定
阅读更多...
如何去写一手好SQL

如何去写一手好SQL

MySQL性能 最大数据量 抛开数据量和并发数，谈性能都是耍流氓。MySQL没有限制单表最大记录数，它取决于操作系统对文件大小的限制。 《阿里巴巴Java开发手册》提出单表行数超过500万行或者单表容量超过2GB，才推荐分库分表。性能由综合因素决定，抛开业务复杂度，影响程度依次是硬件配置、MySQL配置、数据表设计、索引优化。500万这个值仅供参考，并非铁律。 博主曾经操作过超过4亿行数据
阅读更多...
使用SecondaryNameNode恢复NameNode的数据

使用SecondaryNameNode恢复NameNode的数据

1）需求： NameNode进程挂了并且存储的数据也丢失了，如何恢复NameNode 此种方式恢复的数据可能存在小部分数据的丢失。 2）故障模拟 （1）kill -9 NameNode进程 [lytfly@hadoop102 current]$ kill -9 19886 （2）删除NameNode存储的数据（/opt/module/hadoop-3.1.4/data/tmp/dfs/na
阅读更多...
异构存储（冷热数据分离）

异构存储（冷热数据分离）

异构存储主要解决不同的数据，存储在不同类型的硬盘中，达到最佳性能的问题。 异构存储Shell操作 （1）查看当前有哪些存储策略可以用 [lytfly@hadoop102 hadoop-3.1.4]$ hdfs storagepolicies -listPolicies （2）为指定路径（数据存储目录）设置指定的存储策略 hdfs storagepolicies -setStoragePo
阅读更多...
Hadoop集群数据均衡之磁盘间数据均衡

Hadoop集群数据均衡之磁盘间数据均衡

生产环境，由于硬盘空间不足，往往需要增加一块硬盘。刚加载的硬盘没有数据时，可以执行磁盘数据均衡命令。（Hadoop3.x新特性） plan后面带的节点的名字必须是已经存在的，并且是需要均衡的节点。 如果节点不存在，会报如下错误： 如果节点只有一个硬盘的话，不会创建均衡计划： （1）生成均衡计划 hdfs diskbalancer -plan hadoop102 （2）执行均衡计划 hd
阅读更多...
性能分析之MySQL索引实战案例

性能分析之MySQL索引实战案例

文章目录 一、前言二、准备三、MySQL索引优化四、MySQL 索引知识回顾五、总结 一、前言 在上一讲性能工具之 JProfiler 简单登录案例分析实战中已经发现SQL没有建立索引问题，本文将一起从代码层去分析为什么没有建立索引？ 开源ERP项目地址：https://gitee.com/jishenghua/JSH_ERP 二、准备 打开IDEA找到登录请求资源路径位置
阅读更多...
MySQL数据库宕机，启动不起来，教你一招搞定！

MySQL数据库宕机，启动不起来，教你一招搞定！

作者介绍：老苏，10余年DBA工作运维经验，擅长Oracle、MySQL、PG、Mongodb数据库运维（如安装迁移，性能优化、故障应急处理等）公众号：老苏畅谈运维欢迎关注本人公众号，更多精彩与您分享。 MySQL数据库宕机，数据页损坏问题，启动不起来，该如何排查和解决，本文将为你说明具体的排查过程。 查看MySQL error日志 查看 MySQL error日志，排查哪个表（表空间
阅读更多...

Copyright China编程 23002807@qq.com

沪ICP备2023033072号-2