数据库还原xtrabackup自动还原脚本v2

9月 22, 2016 CentOS

xtrabackup自动还原
************************************************************************************************
应用场景：
************************************************************************************************
1.备份目录为/backup/full和/backup/incre的架构,前者保存全备,后者保存增量备份
2.如全备为/backup/full/2015-04-08_15-14-33则将全备的目录名2015-04-08_15-14-33
作为/backup/incre/下增量备份的目录名。这样设计的初衷在于只要全备不过期,那么
这个全备文件之后的增量备份也不过期.
3.还原时,脚本会自动找到最新的全备和最新全备命名的增量备份目录,并将增量备份
按照先后顺序应用日志到全备中,最后完成还原.
4.该版本增加了是否恢复所有增量备份,默认是全部增量备份.

?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
64
65
66
67
68
69
70
71
72
73
74
75
76
77
78
79
80
81
82
83
84
85
86
87
88
89
90
91
92
93
94
95
96
97
98
99
100
101
102
103
104
105
106
107
108
109
110
111
112
113
114
115
116
117
118
119
120
121
122
123
124
125
126
127
128
129
130
131
132
133
134
135
136
137
138
139
140
141
142
143
144
145
146
147
148
149
150
151
152
153
154
155
156
157
158
159
160
161
162
163
164
165
166
167
168
169
170
171
172
173
174
175
176
177
178
179
180
181
182
183
184
185
186
187
188
189
190
191
192
193
194
195
196
197
198
199
200
201
202
203
204
205
206
207
208
209
210
211
212
213
214
215
216
217
218
219
220
221
222
223
224
225
226
227
228
229
230
231
232
233
234
235
236
237
238
239
240
241
242
243
244
245
246
247
248
249
250
251
252
253
254
255
256
257
258
259
260
261
262
263
264
265
266
267
268
269
270
271
272
273
274
275
276
277
278
279
280
281
282
283
284
285
286
287
288
289
290
291
292
293
294
295
296
297
298
299
300
301
302
303
304
305
306
307
308
309
310
311
312
313
314
315
316
317
318
319
320
321
322
323
324
325
326
327
328
329
330
331
332
333
334
335
336
337
338
339
340
341
342
343
344
345
346
347
348
349
350
351
352
353
354
355
356
357
358
359
360
361
362
363
364
365
366
367
368
369
370
371
372
373
374
375
376
377
378
379
380
381
1
************************************************************************************************
1
脚本
1
************************************************************************************************
1
#!/bin/sh
1
#xiaohuai@xiaohuai.org
1
#xtrabackup 2.3.3
1
# 使用方法：
1
# ./restore.sh /增量备份父目录或全备的父目录名
1
#eg1:./restore.sh /data/backup/full/
1
#eg2:./restore.sh /data/backup/incre/
1
#NOTICE：增量备份还原如果指定文件，则还原到指定文件名的上一个文件末截止.
1
#即输入的增量文件名应为需要截止的增量文件名的下一个文件
1
  

 

1
  

 

1
#NOTE:恢复开始前请确保mysql服务停止以及数据和日志目录清空,如
1
# rm -rf /usr/local/mysql/innodb_data/*
1
# rm -rf /usr/local/mysql/data/*
1
# rm -rf /usr/local/mysql/innodb_log/*
1
  

 

1
  

 

1
echo 
1
"*************************************************************************"
1
echo -e 
1
'\e[32m 提示:mysql端口根据实际环境修改. \e[m'

 

1
#红色
1
echo 
1
"*************************************************************************"
1
  

 

1
  

 

1
  

 

1
INNOBACKUPEX=innobackupex
1
INNOBACKUPEX_PATH=/usr/bin/$INNOBACKUPEX
1
TMP_LOG=
1
"/var/log/restore.$$.log"
1
MY_CNF=/etc/my.cnf
1
BACKUP_DIR=/home/xtrabackup 
1
# 你的备份主目录
1
FULLBACKUP_DIR=$BACKUP_DIR/full 
1
# 全库备份的目录
1
INCRBACKUP_DIR=$BACKUP_DIR/incre 
1
# 增量备份的目录
1
MEMORY=2048M 
1
# 还原的时候使用的内存限制数
1
ERRORLOG=`grep -i 
1
"^log-error"

 

1
$MY_CNF |cut -d = -f 2`
1
MYSQLD_SAFE=/usr/local/mysql/bin/mysqld_safe
1
MYSQL_PORT=3306
1
  

 

1
  

 

1
#############################################################################
1
  

 

1
  

 

1
#显示错误
1
  

 

1
  

 

1
#############################################################################
1
  

 

1
  

 

1
error()
1
{
1
    
1
echo 
1
"$1"

 

1
1>&2
1
    
1
exit 1
1
}
1
  

 

1
  

 

1
#############################################################################
1
  

 

1
  

 

1
# 检查innobackupex错误输出
1
  

 

1
  

 

1
#############################################################################
1
  

 

1
  

 

1
check_innobackupex_fail()
1
{
1
    
1
if

 

1
[ -z 
1
"`tail -2 $TMP_LOG | grep 'completed OK!'`"

 

1
] ; then
1
    
1
echo 
1
"$INNOBACKUPEX命令执行失败:"
1
; echo
1
    
1
echo 
1
"---------- $INNOBACKUPEX的错误输出 ----------"
1
    
1
cat $TMP_LOG
1
    
1
#保留一份备份的详细日志
1
    
1
logfiledate=restore.`date +%Y%m%d%H%M`.txt
1
    
1
cat $TMP_LOG>/backup/$logfiledate  
1
    
1
rm -f $TMP_LOG
1
    
1
exit 1
1
  
1
fi
1
}
1
  

 

1
  

 

1
  

 

1
# 选项检测
1
if

 

1
[ ! -x $INNOBACKUPEX_PATH ]; then
1
  
1
error 
1
"$INNOBACKUPEX_PATH在指定路径不存在,请确认是否安装或核实链接是否正确."
1
fi
1
  

 

1
  

 

1
if

 

1
[ ! -d $BACKUP_DIR ]; then
1
  
1
error 
1
"备份目录$BACKUP_DIR不存在.请新建备份主目录$BACKUP_DIR"
1
fi
1
  

 

1
  

 

1
if

 

1
[ $
1
# != 1 ] ; then
1
  
1
error 
1
"使用方法: $0 使用还原目录的绝对路径"
1
fi
1
  

 

1
  

 

1
  

 

1
if

 

1
[ ! -d $1 ]; then
1
  
1
error 
1
"指定的备份目录:$1不存在."
1
fi
1
  

 

1
  

 

1
  

 

1
PORTNUM00=`netstat -lnt|grep ${MYSQL_PORT}|wc -l`
1
if

 

1
[ $PORTNUM00 = 1  ];
1
then
1
echo -e 
1
"\e[31m NOTE:------------------------------------------.\e[m"

 

1
#红色
1
echo -e 
1
"\e[31m mysql处于运行状态,请关闭mysql. \e[m"

 

1
#红色
1
echo -e 
1
"\e[31m NOTE:------------------------------------------.\e[m"

 

1
#红色
1
exit 0
1
fi
1
  

 

1
  

 

1
################判断还原增量备份部分还是所有################
1
echo 
1
"*************************************************************************"
1
echo -e 
1
"\e[31m 输入的增量文件名应为截止的增量文件名的下一个文件.\e[m"

 

1
#红色
1
echo 
1
"*************************************************************************"
1
ipname=
1
''
1
read -p 
1
"输入截止增量备份名[默认所有]:"

 

1
ipname
1
echo
1
  

 

1
  

 

1
echo 
1
"输入截止增量备份名为:$ipname"
1
  

 

1
  

 

1
  

 

1
input_value=$1
1
intpu_res=`echo ${input_value%/*}` 
1
  

 

1
  

 

1
  

 

1
  

 

1
# Some info output
1
echo 
1
"----------------------------"
1
echo
1
echo 
1
"$0: MySQL还原脚本"
1
START_RESTORE_TIME=`date +%F
1
' '
1
%T
1
' '
1
%w`
1
echo 
1
"数据库还原开始于: $START_RESTORE_TIME"
1
echo
1
  

 

1
  

 

1
  

 

1
#PARENT_DIR=`dirname ${intpu_res}`
1
PARENT_DIR=${intpu_res}
1
  

 

1
  

 

1
if

 

1
[ $PARENT_DIR = $FULLBACKUP_DIR ]; then
1
FULL=`ls -t $FULLBACKUP_DIR |head -1`
1
FULLBACKUP=${intpu_res}/$FULL
1
echo 
1
"还原完全备份:`basename $FULLBACKUP`"
1
echo
1
  

 

1
  

 

1
else
1
  

 

1
################判断还原部分增量备份还是所有增量备份################
1
if

 

1
[ 
1
"$ipname"

 

1
= 
1
''

 

1
];then
1
 
1
if

 

1
[ $PARENT_DIR = $INCRBACKUP_DIR ]; then
1
FULL=`ls -t $FULLBACKUP_DIR |head -1`
1
FULLBACKUP=$FULLBACKUP_DIR/$FULL
1
if

 

1
[ ! -d $FULLBACKUP ]; then
1
error 
1
"全备:$FULLBACKUP不存在."
1
fi
1
INCR=`ls -t $INCRBACKUP_DIR/$FULL/ |sort -nr | head -1 ` 
1
#查找最后一个增量备份文件
1
echo 
1
"还原将从全备全备$FULL开始,到增量$INCR结束."
1
echo
1
echo 
1
"Prepare:完整备份..........."
1
echo 
1
"*****************************"
1
$INNOBACKUPEX_PATH --defaults-file=$MY_CNF --apply-log --redo-only --use-memory=$MEMORY $FULLBACKUP > $TMP_LOG 2>&1
1
check_innobackupex_fail
1
     

 

1
  

 

1
  

 

1
# Prepare增量备份集,即将增量备份应用到全备目录中,按照增量备份顺序即按照时间从旧到最新
1
for

 

1
i 
1
in

 

1
`find $PARENT_DIR/$FULL -mindepth 1 -maxdepth 1 -type d -printf 
1
"%P\n"

 

1
| sort -n `;
1
do
1
  

 

1
  

 

1
#判断最新全备的lsn
1
#check_full_file=`find $FULLBACKUP/ -mindepth 1 -maxdepth 1 -type d -printf "%P\n" | sort -nr | head  -1`
1
     

 

1
check_full_lastlsn=$FULLBACKUP/xtrabackup_checkpoints
1
     

 

1
fetch_full_lastlsn=`grep -i 
1
"^last_lsn"

 

1
${check_full_lastlsn} |cut -d = -f 2`
1
  

 

1
  

 

1
######判断增量备份中第一个增量备份的LSN
1
#check_incre_file=`find $PARENT_DIR/$FULL -mindepth 1 -maxdepth 1 -type d -printf "%P\n" | sort -n |  head -1`
1
       

 

1
check_incre_lastlsn=$PARENT_DIR/$FULL/$i/xtrabackup_checkpoints
1
       

 

1
fetch_incre_lastlsn=`grep -i 
1
"^last_lsn"

 

1
${check_incre_lastlsn} |cut -d = -f 2`
1
echo 
1
"完全备份$FULLBACKUP的LSN值:${fetch_full_lastlsn} "
1
echo 
1
"增量备份$i的LSN值:${fetch_incre_lastlsn} "
1
  

 

1
if

 

1
[ 
1
"${fetch_incre_lastlsn}"

 

1
-eq 
1
"${fetch_full_lastlsn}"

 

1
];then
1
echo 
1
"*****************************************"
1
echo 
1
"LSN相等,不需要prepare!"
1
echo 
1
"*****************************************"
1
echo
1
break
1
  

 

1
  

 

1
  

 

1
else
1
echo 
1
"Prepare:增量备份集$i........"
1
echo 
1
"*****************************"
1
$INNOBACKUPEX_PATH --defaults-file=$MY_CNF --apply-log --redo-only --use-memory=$MEMORY $FULLBACKUP --incremental-dir=$PARENT_DIR/$FULL/$i > $TMP_LOG 2>&1
1
check_innobackupex_fail
1
   

 

1
if

 

1
[ $INCR = $i ]; then
1
break
1
fi
1
      

 

1
fi
1
######判断LSN
1
done
1
  

 

1
else
1
error 
1
"未知的备份类型"
1
  
1
fi
1
  

 

1
  

 

1
else
1
FULL=`ls -t $FULLBACKUP_DIR |head -1`
1
FULLBACKUP=$FULLBACKUP_DIR/$FULL
1
echo 
1
"Prepare:完整备份..........."
1
echo 
1
"*****************************"
1
$INNOBACKUPEX_PATH --defaults-file=$MY_CNF --apply-log --redo-only --use-memory=$MEMORY $FULLBACKUP > $TMP_LOG 2>&1
1
check_innobackupex_fail
1
  

 

1
  

 

1
  

 

1
  

 

1
  

 

1
ipt=`stat -c=%Z  $PARENT_DIR/$FULL/$ipname |cut -d = -f 2`
1
echo 
1
"还原的指定增量目录文件$ipname的纪元时间为:$ipt"
1
for

 

1
i 
1
in

 

1
`find $PARENT_DIR/$FULL -mindepth 1 -maxdepth 1 -type d -printf 
1
"%P\n"

 

1
| sort -n `;
1
do
1
#判断for循环取到的文件名是否为输入的文件名，如果是则停止循环
1
if

 

1
[ 
1
"$i"

 

1
=  
1
"$ipname"

 

1
]; then
1
break
1
;
1
else
1
f01=`stat -c=%Z  $PARENT_DIR/$FULL/$i |cut -d = -f 2`
1
if

 

1
[ 
1
"$f01"

 

1
-le 
1
"$ipt"

 

1
]; then
1
  

 

1
  

 

1
if

 

1
[ $PARENT_DIR = $INCRBACKUP_DIR ]; then
1
if

 

1
[ ! -d $FULLBACKUP ]; then
1
error 
1
"全备:$FULLBACKUP不存在."
1
fi
1
#INCR=`ls -t $INCRBACKUP_DIR/$FULL/ |sort -nr | head -1`
1
echo 
1
"还原将从全备$FULL开始,到增量$ipname结束."
1
echo
1
  

 

1
  

 

1
#判断最新全备的lsn
1
#check_full_file=`find $FULLBACKUP/ -mindepth 1 -maxdepth 1 -type d -printf "%P\n" | sort -nr | head  -1`
1
     

 

1
check_full_lastlsn=$FULLBACKUP/xtrabackup_checkpoints
1
     

 

1
fetch_full_lastlsn=`grep -i 
1
"^last_lsn"

 

1
${check_full_lastlsn} |cut -d = -f 2`
1
  

 

1
  

 

1
######判断增量备份中第一个增量备份的LSN
1
check_incre_file=`find $PARENT_DIR/$FULL -mindepth 1 -maxdepth 1 -type d -printf 
1
"%P\n"

 

1
| sort -n |  head -1`
1
       

 

1
check_incre_lastlsn=$PARENT_DIR/$FULL/$i/xtrabackup_checkpoints
1
       

 

1
fetch_incre_lastlsn=`grep -i 
1
"^last_lsn"

 

1
${check_incre_lastlsn} |cut -d = -f 2`
1
echo 
1
"完全备份的LSN:${fetch_full_lastlsn} "
1
echo 
1
"增量备份的LSN:${fetch_incre_lastlsn} "
1
if

 

1
[ 
1
"${fetch_incre_lastlsn}"

 

1
-eq 
1
"${fetch_full_lastlsn}"

 

1
];then
1
echo 
1
"*****************************************"
1
echo -e 
1
"\e[31m LSN不需要prepare或备份间隔期间无数据变化 \e[m"

 

1
#红色
1
echo 
1
"*****************************************"
1
  

 

1
  

 

1
  

 

1
fi
1
  

 

1
  

 

1
echo
1
echo 
1
"Prepare:增量备份集$i........"
1
echo 
1
"*****************************"
1
$INNOBACKUPEX_PATH --defaults-file=$MY_CNF --apply-log --redo-only --use-memory=$MEMORY $FULLBACKUP --incremental-dir=$PARENT_DIR/$FULL/$i > $TMP_LOG 2>&1
1
check_innobackupex_fail
1
  

 

1
######判断LSN
1
check_full_lastlsn=$FULLBACKUP/xtrabackup_checkpoints
1
     

 

1
fetch_full_lastlsn=`grep -i 
1
"^last_lsn"

 

1
${check_full_lastlsn} |cut -d = -f 2`
1
echo 
1
"完全备份当前的LSN:${fetch_full_lastlsn}"
1
  

 

1
  

 

1
else
1
error 
1
"未知的备份类型"
1
fi
1
else
1
echo 
1
"查找增量备份文件完成."
1
check_full_lastlsn=$FULLBACKUP/xtrabackup_checkpoints
1
     

 

1
fetch_full_lastlsn=`grep -i 
1
"^last_lsn"

 

1
${check_full_lastlsn} |cut -d = -f 2`
1
echo -e 
1
"\e[31m -------------------------------------------- \e[m"

 

1
#红色
1
echo -e 
1
"\e[31m 完全备份最终的LSN:${fetch_full_lastlsn} \e[m"

 

1
#红色
1
echo -e 
1
"\e[31m -------------------------------------------- \e[m"

 

1
#红色
1
break
1
fi
1
fi
1
done
1
  

 

1
  

 

1
fi
1
################判断还原部分增量备份还是所有增量备份################
1
  

 

1
  

 

1
fi
1
  

 

1
echo
1
echo 
1
"prepare:完整备份以及回滚那些未提交的事务..........."
1
$INNOBACKUPEX_PATH --defaults-file=$MY_CNF --apply-log --use-memory=$MEMORY $FULLBACKUP > $TMP_LOG 2>&1
1
check_innobackupex_fail
1
  

 

1
  

 

1
  

 

1
echo 
1
"*****************************"
1
echo 
1
"数据库还原中 ...请稍等"
1
echo 
1
"*****************************"
1
  

 

1
  

 

1
$INNOBACKUPEX_PATH --defaults-file=$MY_CNF --copy-back $FULLBACKUP > $TMP_LOG 2>&1
1
check_innobackupex_fail
1
  

 

1
  

 

1
    

 

1
rm -f $TMP_LOG
1
echo 
1
"1.恭喜,还原成功!."
1
echo 
1
"*****************************"
1
  

 

1
  

 

1
#修改目录权限
1
echo 
1
"修改mysql目录的权限."
1
mysqlcnf=
1
"/etc/my.cnf"
1
mysqldatadir=`grep -i 
1
"^basedir"

 

1
$mysqlcnf |cut -d = -f 2`
1
`echo 
1
'chown -R mysql:mysql'

 

1
${mysqldatadir}`
1
echo 
1
"2.权限修改成功!"
1
echo 
1
"*****************************"
1
  

 

1
  

 

1
#自动启动mysql
1
  

 

1
  

 

1
INIT_NUM=1
1
if

 

1
[ ! -x $MYSQLD_SAFE ]; then
1
  
1
echo 
1
"mysql安装时启动文件未安装到$MYSQLD_SAFE或无执行权限"
1
  
1
exit 1  
1
#0是执行成功,1是执行不成功
1
else
1
echo 
1
"启动本机mysql端口为:$MYSQL_PORT的服务"
1
$MYSQLD_SAFE --defaults-file=$MY_CNF  > /dev/
1
null

 

1
&
1
while

  

1
[ $INIT_NUM  -le 10 ]
1
      
1
do
1
        
1
PORTNUM=`netstat -lnt|grep ${MYSQL_PORT}|wc -l`
1
        
1
echo 
1
"mysql启动中....请稍等..."
1
        
1
sleep 10
1
        
1
if

 

1
[ $PORTNUM = 1  ];
1
        
1
then
1
echo -e 
1
"\e[32m mysql                                      ****启动成功**** \e[m"
1
        
1
exit 0
1
        
1
fi
1
        
1
INIT_NUM=$(($INIT_NUM +1))
1
      
1
done
1
echo -e 
1
"\e[31m mysql启动失败或启动时间过长,请检查错误日志 `echo 'cat ' ${ERRORLOG}` \e[m"
1
echo 
1
"*****************************************"
1
exit 0
1
fi
1
  

 

1
  

 

1
  

 

1
END_RESTORE_TIME=`date +%F
1
' '
1
%T
1
' '
1
%w`
1
echo 
1
"数据库还原完成于: $END_RESTORE_TIME"
1
exit 0
?
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
42
43
44
45
46
47
48
49
50
51
52
53
54
55
56
57
58
59
60
61
62
63
1
************************************************************************************************
1
执行结果:
1
************************************************************************************************
1
  

 

1
# ./restore.sh /backup/incre/ 
1
输入截止增量备份名[默认所有]:2015-04-10_14-10-49
1
 

 

1
 

 

1
输入截止增量备份名为:2015-04-10_14-10-49
1
----------------------------
1
 

 

1
 

 

1
./restore.sh: MySQL还原脚本
1
数据库还原开始于: 2015-04-10 14:24:51 5
1
 

 

1
 

 

1
Prepare:完整备份...........
1
*****************************
1
还原的指定增量目录文件2015-04-10_14-10-49的纪元时间为:1428646269
1
还原将从全备2015-04-10_14-05-40开始,到增量2015-04-10_14-10-49结束.
1
 

 

1
 

 

1
完全备份的LSN: 344693290 
1
增量备份的LSN: 413297865 
1
Prepare:增量备份集2015-04-10_14-08-19........
1
*****************************
1
完全备份当前的LSN: 413297865
1
还原将从全备2015-04-10_14-05-40开始,到增量2015-04-10_14-10-49结束.
1
 

 

1
 

 

1
完全备份的LSN: 413297865 
1
增量备份的LSN: 481905295 
1
Prepare:增量备份集2015-04-10_14-09-07........
1
*****************************
1
完全备份当前的LSN: 481905295
1
还原将从全备2015-04-10_14-05-40开始,到增量2015-04-10_14-10-49结束.
1
 

 

1
 

 

1
完全备份的LSN: 481905295 
1
增量备份的LSN: 550515490 
1
Prepare:增量备份集2015-04-10_14-10-49........
1
*****************************
1
完全备份当前的LSN: 550515490
1
查找增量备份文件完成.
1
 
1
-------------------------------------------- 
1
 
1
完全备份最终的LSN: 550515490 
1
 
1
-------------------------------------------- 
1
 

 

1
 

 

1
prepare:完整备份以及回滚那些未提交的事务...........
1
*****************************
1
数据库还原中 ...请稍等
1
*****************************
1
1.恭喜,还原成功!.
1
*****************************
1
修改mysql目录的权限.
1
2.权限修改成功!
1
*****************************
1
启动本机mysql端口为:3306的服务
1
mysql启动中....请稍等...
1
mysql启动中....请稍等...
1
mysql启动中....请稍等...
1
 
1
mysql                                      ****启动成功**** 

本文转自坏总的：小坏天空

admin

发表回复

您的电子邮箱地址不会被公开。 必填项已用*标注