MicroLPS


A personal website

Search

Site friends

Investworkflow.com 茶马股道 
PMP exam guilde referece 
PMI  IBM SAP

Catalog categories

UML [1]
Web technology and tools [13]
Javascript HTML XML CSS etc.
Lotus Domino [0]

Login form

Statistics


Total online: 1
Guests: 1
Users: 0

Our poll

Rate my site
Total of answers: 6
Wednesday, 2017-06-28, 8:26 AM
Welcome Guest
Main | Registration | Login | RSS

Publisher

Main » Articles » Software/Web Design and Development » Web technology and tools

通过rsync远程增量备份(差异备份)


 
备份是写代码的人必不可少的一项工作,传统的备份,一般就是copy所有数据到一个地方,然后贴上标签,表示是什么时候备份的,这种备份被称之为"整体备份”。
如果经常进行整体备份,对磁盘的空间占用需求就很大,尤其当你备份大容量的数据的时候,有时候,比如一个星期,只对其中一小部分的内容进行了修改,但是还 是需要全部重新备份一次,很显然,太浪费磁盘空间了;此时增量备份就派上用场了,增量备份,又叫做差异备份,意如其名,只备份修改过的部分。
好了,废话说完了,来看看如何实际操作,我们用到的软件是大名鼎鼎的 rsync,很多网站的镜像就是用它来完成的。

==================================
环境介绍:
==================================

备份服务器: 192.168.10.3
需要备份的目录:/var/www
备份时验证用户名和密码: backup/secret
备份客户机(备份数据存放地):192.168.10.4

客户机和服务器均需安装 rsync 软件包

===================================
服务器端配置:
===================================
1、安装

使用系统自带的rsync工具,插入系统启动光盘,通过rpm安装rsync工具。

若采用采用源码包安装,就是经典的编译三步曲 

2、创建主配置文件

# vi /etc/rsyncd.conf 
## file of /etc/rsyncd.conf
motd file=/var/rsync/welcome.msg
pid file = /var/rsync/rsyncd.pid
lock file = /var/rsync/rsync.lock
log file = /var/rsync/rsyncd.log


### 需要备份的模块
[www]
# 模块名后面会用到
comment = bbs
path = /var/www/
use chroot = no
max connections = 4
read only = yes
list = false
uid = nobody
gid = nobody
secrets file = /etc/rsyncd.secrets
hosts allow = 192.168.10.4
hosts deny = 0.0.0.0/0
ignore errors = yes
transfer logging = yes
log format = "%a %f %l"
auth users = backup


上面定义了1个备份点,只允许 192.168.10.4 连接,需要验证的用户名为 backup
然后创建密码文件,每一行格式为: 用户名:密码,都是明文的


# vi /etc/rsyncd.secrets
backup:123456
# chmod 600 /etc/rsyncd.secrets 

创建日志或运行目录 
# mkdir /var/rsync

3、启动服务
# rsync --daemon

4、编辑/etc/xinetd.d/rsync  (可选步骤)

rsync服务的监听由xinet来统一分配

service rsync

{
disable = no #将此项改为no
socket_type = stream
wait = no
user = root
server = /usr/bin/rsync
server_args = --daemon
log_on_failure += USERID
}


重启xinetd以启动rsync服务


# service xinetd restart


5、检查rsync时候启动
# ps -ef | grep rsync

6、停止服务
# kill `cat /var/rsync/rsyncd.pid`

====================
客户端的配置
====================
(1)主服务器向备份服务器备份
# rsync -vzrtopg --delete --progress backup@192.168.10.3::www /back


(2)备份服务器的恢复(主服务器read only = no)
# rsync -vzrtopg --delete --progress /back backup@192.168.10.3::www 

(3)增量备份(主要用这个)

备份要求: 所有的数据统一放到一个根目录下,主备份用每个备份点名字命名,增量备份目录为 increment,每个备份点的增量备份数据,全部放到这个目录下面,目录为当前日期,格式为 2007-08-11_11-22
文件目录树如下:
/var/backup/ 备份根目录
|---www/ 备份点1的主目录,这个目录里面的数据是备份完成后最新的
|---increment/ 增量备份根目录
|--- www/ 备份点1的差异/修改备份数据
|--- 2009-12-04_10-22 从最开始备份到08月11日10点22分,所修改的数据
|--- 2009-12-05_11-22 从10点22分到11点22分,所修改过的数据

准备工作:
创建备份根目录: mkdir /var/backup,其他的目录备份时会自动被创建

使用系统自带的rsync工具,插入系统启动光盘,通过rpm安装rsync工具

# echo "secret" > /etc/rsyncd.conf

注意,这里不同于server端,这里只写密码即可

# chmod 600 /etc/rsyncd.conf

客户端基本不用配置什么文件。一个脚本就OK了。
# vi /etc/rc.d/init.d/rsync.sh

#!/bin/bash
unset verb progress
for i in $*; do
[ "$i" = "verb" ] && verb=v
[ "$i" = "progress" ] && progress="--progress"
done
RSYNC_SERVER=192.168.10.3  #rsync server IP
AUTH_USER=backup
BAKROOT=/var/backup/
INC_DIR=increment
NOW=`date +%Y-%m-%d_%H:%M`


[ ! -e $BAKROOT ] && mkdir -p $BAKROOT
PASSWD_FILE=/etc/rsyncd.conf
PASSWD_PERM=`ls -l $PASSWD_FILE|awk '{print $1}'`
if [ "$PASSWD_PERM" != "-rw-------" ]; then
echo -e "\nWARNING: permission of passwd file changed to 0600 \n";
chmod 0600 $PASSWD_FILE
fi
LOGFILE=/var/log/rsync/rsyncbak.log
EXCLUDES=/var/log/rsync/exclude_file
[ ! -e $EXCLUDES ] && touch $EXCLUDES
BACKUP_MODULES="www" #如需备份多个目录,在"”内添加server端的模块名,用空格隔开
OPTIONS="--force --ignore-errors --delete --delete-excluded \
--exclude-from=$EXCLUDES $progress \
--password-file=$PASSWD_FILE --backup"
rm -f /var/log/rsync/log.*
log_id=0
for bakdir in $BACKUP_MODULES; do
log_id=`expr $log_id + 1`
SUBOPTS="--backup-dir=$BAKROOT/$INC_DIR/$BACKUP_MODULES/$NOW -az${verb}"
rsync $OPTIONS $SUBOPTS $AUTH_USER@$RSYNC_SERVER::$bakdir \
$BAKROOT/$bakdir | tee /var/log/rsync/log.$log_id
done
### 合并临时日志到备份日志中
cat /var/log/rsync/log.* >> $LOGFILE
rm -f /var/log/rsync/log.*
##### end of rsync.sh
# chmod a+x /etc/rc.d/init.d/rsync.sh

开始备份
# /etc/rc.d/init.d/rsync.sh verb progress

备份时,会自动从密码文件读取密码进行验证,备份的详细信息及进度会在当前终端输出,同时也记录到 backup.log 文件中。
两次备份后,如果数据在这段时间内有改动,会产生差异备份数据,用当前时间命名,便于以后查找
如果有些数据你不想备份,可以加入到 exclude_file 文件中,每条记录占一行,支持通配符,比如
/tmp         ## 排除名为 tmp 的根目录   
.[a-z]*     ## 不备份以点开头的隐藏文件

(4)任务计划
# crontab -e
0 2 * * *    /etc/rc.d/init.d/rsync.sh


Source:
Category: Web technology and tools | Added by: microlps (2012-10-19)
Views: 549 | Rating: 0.0/0 |
Total comments: 0

Only registered users can add comments.
[ Registration | Login ]