Publisher
| Main » Articles » Software/Web Design and Development » Web technology and tools |
通过rsync远程增量备份(差异备份)
备份是写代码的人必不可少的一项工作，传统的备份，一般就是copy所有数据到一个地方，然后贴上标签，表示是什么时候备份的，这种备份被称之为"整体备份”。 如果经常进行整体备份，对磁盘的空间占用需求就很大，尤其当你备份大容量的数据的时候，有时候，比如一个星期，只对其中一小部分的内容进行了修改，但是还 是需要全部重新备份一次，很显然，太浪费磁盘空间了；此时增量备份就派上用场了，增量备份，又叫做差异备份，意如其名，只备份修改过的部分。 好了，废话说完了，来看看如何实际操作，我们用到的软件是大名鼎鼎的 rsync，很多网站的镜像就是用它来完成的。 ================================== 环境介绍： ================================== 备份服务器： 192.168.10.3 需要备份的目录：/var/www 备份时验证用户名和密码： backup/secret 备份客户机(备份数据存放地)：192.168.10.4 客户机和服务器均需安装 rsync 软件包 =================================== 服务器端配置： =================================== 1、安装 使用系统自带的rsync工具，插入系统启动光盘，通过rpm安装rsync工具。 若采用采用源码包安装，就是经典的编译三步曲 2、创建主配置文件 # vi /etc/rsyncd.conf ## file of /etc/rsyncd.conf motd file=/var/rsync/welcome.msg pid file = /var/rsync/rsyncd.pid lock file = /var/rsync/rsync.lock log file = /var/rsync/rsyncd.log ### 需要备份的模块 [www] # 模块名后面会用到 comment = bbs path = /var/www/ use chroot = no max connections = 4 read only = yes list = false uid = nobody gid = nobody secrets file = /etc/rsyncd.secrets hosts allow = 192.168.10.4 hosts deny = 0.0.0.0/0 ignore errors = yes transfer logging = yes log format = "%a %f %l" auth users = backup 上面定义了1个备份点，只允许 192.168.10.4 连接，需要验证的用户名为 backup 然后创建密码文件，每一行格式为： 用户名:密码，都是明文的 # vi /etc/rsyncd.secrets backup:123456 # chmod 600 /etc/rsyncd.secrets 创建日志或运行目录 # mkdir /var/rsync 3、启动服务 # rsync --daemon 4、编辑/etc/xinetd.d/rsync (可选步骤) rsync服务的监听由xinet来统一分配 service rsync { disable = no #将此项改为no socket_type = stream wait = no user = root server = /usr/bin/rsync server_args = --daemon log_on_failure += USERID } 重启xinetd以启动rsync服务 # service xinetd restart 5、检查rsync时候启动 # ps -ef | grep rsync 6、停止服务 # kill `cat /var/rsync/rsyncd.pid` ==================== 客户端的配置 ==================== (1)主服务器向备份服务器备份 # rsync -vzrtopg --delete --progress backup@192.168.10.3::www /back (2)备份服务器的恢复(主服务器read only = no) # rsync -vzrtopg --delete --progress /back backup@192.168.10.3::www (3)增量备份(主要用这个) 备份要求: 所有的数据统一放到一个根目录下，主备份用每个备份点名字命名，增量备份目录为 increment，每个备份点的增量备份数据，全部放到这个目录下面，目录为当前日期，格式为 2007-08-11_11-22 文件目录树如下： /var/backup/ 备份根目录 |---www/ 备份点1的主目录，这个目录里面的数据是备份完成后最新的 |---increment/ 增量备份根目录 |--- www/ 备份点1的差异/修改备份数据 |--- 2009-12-04_10-22 从最开始备份到08月11日10点22分，所修改的数据 |--- 2009-12-05_11-22 从10点22分到11点22分，所修改过的数据 准备工作: 创建备份根目录: mkdir /var/backup，其他的目录备份时会自动被创建 使用系统自带的rsync工具，插入系统启动光盘，通过rpm安装rsync工具 # echo "secret" > /etc/rsyncd.conf 注意，这里不同于server端，这里只写密码即可 # chmod 600 /etc/rsyncd.conf 客户端基本不用配置什么文件。一个脚本就OK了。 # vi /etc/rc.d/init.d/rsync.sh #!/bin/bash unset verb progress for i in $*; do [ "$i" = "verb" ] && verb=v [ "$i" = "progress" ] && progress="--progress" done RSYNC_SERVER=192.168.10.3 #rsync server IP AUTH_USER=backup BAKROOT=/var/backup/ INC_DIR=increment NOW=`date +%Y-%m-%d_%H:%M` [ ! -e $BAKROOT ] && mkdir -p $BAKROOT PASSWD_FILE=/etc/rsyncd.conf PASSWD_PERM=`ls -l $PASSWD_FILE|awk '{print $1}'` if [ "$PASSWD_PERM" != "-rw-------" ]; then echo -e "\nWARNING: permission of passwd file changed to 0600 \n"; chmod 0600 $PASSWD_FILE fi LOGFILE=/var/log/rsync/rsyncbak.log EXCLUDES=/var/log/rsync/exclude_file [ ! -e $EXCLUDES ] && touch $EXCLUDES BACKUP_MODULES="www" #如需备份多个目录，在"”内添加server端的模块名，用空格隔开 OPTIONS="--force --ignore-errors --delete --delete-excluded \ --exclude-from=$EXCLUDES $progress \ --password-file=$PASSWD_FILE --backup" rm -f /var/log/rsync/log.* log_id=0 for bakdir in $BACKUP_MODULES; do log_id=`expr $log_id + 1` SUBOPTS="--backup-dir=$BAKROOT/$INC_DIR/$BACKUP_MODULES/$NOW -az${verb}" rsync $OPTIONS $SUBOPTS $AUTH_USER@$RSYNC_SERVER::$bakdir \ $BAKROOT/$bakdir | tee /var/log/rsync/log.$log_id done ### 合并临时日志到备份日志中 cat /var/log/rsync/log.* >> $LOGFILE rm -f /var/log/rsync/log.* ##### end of rsync.sh # chmod a+x /etc/rc.d/init.d/rsync.sh 开始备份 # /etc/rc.d/init.d/rsync.sh verb progress 备份时，会自动从密码文件读取密码进行验证，备份的详细信息及进度会在当前终端输出，同时也记录到 backup.log 文件中。 两次备份后，如果数据在这段时间内有改动，会产生差异备份数据，用当前时间命名，便于以后查找 如果有些数据你不想备份，可以加入到 exclude_file 文件中，每条记录占一行，支持通配符，比如 /tmp ## 排除名为 tmp 的根目录 .[a-z]* ## 不备份以点开头的隐藏文件 (4)任务计划 # crontab -e 0 2 * * * /etc/rc.d/init.d/rsync.sh Source: | ||||
| Category: Web technology and tools | Added by: microlps (2012-10-19) | ||||
| Views: 1328 | Rating: 0.0/0 | | ||||
| Total comments: 0 | |
