Linux之svn数据备份、还原及迁移 （本文例子基于FreeBSD/Linux实现，windows环境请自己做出相应修改）配置管理的一个重要使命是保证数据的安全性，防止服务器应硬盘损坏、误操作造成数据无法恢复的灾难性后果。因此制定一个完整的备份策略非常重要。一般来说，备份策略应规定如下几部分内容：备份频度、备份方式、备份存放地点、备份责任人、灾难恢复检查措施及规定。备份频度、存放地点等内容可以根据自己的实际情况自行制定；本文重点描述备份方式。svn备份一般采用三种方式：1）svnadmin dump 2)svnadmin hotcopy 3)svnsync.注意，svn备份不宜采用普通的文件拷贝方式（除非你备份的时候将库暂停），如copy命令、rsync命令。笔者曾经用 rsync命令来做增量和全量备份，在季度备份检查审计中，发现备份出来的库大部分都不可用，因此最好是用svn本身提供的功能来进行备份。优缺点分析：第一种svnadmin dump是官方推荐的备份方式，优点是比较灵活，可以全量备份也可以增量备份，并提供了版本恢复机制。缺点是：如果版本比较大，如版本数增长到数万、数十万，那么dump的过程将非常慢；备份耗时，恢复更耗时；不利于快速进行灾难恢复。个人建议在版本数比较小的情况下使用这种备份方式。第二种svnadmin hotcopy原设计目的估计不是用来备份的，只能进行全量拷贝，不能进行增量备份；优点是：备份过程较快，灾难恢复也很快；如果备份机上已经搭建了svn服务，甚至不需要恢复，只需要进行简单配置即可切换到备份库上工作。缺点是：比较耗费硬盘，需要有较大的硬盘支持（俺的备份机有1TB空间，呵呵）。第三种svnsync实际上是制作2个镜像库，当一个坏了的时候，可以迅速切换到另一个。不过，必须svn1.4版本以上才支持这个功能。优点是：当制作成2个镜像库的时候起到双机实时备份的作用；缺点是：当作为2个镜像库使用时，没办法做到“想完全抛弃今天的修改恢复到昨晚的样子”；而当作为普通备份机制每日备份时，操作又较前2种方法麻烦。下面具体描述这三种的备份的方法：1、svnadmin dump备份工具这是subversion官方推荐的备份方式。1）定义备份策略：备份频度：每周六进行一次全量备份，每周日到周五进行增量备份备份地点：备份存储路径到/home/backup/svn/备份命名：全量备份文件名为： weekly_fully_backup.yymmdd ,增量备份文件命名为： daily-incremental-backup.yymmdd 备份时间：每晚21点开始备份检查：每月末进行svnadmin load恢复试验。2）建立全量备份脚本：在~/下建立一个perl脚本文件，名为weekly_backup.pl，执行全量备份，并压缩备份文件，代码如下(本代码只针对一个库的备份，如果是多个库请做相应改动)：#!/usr/bin/perl -w my $svn_repos="/home/svn/repos/project1"; my $backup_dir="/home/backup/svn/"; my $next_backup_file = "weekly_fully_backup.".`date +%Y%m%d`; $youngest=`svnlook youngest $svn_repos`; chomp $youngest; print "Backing up to revision $youngest/n"; my $svnadmin_cmd="svnadmin dump --revision 0:$youngest $svn_repos >$backup_dir/$next_backup_file"; `$svnadmin_cmd`; open(LOG,">$backup_dir/last_backed_up"); #记录备份的版本号 print LOG $youngest; close LOG; #如果想节约空间，则再执行下面的压缩脚本 print "Compressing dump file.../n"; print `gzip -g $backup_dir/$next_backup_file`;3）建立增量备份脚本：在全量备份的基础上，进行增量备份：在~/下建立一个perl脚本文件，名为：daily_backup.pl，代码如下：#!/usr/bin/perl -w my $svn_repos="/home/svn/repos/project1"; my $backup_dir="/home/backup/svn/"; my $next_backup_file = "daily_incremental_backup.".`date +%Y%m%d`; open(IN,"$backup_dir/last_backed_up"); $previous_youngest = <IN>; chomp $previous_youngest; close IN; $youngest=`svnlook youngest $svn_repos`; chomp $youngest; if ($youngest eq $previous_youngest) { print "No new revisions to backup./n"; exit 0; } my $first_rev = $previous_youngest + 1; print "Backing up revisions $youngest .../n"; my $svnadmin_cmd = "svnadmin dump --incremental --revision $first_rev:$youngest $svn_repos > $backup_dir/$next_backup_file"; `$svnadmin_cmd`; open(LOG,">$backup_dir/last_backed_up"); #记录备份的版本号 print LOG $youngest; close LOG;如果想节约空间，则再执行下面的压缩脚本print "Compressing dump file.../n"; print `gzip -g $backup_dir/$next_backup_file`;4）配置/etc/crontab文件配置 /etc/crontab 文件，指定每周六执行weekly_backup.pl，指定周一到周五执行daily_backup.pl;具体步骤俺就不啰嗦了.5）备份恢复检查在月底恢复检查中或者在灾难来临时，请按照如下步骤进行恢复：恢复顺序从低版本逐个恢复到高版本；即，先恢复最近的一次完整备份weekly_full_backup.071201（举例），然后恢复紧挨着这个文件的增量备份daily_incremental_backup.071202，再恢复后一天的备份071203，依次类推。如下：user1>mkdir newrepos user1>svnadmin create newrepos user1>svnadmin load newrepos < weekly_full_backup.071201 user1>svnadmin load newrepos < daily_incremental_backup.071202 user1>svnadmin load newrepos < daily_incremental_backup.071203 ....如果备份时采用了gzip进行压缩，恢复时可将解压缩和恢复命令合并，简单写成：user1>zcat weekly_full_backup.071201 | svnadmin load newrepos user1>zcat daily_incremental_backup.071202 | svnadmin load newrepos ...(这部分内容很多参考了《版本控制之道》)2、svnadmin hotcopy整库拷贝方式svnadmin hotcopy是将整个库都“热”拷贝一份出来，包括库的钩子脚本、配置文件等；任何时候运行这个脚本都得到一个版本库的安全拷贝，不管是否有其他进程正在使用版本库。因此这是俺青睐的备份方式。1）定义备份策略备份频度：每天进行一次全量备份，备份地点：备份目录以日期命名，备份路径到 /home/backup/svn/${mmdd}备份保留时期：保留10天到15天，超过15天的进行删除。备份时间：每晚21点开始备份检查：备份完毕后自动运行检查脚本、自动发送报告。2）建立备份脚本在自己home目录 ~/下创建一个文件，backup.sh：#!/bin/bash SRCPATH=/home/svn/repos/; #定义仓库parent路径 DISTPATH=/home/backup/svn/`date +/%m%d`/ ; #定义存放路径; if [ -d "$DISTPATH" ] then else mkdir $DISTPATH chmod g+s $DISTPATH fi echo $DISTPATH svnadmin hotcopy $SRCPATH/Project1 $DISTPATH/Project1 >/home/backup/svn/cpreport.log 2>&1; svnadmin hotcopy $SRCPATH/Project2 $DISTPATH/Project2 cp $SRCPATH/access $DISTPATH; #备份access文件 cp $SRCPATH/passwd $DISTPATH; #备份passwd文件 perl /home/backup/svn/backup_check.pl #运行检查脚本 perl /home/backup/svn/deletDir.pl #运行删除脚本，对过期备份进行删除。3）建立检查脚本在上面指定的地方/home/backup/svn/下建立一个perl脚本：backup_check.pl备份完整性检查的思路是：对备份的库运行 svnlook youngest，如果能正确打印出最新的版本号，则表明备份文件没有缺失；如果运行报错，则说明备份不完整。我试过如果备份中断，则运行svnlook youngest会出错。perl脚本代码如下：#! /usr/bin/perl ## Author:xuejiang ## 2007-11-10 ## http://www.scmbbs.com use strict; use Carp; use Net::SMTP; #### defined the var ####### my $smtp =Net::SMTP->new('mail.scmbbs.com', Timeout => 30, Debug => 0)|| die "cann't connect to mail.scmbbs.com/n"; my $bkrepos="/home/backup/svn/".&get_day;#定义备份路径 my $ssrepos="http://www.scmbbs.com/repos";#定义仓库url my @repos = ("project1","project2"); my $title="echo /"如下是昨晚备份结果与真实库对比的情况，如果给出备份版本数，则表示备份成功；如果给报错信息或没有备份版本数，则表示备份失败：/" >./report"; system $title || die "exec failed/n"; foreach my $myrepos(@repos) { my $bkrepos1=$bkrepos."/".$myrepos; my $ssrepos1=$ssrepos."/".$myrepos; my $svnlookbk1 = "echo /"$myrepos 昨晚备份的版本是：/">>./report;svnlook youngest ".$bkrepos1." >> ./report 2>&1"; my $svnlookss1 = "echo /"$myrepos 真实库中的最新版本及最后修改时间是：/">>./report;svn log -r'HEAD' ".$ssrepos1." >> ./report 2>&1"; system $svnlookbk1 || die "exec failed/n"; system $svnlookss1 || die "exec failed/n"; } my $body ="echo /"=========================================================================/" >>./report"; my $bottom ="echo /"备份位置：来自http://www.scmbbs.com的".$bkrepos."/" >>./report"; system $body || die "exec failed/n"; system $bottom || die "exec failed/n"; ###### report the result #### open(SESAME,"./report")|| die "can not open ./report"; my @svnnews = <SESAME>; close(SESAME); foreach my $line1 (@svnnews) { print $line1."/n"; } my @email_addresses =("scm/@list.scmbbs.com","leader1/@scmbbs.com","leader2/@scmbbs.com"); my $to = join(', ', @email_addresses); $smtp->mail("scm/@scmbbs.com"); $smtp->recipient(@email_addresses); $smtp->data(); $smtp->datasend("To:$to/n"); $smtp->datasend("From: svnReport/@scmbbs.com/n"); $smtp->datasend("Subject:svn备份检查报告".&get_today."/n"); $smtp->datasend("Reply-to:scm/@scmbbs.com/n"); $smtp->datasend("@svnnews"); $smtp->dataend(); $smtp->quit; ############# sub get_today { my( $sec, $min, $hour, $day, $month, $year ) = localtime( time() ); $year += 1900; $month++; my $today = sprintf( "%04d%02d%02d", $year, $month, $day); return $today; } sub get_day { my( $sec, $min, $hour, $day, $month, $year ) = localtime( time() ); $year += 1900; $month++; my $today = sprintf( "%02d%02d", $month, $day); return $today; }4)定义删除脚本由于是全量备份，所以备份不宜保留太多，只需要保留最近10来天的即可，对于超过15天历史的备份基本可以删除了。在/home/backup/svn/下建立一个perl脚本：deletDir.pl(注意，删除svn备份库可不像删除普通文件那么简单）脚本代码请参看我的另一个帖子：http://www.scmbbs.com/cn/systp/2007/12/systp6.php5）修改/etc/crontab 文件在该文件中指定每晚21点执行“backup.sh”脚本。3、svnsync备份参阅：http://www.scmbbs.com/cn/svntp/2007/11/svntp4.php使用svnsync备份很简单，步骤如下：1）在备份机上创建一个空库：svnadmin create Project12）更改该库的钩子脚本pre-revprop-change（因为svnsync要改这个库的属性，也就是要将源库的属性备份到这个库，所以要启用这个脚本）:cd SMP/hooks; cp pre-revprop-change.tmpl pre-revprop-change; chmod 755 pre-revprop-change; vi pre-revprop-change; 将该脚本后面的三句注释掉，或者干脆将它弄成一个空文件。 3）初始化，此时还没有备份任何数据： svnsync init file:///home/backup/svn/svnsync/Project1/ http://svntest.subversion.com/repos/Project1语法是：svnsync init {你刚创建的库url} {源库url}注意本地url是三个斜杠的：///4）开始备份（同步）：svnsync sync file:///home/backup/svn/svnsync/Project15）建立同步脚本备份完毕后，建立钩子脚本进行同步。在源库/hooks/下建立/修改post-commit脚本，在其中增加一行，内容如下：/usr/bin/svnsync sync --non-interactive file:///home/backup/svn/svnsync/Project1你可能已经注意到上面的备份似乎都是本地备份，不是异地备份。实际上，我是通过将远程的备份机mount（请参阅mount命令）到svn服务器上来实现的，逻辑上看起来是本地备份，物理上实际是异地备份。

linux下添加用户到docker组 1.添加docker用户组sudo groupadd docker2.将当前用户添加至docker用户组sudo gpasswd -a $USER docker3.更新docker用户组newgrp docker

git常用命令 1.检出远程代码git clone https://www.xxxcode.com/program-test.git2.增加文件（预提交）git add test.txtgit add .3.提交到本地版本库git commit -m 'Add a test.txt file'4.推送到远程版本库git push origin mastergit push origin branch15.列出所有分支git branch -a6.创建分支git branch branch1git checkout -b branch17.切换分支git checkout branch18.合并分支（先切换到主分支，然后pull更新代码，再执行合并分支命令）git merge branch19.冲突处理使用vi命令或者idea编辑器修改冲突文件然后执行 git add 和 git commit 命令即可解决冲突

docker安装aria2离线下载器 参数说明--name=aria2容器名设置为aria2-v 本地文件夹1:/downloadsAria2下载位置-v 本地文件夹2:/configAria2配置文件位置-e PUID=1026Linux用户UID-e PGID=100Linux用户GID-e SECRET=yourtokenAria2 token-e CACHE=1024MAria2磁盘缓存配置-e PORT=6800RPC通讯端口-e WEBUI=true启用WEBUI-e WEBUI_PORT=8080WEBUI端口-e BTPORT=32516DHT和BT监听端口-e UT=true启动容器时更新trackers-e CTU=启动容器时更新自定义trackes地址-e RUT=true每天凌晨3点更新trackers-e SMD=true保存磁力链接为种子文件-e FA=磁盘预分配模式none,falloc,trunc,prealloc-p 6800:6800Aria2 RPC连接端口-p 6881:6881Aria2 tcp下载端口-p 6881:6881/udpAria2 p2p udp下载端口--restart unless-stopped自动重启容器docker run -d \ --name=aria2 \ -e PUID=1026 \ -e PGID=100 \ -e TZ=Asia/Shanghai \ -e SECRET=yourtoken \ -e CACHE=512M \ -e PORT=6800 \ -e BTPORT=32516 \ -e WEBUI=true \ -e WEBUI_PORT=8080 \ -e UT=true \ -e RUT=true \ -e FA=falloc \ -e QUIET=true \ -e SMD=true \ -p 32516:32516 \ -p 32516:32516/udp \ -p 6800:6800 \ -p 8080:8080 \ -v $PWD/config:/config \ -v $PWD/downloads:/downloads \ --restart unless-stopped \ superng6/aria2:webui-latest

ubuntu安装docker 海外服务器一条命令安装sudo apt-get update && \ sudo apt-get install -y apt-transport-https ca-certificates curl software-properties-common && \ curl -fsSL https://download.docker.com/linux/ubuntu/gpg | \ sudo gpg --dearmor -o /usr/share/keyrings/docker-archive-keyring.gpg && \ echo "deb [arch=amd64 signed-by=/usr/share/keyrings/docker-archive-keyring.gpg] https://download.docker.com/linux/ubuntu $(lsb_release -cs) stable" | \ sudo tee /etc/apt/sources.list.d/docker.list > /dev/null && \ sudo apt-get update && \ sudo apt-get install -y docker-ce docker-ce-cli containerd.io && \ sudo systemctl start dockerubuntu下自带了docker的库，不需要添加新的源。但是ubuntu自带的docker版本太低，需要先卸载旧的再安装新的。1.卸载旧版本sudo apt-get remove docker docker-engine docker.io containerd runc2.安装前提依赖sudo apt update && sudo apt-get install ca-certificates curl gnupg lsb-release3.安装GPG证书sudo curl -fsSL http://mirrors.aliyun.com/docker-ce/linux/ubuntu/gpg | sudo apt-key add -4.写入软件源信息sudo add-apt-repository "deb [arch=amd64] http://mirrors.aliyun.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"非大陆执行：sudo add-apt-repository "deb [arch=amd64] http://mirrors.cloud.aliyuncs.com/docker-ce/linux/ubuntu $(lsb_release -cs) stable"5.安装新版本sudo apt-get install docker-ce docker-ce-cli containerd.io6.配置用户组一行命令添加docker用户组sudo usermod -a -G docker $USER && newgrp docker添加docker用户组sudo groupadd docker为了避免每次命令都要输入sudo，可以设置当前用户到docker用户组，注销重新登录生效sudo gpasswd -a $USER docker或者sudo usermod -a -G docker $USER然后更新docker用户组newgrp docker7.启动dockersudo systemctl start docker8.docker换源修改 /etc/docker/daemon.json (如果该文件不存在，则创建){ "registry-mirrors": [ "https://hub-mirror.c.163.com" ] }安装必要的一些系统工具apt-get -y install apt-transport-https ca-certificates curl software-properties-common添加 docker 配置 /etc/docker/daemon.json{ "exec-opts": ["native.cgroupdriver=systemd"], "log-driver": "json-file", "log-opts": { "max-size": "100m" }, "storage-driver": "overlay2", "registry-mirrors": ["docker镜像仓库国内加速"] }重启 dockerservice docker restart