meisw's blog

有时候远程下载tar包的时候，由于包太大，失去连接时，需要重新下载非常郁闷。
这时候使用split分割分解拆分大包文件，然后单个下载下文件就OK。

在Linux下使用 tar 命令来将文件打包并压缩是很通常的用法了。可是Linux的文件系统对文件大小有限制，也就是说一个文件最大不能超过2G，如果压缩包的的内容很大，最后 的结果就会超过2G，那么该怎么办呢？又或者压缩包希望通过光盘来进行备份，而每张光盘的容量只有700M，那么该如何存储呢？解决的办法就是将最后的压 缩包按照指定大小进行分割，这就需要用到split命令了。

举例说明：
要将目录logs打包压缩并分割成多个1M的文件，可以用下面的命令：
tar cjf - logs/ |split -b 1m - logs.tar.bz2.
完成后会产生下列文件：
logs.tar.bz2.aa, logs.tar.bz2.ab, logs.tar.bz2.ac
要解压的时候只要执行下面的命令就可以了：
cat logs.tar.bz2.a* | tar xj

再举例：
要将文件test.pdf分包压缩成500 bytes的文件：
tar czf - test.pdf | split -b 500 - test.tar.gz
最后要提醒但是那两个"-"不要漏了，那是tar的ouput和split的input的参数。

这里对命令做一些讲解。 
压缩和分割命令行中红色部分的为命令对应的I/O文件名参数，其中-表示标准输入或输出。那么结合上面的例子，tar命令表示的意思就是将logs目录压缩，生成的结果直接输送到标准输出上；而split命令表示从标准输入获得文件内容进行分割，结果文件前缀为logs.tar.bz2.。二者再通过管道将各自的标准输入输出对接起来。 

这里再解释一下split命令的参数含义： 
-b SIZE 指定每个文件的大小，其单位可以为b（512字节）、k（1K）、m（1M） 
-d 使用数字而不是字母作为后缀名 
-a X 指定后缀名的长度，默认为2位 

这样上面的命令就可以变化为： 
tar cjf - logs/ |split -b 1m -d -a 1- logs.tar.bz2.

增量备份

　　1.首先创建完全备份:tar -czvf -g zeng aa.tar.gz /var

　　待/var中的数据变化后

　　2.再做增量备份: tar -czvf -g zeng aa.tar.gz.1 /var

　　差异备份

　　1. find /var -mtime -1 -print> filelist

　　产生要备份的档案的列表-1表示是一天的时间

　　2.tar -czv -T filelist -f /backup.tar.gz

　　依据文件列表进行备份. -T选项可以指定包含要备份的档案的列表

二、还原

tar -zxvf 备份文件.tar.gz -C /

参数x是告诉tar程序解压缩备份文件。 -C 参数是指定tar程序解压缩到的目录。

http://www.ibm.com/developerworks/cn/linux/l-cn-dumpanalyse/index.html?ca=drs-cn-0329

ssh-keygen -t rsa
指定密钥路径和输入口令之后，即在/home/msa/.ssh/中生成公钥和私钥：id_rsa id_rsa.pub

4）cat id_rsa.pub >> authorized_keys
至于为什么要生成这个文件，因为sshd_config里面写的就是这个。
然后chmod 400 authorized_keys，稍微保护一下。

5）用psftp把把id_rsa拉回本地，然后把服务器上的id_rsa和id_rsa.pub干掉

6）配置/etc/ssh/sshd_config
Protocol 2
ServerKeyBits 1024
PermitRootLogin no  #禁止root登录而已，与本文无关，加上安全些

#以下三行没什么要改的，把默认的#注释去掉就行了
RSAAuthentication yes
PubkeyAuthentication yes
AuthorizedKeysFile    .ssh/authorized_keys

PasswordAuthentication no
PermitEmptyPasswords no

7）重启sshd
/sbin/service sshd restart

8）转换证书格式，迁就一下putty
运行puttygen，转换id_rsa为putty的ppk证书文件

9）配置putty登录
在connection–SSH–Auth中，点击Browse,选择刚刚转换好的证书。
然后在connection-Data填写一下auto login username，例如我的是msa
在session中填写服务器的IP地址，高兴的话可以save一下

10）解决一点小麻烦
做到这一步的时候，很可能会空欢喜一场，此时就兴冲冲的登录，没准登不进去：
No supported authentication methods available

这时可以修改一下sshd_config，把
PasswordAuthentication no临时改为：
PasswordAuthentication yes 并重启sshd

今天要在Nginx上设置禁止通过IP访问服务器，只能通过域名访问，这样做是为了避免别人把未备案的域名解析到自己的服务器IP而导致服务器被断网，从网络上搜到以下解决方案：

Nginx的默认虚拟主机在用户通过IP访问，或者通过未设置的域名访问（比如有人把他自己的域名指向了你的ip）的时候生效

最关键的一点是，在server的设置里面添加这一行：
listen 80 default;
后面的default参数表示这个是默认虚拟主机。

这个设置非常有用。
比如别人通过ip或者未知域名访问你的网站的时候，你希望禁止显示任何有效内容，可以给他返回500.
目前国内很多机房都要求网站主关闭空主机头，防止未备案的域名指向过来造成麻烦。就可以这样设置：
server {
listen 80 default;
return 500;
}

也可以把这些流量收集起来，导入到自己的网站，只要做以下跳转设置就可以：
server {
listen 80 default;
rewrite ^(.*) http://www.linuxidc.com permanent;
}
==============================

按照如上设置后，确实不能通过IP访问服务器了，但是在应该用中出现当server_name后跟多个域名时，其中一个域名怎么都无法访问：

设置如下：
server
{
listen 80;
server_name www.linuxidc.com linuxidc.com
没更改之前，通过server_name 中的www.linuxidc.com linuxidc.com均可访问服务器，加入禁止IP访问的设置后，通过linuxidc.com无法访问服务器了，www.linuxidc.com可以访问

用 nginx -t 检测配置文件会提示warning：

[warn]: conflicting server name “linuxidc.com” on 0.0.0.0:80, ignored
the configuration file /usr/local/webserver/nginx/conf/nginx.conf syntax is ok
configuration file /usr/local/webserver/nginx/conf/nginx.conf test is successful

最后通过在listen 80 default;后再加server_name _;解决，形式如下：

#禁止IP访问
server
{
listen 80 default;
server_name _;
return 500;
}
或者
server {
listen 80 dufault;
server_name _;
rewrite ^(.*) http://www.linuxidc.net permanent;
}
这样，通过linuxidc.com就能访问服务器了，问题解决了，但具体原因还是不清楚。

分类:Nginx 成功分享标签:301, ipNginx 设置301重定向2010年3月2日iNginx没有评论 
第一种情况：访问A站定向到B站
server {
server_name www.linuxidc.net ;
rewrite ^(.*) http://www.linuxidc.com$1 permanent;
}
第二种情况：不是访问A站的全部重定向到指定页面
server {
server_name www.linuxidc.net;
if ($host != ‘linuxidc.net’ ) {
rewrite ^/(.*)$ http://www.linuxidc.com/$1 permanent;
}
}
如果写在第一个server段
使用IP访问时也将被重定向

在当前目录下有一个pma目录的文件夹:

1、使用tar对文件压缩加密：
# tar -zcvf - pma|openssl des3 -salt -k password | dd of=pma.des3
完成将得到一个pma.des3的打包文件，用你设置的密码替换password。

2、使用tar对加密文件解压：
# dd if=pma.des3 |openssl des3 -d -k password|tar zxf -
注意：命令最后有”-”，它将释放所有的文件。其中-k password可以不使用，这样执行完命令后会提示你输入密码，加上-k参数表示在程序中自动验证密码

附：OpenSSL加密算法详解：

OpenSSL是一个开源的用以实现SSL协议的产品，它主要包括了三个部分：密码算法库、应用程序、SSL协议库。Openssl实现了SSL协议所需要的大多数算法。
下面介绍使用Openssl进行文件的对称加密操作。

一、Openssl支持的加密算法有：

-aes-128-cbc -aes-128-cfb -aes-128-cfb1
-aes-128-cfb8 -aes-128-ecb -aes-128-ofb
-aes-192-cbc -aes-192-cfb -aes-192-cfb1
-aes-192-cfb8 -aes-192-ecb -aes-192-ofb
-aes-256-cbc -aes-256-cfb -aes-256-cfb1
-aes-256-cfb8 -aes-256-ecb -aes-256-ofb
-aes128 -aes192 -aes256
-bf -bf-cbc -bf-cfb
-bf-ecb -bf-ofb -blowfish
-cast -cast-cbc -cast5-cbc
-cast5-cfb -cast5-ecb -cast5-ofb
-des -des-cbc -des-cfb
-des-cfb1 -des-cfb8 -des-ecb
-des-ede -des-ede-cbc -des-ede-cfb
-des-ede-ofb -des-ede3 -des-ede3-cbc
-des-ede3-cfb -des-ede3-ofb -des-ofb
-des3 -desx -desx-cbc
-rc2 -rc2-40-cbc -rc2-64-cbc
-rc2-cbc -rc2-cfb -rc2-ecb
-rc2-ofb -rc4 -rc4-40


二、OpenSSL加密指令语法：

SYNOPSIS
openssl enc -ciphername [-in filename] [-out filename] [-pass arg] [-e]
[-d] [-a] [-A] [-k password] [-kfile filename] [-K key] [-iv IV] [-p]
[-P] [-bufsize number] [-nopad] [-debug]
说明：
-chipername选项：加密算法，Openssl支持的算法在上面已经列出了，你只需选择其中一种算法即可实现文件加密功能。
-in选项：输入文件，对于加密来说，输入的应该是明文文件；对于解密来说，输入的应该是加密的文件。该选项后面直接跟文件名。
-out选项：输出文件，对于加密来说，输出的应该是加密后的文件名；对于解密来说，输出的应该是明文文件名。
-pass选项：选择输入口令的方式，输入源可以是标准输入设备，命令行输入，文件、变量等。
-e选项：实现加密功能（不使用-d选项的话默认是加密选项）。
-d选项：实现解密功能。
-a和-A选项：对文件进行BASE64编解码操作。
-K选项：手动输入加密密钥（不使用该选项，Openssl会使用口令自动提取加密密钥）。
-IV选项：输入初始变量（不使用该选项，Openssl会使用口令自动提取初始变量）。
-salt选项：是否使用盐值，默认是使用的。
-p选项：打印出加密算法使用的加密密钥。


三、用法举例：

1、使用aes-128-cbc算法加密文件：
openssl enc -aes-128-cbc -in install.log -out enc.log
（注：这里install.log是你想要加密的文件，enc.log是加密后的文件，回车后系统会提示你输入密码。）
2、解密刚才加密的文件：
openssl enc -d -aes-128-cbc -in enc.log -out install.log
（注：enc.log是刚才加密的文件，install.log是解密后的文件，-d选项实现解密功能。）
3、加密文件后使用BASE64格式进行编码：
openssl enc -aes-128-cbc -in install.log -out enc.log -a
4、使用多种口令输入方式加密：
openssl enc -des-ede3-cbc -in install.log -out enc.log -pass pass:111111
（这种方法的好处是你可以把它写入到脚本中，自动完成加密功能，不使用pass选项默认系统会提示输入密码并且确认，是需要人工操作的。）

转

Watchdog概述 

在日常使用heartbeat接管资源的应用中，由于heartbeat无法对 操作系统自身出现的问题进行监控。如果主节点操作系统挂起，一方面可能导致服务中断，另一方面由于主节点资源无法释放，而备份节点却接管了主节点的资源， 此时就发生了两个节点同时争用一个资源的状况。
针对这个问题，就需要在Linux内核中启用一个叫watchdog的模块。watchdog是一个Linux内核模块，它通过定时向/dev /watchdog设备文件执行写操作，从而确定系统是否正常运行。如果watchdog认为内核挂起，就会重新启动系统，进而释放节点资源。
watchdog代码也支持用软件替换外部的硬件计时器，该软件叫做 softdog，softdog维护一个内部计时器，在另一个进程写入/dev/watchdog设备文件时更新，如果softdog没有看到进程写入 /dev/watchdog文件，它认为内核一定出故障了，它将启动一个内核恐慌，正常情况下，内核恐慌将导致系统关闭，但是你可以修改这个默认行为，将 其改为默认行为为重启系统。
当你在/etc/ha.d/ha.cf文件中启用了watchdog选项后，Heartbeat将每隔相当于deadtime长的时间写入/dev /watchdog文件（或设备），因此，出现任何导致Heartbeat更新 watchdog设备失败的事情，一旦watchdog超时周期（默认是一分钟）过期，watchdog将启动内核恐慌。
Watchdog的工作原理 
Watchdog在实现上可以是硬件电路也可以是软件定时器，能够在系统出现故障时自动重新启动系统。在Linux 内核下, watchdog的基本工作原理是：当watchdog启动后(即/dev/watchdog 设备被打开后)，如果在某一设定的时间间隔内/dev/watchdog没有被执行写操作, 硬件watchdog电路或软件定时器就会重新启动系统。
/dev/watchdog 是一个主设备号为10， 从设备号130的字符设备节点。 Linux内核不仅为各种不同类型的watchdog硬件电路提供了驱动，还提供了一个基于定时器的纯软件watchdog驱动。 驱动源码位于内核源码树drivers\char\watchdog\目录下。
硬件与软件watchdog的区别 
硬件watchdog必须有硬件电路支持, 设备节点/dev/watchdog对应着真实的物理设备， 不同类型的硬件watchdog设备由相应的硬件驱动管理。软件watchdog由一内核模块softdog.ko 通过定时器机制实现，/dev/watchdog并不对应着真实的物理设备，只是为应用提供了一个与操作硬件watchdog相同的接口。
硬件watchdog比软件watchdog有更好的可靠性。 软件watchdog基于内核的定时器实现，当内核或中断出现异常时，软件watchdog将会失效。而硬件watchdog由自身的硬件电路控制, 独立于内核。无论当前系统状态如何，硬件watchdog在设定的时间间隔内没有被执行写操作，仍会重新启动系统。
一些硬件watchdog卡如WDT501P 以及一些Berkshire卡还可以监测系统温度，提供了 /dev/temperature接口。 对于应用程序而言, 操作软件、硬件watchdog的方式基本相同：打开设备/dev/watchdog, 在重启时间间隔内对/dev/watchdog执行写操作。即软件、硬件watchdog对应用程序而言基本是透明的。
在任一时刻， 只能有一个watchdog驱动模块被加载，管理/dev/watchdog 设备节点。如果系统没有硬件watchdog电路，可以加载软件watchdog驱动softdog.ko。
测试Watchdog

只要在/etc/ha.d/ha.cf加入

watchdog /dev/watchdog

即可自动启用watchdog功能
可通过如下步骤确认

1、 # grep misc /proc/devices 
10 misc
2、 # cat /proc/misc |grep watchdog
130 watchdog
3、 # lsmod |grep softdog
softdog                 9941  2 

即可确认启用了watchdog功能如果没有生成/dev/watchdong设备，则可通过如下命令自行创建
mknod /dev/watchdog c 10 130 
在主节点上可通过"killall -9 heartbeat"命令关闭Heartbeat进程。由于是非法关闭Heartbeat进程，因此Heartbeat所控制的资源并没有释放。备份节点 在很短一段时间没有收到主节点的响应后，就会认为主节点出现故障，进而接管主节点资源。在这种情况下，就出现了资源争用情况，两个节点都占用一个资源，造 成数据冲突。针对这个情况，可以通过Linux提供的内核监控模块watchdog来解决这个问题，将watchdog集成到Heartbeat中。如果 Heartbeat异常终止，或者系统出现故障，watchdog都会自动重启系统，从而释放集群资源，避免了数据冲突的发生。
在执行"killall -9 heartbeat"时，会在/var/log/messages中看到如下信息：
Softdog: WDT device closed unexpectedly. WDT will not stop! 
系统就会马上重启

参考至:http://linux.chinaitlab.com/linuxjq/744842_6.html

          http://book.51cto.com/art/200912/168038.htm

          http://aaa3060.blog.163.com/blog/static/2817338520104314466314/

          http://blog.sina.com.cn/s/blog_5fc3a8b60100x0ge.html

watchdog 通常是一段物理电路，但这里讲的是linux 内核的实现，也就是softdog ，其原理详见IBM developerworks

watchdog非常强健，是内核的一个模块，能够在系统资源耗尽之际实现系统软重启，防止硬重启带来的巨大损失。

Watchdog 默认的动作是每隔1分钟往/dev/watchdog设备执行写操作，以证明系统运行正常，发现异常就主动发出重启信号。这种功能在高负荷的系统中很有用。虽然重启系统常常是包治百病的“明智之举“，但总让管理员们无法接受。除了重启系统，watchdog真的就没有用武之地了吗？

watchdog 强大的地方在于提供了两个接口test和repair 。

test选项提供了测试机制，一旦测试失败，watchdog就会采取行动挽救，也就是repair 。

repair 选项提供了挽救系统的办法，默认是重启系统，但可以定制，通常是一个shell 脚本。这就是本文的要点。

Watchdog配置文件示例

#ping                        = 172.31.14.1
#ping                        = 172.26.1.255
#interface                = eth0
#file                        = /var/log/messages
#change                        = 1407

# Uncomment to enable test. Setting one of these values to ’0′ disables it.
# These values will hopefully never reboot your machine during normal use
# (if your machine is really hung, the loadavg will go much higher than 25)
#max-load-1                = 24
#max-load-5                = 18
#max-load-15                = 12

# Note that this is the number of pages!
# To get the real size, check how large the pagesize is on your machine.
#min-memory                = 1

#repair-binary                = /usr/sbin/repair
#test-binary                =
#test-timeout                =

#watchdog-device        = /dev/watchdog

# Defaults compiled into the binary
#temperature-device        =
#max-temperature        = 120

# Defaults compiled into the binary
#admin                        = root
#interval                = 10
#logtick                = 1

# This greatly decreases the chance that watchdog won’t be scheduled before
# your machine is really loaded
realtime                = yes
priority                = 1

# Check if syslogd is still running by enabling the following line
#pidfile                = /var/run/syslogd.pid

如果你安装并运行了watchdog，配置文件中的几个基本选项是要打开的，有益无害。
Min-memory                = 1
watchdog-device        = /dev/watchdog

从上面可以得到，watchdog的配置文件里可以监控网络、负载、内存、进程的pid号等，这不就是管理员们日常监控的内容吗？

现在我们进入智能监控主题。所谓智能监控，就是无人值守的监控行为，发现问题，自动修复，如果不能自动修复，还可以通知管理员手动修复。

以监控网络接口eth0 为例，我们开启选项 interface = eth0，接下来开启选项repair-binary= /etc/watchdog.d/repair.sh ,这里我把修复行为指向了一个脚本，repair.sh
,内容如下

#!/usr/bin/env bash

ifconfig eth0 >/dev/null

if [$? != “0”];then

ifup eth0
fi

模拟故障，手动停止eth0，过一会儿，就会看到奇迹发生了，o(∩∩)o…哈哈！！

由于把修复动作交给了脚本，那么一切变得皆有可能！只要其他条件允许，发邮件，发短信、放音乐、看CCAV，总之，完全由你自己决定。

同理，配置文件中的其他监控选项可以举一反三。

假如我有一些定制的服务，平时都是用脚本循环进行监控，用watchdog怎么监控呢？这就要靠test 选项了，watchdog默认的检测行为是每隔一分钟往/dev/watchdog 设备里执行一次写操作，这是个闲活，test选项可以让看门狗执行其他一些检测，以发现异常。

开启选项test = /etc/watchdog.d/test.sh，以监控进程abc为例

#!/usr/bin/env bash

process_number=`pgrep abc |wc -l`

if [ $process_number  == “0” ];then
echo “process abc is not running”
exit 1
fi

按照脚本的意思，如果abc 进程数为0，那么就返回值1，检测到了异常！
相应的，watchdog会尝试修复异常。至于repair 脚本怎么写，你懂的！

你还在用while 循环吗？ out 了！

附:
最简单的安装教程(CentOS)
yum install watchdog -y
modprobe softdog
chkconfig watchdog  on
/etc/init.d/watchdog start

补充内容 (2012-6-6 21:20):
如果repair 失败的话，watchdog依然会重启系统，这个需要注意！

补充内容 (2012-6-15 16:08):
可以通过在repair 脚本中加入 exit 0 来防止watchdog 重启系统，即无论修复是否成功，都返回成功，骗过watchdog 的重启机制