meisw's blog

制做方法是使用cat 命令将执行脚本和打包文件同时放到一个.bin的文件里
这样安装的时候只要使用一个包，直接执行该包即可安装完毕，简单方便。
例：制作安装apache、mysql的安装脚本包
1.将源码包先打包
#tar zcvf packages.tar.gz httpd-2.0.63.tar.bz2 mysql-5.0.33.tar.gz

2.编写脚本如下：
# cat install.sh
#!/bin/bash
dir_tmp=/root/installapache
mkdir $dir_tmp
sed -n -e '1,/^exit 0$/!p' $0 > "${dir_tmp}/packages.tar.gz" 2>/dev/null
cd $dir_tmp
tar zxf packages.tar.gz
tar jxf httpd-2.0.63.tar.bz2
cd  httpd-2.0.63
./configure --prefix=/tmp/apache2
make
make install
cd $dir_tmp
tar zxf mysql-5.0.33.tar.gz
cd mysql-5.0.33
./configure --with-charset=gbk --with-extra-charsets=binary,latin1,gb2312 --localstatedir=/home/db --with-mysqld-ldflags=-all-static -enable-assembler --with-innodb --prefix=/tmp/mysql5
make
make install
exit 0


#cat install.sh packages.tar.gz >install.bin

这样就生成install.bin的安装文件，改文件是由shell脚本和二进制合成的。前半部分是脚本后半部分是二进制文件，用strings等二进制查看命令可以看到
最主要的是下面这句，是将二进制文件从.bin文件里分离出来
sed -n -e '1,/^exit 0$/!p' $0 > "${dir_tmp}/packages.tar.gz" 2>/dev/null

安装的时候直接执行
sh install.bin
安装这个方法可以将我们平时常使用的安装脚本化，然后打包。以后使用就方便了。

linux大硬盘分区parted

我们来看一下两种分区表
MBR分区表：（MBR含义：主引导记录）
所支持的最大卷：2T （T; terabytes,1TB=1024GB）
对分区的设限：最多4个主分区或3个主分区加一个扩展分区（扩展分区中支持无限制的逻辑驱动器）

GPT分区表：（GPT含义：GUID分区表）
支持最大卷：18EB，（E：exabytes,1EB=1024TB）
每个磁盘最多支持128个分区

假设要用parted对/dev/sdb（大小为6000G）进行分区操作：

1、进入系统执行：
#parted /dev/sdb

2、建立磁盘label：

mklabel GPT

3、按p键，查看磁盘可用空间，显示单位为M。6000G应该显示大致

为: /dev/sdb 的磁盘几何结构：0.000-6000000.000 兆字节

4、创建分区:
在(parted)后输入：
mkpart并按照提示操作

分区类型？ primary/主分区/extended/扩展分区? p （如果要创建扩展分区 此处
输入e）
文件系统类型？ [ext2]? (这里直接回车，分区创建完毕后通过mkfs.ext3
/dev/sdb*建立文件系统)
起始点？0
结束点？-1

5、按p键查看刚创建的分区是否已经成功。

6、如果成功，键入quit退出parted。

7、使用mkfs.ext3 /dev/sdb1 来创建文件系统

 
fdisk命令虽然很交互，操作也方便，但是对于大于2T的磁盘无法操作，如果我们想用大于2T的磁盘怎么办?可以把磁盘转化为GPT格式。
 

GPT格式的磁盘相当于原来MBR磁盘中原来保留4个partition table的4*16个字节只留第一个16个字节，类似于扩展分区，真正的partition table在512字节之后，GPT磁盘没有四个主分区的限制。


但fdisk不支持GPT，我们可以使用parted来对GPT磁盘操作。

parted功能很强大，既可用命令行也可以用于交互式


在提示符下输入parted就会进入交互式模式,如果有多个磁盘的话，我们需要运行select sdx x为磁盘，来进行磁盘的选择

parted>

parted>select sdb                假设磁盘为sdb

parted>mklable gpt               将MBR磁盘格式化为GPT

parted>mklable msdos             将GPT磁盘转化为MBR磁盘

parted>mkpart primary 0 100      划分一个起始位置为0大小为100M的主分区

parted>mkpart primary 100 200    划分一个起始位置为100M大小为100M的主分区

parted>print                     打印当前分区

 

在parted里边不支持ext3的文件系统，所以如果要使用的话，要退出parted进行格式话

mkfs.ext3 /dev/sdx1

因为fdisk是不支持GPT磁盘，所以不要使用fdisk -l来查看X磁盘刚才分好的区，看不到的。


命令行的模式：
将硬盘转化为GPT磁盘后，执行下列命令

parted /dev/sdx mkpart primary 0 100   划分一个起始位置为0大小为100M的主分区

Acronym for GUID Partition Table

GPT was introduced for iA64 systems, to get around a fixed 32 bit issue (2 to the power of 32 is 4 billion times a 512 byte block equals 2 Terabytes) in the PC-BIOS Partition table. Partitions larger than 2 TB require using a GPT disklabel, which differs from the PC-BIOS Partition table in a number of ways:

    * Is easily extensible.
    * Can contain up to 128 primary partitions, as opposed to 4, so there's no need for extended partitions.
    * Allows Partitions larger than 2 TB.
    * Identifies Partitions with a GUID so you can reference that Partition even if disks are moved around.
    * Identifies Partition type with a GUID, thus avoiding the type conflicts that plague the PC-BIOS Partition table format.
    * Provides a 46(?) character UTF-16 partition label to identify Partitions.
    * Has a "fake" MBR for backwards compatibility.
    * Includes a CRC32 to detect corrupt Partition tables.
    * Stores a backup Partition table at the end of the disk.

Most partitioning tools under Linux will fail to do anything sensible with a > 2 TB Partition. As of this writing, parted(8) is the only one that understands them and will let you set the GPT label on the disk.

There is a lot of information stating that you cannot boot off a GPT enabled device. Most of the claims imply that the fault is with LILO or GRUB not understanding GPT devices. We've not tested this, but GPT and traditional MBRs will coexist.

See also:

    * Disk Sectors on GPT Disks from the MS Knowledge Base

所以在超过2TB时,我不能使用交互很好的Fdisk命令,只能磁盘转化为GPT格式。由于GPT格式的磁盘相当于原来MBR磁盘中原来保留4个 partition table的4*16个字节只留第一个16个字节，其它的类似于扩展分区，真正的partition table在512字节之后，所以对GPT磁盘表来讲没有四个主分区的限制。

对GPT磁盘分区表进行操作，我们要使用parted命令。其实parted功能很强大，它可以象fdisk一样既可用命令行也可以用于交互式.
下面我们就来实际操作吧，在提示符下输入parted就会进入交互式模式

#  parted  /dev/sdb
GNU  Parted  1.8.1
Using  /dev/sdb
Welcome  to  GNU  Parted!  Type  'help'  to  view  a  list  of  commands.

(parted) mklabel gpt
将MBR磁盘格式化为GPT

(parted) mkpart primary 0 100
划分一个起始位置为0大小为100M的主分区

(parted) mkpart primary 100 200
划分一个起始位置为100M大小为100M的主分区

(parted)  mkpart  primary  0  -1

划分所有空间到一个分区

(parted)  print
打印当前分区

(parted)  quit

可能还会用到的一些命令

(parted) mklable msdos
如果要反过来.将GPT磁盘转化为MBR磁盘

在这样分完分区后,还要使用mkfs.ext3来进行格式化
#partprobe
#mkfs.ext3 -F /dev/sdb1

记的哦，因为fdisk是不支持GPT磁盘，所以使用fdisk -l来查看磁盘刚才的分区是没有用的.

命令行的模式：

将硬盘转化为GPT磁盘后，执行下列命令

parted /dev/sdx mkpart primary 0 100
##划分一个起始位置为0大小为100M的主分区

parted /dev/sdb
p
mklabel gpt
GPT
mkpart primary 0 -1
mkfs.ext3 /dev/sdb1

首先说明下，在写脚本时，记得要用vi写，其它的文本编辑器不要用，因为会出来许多不知名的字符。

个人认为在vi中输入(:set nu)显示行号，更加适合编辑。

如果eth1网卡上用来上外网，eth2是用来作内网共享上网。tc只能控制发送的数据量所以要写下载的话，只能写在eth2网卡上。

一，先记得清空eth2旧有队列，再作根队列进行绑定这个网卡

tc qdisc del dev eth2 root
tc qdisc add dev eth2 root handle 2: htb default 20

注：这里有一个默认就是选择2:20

二，作根类

tc class add dev eth2 parent 2:0 classid 2:1 htb rate 100kbit

这里也作了根类的限速，所以共享所能拥有的网速100k。这里的k可不是我们平时用的k,100kbit大概只能提供12k的下载速度，也就是如同我们拉了一根10M的光纤，实际下载的速度只有1.2M。这个关系也就是除个8这样。

注:htb是Hierarchy Token Bucket的缩写。通过在实践基础上的改进，它实现了一个丰富的连接共享类别体系。HTB可以通过TBF(Token Bucket Filter)令牌桶过滤器实现带宽限制，也能够划分类别的优先级。

三，作子类

tc class add dev eth2 parent 2:1 classid 2:50 htb rate 50kbit ceil 50kbit
tc class add dev eth2 parent 2:1 classid 2:100 htb rate 100kbit ceil 100kbit
tc class add dev eth2 parent 2:1 classid 2:20 htb rate 20kbit ceil 20kbit

这三个子类，都进行了限速而且不能借速，如果rate 128kbit ceil 384kbit 速率是128kbit,最高是384kbit，也就是它能借用(384-128)kbit ，但是这里有一点ceil的值最高可不能大于根类的大小。

四，作队列

tc qdisc add dev eth2 parent 2:50 handle 50: sfq perturb 10

tc qdisc add dev eth2 parent 2:100 handle 100: sfq perturb 10

tc qdisc add dev eth2 parent 2:20 handle 20: sfq perturb 10

这里的sfq perturb 10还可能是以下的几种形式：

第一种:[p|b]fifo先进先出只有一个参数：limit. pfifo是以数据包的个数为单位；bfifo是以字节数为单位。如：pfifo limit 2

第二种:red是Random Early Detection(随机早期探测)的简写。如果使用这种QDISC，当带宽的占用接近于规定的带宽时，系统会随机地丢弃一些数据包。它非常适合高带宽应用。

第三种:sfq是Stochastic Fairness Queueing（随机公平队列）的简写。是公平队列算法家族中的一个简单实现.它的精确性不如其它的方法,但是它在实现高度公平的同时,需要的计算量却很少。只有当你的出口网卡确实已经挤满了的时候,SFQ才会起作用,SFQ会频繁地改变散列算法,这也是公平的一个方面。sfq的perturb参数指多少秒后重新配置一次散列算法.如果取消设置,散列算法将永远不会重新配置(不建议这样做).10秒应该是一个合适的值：如tc qdisc add dev eth0 parent 2:10 handle 10: sfq perturb 10

第四种:tbf是Token Bucket Filter（令牌桶过滤器）的简写，适合于把流速降低到某个值。这个参数参考tc命令及参数

五，过滤器

tc filter add dev eth2 protocol ip parent 2:0 prio 1 u32 match ip dst 192.168.1.50/32 flowid 2:50
tc filter add dev eth2 protocol ip parent 2:0 prio 1 u32 match ip dst 192.168.1.100/32 flowid 2:100
tc filter add dev eth2 protocol ip parent 2:0 prio 3 u32 match ip dst 192.168.1.0/24 flowid 2:20

这里用u32的过滤器

还有一种是fw形式的过滤器，fw的写法
tc filter add dev eth0 parent 1:0 protocol ip prio 1 handle 1 fw classid 1:11

另个还得在iptables 作fw标志。

一般出外网时才会用fw规则，因为内部IP地址在经过外网卡时会进行NAT，所以不能用源地址进行U32匹配，只能是FW规则进行流量标识。

iptables -A PREROUTING -t mangle -i eth2 -s 192.168.1.200/32 -j MARK --set-mark 1

iptables -A PREROUTING -t mangle -i eth2 -s 192.168.1.172/32 -j MARK --set-mark 1

iptables -A PREROUTING -t mangle -i eth2 -s 192.168.1.82/32 -j MARK --set-mark 1

tc filter add dev eth1 parent 1:0 protocol ip prio 3 handle 1 fw classid 1:20

iptables mark后的值也就是tc fw前的值

但是prio优先级一定不能相同，否则fw规则将失效

因为我没有做上传限速，所以没有用到fw.

这里有没有看到ip的形式是192.168.1.82/32 和192.168.1.0/24。前者表示192.168.1.82这样一个ip，后者却是表示192.168.1这样的一个整个c段的网络地址。

这里的ip不能写成192.168.1.25-82(想表示的意思是从192.168.1.25到192.168.1.82这里的所有ip)。我用了很多的方法，都做不到。如果要这样做的话，我只能用shell里做一个循环。

IPS=2#起始
IPE=253#结束

COUNTER=$IPS
while [ $COUNTER -le $IPE ]

do
语句 $COUNTER
COUNTER=` expr $COUNTER + 1 `
done

还有规则是提到的ip的电脑一起共用所设带宽

wget -cbN

c 续传 b 后台执行 N 更新

-U --user-agent="Mozilla/4.0 (compatible; MSIE 7.0; Windows NT 5.1; CIBA)"

Mozilla/4.0 (compatible; MSIE 6.0; Windows NT 5.1; SV1; .NET CLR 1.1.4322; .NET CLR 2.0.50727)

--referer=URL 引用

WGet使用
wget是一个从网络上自动下载文件的自由工具。它支持HTTP，HTTPS和FTP协议，可以使用HTTP代理.

所谓的自动下载是指，wget可以在用户退出系统的之后在后台执行。这意味这你可以登录系统，启动一个wget下载任务，然后退出系统，wget将在后台执行直到任务完成，相对于其它大部分浏览器在下载大量数据时需要用户一直的参与，这省去了极大的麻烦。

wget可以跟踪HTML页面上的链接依次下载来创建远程服务器的本地版本，完全重建原始站点的目录结构。这又常被称作”递归下载”。在递归下载的时候，wget遵循Robot Exclusion标准(/robots.txt). wget可以在下载的同时，将链接转换成指向本地文件，以方便离线浏览。

wget非常稳定,它在带宽很窄的情况下和不稳定网络中有很强的适应性.如果是由于网络的原因下载失败，wget会不断的尝试，直到整个文件下载完 毕。如果是服务器打断下载过程，它会再次联到服务器上从停止的地方继续下载。这对从那些限定了链接时间的服务器上下载大文件非常有用。

=================================================================================
wget的使用格式

Usage: wget [OPTION]... [URL]...用wget做站点镜像:
wget -r -p -np -k http://dsec.pku.edu.cn/~usr_name/
# 或者
wget -m http://www.tldp.org/LDP/abs/html/在不稳定的网络上下载一个部分下载的文件，以及在空闲时段下载
wget -t 0 -w 31 -c http://dsec.pku.edu.cn/BBC.avi -o down.log &
# 或者从filelist读入要下载的文件列表
wget -t 0 -w 31 -c -B ftp://dsec.pku.edu.cn/linuxsoft -i filelist.txt -o down.log &上面的代码还可以用来在网络比较空闲的时段进行下载。我的用法是:在mozilla中将不方便当时下载的URL链接拷贝到内存中然后粘贴到文件filelist.txt中，在晚上要出去系统前执行上面代码的第二条。

使用代理下载
wget -Y on -p -k https://sourceforge.net/projects/wvware/代理可以在环境变量或wgetrc文件中设定

# 在环境变量中设定代理
export PROXY=http://211.90.168.94:8080/
# 在~/.wgetrc中设定代理
http_proxy = http://proxy.yoyodyne.com:18023/
ftp_proxy = http://proxy.yoyodyne.com:18023/wget各种选项分类列表
==================================================================================

代码:

　　$ wget --help

　　GNU Wget 1.9.1，非交互式的网络文件下载工具。
　　用法： wget [选项]... [URL]...

　　长选项必须用的参数在使用短选项时也是必须的。

启动：

　　-V, --version 显示 Wget 的版本并且退出。
　　-h, --help 打印此帮助。
　　-b, -background 启动后进入后台操作。
　　-e, -execute=COMMAND 运行‘.wgetrc’形式的命令。

日志记录及输入文件：

　　-o, --output-file=文件 将日志消息写入到指定文件中。
　　-a, --append-output=文件 将日志消息追加到指定文件的末端。
　　-d, --debug 打印调试输出。
　　-q, --quiet 安静模式(不输出信息)。
　　-v, --verbose 详细输出模式(默认)。
　　-nv, --non-verbose 关闭详细输出模式，但不进入安静模式。
　　-i, --input-file=文件 下载从指定文件中找到的 URL。
　　-F, --force-html 以 HTML 方式处理输入文件。
　　-B, --base=URL 使用 -F -i 文件选项时，在相对链接前添加指定的 URL。

下载：

　　-t, --tries=次数 配置重试次数（0 表示无限）。
　　--retry-connrefused 即使拒绝连接也重试。
　　-O --output-document=文件 将数据写入此文件中。
　　-nc, --no-clobber 不更改已经存在的文件，也不使用在文件名后
　　添加 .#（# 为数字）的方法写入新的文件。
　　-c, --continue 继续接收已下载了一部分的文件。
　　--progress=方式 选择下载进度的表示方式。
　　-N, --timestamping 除非远程文件较新，否则不再取回。
　　-S, --server-response 显示服务器回应消息。
　　--spider 不下载任何数据。
　　-T, --timeout=秒数 配置读取数据的超时时间 (秒数)。
　　-w, --wait=秒数 接收不同文件之间等待的秒数。
　　--waitretry=秒数 在每次重试之间稍等一段时间 (由 1 秒至指定的 秒数不等)。
　　--random-wait 接收不同文件之间稍等一段时间(由 0 秒至 2*WAIT 秒不等)。
　　-Y, --proxy=on/off 打开或关闭代理服务器。
　　-Q, --quota=大小 配置接收数据的限额大小。
　　--bind-address=地址 使用本机的指定地址 (主机名称或 IP) 进行连接。
　　--limit-rate=速率 限制下载的速率。
　　--dns-cache=off 禁止查找存于高速缓存中的 DNS。
　　--restrict-file-names=OS 限制文件名中的字符为指定的 OS (操作系统) 所允许的字符。

目录：

　　-nd --no-directories 不创建目录。
　　-x, --force-directories 强制创建目录。
　　-nH, --no-host-directories 不创建含有远程主机名称的目录。
　　-P, --directory-prefix=名称 保存文件前先创建指定名称的目录。
　　--cut-dirs=数目 忽略远程目录中指定数目的目录层。

HTTP 选项：

　　--http-user=用户 配置 http 用户名。
　　--http-passwd=密码 配置 http 用户密码。
　　-C, --cache=on/off (不)使用服务器中的高速缓存中的数据 (默认是使用的)。
　　-E, --html-extension 将所有 MIME 类型为 text/html 的文件都加上 .html 扩展文件名。
　　--ignore-length 忽略“Content-Length”文件头字段。
　　--header=字符串 在文件头中添加指定字符串。
　　--proxy-user=用户 配置代理服务器用户名。
　　--proxy-passwd=密码 配置代理服务器用户密码。
　　--referer=URL 在 HTTP 请求中包含“Referer：URL”头。
　　-s, --save-headers 将 HTTP 头存入文件。
　　-U, --user-agent=AGENT 标志为 AGENT 而不是 Wget/VERSION。
　　--no-http-keep-alive 禁用 HTTP keep-alive（持久性连接）。
　　--cookies=off 禁用 cookie。
　　--load-cookies=文件 会话开始前由指定文件载入 cookie。
　　--save-cookies=文件 会话结束后将 cookie 保存至指定文件。
　　--post-data=字符串 使用 POST 方法，发送指定字符串。
　　--post-file=文件 使用 POST 方法，发送指定文件中的内容。

HTTPS (SSL) 选项：

　　--sslcertfile=文件 可选的客户段端证书。
　　--sslcertkey=密钥文件 对此证书可选的“密钥文件”。
　　--egd-file=文件 EGD socket 文件名。
　　--sslcadir=目录 CA 散列表所在的目录。
　　--sslcafile=文件 包含 CA 的文件。
　　--sslcerttype=0/1 Client-Cert 类型 0=PEM (默认) / 1=ASN1 (DER)
　　--sslcheckcert=0/1 根据提供的 CA 检查服务器的证书
　　--sslprotocol=0-3 选择 SSL 协议；0=自动选择，
　　1=SSLv2 2=SSLv3 3=TLSv1

FTP 选项：

　　-nr, --dont-remove-listing 不删除“.listing”文件。
　　-g, --glob=on/off 设置是否展开有通配符的文件名。
　　--passive-ftp 使用“被动”传输模式。
　　--retr-symlinks 在递归模式中，下载链接所指示的文件(连至目录则例外）。

递归下载：

　　-r, --recursive 递归下载。
　　-l, --level=数字 最大递归深度(inf 或 0 表示无限)。
　　--delete-after 删除下载后的文件。
　　-k, --convert-links 将绝对链接转换为相对链接。
　　-K, --backup-converted 转换文件 X 前先将其备份为 X.orig。
　　-m, --mirror 等效于 -r -N -l inf -nr 的选项。
　　-p, --page-requisites 下载所有显示完整网页所需的文件，例如图像。
　　--strict-comments 打开对 HTML 备注的严格(SGML)处理选项。

递归下载时有关接受/拒绝的选项：

　　-A, --accept=列表 接受的文件样式列表，以逗号分隔。
　　-R, --reject=列表 排除的文件样式列表，以逗号分隔。
　　-D, --domains=列表 接受的域列表，以逗号分隔。
　　--exclude-domains=列表 排除的域列表，以逗号分隔。
　　--follow-ftp 跟随 HTML 文件中的 FTP 链接。
　　--follow-tags=列表 要跟随的 HTML 标记，以逗号分隔。
　　-G, --ignore-tags=列表 要忽略的 HTML 标记，以逗号分隔。
　　-H, --span-hosts 递归时可进入其它主机。
　　-L, --relative 只跟随相对链接。
　　-I, --include-directories=列表 要下载的目录列表。
　　-X, --exclude-directories=列表 要排除的目录列表。
　　-np, --no-parent 不搜索上层目录。
 

=================================================================================
 wget虽然功能强大，但是使用起来还是比较简单的，基本的语法是：wget [参数列表] URL。下面就结合具体的例子来说明一下wget的用法。
    1、下载整个http或者ftp站点。
    wget http://place.your.url/here
    这个命令可以将http://place.your.url/here 首页下载下来。使用-x会强制建立服务器上一模一样的目录，如果使用-nd参数，那么服务器上下载的所有内容都会加到本地当前目录。

    wget -r http://place.your.url/here
    这个命令会按照递归的方法，下载服务器上所有的目录和文件，实质就是下载整个网站。这个命令一定要小心使用，因为在下载的时候，被下载网站指向的所有地址同样会被下载，因此，如果这个网站引用了其他网站，那么被引用的网站也会被下载下来！基于这个原因，这个参数不常用。可以用-l number参数来指定下载的层次。例如只下载两层，那么使用-l 2。

    要是您想制作镜像站点，那么可以使用－m参数，例如：wget -m http://place.your.url/here
    这时wget会自动判断合适的参数来制作镜像站点。此时，wget会登录到服务器上，读入robots.txt并按robots.txt的规定来执行。

    2、断点续传。
    当文件特别大或者网络特别慢的时候，往往一个文件还没有下载完，连接就已经被切断，此时就需要断点续传。wget的断点续传是自动的，只需要使用-c参数，例如：
    wget -c http://the.url.of/incomplete/file
    使用断点续传要求服务器支持断点续传。-t参数表示重试次数，例如需要重试100次，那么就写-t 100，如果设成-t 0，那么表示无穷次重试，直到连接成功。-T参数表示超时等待时间，例如-T 120，表示等待120秒连接不上就算超时。

    3、批量下载。
    如果有多个文件需要下载，那么可以生成一个文件，把每个文件的URL写一行，例如生成文件download.txt，然后用命令：wget -i download.txt
这样就会把download.txt里面列出的每个URL都下载下来。（如果列的是文件就下载文件，如果列的是网站，那么下载首页）

    4、选择性的下载。
    可以指定让wget只下载一类文件，或者不下载什么文件。例如：
    wget -m --reject=gif http://target.web.site/subdirectory
    表示下载http://target.web.site/subdirectory，但是忽略gif文件。--accept=LIST 可以接受的文件类型，--reject=LIST拒绝接受的文件类型。

    5、密码和认证。
    wget只能处理利用用户名/密码方式限制访问的网站，可以利用两个参数：
    --http-user=USER设置HTTP用户
    --http-passwd=PASS设置HTTP密码
    对于需要证书做认证的网站，就只能利用其他下载工具了，例如curl。

    6、利用代理服务器进行下载。
    如果用户的网络需要经过代理服务器，那么可以让wget通过代理服务器进行文件的下载。此时需要在当前用户的目录下创建一个.wgetrc文件。文件中可以设置代理服务器：
    http-proxy = 111.111.111.111:8080
    ftp-proxy = 111.111.111.111:8080
    分别表示http的代理服务器和ftp的代理服务器。如果代理服务器需要密码则使用：
    --proxy-user=USER设置代理用户
    --proxy-passwd=PASS设置代理密码
    这两个参数。
    使用参数--proxy=on/off 使用或者关闭代理。
    wget还有很多有用的功能，需要用户去挖掘。

ulimit 功能简述

假设有这样一种情况，当一台 Linux 主机上同时登陆了 10 个人，在系统资源无限制的情况下，这 10 个用户同时打开了 500 个文档，而假设每个文档的大小有 10M，这时系统的内存资源就会受到巨大的挑战。

而实际应用的环境要比这种假设复杂的多，例如在一个嵌入式开发环境中，各方面的资源都是非常紧缺的，对于开启文件描述符的数量，分配堆栈的大小，CPU 时间，虚拟内存大小，等等，都有非常严格的要求。资源的合理限制和分配，不仅仅是保证系统可用性的必要条件，也与系统上软件运行的性能有着密不可分的联系。这时，ulimit 可以起到很大的作用，它是一种简单并且有效的实现资源限制的方式。

ulimit 用于限制 shell 启动进程所占用的资源，支持以下各种类型的限制：所创建的内核文件的大小、进程数据块的大小、Shell 进程创建文件的大小、内存锁住的大小、常驻内存集的大小、打开文件描述符的数量、分配堆栈的最大大小、CPU 时间、单个用户的最大线程数、Shell 进程所能使用的最大虚拟内存。同时，它支持硬资源和软资源的限制。

作为临时限制，ulimit 可以作用于通过使用其命令登录的 shell 会话，在会话终止时便结束限制，并不影响于其他 shell 会话。而对于长期的固定限制，ulimit 命令语句又可以被添加到由登录 shell 读取的文件中，作用于特定的 shell 用户。

图 1. ulimit 的使用

在下面的章节中，将详细介绍如何使用 ulimit 做相应的资源限制。

如何使用 ulimit

ulimit 通过一些参数选项来管理不同种类的系统资源。在本节，我们将讲解这些参数的使用。

ulimit 命令的格式为：ulimit [options] [limit]

具体的 options 含义以及简单示例可以参考以下表格。

表 1. ulimit 参数说明

我们可以通过以下几种方式来使用 ulimit：

• 在用户的启动脚本中

  如果用户使用的是 bash，就可以在用户的目录下的 .bashrc 文件中，加入 ulimit – u 64，来限制用户最多可以使用 64 个进程。此外，可以在与 .bashrc 功能相当的启动脚本中加入 ulimt。

• 在应用程序的启动脚本中

  如果用户要对某个应用程序 myapp 进行限制，可以写一个简单的脚本 startmyapp。

  ulimit – s 512 myapp

  
  

  以后只要通过脚本 startmyapp 来启动应用程序，就可以限制应用程序 myapp 的线程栈大小为 512K。

• 直接在控制台输入

  user@tc511-ui:~>ulimit – p 256

  
  

  限制管道的缓冲区为 256K。

回页首

用户进程的有效范围

ulimit 作为对资源使用限制的一种工作，是有其作用范围的。那么，它限制的对象是单个用户，单个进程，还是整个系统呢？事实上，ulimit 限制的是当前 shell 进程以及其派生的子进程。举例来说，如果用户同时运行了两个 shell 终端进程，只在其中一个环境中执行了 ulimit – s 100，则该 shell 进程里创建文件的大小收到相应的限制，而同时另一个 shell 终端包括其上运行的子程序都不会受其影响：

Shell 进程 1

ulimit – s 100 
 cat testFile > newFile 
 File size limit exceeded

Shell 进程 2

cat testFile > newFile 
 ls – s newFile 
 323669 newFile

那么，是否有针对某个具体用户的资源加以限制的方法呢？答案是有的，方法是通过修改系统的 /etc/security/limits 配置文件。该文件不仅能限制指定用户的资源使用，还能限制指定组的资源使用。该文件的每一行都是对限定的一个描述，格式如下：

<domain> <type> <item> <value>

domain 表示用户或者组的名字，还可以使用 * 作为通配符。Type 可以有两个值，soft 和 hard。Item 则表示需要限定的资源，可以有很多候选值，如 stack，cpu，nofile 等等，分别表示最大的堆栈大小，占用的 cpu 时间，以及打开的文件数。通过添加对应的一行描述，则可以产生相应的限制。例如：

* hard noflle 100

该行配置语句限定了任意用户所能创建的最大文件数是 100。

现在已经可以对进程和用户分别做资源限制了，看似已经足够了，其实不然。很多应用需要对整个系统的资源使用做一个总的限制，这时候我们需要修改 /proc 下的配置文件。/proc 目录下包含了很多系统当前状态的参数，例如 /proc/sys/kernel/pid_max，/proc/sys/net/ipv4/ip_local_port_range 等等，从文件的名字大致可以猜出所限制的资源种类。由于该目录下涉及的文件众多，在此不一一介绍。有兴趣的读者可打开其中的相关文件查阅说明。

回页首

ulimit 管理系统资源的例子

ulimit 提供了在 shell 进程中限制系统资源的功能。本章列举了一些使用 ulimit 对用户进程进行限制的例子，详述了这些限制行为以及对应的影响，以此来说明 ulimit 如何对系统资源进行限制，从而达到调节系统性能的功能。

使用 ulimit 限制 shell 的内存使用

在这一小节里向读者展示如何使用 – d，– m 和 – v 选项来对 shell 所使用的内存进行限制。

首先我们来看一下不设置 ulimit 限制时调用 ls 命令的情况：

图 2. 未设置 ulimit 时 ls 命令使用情况

大家可以看到此时的 ls 命令运行正常。下面设置 ulimit：

>ulimit -d 1000 -m 1000 -v 1000

这里再温习一下前面章节里介绍过的这三个选项的含义：

-d：设置数据段的最大值。单位：KB。

-m：设置可以使用的常驻内存的最大值。单位：KB。

-v：设置虚拟内存的最大值。单位：KB。

通过上面的 ulimit 设置我们已经把当前 shell 所能使用的最大内存限制在 1000KB 以下。接下来我们看看这时运行 ls 命令会得到什么样的结果：

haohe@sles10-hehao:~/code/ulimit> ls test -l 
 /bin/ls: error while loading shared libraries: libc.so.6: failed to map segment 
 from shared object: Cannot allocate memory

从上面的结果可以看到，此时 ls 运行失败。根据系统给出的错误信息我们可以看出是由于调用 libc 库时内存分配失败而导致的 ls 出错。那么我们来看一下这个 libc 库文件到底有多大：

图 3. 查看 libc 文件大小

从上面的信息可以看出，这个 libc 库文件的大小是 1.5MB。而我们用 ulimit 所设置的内存使用上限是 1000KB，小于 1.5MB，这也就充分证明了 ulimit 所起到的限制 shell 内存使用的功能。

使用 ulimit 限制 shell 创建的文件的大小

接下来向读者展示如何使用 -f 选项来对 shell 所能创建的文件大小进行限制。

首先我们来看一下，没有设置 ulimit -f 时的情况：

图 4. 查看文件

现有一个文件 testFile 大小为 323669 bytes，现在使用 cat 命令来创建一个 testFile 的 copy：

图 5. 未设置 ulimit 时创建复本

从上面的输出可以看出，我们成功的创建了 testFile 的拷贝 newFile。

下面我们设置 ulimt – f 100：

> ulimit -f 100

-f 选项的含义是：用来设置 shell 可以创建的文件的最大值。单位是 blocks。

现在我们再来执行一次相同的拷贝命令看看会是什么结果：

图 6. 设置 ulimit 时创建复本

这次创建 testFile 的拷贝失败了，系统给出的出错信息时文件大小超出了限制。在 Linux 系统下一个 block 的默认大小是 512 bytes。所以上面的 ulimit 的含义就是限制 shell 所能创建的文件最大值为 512 x 100 = 51200 bytes，小于 323669 bytes，所以创建文件失败，符合我们的期望。这个例子说明了如何使用 ulimit 来控制 shell 所能创建的最大文件。

使用 ulimit 限制程序所能创建的 socket 数量

考虑一个现实中的实际需求。对于一个 C/S 模型中的 server 程序来说，它会为多个 client 程序请求创建多个 socket 端口给与响应。如果恰好有大量的 client 同时向 server 发出请求，那么此时 server 就会需要创建大量的 socket 连接。但在一个系统当中，往往需要限制单个 server 程序所能使用的最大 socket 数，以供其他的 server 程序所使用。那么我们如何来做到这一点呢？答案是我们可以通过 ulimit 来实现！细心的读者可能会发现，通过前面章节的介绍似乎没有限制 socket 使用的 ulimit 选项。是的，ulimit 并没有哪个选项直接说是用来限制 socket 的数量的。但是，我们有 -n 这个选项，它是用于限制一个进程所能打开的文件描述符的最大值。在 Linux 下一切资源皆文件，普通文件是文件，磁盘打印机是文件，socket 当然也是文件。在 Linux 下创建一个新的 socket 连接，实际上就是创建一个新的文件描述符。如下图所示（查看某个进程当前打开的文件描述符信息）：

图 7. 查看进程打开文件描述符

因此，我们可以通过使用 ulimit – n 来限制程序所能打开的最大文件描述符数量，从而达到限制 socket 创建的数量。

使用 ulimit 限制 shell 多线程程序堆栈的大小（增加可用线程数量）

在最后一个例子中，向大家介绍如何使用 -s（单位 KB）来对线程的堆栈大小进行限制，从而减少整个多线程程序的内存使用，增加可用线程的数量。这个例子取自于一个真实的案例。我们所遇到的问题是系统对我们的多线程程序有如下的限制：

ulimit -v 200000

根据本文前面的介绍，这意味着我们的程序最多只能使用不到 200MB 的虚拟内存。由于我们的程序是一个多线程程序，程序在运行时会根据需要创建新的线程，这势必会增加总的内存需求量。一开始我们对堆栈大小的限制是 1024 （本例子中使用 1232 来说明）：

# ulimit – s 1232

当我们的程序启动后，通过 pmap 来查看其内存使用情况，可以看到多个占用 1232KB 的数据段，这些就是程序所创建的线程所使用的堆栈：

图 8. 程序线程所使用的堆栈

每当一个新的线程被创建时都需要新分配一段大小为 1232KB 的内存空间，而我们总的虚拟内存限制是 200MB，所以如果我们需要创建更多的线程，那么一个可以改进的方法就是减少每个线程的固定堆栈大小，这可以通过 ulimit – s 来实现：

# ulimit -s 512

我们将堆栈大小设置为 512KB，这时再通过 pmap 查看一下我们的设置是否起作用：

图 9. 设置 ulimit 后堆栈大小

从上面的信息可以看出，我们已经成功的将线程的堆栈大小改为 512KB 了，这样在总内存使用限制不变的情况下，我们可以通过本小节介绍的方法来增加可以创建的线程数，从而达到改善程序的多线程性能。

总结

综上所述，linux 系统中的 ulimit 指令，对资源限制和系统性能优化提供了一条便捷的途径。从用户的 shell 启动脚本，应用程序启动脚本，以及直接在控制台，都可以通过该指令限制系统资源的使用，包括所创建的内核文件的大小、进程数据块的大小、Shell 进程创建文件的大小、内存锁住的大小、常驻内存集的大小、打开文件描述符的数量、分配堆栈的最大大小、CPU 时间、单个用户的最大线程数、Shell 进程所能使用的最大虚拟内存，等等方面。本文中的示例非常直观的说明了 ulimit 的使用及其产生的效果，显而易见，ulimit 对我们在 Linux 平台的应用和开发工作是非常实用的。

特别感谢

贺皓为本篇文章的撰写提出了很多建议，做了大量实验，提供了文章中的实验数据和结论。

贺皓是 IBM CSTL（中国系统与科技开发中心）的软件工程师。他在复旦大学获得了计算机科学专业的学士与硕士学位。目前他在 IBM SVC Agent 开发小组从事研发工作。

简单来说，RAID（磁盘阵列）把多个硬盘组合成为一个逻辑扇区，因此，操作系统只会把它当作一个硬盘。RAID常被用在服务器电脑上，并且常使用完全相同的硬盘作为组合。最初的RAID分成了不同的等级，每种等级都有其理论上的优缺点。更多内容参考：RAID

阵列可以有阵列卡实现的硬阵列，也可以由操作系统提供支持的软阵列。linux下的软阵列用mdadm来管理。以下是针对CentOS的基本操作：

一、建立软阵列一般分为3个步骤
1、产生组成单元

linux中软阵列的组成单元是分区，且这个分区的系统识别码必须设置成“fd linux raid autodetect”。可以用fdisk或pareted分区工具分区。

   Device Boot      Start         End      Blocks   Id  System
/dev/hdb1               1         195       98248+  fd  Linux raid autodetect
/dev/hdb2             196         390       98280   fd  Linux raid autodetect2、建立磁盘阵列

mdadm -C /dev/md0 -l 1 -n 4 /dev/hd[bd][12]
#-C /dev/md0 创建名为md0的磁盘阵列设备
#-l 1 阵列等级是raid1，可以建立0，5等其他磁盘阵列
#-n 4 组成单元有4个分区
#/dev/hd[bd][12] 组成单元是/dev/hdb1、/dev/hdb2、/dev/hdd1、/dev/hdd2

#格式化该磁盘阵列
mkfs -t ext3 /dev/md0

#挂载并设置/etc/fstab
mount /dev/md0 /data
echo "/dev/md0 /data ext3 defaults 1 2" >> /etc/fstab3、mdadm.conf配置

/etc/mdadm.conf是centos下mdadm的默认配置文件，系统启动时会根据此配置文件激活磁盘阵列及启动阵列监控服务。此配置文件可以参考/usr/share/doc/mdadm-2.6.9/mdadm.conf-example。配置很简单，可以根据已经建立的磁盘阵列使用以下命令建立此文件。

mdadm -Ds >> /etc/mdadm.conf
echo "MAILADDR saplingidea@gmail.com" >> /etc/mdadm.conf
#MAILADDR是管理员email，磁盘阵列出问题时会发邮件通知管理员。
cat /etc/mdadm.conf
#内容如下
ARRAY /dev/md0 level=raid1 num-devices=4 metadata=0.90 UUID=40d32084:7be6bc73:071b21a9:4d8afc12
MAILADDR saplingidea@gmail.com二、管理磁盘阵列
1、查看磁盘阵列信息

#直接查看/proc/mdstat
cat /proc/mdstat
Personalities : [raid1]
md0 : active raid1 hdd2[3] hdd1[2] hdb2[1] hdb1[0]
      98176 blocks [4/4] [UUUU]

#使用mdadm查看
mdadm -D /dev/md02、处理硬盘故障

对于raid1，raid5这样有容灾能力的磁盘阵列来说，硬盘的故障不用太担心。以下是处理硬盘故障一般步骤：
a.使用mdadm /dev/md0 -r /dev/hdb1 在线卸载故障硬盘的组成单元
b.物理拆除故障硬盘
c.安装正常的硬盘并分区产生新的组成单元
d.使用mdadm /dev/md0 -a /dev/hdd3 在线加入新组成单元

#-f参数可以模拟磁盘故障
mdadm /dev/md0 -f /dev/hdb1

mdadm -D /dev/md0 |tail
           UUID : 40d32084:7be6bc73:071b21a9:4d8afc12
         Events : 0.4

    Number   Major   Minor   RaidDevice State
       0       0        0        0      removed
       1       3       66        1      active sync   /dev/hdb2
       2      22       65        2      active sync   /dev/hdd1
       3      22       66        3      active sync   /dev/hdd2

       4       3       65        -      faulty spare   /dev/hdb1

#在线卸载故障硬盘的组成单元
mdadm /dev/md0 -r /dev/hdb1

#在线加入新组成单元
mdadm /dev/md0 -a /dev/hdd3

mdadm -D /dev/md0 |tail
  Spare Devices : 0

           UUID : 40d32084:7be6bc73:071b21a9:4d8afc12
         Events : 0.26

    Number   Major   Minor   RaidDevice State
       0      22       67        0      active sync   /dev/hdd3
       1       3       66        1      active sync   /dev/hdb2
       2      22       65        2      active sync   /dev/hdd1
       3      22       66        3      active sync   /dev/hdd23、启用、停用磁盘阵列

#启用
mdadm -A -s [MD_DEVICE]
#停用
mdadm --stop -s [MD_DEVICE]4、监控磁盘阵列

启动mdmonitor服务监控磁盘阵列，当磁盘阵列出现故障时会发邮件通知管理员，邮件保存在/etc/mdadm.conf里。

/etc/init.d/mdmonitor start
chkconfig mdmonitor on

#报警内容示例
This is an automatically generated mail message from mdadm
running on localhost.localdomain

A Fail event had been detected on md device /dev/md0.

It could be related to component device /dev/hdb1.

Faithfully yours, etc.

P.S. The /proc/mdstat file currently contains the following:

Personalities : [raid1]
md0 : active raid1 hdd2[3] hdd1[2] hdb2[1] hdb1[4](F)
     98176 blocks [4/3] [_UUU]

unused devices:5、删除磁盘阵列

删除磁盘阵列前必需做好备份。

umount /dev/md0
mdadm --stop -s /dev/md0
mdadm --zero-superblock /dev/hd[bd][123]
rm /etc/mdadm.conf

#删除磁盘阵列后必须修改/etc/fstab，以免开机无法挂载分区而无法启动。

---------------------linux as4中创建软阵列-

通常情况下人们在服务器端采用各种冗余磁盘阵列（RAID）技术来保护数据，中高档的服务器一般都提供了昂贵的硬件RAID控制器。对于资金实力有限的中小企业来讲，在Linux下通过软件来实现硬件的RAID功能，这样既节省了投资，又能达到很好的效果。何乐而不为呢？

作为一个面向服务器的网络型操作系统，Linux对数据的安全和存取速度给予了高度重视，从2.4版内核开始Linux就实现了对软件RAID的支持（关于RAID的背景知识请见附文），这让我们可以不必购买昂贵的硬件RAID设备，就能享受到增强的磁盘I/O性能和可靠性，进一步降低了系统的总体拥有成本。下面就让我们看一个Redhat Linux AS 4下的软件RAID配置实例吧。

系统配置情况

假设某单位新上了一套使用Oracle数据库的能量采集系统，该系统数据量极大并且读写非常频繁，实时性要求高，高峰时有近40名用户在线，对数据库服务器的磁盘子系统提出了很高的要求。由于预算比较紧张，经过多方比较，最终选择了采用Linux系统做软件RAID5的方案。

其配置情况如下：

● 操作系统为RedHat Linux AS 4；

● 内核版本为2.6.9-5.EL；

● 支持RAID0、RAID1、RAID4、RAID5、RAID6；

● 五块36GB SCSI接口的磁盘，其中RedHat AS 4安装在第一块磁盘，其它四块组成RAID 5用来存放Oracle数据库。

在RedHat AS 4下实现软件RAID是通过mdadm工具实现的，其版本为1.6.0，它是一个单一的程序，创建、管理RAID都非常方便，而且也很稳定。而在早期Linux下使用的raidtools，由于维护起来很困难，而且其性能有限，在RedHat AS 4下已经不支持了。

实现过程

1．创建分区

五块SCSI磁盘分别对应/dev/sda、/dev/sdb、/dev/sdc、/dev/sdd、/dev/sde。其中第一块磁盘/dev/sda分两个区，用于安装RedHat AS 4和做交换分区，其他四块磁盘每块只分一个主分区，分别为/dev/sdb1、/dev/sdc1、/dev/sdd1、/dev/sde1，并且将分区类型指定为“fd”，这将使Linux内核能将它们识别为RAID分区，且在每次引导时自动被检测并启动。创建分区使用fdisk命令。

# fdisk /dev/sdb

进入fdisk命令行后，使用命令n创建分区，命令t改变分区类型，命令w保存分区表并退出，命令m为帮助。

2．创建RAID 5

这里使用了/dev/sdb1、/dev/sdc1、/dev/sdd1、/dev/sde1四个设备创建RAID 5，其中/dev/sde1作为备份设备，其他为活动设备。备份设备主要起备用作用，一旦某一设备损坏可以立即用备份设备替换，当然也可以不使用备份设备。命令格式如下：

# mdadm -Cv /dev/md0 -l5 -n3 -x1 -c128 /dev/sd[b,c,d,e]1

命令中各参数分别表示如下作用：“-C”指创建一个新的阵列；“/dev/md0”表示阵列设备名称；“-l5”表示设置阵列模式，可以选择0、1、4、5、6，它们分别对应于RAID0、RAID1、RAID4、RAID5、RAID6，这里设为RAID5模式；“-n3”指设置阵列中活动设备的数目，该数目加上备用设备的数目应等于阵列中的总设备数; “-x1”设置阵列中备份设备的数目，当前阵列中含有1个备份设备；“-c128”指设置块的尺寸为128KB，缺省为64KB；“/dev/sd[b,c,d,e]1”指当前阵列中包含的所有设备标识符，也可以分开来写，中间用空格分开，其中最后一个为备份设备。

3．查看阵列状态

当创建一个新阵列或者阵列重构时，设备需要进行同步操作，这一过程需要一定时间，可以通过查看/proc/mdstat文件，来显示阵列的当前状态以及同步进度、所需时间等。

# more /proc/mdstat

Personalities : [raid5]

md0 : active raid5 sdd1[3] sde1[4] sdc1[1] sdb1[0]

75469842 blocks level 5, 128k chunk, algorithm 2 [3/2] [UU_]

[>....................] recovery = 4.3% (1622601/37734912) finish=1.0min speed=15146K/sec

unused devices:

当新建或重构完成后，再次查看/proc/mdstat文件:

# more /proc/mdstat

Personalities : [raid5]

md0 : active raid5 sdd1[2] sde1[3] sdc1[1] sdb1[0]

75469842 blocks level 5, 128k chunk, algorithm 2 [3/3] [UUU]

unused devices:

通过以上内容，可以很清楚地看出当前阵列的状态，各部分所代表的意思如下：“[3/3]”中的第一位数表示阵列所包含的设备数，第二位数表示活动的设备数，如果有一个设备损坏，则第二位数将减1；“[UUU]”标记当前阵列可以正常使用的设备情况，现假设/dev/sdb1出现故障，则该标记将变成[_UU]，这时的阵列以降级模式运行，即该阵列仍然可用，但是不再具有任何冗余；“sdd1[2]”指阵列所包含的设备数为n，若方括号内的数值小于n，则表示该设备为活动设备，若数值大于等于n，则该设备为备份设备，当一个设备出现故障的时候，相应设备的方括号后将被标以(F)。

4．生成配置文件

mdadm的缺省配置文件为/etc/mdadm.conf，它主要是为了方便阵列的日常管理而设置的，对于阵列而言不是必须的，但是为了减少日后管理中不必要的麻烦，还是应该坚持把这一步做完。

在mdadm.conf文件中要包含两种类型的行：一种是以DEVICE开头的行，它指明在阵列中的设备列表；另一种是以ARRAY开头的行，它详细地说明了阵列的名称、模式、阵列中活动设备的数目以及设备的UUID号。格式如下：

DEVICE /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1

ARRAY /dev/md0 level=raid5 num-devices=3 UUID=8f128343:715a42df: baece2a8: a5b878e0

以上的这些信息可以通过扫描系统的阵列来获取，命令为：

# mdadm -Ds

ARRAY /dev/md0 level=raid5 num-devices=3 UUID=8f128343:715a42df: baece2a8: a5b878e0

devices=/dev/sdb1,/dev/sdc1,/dev/sdd1,/dev/sde1

使用vi命令，按照规定的格式编辑修改/etc/mdadm.conf文件

# vi /etc/mdadm.conf

5．创建文件系统并挂接(mount)使用

RAID5已经启动并处于运行状态，现在要做的就是在其上创建一个文件系统，这里使用mkfs命令，文件系统类型为ext3。命令如下：

# mkfs -t ext3 /dev/md0

当新的文件系统生成之后，就可以将/dev/md0挂接到指定的目录了。命令如下：

# mount /dev/md0 /mnt/raid

为了让系统在启动时自动将/dev/md0挂接到/mnt/raid，还需要修改/etc/fstab文件，添加如下内容：

/dev/md0 /mnt/raid ext3 defaults 0 0

故障模拟

上面的实例，让我们对Redhat Linux AS 4的软件RAID功能有了一定的认识，并且通过详细的步骤说明了如何创建RAID5。有了RAID做保障，电脑里的数据看起来似乎已经很安全了，然而现有的情况还是不能让我们高枕无忧，想一想，万一磁盘出现故障怎么办？下面我们模拟一个更换RAID5故障磁盘的完整过程，希望以此丰富大家处理RAID5故障的经验，提高管理和维护水平。

我们仍然沿用上面的RAID5配置，首先往阵列中拷贝一些数据，接下来开始模拟/dev/sdb1设备故障。不过，对于无备份设备的RAID5的模拟过程也要经过如下三步，只是阵列重构和数据恢复是发生在新设备添加到阵列中之后，而不是设备损坏时。

1．将/dev/sdb1标记为已损坏的设备

# mdadm /dev/md0 -f /dev/sdb1

查看当前阵列状态

# more /proc/mdstat

Personalities : [raid5]

md0 : active raid5 sdd1[2] sde1[3] sdc1[1] sdb1[4](F)

75469842 blocks level 5, 128k chunk, algorithm 2 [3/2] [_UU]

[=>...................] recovery = 8.9% (3358407/37734912) finish=1.6min speed=9382K/sec

unused devices:

因为有备份设备，所以当阵列中出现设备损坏时，阵列能够在短时间内实现重构和数据的恢复。从当前的状态可以看出，阵列正在重构，且运行在降级模式，sdb1[4]的后面已经标上了(F)，活动设备数也降为2个。

经过几分钟后，再次查看当前阵列状态。

# more /proc/mdstat

Personalities : [raid5]

md0 : active raid5 sdd1[2] sde1[0] sdc1[1] sdb1[3](F)

75469842 blocks level 5, 128k chunk, algorithm 2 [3/3] [UUU]

unused devices:

此时阵列重构已经完成，数据恢复完毕，原有的备份设备sde1成为了活动设备。

2．移除损坏的设备

# mdadm /dev/md0 -r /dev/sdb1

查看当前阵列的状态：

# more /proc/mdstat

Personalities : [raid5]

md0 : active raid5 sdd1[2] sde1[0] sdc1[1]

75469842 blocks level 5, 128k chunk, algorithm 2 [3/3] [UUU]

unused devices:

损坏的sdb1已经从阵列中移掉。

3．将新设备添加到阵列中

因为是模拟操作，可以通过下面的命令再次将/dev/sdb1添加到阵列中。如果是实际操作则要注意两点：一是在添加之前要对新磁盘进行正确的分区；二是添加时要用所添加设备的设备名替换/dev/sdb1。

# mdadm /dev/md0 -a /dev/sdb1

查看当前阵列的状态：

# more /proc/mdstat

Personalities : [raid5]

md0 : active raid5 sdb1[3] sdd1[2] sde1[0] sdc1[1]

75469842 blocks level 5, 128k chunk, algorithm 2 [3/3] [UUU]

unused devices:

这时sdb1作为备份设备再次出现在阵列中

常用阵列维护命令

1．启动阵列

# mdadm -As /dev/md0

该命令指启动/dev/md0阵列，其中“-A”指装载一个已存在的阵列；“-s”指查找mdadm.conf文件中的配置信息，并以此为依据启动阵列。

#mdadm -As

该命令指启动mdadm.conf文件中的所有阵列。

#mdadm -A /dev/md0 /dev/sd[b,c,d,e]1

如果没有创建mdadm.conf文件则可以采用上面这种启动方式。

2．停止阵列

# mdadm -S /dev/md0

3．显示指定阵列的详细信息

# mdadm -D /dev/md0

链接

RAID简介

RAID是冗余磁盘阵列（Redundant Array of Inexpensive Disk）的简称。它是把多个磁盘组成一个阵列，当作单一磁盘使用。它将数据以分段(striping)的方式分散存储在不同的磁盘中，通过多个磁盘的同时读写，来减少数据的存取时间，并且可以利用不同的技术实现数据的冗余，即使有一个磁盘损坏，也可以从其他的磁盘中恢复所有的数据。简单地说，其好处就是：安全性高、速度快、数据容量大。

磁盘阵列根据其使用的技术不同而划分了等级，称为RAID level，目前公认的标准是RAID 0～RAID 5。其中的level并不代表技术的高低，RAID 5并不高于RAID 4 ，RAID 0并不低于RAID 2 ，至于选择哪一种RAID需视用户的需求而定。下面分别对常用的RAID 0、RAID 1、RAID 5进行简单的介绍。

1．RAID 0

特点：它是将多个磁盘并列起来，成为一个大硬盘。在存取数据时，将数据按磁盘的个数来进行分段，然后同时将这些数据写进这些盘中。在所有的级别中，RAID 0的速度是最快的。但没有数据冗余，阵列中任何一个磁盘坏掉，意味着所有数据丢失。

磁盘利用数：n(假设有n个磁盘)。

配置条件：最低两块磁盘，且分区大小尽量相同。

应用领域：对高磁盘容量及高速磁盘存取有特殊需求，而又不计较其高故障率的工作。当然，如果你正在使用集群，RAID 0 无疑是提高磁盘I/O性能的最好方法，因为在这种情况下，你就不用担心冗余的问题了。

2．RAID 1

特点：使用磁盘镜像(disk mirroring)的技术，在一个磁盘上存放数据的同时也在另一个磁盘上写一样的数据。因为有了备份磁盘，所以RAID 1的数据安全性在所有的RAID级别上来说是最好的。尽管其写入数据的速度比较慢，但因其数据是以分段的方式作储存，因而在读取时,它几乎和RAID 0有同样的性能。
 

磁盘利用数：n/2。

配置条件：最低两块磁盘，且分区大小尽量相同。

应用领域：数据库、金融系统等一些对数据有着高可靠性要求的领域。再者就是系统中写数据量比较少，而读数据量又比较多的情况下可以采用这一模式。

3．RAID 5

特点：以数据的校验位来保证数据的安全，但它不是以单独硬盘来存放数据的校验位，而是将数据段的校验位交互存放于各个磁盘上。这样，任何一个磁盘损坏，都可以根据其他磁盘上的校验位来重建损坏的数据。并行读写数据，性能也很高。
 

磁盘利用数：n-1。

配置条件：最低三块硬盘，且分区大小尽量相同。

测试通过

Red Hat Enterprise Linux 4中，raid磁盘阵列的管理仅通过一条/sbin/mdadm 命令来完成的。在通过mdadm -C 建立/dev/mdXRAID 设备后，每次电脑重新启动后，都能正确加载RAID 设备，这是为什么呢？
本人一开始也感到很疑惑，后来通过分析，初步掌握了linux起动时加载和管理RAID 设备的过程，写出来与大家分享和探讨。
1.与mdadm相关配置文件文件：
/etc/mdadm.conf
/proc/partitions
/proc/mdstat
/dev/mdX

2.linux起动时是如何加载和管理RAID 设备
主要是通过/etc/rc.d/rc.initsys来做到的。
首先查找/etc/mdadm.conf,如果找到则用/sbin/mdadm -A -s命令加载
。。。。。
if [ -f /etc/mdadm.conf ]; then
/sbin/mdadm -A -s
fi
。。。。。
可用以下命令测试：
/sbin/mdadm -S /dev/mdX
/sbin/mdadm -A -s
如果没有找到有效的/etc/mdadm.config文件，则通过/proc/partitions来加载
。。。。
if [ $RESULT -gt 0 -a -x /sbin/mdadm ]; then
/sbin/mdadm -Ac partitions $i -m dev
RESULT=$?
fi
。。。。。
显然/etc/mdadm.conf不是必须的
可用以下命令测试：
/sbin/mdadm -S /dev/mdX
/sbin/mdadm -Ac partitions /dev/md0 -m dev
or
mdadm -Ac partitions /dev/md0 -m 0

大概原理就是对最新日志里面的客户端访问IP进行采样统计分析，然后对超出正常访问次数的IP进行屏蔽，如下面统计分析后的结果：

对最新1000条日志的客户端访问IP进行排序统计访问次数。比如第一个IP 219.128.20.68 1000条日志就有295条，访问肯定不正常

root@ubuntu134:# tail access.log -n 1000 |grep vote.php |awk {'print $2'} |sort |uniq -c |sort -nr
   295 219.128.20.68
   175 113.250.97.209
   164 218.87.140.39
   153 59.61.215.42
     98 222.240.182.234
     83 220.181.110.65
     73 120.38.1.255
     62 221.3.99.106
     21 220.249.83.74
     12 218.22.10.114
      1 123.52.158.16
      1 114.81.115.201

然后就是自动处理，如果1000条日志单IP超过50条就屏蔽掉

*/2 * * * * /usr/local/nginx/var/log/drop.sh

#!/bin/sh
cd /usr/local/nginx/var/log
tail access.log -n 1000 |grep vote.php |awk {'print $2'} |sort |uniq -c |sort -nr |awk '{if ($2!=null && $1>50) {print $2}}' > drop_ip.txt
for i in `cat drop_ip.txt`
do
/sbin/iptables -I INPUT -s $i -j DROP;
done

这shell 每几分钟执行一次，就可自动屏蔽那些不正常IP，相信大家都看的懂，下面是针对连接数屏蔽代码

#!/bin/sh
/bin/netstat -ant |grep 80 |awk '{print $5}' |awk -F : '{print $1}' |sort |uniq -c |sort -rn |grep -v -E '192.168|127.0' |awk '{if ($2!=null && $1>50) {print $2}}' > drop_ip.txt
for i in `cat drop_ip.txt`
do
/sbin/iptables -I INPUT -s $i -j DROP;
done

说下，grep -v -E '192.168|127.0'  也就是排除内网IP，免得把自己给屏蔽了，当然还可以加些自己的IP。