meisw's blog

ulimit 功能简述

假设有这样一种情况，当一台 Linux 主机上同时登陆了 10 个人，在系统资源无限制的情况下，这 10 个用户同时打开了 500 个文档，而假设每个文档的大小有 10M，这时系统的内存资源就会受到巨大的挑战。

而实际应用的环境要比这种假设复杂的多，例如在一个嵌入式开发环境中，各方面的资源都是非常紧缺的，对于开启文件描述符的数量，分配堆栈的大小，CPU 时间，虚拟内存大小，等等，都有非常严格的要求。资源的合理限制和分配，不仅仅是保证系统可用性的必要条件，也与系统上软件运行的性能有着密不可分的联系。这时，ulimit 可以起到很大的作用，它是一种简单并且有效的实现资源限制的方式。

ulimit 用于限制 shell 启动进程所占用的资源，支持以下各种类型的限制：所创建的内核文件的大小、进程数据块的大小、Shell 进程创建文件的大小、内存锁住的大小、常驻内存集的大小、打开文件描述符的数量、分配堆栈的最大大小、CPU 时间、单个用户的最大线程数、Shell 进程所能使用的最大虚拟内存。同时，它支持硬资源和软资源的限制。

作为临时限制，ulimit 可以作用于通过使用其命令登录的 shell 会话，在会话终止时便结束限制，并不影响于其他 shell 会话。而对于长期的固定限制，ulimit 命令语句又可以被添加到由登录 shell 读取的文件中，作用于特定的 shell 用户。

图 1. ulimit 的使用

在下面的章节中，将详细介绍如何使用 ulimit 做相应的资源限制。

如何使用 ulimit

ulimit 通过一些参数选项来管理不同种类的系统资源。在本节，我们将讲解这些参数的使用。

ulimit 命令的格式为：ulimit [options] [limit]

具体的 options 含义以及简单示例可以参考以下表格。

表 1. ulimit 参数说明

我们可以通过以下几种方式来使用 ulimit：

• 在用户的启动脚本中

  如果用户使用的是 bash，就可以在用户的目录下的 .bashrc 文件中，加入 ulimit – u 64，来限制用户最多可以使用 64 个进程。此外，可以在与 .bashrc 功能相当的启动脚本中加入 ulimt。

• 在应用程序的启动脚本中

  如果用户要对某个应用程序 myapp 进行限制，可以写一个简单的脚本 startmyapp。

  ulimit – s 512 myapp

  
  

  以后只要通过脚本 startmyapp 来启动应用程序，就可以限制应用程序 myapp 的线程栈大小为 512K。

• 直接在控制台输入

  user@tc511-ui:~>ulimit – p 256

  
  

  限制管道的缓冲区为 256K。

回页首

用户进程的有效范围

ulimit 作为对资源使用限制的一种工作，是有其作用范围的。那么，它限制的对象是单个用户，单个进程，还是整个系统呢？事实上，ulimit 限制的是当前 shell 进程以及其派生的子进程。举例来说，如果用户同时运行了两个 shell 终端进程，只在其中一个环境中执行了 ulimit – s 100，则该 shell 进程里创建文件的大小收到相应的限制，而同时另一个 shell 终端包括其上运行的子程序都不会受其影响：

Shell 进程 1

ulimit – s 100 
 cat testFile > newFile 
 File size limit exceeded

Shell 进程 2

cat testFile > newFile 
 ls – s newFile 
 323669 newFile

那么，是否有针对某个具体用户的资源加以限制的方法呢？答案是有的，方法是通过修改系统的 /etc/security/limits 配置文件。该文件不仅能限制指定用户的资源使用，还能限制指定组的资源使用。该文件的每一行都是对限定的一个描述，格式如下：

<domain> <type> <item> <value>

domain 表示用户或者组的名字，还可以使用 * 作为通配符。Type 可以有两个值，soft 和 hard。Item 则表示需要限定的资源，可以有很多候选值，如 stack，cpu，nofile 等等，分别表示最大的堆栈大小，占用的 cpu 时间，以及打开的文件数。通过添加对应的一行描述，则可以产生相应的限制。例如：

* hard noflle 100

该行配置语句限定了任意用户所能创建的最大文件数是 100。

现在已经可以对进程和用户分别做资源限制了，看似已经足够了，其实不然。很多应用需要对整个系统的资源使用做一个总的限制，这时候我们需要修改 /proc 下的配置文件。/proc 目录下包含了很多系统当前状态的参数，例如 /proc/sys/kernel/pid_max，/proc/sys/net/ipv4/ip_local_port_range 等等，从文件的名字大致可以猜出所限制的资源种类。由于该目录下涉及的文件众多，在此不一一介绍。有兴趣的读者可打开其中的相关文件查阅说明。

回页首

ulimit 管理系统资源的例子

ulimit 提供了在 shell 进程中限制系统资源的功能。本章列举了一些使用 ulimit 对用户进程进行限制的例子，详述了这些限制行为以及对应的影响，以此来说明 ulimit 如何对系统资源进行限制，从而达到调节系统性能的功能。

使用 ulimit 限制 shell 的内存使用

在这一小节里向读者展示如何使用 – d，– m 和 – v 选项来对 shell 所使用的内存进行限制。

首先我们来看一下不设置 ulimit 限制时调用 ls 命令的情况：

图 2. 未设置 ulimit 时 ls 命令使用情况

大家可以看到此时的 ls 命令运行正常。下面设置 ulimit：

>ulimit -d 1000 -m 1000 -v 1000

这里再温习一下前面章节里介绍过的这三个选项的含义：

-d：设置数据段的最大值。单位：KB。

-m：设置可以使用的常驻内存的最大值。单位：KB。

-v：设置虚拟内存的最大值。单位：KB。

通过上面的 ulimit 设置我们已经把当前 shell 所能使用的最大内存限制在 1000KB 以下。接下来我们看看这时运行 ls 命令会得到什么样的结果：

haohe@sles10-hehao:~/code/ulimit> ls test -l 
 /bin/ls: error while loading shared libraries: libc.so.6: failed to map segment 
 from shared object: Cannot allocate memory

从上面的结果可以看到，此时 ls 运行失败。根据系统给出的错误信息我们可以看出是由于调用 libc 库时内存分配失败而导致的 ls 出错。那么我们来看一下这个 libc 库文件到底有多大：

图 3. 查看 libc 文件大小

从上面的信息可以看出，这个 libc 库文件的大小是 1.5MB。而我们用 ulimit 所设置的内存使用上限是 1000KB，小于 1.5MB，这也就充分证明了 ulimit 所起到的限制 shell 内存使用的功能。

使用 ulimit 限制 shell 创建的文件的大小

接下来向读者展示如何使用 -f 选项来对 shell 所能创建的文件大小进行限制。

首先我们来看一下，没有设置 ulimit -f 时的情况：

图 4. 查看文件

现有一个文件 testFile 大小为 323669 bytes，现在使用 cat 命令来创建一个 testFile 的 copy：

图 5. 未设置 ulimit 时创建复本

从上面的输出可以看出，我们成功的创建了 testFile 的拷贝 newFile。

下面我们设置 ulimt – f 100：

> ulimit -f 100

-f 选项的含义是：用来设置 shell 可以创建的文件的最大值。单位是 blocks。

现在我们再来执行一次相同的拷贝命令看看会是什么结果：

图 6. 设置 ulimit 时创建复本

这次创建 testFile 的拷贝失败了，系统给出的出错信息时文件大小超出了限制。在 Linux 系统下一个 block 的默认大小是 512 bytes。所以上面的 ulimit 的含义就是限制 shell 所能创建的文件最大值为 512 x 100 = 51200 bytes，小于 323669 bytes，所以创建文件失败，符合我们的期望。这个例子说明了如何使用 ulimit 来控制 shell 所能创建的最大文件。

使用 ulimit 限制程序所能创建的 socket 数量

考虑一个现实中的实际需求。对于一个 C/S 模型中的 server 程序来说，它会为多个 client 程序请求创建多个 socket 端口给与响应。如果恰好有大量的 client 同时向 server 发出请求，那么此时 server 就会需要创建大量的 socket 连接。但在一个系统当中，往往需要限制单个 server 程序所能使用的最大 socket 数，以供其他的 server 程序所使用。那么我们如何来做到这一点呢？答案是我们可以通过 ulimit 来实现！细心的读者可能会发现，通过前面章节的介绍似乎没有限制 socket 使用的 ulimit 选项。是的，ulimit 并没有哪个选项直接说是用来限制 socket 的数量的。但是，我们有 -n 这个选项，它是用于限制一个进程所能打开的文件描述符的最大值。在 Linux 下一切资源皆文件，普通文件是文件，磁盘打印机是文件，socket 当然也是文件。在 Linux 下创建一个新的 socket 连接，实际上就是创建一个新的文件描述符。如下图所示（查看某个进程当前打开的文件描述符信息）：

图 7. 查看进程打开文件描述符

因此，我们可以通过使用 ulimit – n 来限制程序所能打开的最大文件描述符数量，从而达到限制 socket 创建的数量。

使用 ulimit 限制 shell 多线程程序堆栈的大小（增加可用线程数量）

在最后一个例子中，向大家介绍如何使用 -s（单位 KB）来对线程的堆栈大小进行限制，从而减少整个多线程程序的内存使用，增加可用线程的数量。这个例子取自于一个真实的案例。我们所遇到的问题是系统对我们的多线程程序有如下的限制：

ulimit -v 200000

根据本文前面的介绍，这意味着我们的程序最多只能使用不到 200MB 的虚拟内存。由于我们的程序是一个多线程程序，程序在运行时会根据需要创建新的线程，这势必会增加总的内存需求量。一开始我们对堆栈大小的限制是 1024 （本例子中使用 1232 来说明）：

# ulimit – s 1232

当我们的程序启动后，通过 pmap 来查看其内存使用情况，可以看到多个占用 1232KB 的数据段，这些就是程序所创建的线程所使用的堆栈：

图 8. 程序线程所使用的堆栈

每当一个新的线程被创建时都需要新分配一段大小为 1232KB 的内存空间，而我们总的虚拟内存限制是 200MB，所以如果我们需要创建更多的线程，那么一个可以改进的方法就是减少每个线程的固定堆栈大小，这可以通过 ulimit – s 来实现：

# ulimit -s 512

我们将堆栈大小设置为 512KB，这时再通过 pmap 查看一下我们的设置是否起作用：

图 9. 设置 ulimit 后堆栈大小

从上面的信息可以看出，我们已经成功的将线程的堆栈大小改为 512KB 了，这样在总内存使用限制不变的情况下，我们可以通过本小节介绍的方法来增加可以创建的线程数，从而达到改善程序的多线程性能。

总结

综上所述，linux 系统中的 ulimit 指令，对资源限制和系统性能优化提供了一条便捷的途径。从用户的 shell 启动脚本，应用程序启动脚本，以及直接在控制台，都可以通过该指令限制系统资源的使用，包括所创建的内核文件的大小、进程数据块的大小、Shell 进程创建文件的大小、内存锁住的大小、常驻内存集的大小、打开文件描述符的数量、分配堆栈的最大大小、CPU 时间、单个用户的最大线程数、Shell 进程所能使用的最大虚拟内存，等等方面。本文中的示例非常直观的说明了 ulimit 的使用及其产生的效果，显而易见，ulimit 对我们在 Linux 平台的应用和开发工作是非常实用的。

特别感谢

贺皓为本篇文章的撰写提出了很多建议，做了大量实验，提供了文章中的实验数据和结论。

贺皓是 IBM CSTL（中国系统与科技开发中心）的软件工程师。他在复旦大学获得了计算机科学专业的学士与硕士学位。目前他在 IBM SVC Agent 开发小组从事研发工作。

访问控制
访问控制元素
ACL元素是Squid的访问控制的基础。基本的ACL元素语法如下：

acl name type value1 value2 ...例如：

acl Workstations src 10.0.0.0/16

    acl Http_ports port 80 8000 8080   基本的ACL类型
IP地址
使用对象：src,dst,myip

    squid在ACL里指定IP地址时，能以子网，地址范围，域名等形式编写地址。假如你忽略掩码，squid会自动计算相应的掩码。如下: acl Foo src 127.0.0.1/32,通过指定地址范围做到列举多个相邻子网。例如：acl Bar src 172.16.10.0-172.16.19.0/24.     注意使用IP地址范围，掩码只能取一个。也能在IP ACL里指定主机名,启动时，将主机名转换成IP地址。(一旦启动，squid不会对主机名的地址发起第二次DNS查询。这样，假如在squid运行中地址已改变，squid不会注意到)。假如主机名被解析成多个IP地址，squid将每一个增加到ACL里。注意你也可以对主机名使用网络掩码。

ACL主机名转换到IP地址的过程会延缓squid的启动。除非绝对必要，请在src,dst,和myip ACL里避免使用主机名。

squid以一种叫做splay tree的数据结构在内存里存储IP地址ACL。splay tree有自我调整的特性，其中之一是在查询发生时，列表会自动纠正它自己的位置。当某个匹配元素在列表里发现时，该元素变成新的树根。在该方法中，最近参考的条目会移动到树的顶部，这减少了将来查询的时间。

属于同一ACL元素的所有的子网和范围不能重迭。例如，如下不被允许：

        acl Foo src 1.2.3.0/24        acl Foo src 1.2.3.4/32它导致squid在cache.log里打印警告：

域名
使用对象：srcdomain,dstdomain,和cache_host_domain指令

当ACL域名以"."开头，squid将它作为通配符,相反，如果ACL域名不以"."开头，squid使用精确的字符串比较。squid使用splay tree的数据结构来存储域名ACL.

用户名
使用对象：ident,proxy_auth

用户名必须被严格匹配。squid也有相关的ACL对用户名使用正则表达式匹配（ident_regex和proxy_auth_regex）。你可以使用单词"REQUIRED"作为特殊值去匹配任意用户名。

正则表达式
使用对象：srcdom_regex, dstdom_regex, url_regex, urlpath_regex, browser, referer_regex, ident_regex, proxy_auth_regex, req_mime_type, rep_mime_type

大量的ACL使用正则表达式来匹配字符串。最常使用的正则表达式功能用以匹配字符串的开头或结尾。例如，^字符匹配行或字符串的开头,$是匹配行或字符串的结尾,.字符是匹配任意单个字符的通配符,对所有的squid正则表达式类,匹配是默认大小写敏感的。为了大小写不敏感，在ACL类型后面使用-i选项。

TCP端口号
使用对象：port,myport

该类型是相对的,值是个别的端口号或端口范围。如下示例:

        acl Foo port 123            acl Bar port 1-1024自主系统号
使用对象：src_as,dst_as

Internet路由器使用自主系统(AS)号来创建路由表。基本上，某个AS号指向被同一组织管理的IP网络范围。例如，我的ISP分配了如下网络块：134.116.0.0/16, 137.41.0.0/16, 206.168.0.0/16,和其他更多。在Internet路由表里，这些网络被公布为属于AS 3404。当路由器转发包时，它们典型的选择经过最少AS的路径。AS基础的ACL仅仅被网络gurus使用。

ACL类型
src
使用IP地址来控制客户允许或不允许访问Squid。src类型指客户源IP地址。

acl MyNetwork src 192.168.0.0 10.0.1.0/24 10.0.5.0/24 172.16.0.0/12

dst
dst类型指向原始服务器（目标）IP地址。在某些情况下，能使用该类型来阻止用户访问特定web站点。然而，在使用dst ACL时须谨慎。大部分squid接受到的请求有原始服务器主机名.

请注意，为了避免延时，该尽可能的使用dstdomain ACL类型来代替dst, dst ACL存在的问题是，你试图允许或拒绝访问的原始服务器可能会改变它的IP地址。假如你不关心这样的改变，那就不必麻烦去升级squid.conf。你可以在acl行里放上主机名，但那样会延缓启动速度。假如你的ACL需要许多主机名，你也许该预处理配置文件，将主机名转换成IP地址。

myip
myip类型指Squid的IP地址，它被客户连接。所以该ACL元素仅仅当系统有多个IP地址时才有用。

请注意，使用该机制你必须特别小心，阻止来自某个子网的用户连接squid位于另一子网的IP地址。否则，在会计和市场子网的聪明的用户，能够通过技术部子网进行连接，从而绕过你的限制。

dstdomain
使用它们去阻塞对某些站点的访问，去控制squid如何转发请求，以及让某些响应不可缓存,如下两行的不同：

        acl A dst www.squid-cache.org        acl B dstdomain www.squid-cache.orgA实际上是IP地址ACL,假如在squid运行时IP地址改变了，squid会继续使用旧的地址。然而dstdomain ACL以域名形式存储，并非IP地址。当squid检查ACL B时，它对URL的主机名部分使用字符串比较功能,它并不真正关心是否www.squid-cache.org的IP地址改变了。

使用dstdomain ACL的主要问题是某些URL使用IP地址代替主机名。

srcdomain
srcdomain要求对每个客户IP地址进行所谓的反向DNS查询。使用dst ACL,FQDN查询会导致延时。请求会被延缓处理直到FQDN响应返回。FQDN响应被缓存下来，所以srcdomain查询通常仅在客户首次请求时延时。srcdomain查询有时不能工作。许多组织并没有保持他们的反向查询数据库与日更新,在该情形下，请求可能会延时非常长时间,直到DNS查询超时。

    假如你使用srcdomain ACL，请确认你自己的DNS in-addr.arpa区域配置正确并且在工作中。port
使用port ACL来限制对某些原始服务器端口号的访问,port ACL允许你定义单独的端口或端口范围。例如：acl HTTPports port 80 8000-8010 8080

myport
port ACL指向原始服务器的端口号，myport指向squid自己的端口号，用以接受客户请求。假如在http_port指令里指定不止一个端口号，那么squid就可以在不同的端口上侦听。

假如将squid作为站点HTTP加速器和用户代理服务器，可以在80上接受加速请求，在3128上接受代理请求。想让所有人访问加速器，但仅仅你自己的用户能以代理形式访问squid。ACL可能如下：

        acl AccelPort myport 80        acl ProxyPort myport 3128        acl MyNet src 172.16.0.0/22        http_access allow AccelPort         # anyone        http_access allow ProxyPort MyNet   # only my users        http_access deny ProxyPort          # deny othersmethod
method ACL指HTTP请求方法,如:acl Uploads method PUT POST.

Squid知道下列标准HTTP方法：GET, POST, PUT, HEAD, CONNECT, TRACE, OPTIONS和DELETE。另外，来自WEBDAV规范，RFC 2518的方法：PROPFIND, PROPPATCH, MKCOL, COPY, MOVE, LOCK, UNLOCK。还有非标准的WEBDAV方法: BMOVE, BDELETE, BPROPFIND。最后，你可以在extension_methods指令里配置squid去理解其他的请求方法。

注意CONNECT方法非常特殊。它是用于通过HTTP代理来封装某种请求的方法。在处理CONNECT方法和远程服务器的端口号时应特别谨慎。如你不希望squid连接到某些远程服务。你该限制CONNECT方法仅仅能连接到HTTPS/SSL或NNTPS端口（443和563）。默认的squid.conf这样做：

        acl CONNECT method CONNECT        acl SSL_ports 443 563        http_access allow CONNECT SSL_ports        http_access deny CONNECT在该配置里，squid仅仅允许加密请求到端口443（HTTPS/SSL）和563（NNTPS）。CONNECT方法对其他端口的请求都被拒绝。

PURGE是另一个特殊的请求方法。它是Squid的专有方法，它让管理员能强制删除缓存对象。

proto
该类型指URI访问（或传输）协议。有效值：http, https (same as HTTP/TLS), ftp, gopher, urn, whois, 和cache_object。例如拒绝所有的FTP请求：

        acl FTP proto FTP        http_access deny FTPcache_object机制是squid的特性。它用于访问squid的缓存管理接口。默认的squid.conf文件有许多行限制缓存管理访问：

        acl Manager proto cache_object        acl Localhost src 127.0.0.1        http_access allow Manager Localhost        http_access deny Manager这些配置行仅允许来自本机地址的缓存管理请求，所有其他的缓存管理请求被拒绝。这意味着在squid机器上有帐号的人，能访问到潜在的敏感缓存管理信息。

time
time ACL允许你控制基于时间的访问，时间为每天中的具体时间，和每周中的每天。日期以单字母来表示，见如下表。时间以24小时制来表示。开始时间必须小于结束时间。

Code
 Day
 
S
 Sunday
 
M
 Monday
 
T
 Tuesday
 
W
 Wednesday
 
H
 Thursday
 
F
 Friday
 
A
 Saturday
 
D
 All weekdays (M-F)
 

日期和时间由localtime()函数来产生。

时间跨越子夜,你需要把它们分成两个ACL来写，或者使用否定机制来定义非忙时。例如：

        acl Offpeak1 20:00-23:59        acl Offpeak2 00:00-04:00        http_access allow Offpeak1 ...        http_access allow Offpeak2 ...另外，你可以这样写：

        acl Peak 04:00-20:00        http_access allow !Peak ...不应该在同一个time ACL里放置多个日期和时间范围列表。例如，假如你输入：acl Blah time M 08:00-10:00 W 09:00-11:00,实际能做到的是：acl Blah time MW 09:00-11:00,解析仅仅使用最后一个时间范围。正确的写法是，将它们写进两行：

        acl Blah time M 08:00-10:00        acl Blah time W 09:00-11:00ident
ident ACL匹配被ident协议返回的用户名。

ident ACL可以对你的用户请求造成延时,推荐仅仅在本地局域网中，并且大部分客户工作站运行ident服务时，才使用ident ACL。

注意ident协议不是很安全;squid也有个对客户端执行懒惰ident查询。在该情形下，在等待ident查询时，请求不会延时。

proxy_auth
squid支持HTTP代理验证功能。使用代理验证，客户的包括头部的http请求包含了验证信用选项。squid解密信用选项，并调用外部验证程序以发现该信用选项是否有效。

squid当前支持三种技术以接受用户验证：HTTP基本协议，数字认证协议，和NTLM。基本认证是非常不安全的技术,以明文同时发送。数字认证更安全，但也更复杂。NTLM也比基本认证更安全,然而它是Microsoft发展的专有协议。

为了使用代理验证，你必须配置squid使用大量的外部辅助程序,auth_param指令控制对所有辅助程序的配置。

    auth_param指令和proxy_auth ACL是少数在配置文件里顺序重要的实例。你必须在proxy_auth ACL之前定义至少一个验证辅助程序（使用auth_param）。代理验证不支持HTTP拦截，因为用户代理不知道它在与代理服务器，而非原始服务器通信。

src_as
该类型检查客户源IP地址所属的具体AS号。例如，我们虚构某ISP使用AS 64222并且通告使用10.0.0.0/8,172.16.0.0/12,192.168.0.0/16网络。你可以编写这样的ACL，它允许来自该ISP地址空间的任何主机请求：

        acl TheISP src 10.0.0.0/8        acl TheISP src 172.16.0.0/12        acl TheISP src 192.168.0.0/16        http_access allow TheISP当然，可以这样写：

        acl TheISP src_as 64222        http_access allow TheISPdst_as
dst_as ACL经常与cache_peer_access指令一起使用。在该方法中，squid使用与IP路由一致的方式转发cache丢失。

snmp_community
snmp_community ACL对SNMP查询才有意义，后者被snmp_access指令控制。例如：

        acl OurCommunityName snmp_community hIgHsEcUrItY        acl All src 0/0        snmp_access allow OurCommunityName        snmp_access deny All在该情况中，假如community名字设置为hIgHsEcUrItY，SNMP查询才被允许。

maxconn
maxconn ACL指来自客户IP地址的大量同时连接。某些squid管理员发现这是个有用的方法，用以阻止用户滥用代理或者消耗过多资源。

arp
arp ACL用于检测cache客户端的MAC地址（以太网卡的物理地址）。该特性使用非移植性代码。运行./configure时增加--enable-arp-acl选项，就可以激活该功能。

arp ACL有另一个重要限制。客户主机和squid在同一子网，它才能工作。在squid和你的用户之间有路由器存在，你可能不能使用arp ACL。

srcdom_regex
srcdom_regex ACL允许你使用正则表达式匹配客户域名。限制是：某些客户地址不能反向解析到域名。

dstdom_regex
dstdom_regex ACL也与dstdomain相似。下面的例子匹配以www开头的主机名：acl WebSite dstdom_regex -i ^www\.如下是另一个有用的正则表达式，用以匹配在URL主机名里出现的IP地址：acl IPaddr dstdom_regex [0-9]$

url_regex
url_regex ACL用于匹配请求URL的任何部分，包括传输协议和原始服务器主机名。例如，如下ACL匹配从FTP服务器的MP3文件请求：

        acl FTPMP3 url_regex -i ^ftp://.*\.mp3$urlpath_regex
urlpath_regex与url_regex非常相似，不过传输协议和主机名不包含在匹配条件里。这让某些类型的检测非常容易。例如，假设你必须拒绝URL里的"sex"，但仍允许在主机名里含有"sex"的请求，那么这样做：

        acl Sex urlpath_regex sexbrowser
browser ACL对user-agent头执行正则表达式匹配。例如，拒绝不是来自Mozilla浏览器的请求，可以这样写：

        acl Mozilla browser Mozilla        http_access deny !Mozillareq_mime_type
req_mime_type ACL指客户HTTP请求里的Content-Type头部。该类型头部通常仅仅出现在请求消息主体里。req_mime_type ACL值是正则表达式。你可以这样编写ACL去捕获音频文件类型：acl AuidoFileUploads req_mime_type -i ^audio/

rep_mime_type
该类型ACL指原始服务器的HTTP响应里的Content-Type头部。它仅在使用http_reply_access规则时才有用。假如你想使用squid阻塞Java代码，你可以这样写：

        acl JavaDownload rep_mime_type application/x-java        http_reply_access deny JavaDownloadident_regex
ident_regex允许你使用正则表达式，代替严格的字符串匹配，这些匹配是对ident协议返回的用户名进行。例如，如下ACL匹配包含数字的用户名：acl NumberInName ident_regex [0-9]

proxy_auth_regex
该ACL允许对代理认证用户名使用正则表达式。例如，如下ACL匹配admin,administrator和administrators:

acl Admins proxy_auth_regex -i ^admin

外部ACL
外部ACL:可以指示squid发送某些信息片断到外部进程，然后外部的辅助程序告诉squid，数据匹配或不匹配。

external_acl_type指令定义新的外部ACL类型。通用语法：

    external_acl_type type-name [options] format helper-commandtype-name是用户定义的字串。

Squid当前支持如下选项(options)：

        ttl=n:用以缓存匹配值的时间长短。        negative_ttl=n:用以缓存不匹配值的时间长短。        concurrency=n:衍生的辅助程序的数量。        cache=n:缓存结果的最大数量。 格式是以%字符开始的一个或多个关键字。squid当前支持如下格式：        %LOGIN:从代理验证信用选项里获取的用户名。        %IDENT:从RFC 1413 ident获取的用户名。        %SRC:客户端IP地址。        %DST:原始服务器IP地址。        %PROTO:传输协议（例如HTTP,FTP等）        %PORT:原始服务器的TCP端口。        %METHOD:HTTP请求方法。        %{Header}:HTTP请求头部的值；        %{Hdr:member}:选择某些数量的基于列表的HTTP头部可以在这里包含命令参数。例如，整条命令可能类似如此：

 /usr/local/squid/libexec/my-acl-prog.pl -X -5 /usr/local/squid/etc/datafile将这些放在一个长行里。squid不支持如下通过反斜杠分隔长行的技术，所以请记住所有这些必须放在单行里

编写引用它的acl行。这相对容易，语法如下：

        acl acl-name external type-name [args ...]如下是个简单示例：

        acl MyAcl external MyAclTypesquid接受在type-name后面的任意数量的参数。

处理长ACL列表
从外部文件里包含ACL列表。语法：acl name "filename"

这里的双引号指示squid打开filename，并且将它里面的内容分配给ACL。文件可以包含以#开头的注释。注意在该文件里的每个IP地址必须是一个单独的行。acl行里的任何地方，以空格来分隔值，新行是包含ACL值的文件的分界。

Squid如何匹配访问控制元素
squid在检查ACL元素值时使用OR逻辑。当squid找到第一个值匹配时，它停止搜索。这意味着把最可能匹配的值放在列表开头处，能减少延时。

访问控制规则
squid有大量其他的访问控制列表：

http_access:它决定哪些客户HTTP请求被允许，和哪些被拒绝。

http_reply_access:基于响应内容类型来允许或拒绝请求。 icp_access:squid被配置来服务ICP响应，那么该使用icp_access列表。 no_cache:使用no_cache访问列表来指示squid，它不必存储某些响应（在磁盘或内存里）。 miss_access:主要用于squid的邻居cache。它决定squid怎样处理cache丢失的请求。如果squid使用集群技术，那么该功能必需。 redirector_access:该访问列表决定哪个请求被发送到重定向进程。可以使用redirector_access列表来阻止某些请求被重写。 ident_lookup_access: ident_lookup_access列表与redirector_access类似。它允许你对某些请求执行懒惰ident查询。 always_direct: 该访问列表影响squid怎样处理与邻居cache转发cache丢失。never_direct: never_direct与always_direct相反。匹配该列表的cache丢失请求必须发送到邻居cache。 snmp_access: 该访问列表应用到发送给squid的SNMP端口的查询。 broken_posts: 该访问列表影响squid处理某些POST请求的方法。 cache_peer_access: 该访问列表控制发送到邻居cache的HTTP请求和ICP/HTCP查询。 reply_body_max_size: 该访问列表限制对HTTP响应主体的最大可接受size。 delay_access: 该访问规则列表控制是否延时池被应用到某个请求的cache丢失响应。 tcp_outgoing_address: 该访问列表绑定服务端TCP连接到指定的本地IP地址。 tcp_outgoing_tos: 该访问列表能设置到原始服务器和邻居cache的TCP连接的不同TOS/Diffserv值。 header_access: 使用该指令，你能配置squid从它转发的请求里删除某些HTTP头部。 header_replace: 该指令允许你替换，而不是删除，HTTP头部的内容。

访问规则语法
访问控制规则的语法如下：

access_list allow|deny [!]ACLname ...将最常用的ACL放在列表的开始位置，可以减少squid的CPU负载。

请谨慎的编写always_direct,never_direct,和no_cache规则。在always_direct中，allow规则意味着匹配的请求直接转发到原始服务器。always_direct deny规则意味着匹配的请求不强迫发送到原始服务器，但假如邻居cache不可到达，那可能还是会这么做。no_cache规则也有点麻烦。这里，你必须对不必被cache的请求使用deny。

如何匹配访问规则
squid在搜索ACL元素时使用的“或”逻辑。访问规则恰好相反,squid使用“与”逻辑。如下示例：

access_list allow ACL1 ACL2 ACL3对该匹配规则来说，请求必须匹配ACL1,ACL2,ACL3中的任何一个。

对某个规则来说，将最少匹配的ACL放在首位，能使效率最佳。考虑如下示例：

假如最后的规则是deny规则，默认动作是允许请求。在访问列表的最后加上一条，明确允许或拒绝所有请求，是好的实际做法。src 0/0 ACL表示匹配每一个和任意类型的请求。

访问列表风格
该将更具体的和受限制的访问列表放在首位。无论何时，你编写了一个带两个或更多ACL元素的规则，建议你在其后紧跟一条相反的，更广泛的规则。

延时检查
当squid遇到某个ACL不能被检查时，它延迟决定并且发布对必要信息的查询（IP地址，域名，用户名等）。当信息可用时，squid再次在列表的开头位置检查这些规则。它不会从前次检查剩下的位置继续。假如可能，你应该将这些最可能被延时的ACL放在规则的顶部，以避免不必要的，重复的检查。

减缓和加速规则检查
下列访问规则被快速检查：

header_accessreply_body_max_sizereply_accessident_lookupdelay_accessmiss_accessbroken_postsicp_accesscache_peer_accessredirector_accesssnmp_access

acl local src 127.0.0.1
acl Manager proto cache_object
http_access allow Manager local
http_access deny Manager
acl alls src all
http_access allow alls

refresh_pattern的作用:
用于确定一个页面进入cache后，它在cache中停留的时间。
refresh_pattern规则仅仅应用到没有明确过时期限的响应。
原始服务器能使用Expires头部，或者Cache-Control:max-age指令来指定过时期限。

语法：
refresh_pattern [-i] regexp min percent max [options]

min参数是分钟数量。它是过时响应的最低时间限制。如果某个响应驻留在cache里的时间没有超过这个最低限制，那么它不会过期。类似的，max参数是存活响应的最高时间限制。如果某个响应驻留在cache里的时间高于这个最高限制，那么它必须被刷新。

在最低和最高时间限制之间的响应，会面对squid的最后修改系数LM-factor算法LM-factor=(response age)/(resource age)。对这样的响应，squid计算响应的年龄和最后修改系数，然后将它作为百分比值进行比较。响应年龄简单的就是从原始服务器产生，或最后一次验证响应后，经历的时间数量。源年龄在Last-Modified和Date头部之间是不同的。LM-factor是响应年龄与源年龄的比率。

常用的几个参数的意思

override-expire
该选项导致squid在检查Expires头部之前，先检查min值。这样，一个非零的min时间让squid返回一个未确认的cache命中，即使该响应准备过期。

override-lastmod
改选项导致squid在检查LM-factor百分比之前先检查min值。

reload-into-ims
该选项让squid在确认请求里，以no-cache指令传送一个请求。换句话说，squid在转发请求之前，对该请求增加一个If-Modified- Since头部。注意这点仅仅在目标有Last-Modified时间戳时才能工作。外面进来的请求保留no-cache指令，以便它到达原始服务器。
一般情况可以使用 reload-into-ims。

它其实是强行控制对象的超时时间，这违反了http协议的精神，但是在带宽较窄的场合，可以提高明显系统相应时间。
举例：
refresh_pattern -i \.css$ 1440 50% 129600 reload-into-ims
refresh_pattern -i \.xml$ 1440 50% 129600 reload-into-ims
refresh_pattern -i \.html$ 1440 90% 129600 reload-into-ims-
refresh_pattern -i \.shtml$ 1440 90% 129600 reload-into-ims
refresh_pattern -i \.hml$ 1440 90% 129600 reload-into-ims
refresh_pattern -i \.jpg$ 1440 90% 129600 reload-into-ims
refresh_pattern -i \.png$ 1440 90% 129600 reload-into-ims
refresh_pattern -i \.gif$ 1440 90% 129600 ignore-reload
refresh_pattern -i \.bmp$ 1440 90% 129600 reload-into-ims
refresh_pattern -i \.js$ 1440 90% 129600 reload-into-ims

ignore-reload
该选项导致squid忽略请求里的任何no-cache指令。
所以。如果希望内容一进入cache就不删除，直到被主动purge掉为止，可以加上ignore-reload选项,
这个我们常用在mp3,wma,wmv,gif之类。
Examples:

refresh_pattern -i \.mp3$ 1440 50% 2880 ignore-reload
refresh_pattern -i \.wmv$ 1440 50% 2880 ignore-reload
refresh_pattern -i \.rm$ 1440 50% 2880 ignore-reload
refresh_pattern -i \.swf$ 1440 50% 2880 ignore-reload
refresh_pattern -i \.mpeg$ 1440 50% 2880 ignore-reload
refresh_pattern -i \.wma$ 1440 50% 2880 ignore-reload
resource age =对象进入cache的时间-对象的last_modified
response age =当前时间-对象进入cache的时间
LM-factor=(response age)/(resource age)

举个例子,这里只考虑percent, 不考虑min 和max

例如：refresh_pattern 20%

假设源服务器上www.aaa.com/index.htm -----lastmodified 是 2007-04-10 02:00:00
squid上 proxy.aaa.com/index.htm index.htm进入cache的时间 2007-04-10 03:00:00

1）如果当前时间 2007-04-10 03:00:00
resource age =3点-2点=60分钟
response age =0分钟
index.htm还可以在cache停留的时间(resource age)*20%=12分钟
也就是说，index.htm进入cache后，可以停留12分钟，才被重新确认。

2）如果当前时间 2007-04-10 03:05:00
resource age =3点-2点=60分钟
response age =5分钟
index.htm还可以在cache停留的时间(resource age)*20%=12分钟-5=7
LM-factor=5/60=8.3%<20%

一直到2007-04-10 03:12:00 LM-factor=12/60=20% 之后，cache中的页面index.htm终于stale。
如果这时没有index.htm的请求，index.htm会一直在缓存中，如果有index.htm请求，squid收到该请求后，由于已经过期， squid会向源服务器发一个index.htm是否有改变的请求，源服务器收到后，如果index.htm没有更新，squid就不用更新缓存，直接把缓存的内容放回给客户端，同时，重置对象进入cache的时间为与源服务器确认的时间，比如2007-04-10 03:13:00，如果正好在这个后重新确认了页面。重置后，resource age变长，相应在cache中存活的时间也变长。

如果有改变则把最新的index.htm返回给squid,squid收到会更新缓存，然后把新的index.htm返回给客户端,同时根据新页面中的Last_Modified和取页面的时间，重新计算resource age，进一步计算出存活时间。

实际上，一个页面进入cache后，他的存活时间就确定了，即 (resource age) * 百分比，一直到被重新确认。

3.18版本

只需要一行

reply_header_access Via deny all  或 via off 也可

还有如下一些

#reply_header_access All deny all
#reply_header_access Server deny all
#reply_header_access Via deny all
#reply_header_access X-Forwarded-For deny all
#reply_header_access X-Cache deny all
#reply_header_access X-Cache-Lookup deny all
#reply_header_access Accept-Encoding deny all

2.X版本的是用 header_access

可以去掉所有的header或部分header,可以参照下面列表
Accept         HTTP_ACCEPT
Accept-Charset         HTTP_ACCEPT-CHARSET
Accept-Encoding         HTTP_ACCEPT-ENCODING
Accept-Language         HTTP_ACCEPT-LANGUAGE
Accept-Ranges         HTTP_ACCEPT-RANGES
Age         HTTP_AGE
Allow         HTTP_ALLOW
Authorization         HTTP_AUTHORIZATION
Cache-Control         HTTP_CACHE-CONTROL
Connection         HTTP_CONNECTION
Content-Base         HTTP_CONTENT-BASE
Content-Disposition         HTTP_CONTENT-DISPOSITION
Content-Encoding         HTTP_CONTENT-ENCODING
Content-Language         HTTP_CONTENT-LANGUAGE
Content-Length         HTTP_CONTENT-LENGTH
Content-Location         HTTP_CONTENT-LOCATION
Content-MD5         HTTP_CONTENT-MD5
Content-Range         HTTP_CONTENT-RANGE
Content-Type         HTTP_CONTENT-TYPE
Cookie         HTTP_COOKIE
Date         HTTP_DATE
ETag         HTTP_ETAG
Expires         HTTP_EXPIRES
From         HTTP_FROM
Host         HTTP_HOST
If-Match         HTTP_IF-MATCH
If-Modified-Since         HTTP_IF-MODIFIED-SINCE
If-None-Match         HTTP_IF-NONE-MATCH
If-Range         HTTP_IF-RANGE
Last-Modified         HTTP_LAST-MODIFIED
Link         HTTP_LINK
Location         HTTP_LOCATION
Max-Forwards         HTTP_MAX-FORWARDS
Mime-Version         HTTP_MIME-VERSION
Pragma         HTTP_PRAGMA
Proxy-Authenticate         HTTP_PROXY-AUTHENTICATE
Proxy-Authentication-Info         HTTP_PROXY-AUTHENTICATION-INFO
Proxy-Authorization         HTTP_PROXY-AUTHORIZATION
Proxy-Connection         HTTP_PROXY-CONNECTION
Public         HTTP_PUBLIC
Range         HTTP_RANGE
Referer         HTTP_REFERER
Request-Range         HTTP_REQUEST-RANGE
Retry-After         HTTP_RETRY-AFTER
Server         HTTP_SERVER
Set-Cookie         HTTP_SET-COOKIE
Title         HTTP_TITLE
Transfer-Encoding         HTTP_TRANSFER-ENCODING
Upgrade         HTTP_UPGRADE
User-Agent         HTTP_USER-AGENT
Vary         HTTP_VARY
Via         HTTP_VIA
Warning         HTTP_WARNING
WWW-Authenticate         HTTP_WWW-AUTHENTICATE
Authentication-Info         HTTP_AUTHENTICATION-INFO
X-Cache         HTTP_X-CACHE
X-Cache-Lookup         HTTP_X-CACHE-LOOKUP
X-Forwarded-For         HTTP_X-FORWARDED-FOR
X-Request-URI         HTTP_X-REQUEST-URI
X-Squid-Error         HTTP_X-SQUID-ERROR
Negotiate         HTTP_NEGOTIATE
X-Accelerator-Vary         HTTP_X-ACCELERATOR-VARY
Other:         HTTP_OTHER:

squid日志TCP命中率字段解释
#cat access.log|gawk ‘{print $4}’|sort|uniq -c|sort -nr
9568 TCP_IMS_HIT/304
6313 TCP_HIT/200
2133 TCP_MISS/200
1568 TCP_MISS/206
587 TCP_MEM_HIT/200
531 TCP_MISS/304
207 TCP_REFRESH_HIT/200
152 TCP_REFRESH_HIT/304
86 TCP_NEGATIVE_HIT/404
69 TCP_MISS/404
9 TCP_MISS/000
4 TCP_MISS/503
1 TCP_REFRESH_MISS/000
1 TCP_DENIED/400

可以使用上面的方法，大约的分析一下命令中比。什么意思就看下面的详解.
#cat /var/log/squid/access.log |grep TCP_MEM_HIT
如果看到很多的TCP_MEM_HIT ，这表明该文件是从内存缓存读取的，squid已经起作用了！你再用浏览器打开该文件，应该是快如闪电了。。呵呵，大功告成了！还有其他类型的HIT，如TCP_HIT等等，这些是从磁盘读取的，我??得加速的意义不大，只不过缓解了apache的压力而已。

相应于HTTP请求，下列标签可能出现在access.log文件的第四个域。

TCP_HIT
Squid发现请求资源的貌似新鲜的拷贝，并将其立即发送到客户端。

TCP_MISS
Squid没有请求资源的cache拷贝。

TCP_REFERSH_HIT
Squid发现请求资源的貌似陈旧的拷贝，并发送确认请求到原始服务器。原始服务器返回304（未修改）响应，指示squid的拷贝仍旧是新鲜的。

TCP_REF_FAIL_HIT
Squid发现请求资源的貌似陈旧的拷贝，并发送确认请求到原始服务器。然而，原始服务器响应失败，或者返回的响应Squid不能理解。在此情形下，squid发送现有cache拷贝（很可能是陈旧的）到??户端。

TCP_REFRESH_MISS
Squid发现请求资源的貌似陈旧的拷贝，并发送确认请求到原始服务器。原始服务器响应新的内容，指示这个cache拷贝确实是陈旧的。

TCP_CLIENT_REFRESH_MISS
Squid发现了请求资源的拷贝，但客户端的请求包含了Cache-Control: no-cache指令。Squid转发客户端的请求到原始服务器，强迫cache确认。

TCP_IMS_HIT
客户端发送确认请求，Squid发现更近来的、貌似新鲜的请求资源的拷贝。Squid发送更新的内容到客户端，而不联系原始服务器。

TCP_SWAPFAIL_MISS
Squid发现请求资源的有效拷贝，但从磁盘装载它失败。这时squid发送请求到原始服务器，就如同这是个cache丢失一样。

TCP_NEGATIVE_HIT
在对原始服务器的请求导致HTTP错误时，Squid也会cache这个响应。在短时间内对这些资源的重复请求，导致了否命中。 negative_ttl指令控制这些错误被cache的时间数量。请注意这些错误只在内存cache，不会写往磁盘。下列HTTP状态码可能导致否定 cache（也遵循于其他约束）： 204, 305, 400, 403, 404, 405, 414, 500, 501, 502, 503, 504。

TCP_MEM_HIT
Squid在内存cache里发现请求资源的有效拷贝，并将其立即发送到客户端。注意这点并非精确的呈现了所有从内存服务的响应。例如，某些cache在内存里，但要求确认的响应，会以TCP_REFRESH_HIT, TCP_REFRESH_MISS等形式记录。

TCP_DENIED
因为http_access或http_reply_access规则，客户端的请求被拒绝了。注意被http_access拒绝的请求在第9域的值是NONE/-，然而被http_reply_access拒绝的请求，在相应地方有一个有效值。

TCP_OFFLINE_HIT
当offline_mode激活时，Squid对任何cache响应返回cache命中，而不用考虑它的新鲜程度。

TCP_REDIRECT
重定向程序告诉Squid产生一个HTTP重定向到新的URI（见11.1节）。正常的，Squid不会记录这些重定向。假如要这样做，必须在编译squid前，手工定义LOG_TCP_REDIRECTS预处理指令。

NONE
无分类的结果用于特定错误，例如无效主机名。

相应于ICP查询，下列标签可能出现在access.log文件的第四域。

UDP_HIT
Squid在cache里发现请求资源的貌似新鲜的拷贝。

UDP_MISS
Squid没有在cache里发现请求资源的貌似新鲜的拷贝。假如同一目标通过HTTP请求，就可能是个cache丢失。请对比UDP_MISS_NOFETCH。

UDP_MISS_NOFETCH
跟UDP_MISS类似，不同的是这里也指示了Squid不愿去处理相应的HTTP请求。假如使用了-Y命令行选项，Squid在启动并编译其内存索引时，会返回这个标签而不是UDP_MISS。

UDP_DENIED
因为icp_access规则，ICP查询被拒绝。假如超过95% 的到某客户端的ICP响应是UDP_DENIED，并且客户端数据库激活了（见附录A），Squid在1小时内，停止发送任何ICP响应到该客户端。若这点发生，你也可在cache.log里见到一个警告。

UDP_INVALID
Squid接受到无效查询（例如截断的消息、无效协议版本、URI里的空格等）。Squid发送UDP_INVALID响应到客户端。

简单来说，RAID（磁盘阵列）把多个硬盘组合成为一个逻辑扇区，因此，操作系统只会把它当作一个硬盘。RAID常被用在服务器电脑上，并且常使用完全相同的硬盘作为组合。最初的RAID分成了不同的等级，每种等级都有其理论上的优缺点。更多内容参考：RAID

阵列可以有阵列卡实现的硬阵列，也可以由操作系统提供支持的软阵列。linux下的软阵列用mdadm来管理。以下是针对CentOS的基本操作：

一、建立软阵列一般分为3个步骤
1、产生组成单元

linux中软阵列的组成单元是分区，且这个分区的系统识别码必须设置成“fd linux raid autodetect”。可以用fdisk或pareted分区工具分区。

   Device Boot      Start         End      Blocks   Id  System
/dev/hdb1               1         195       98248+  fd  Linux raid autodetect
/dev/hdb2             196         390       98280   fd  Linux raid autodetect2、建立磁盘阵列

mdadm -C /dev/md0 -l 1 -n 4 /dev/hd[bd][12]
#-C /dev/md0 创建名为md0的磁盘阵列设备
#-l 1 阵列等级是raid1，可以建立0，5等其他磁盘阵列
#-n 4 组成单元有4个分区
#/dev/hd[bd][12] 组成单元是/dev/hdb1、/dev/hdb2、/dev/hdd1、/dev/hdd2

#格式化该磁盘阵列
mkfs -t ext3 /dev/md0

#挂载并设置/etc/fstab
mount /dev/md0 /data
echo "/dev/md0 /data ext3 defaults 1 2" >> /etc/fstab3、mdadm.conf配置

/etc/mdadm.conf是centos下mdadm的默认配置文件，系统启动时会根据此配置文件激活磁盘阵列及启动阵列监控服务。此配置文件可以参考/usr/share/doc/mdadm-2.6.9/mdadm.conf-example。配置很简单，可以根据已经建立的磁盘阵列使用以下命令建立此文件。

mdadm -Ds >> /etc/mdadm.conf
echo "MAILADDR saplingidea@gmail.com" >> /etc/mdadm.conf
#MAILADDR是管理员email，磁盘阵列出问题时会发邮件通知管理员。
cat /etc/mdadm.conf
#内容如下
ARRAY /dev/md0 level=raid1 num-devices=4 metadata=0.90 UUID=40d32084:7be6bc73:071b21a9:4d8afc12
MAILADDR saplingidea@gmail.com二、管理磁盘阵列
1、查看磁盘阵列信息

#直接查看/proc/mdstat
cat /proc/mdstat
Personalities : [raid1]
md0 : active raid1 hdd2[3] hdd1[2] hdb2[1] hdb1[0]
      98176 blocks [4/4] [UUUU]

#使用mdadm查看
mdadm -D /dev/md02、处理硬盘故障

对于raid1，raid5这样有容灾能力的磁盘阵列来说，硬盘的故障不用太担心。以下是处理硬盘故障一般步骤：
a.使用mdadm /dev/md0 -r /dev/hdb1 在线卸载故障硬盘的组成单元
b.物理拆除故障硬盘
c.安装正常的硬盘并分区产生新的组成单元
d.使用mdadm /dev/md0 -a /dev/hdd3 在线加入新组成单元

#-f参数可以模拟磁盘故障
mdadm /dev/md0 -f /dev/hdb1

mdadm -D /dev/md0 |tail
           UUID : 40d32084:7be6bc73:071b21a9:4d8afc12
         Events : 0.4

    Number   Major   Minor   RaidDevice State
       0       0        0        0      removed
       1       3       66        1      active sync   /dev/hdb2
       2      22       65        2      active sync   /dev/hdd1
       3      22       66        3      active sync   /dev/hdd2

       4       3       65        -      faulty spare   /dev/hdb1

#在线卸载故障硬盘的组成单元
mdadm /dev/md0 -r /dev/hdb1

#在线加入新组成单元
mdadm /dev/md0 -a /dev/hdd3

mdadm -D /dev/md0 |tail
  Spare Devices : 0

           UUID : 40d32084:7be6bc73:071b21a9:4d8afc12
         Events : 0.26

    Number   Major   Minor   RaidDevice State
       0      22       67        0      active sync   /dev/hdd3
       1       3       66        1      active sync   /dev/hdb2
       2      22       65        2      active sync   /dev/hdd1
       3      22       66        3      active sync   /dev/hdd23、启用、停用磁盘阵列

#启用
mdadm -A -s [MD_DEVICE]
#停用
mdadm --stop -s [MD_DEVICE]4、监控磁盘阵列

启动mdmonitor服务监控磁盘阵列，当磁盘阵列出现故障时会发邮件通知管理员，邮件保存在/etc/mdadm.conf里。

/etc/init.d/mdmonitor start
chkconfig mdmonitor on

#报警内容示例
This is an automatically generated mail message from mdadm
running on localhost.localdomain

A Fail event had been detected on md device /dev/md0.

It could be related to component device /dev/hdb1.

Faithfully yours, etc.

P.S. The /proc/mdstat file currently contains the following:

Personalities : [raid1]
md0 : active raid1 hdd2[3] hdd1[2] hdb2[1] hdb1[4](F)
     98176 blocks [4/3] [_UUU]

unused devices:5、删除磁盘阵列

删除磁盘阵列前必需做好备份。

umount /dev/md0
mdadm --stop -s /dev/md0
mdadm --zero-superblock /dev/hd[bd][123]
rm /etc/mdadm.conf

#删除磁盘阵列后必须修改/etc/fstab，以免开机无法挂载分区而无法启动。

---------------------linux as4中创建软阵列-

通常情况下人们在服务器端采用各种冗余磁盘阵列（RAID）技术来保护数据，中高档的服务器一般都提供了昂贵的硬件RAID控制器。对于资金实力有限的中小企业来讲，在Linux下通过软件来实现硬件的RAID功能，这样既节省了投资，又能达到很好的效果。何乐而不为呢？

作为一个面向服务器的网络型操作系统，Linux对数据的安全和存取速度给予了高度重视，从2.4版内核开始Linux就实现了对软件RAID的支持（关于RAID的背景知识请见附文），这让我们可以不必购买昂贵的硬件RAID设备，就能享受到增强的磁盘I/O性能和可靠性，进一步降低了系统的总体拥有成本。下面就让我们看一个Redhat Linux AS 4下的软件RAID配置实例吧。

系统配置情况

假设某单位新上了一套使用Oracle数据库的能量采集系统，该系统数据量极大并且读写非常频繁，实时性要求高，高峰时有近40名用户在线，对数据库服务器的磁盘子系统提出了很高的要求。由于预算比较紧张，经过多方比较，最终选择了采用Linux系统做软件RAID5的方案。

其配置情况如下：

● 操作系统为RedHat Linux AS 4；

● 内核版本为2.6.9-5.EL；

● 支持RAID0、RAID1、RAID4、RAID5、RAID6；

● 五块36GB SCSI接口的磁盘，其中RedHat AS 4安装在第一块磁盘，其它四块组成RAID 5用来存放Oracle数据库。

在RedHat AS 4下实现软件RAID是通过mdadm工具实现的，其版本为1.6.0，它是一个单一的程序，创建、管理RAID都非常方便，而且也很稳定。而在早期Linux下使用的raidtools，由于维护起来很困难，而且其性能有限，在RedHat AS 4下已经不支持了。

实现过程

1．创建分区

五块SCSI磁盘分别对应/dev/sda、/dev/sdb、/dev/sdc、/dev/sdd、/dev/sde。其中第一块磁盘/dev/sda分两个区，用于安装RedHat AS 4和做交换分区，其他四块磁盘每块只分一个主分区，分别为/dev/sdb1、/dev/sdc1、/dev/sdd1、/dev/sde1，并且将分区类型指定为“fd”，这将使Linux内核能将它们识别为RAID分区，且在每次引导时自动被检测并启动。创建分区使用fdisk命令。

# fdisk /dev/sdb

进入fdisk命令行后，使用命令n创建分区，命令t改变分区类型，命令w保存分区表并退出，命令m为帮助。

2．创建RAID 5

这里使用了/dev/sdb1、/dev/sdc1、/dev/sdd1、/dev/sde1四个设备创建RAID 5，其中/dev/sde1作为备份设备，其他为活动设备。备份设备主要起备用作用，一旦某一设备损坏可以立即用备份设备替换，当然也可以不使用备份设备。命令格式如下：

# mdadm -Cv /dev/md0 -l5 -n3 -x1 -c128 /dev/sd[b,c,d,e]1

命令中各参数分别表示如下作用：“-C”指创建一个新的阵列；“/dev/md0”表示阵列设备名称；“-l5”表示设置阵列模式，可以选择0、1、4、5、6，它们分别对应于RAID0、RAID1、RAID4、RAID5、RAID6，这里设为RAID5模式；“-n3”指设置阵列中活动设备的数目，该数目加上备用设备的数目应等于阵列中的总设备数; “-x1”设置阵列中备份设备的数目，当前阵列中含有1个备份设备；“-c128”指设置块的尺寸为128KB，缺省为64KB；“/dev/sd[b,c,d,e]1”指当前阵列中包含的所有设备标识符，也可以分开来写，中间用空格分开，其中最后一个为备份设备。

3．查看阵列状态

当创建一个新阵列或者阵列重构时，设备需要进行同步操作，这一过程需要一定时间，可以通过查看/proc/mdstat文件，来显示阵列的当前状态以及同步进度、所需时间等。

# more /proc/mdstat

Personalities : [raid5]

md0 : active raid5 sdd1[3] sde1[4] sdc1[1] sdb1[0]

75469842 blocks level 5, 128k chunk, algorithm 2 [3/2] [UU_]

[>....................] recovery = 4.3% (1622601/37734912) finish=1.0min speed=15146K/sec

unused devices:

当新建或重构完成后，再次查看/proc/mdstat文件:

# more /proc/mdstat

Personalities : [raid5]

md0 : active raid5 sdd1[2] sde1[3] sdc1[1] sdb1[0]

75469842 blocks level 5, 128k chunk, algorithm 2 [3/3] [UUU]

unused devices:

通过以上内容，可以很清楚地看出当前阵列的状态，各部分所代表的意思如下：“[3/3]”中的第一位数表示阵列所包含的设备数，第二位数表示活动的设备数，如果有一个设备损坏，则第二位数将减1；“[UUU]”标记当前阵列可以正常使用的设备情况，现假设/dev/sdb1出现故障，则该标记将变成[_UU]，这时的阵列以降级模式运行，即该阵列仍然可用，但是不再具有任何冗余；“sdd1[2]”指阵列所包含的设备数为n，若方括号内的数值小于n，则表示该设备为活动设备，若数值大于等于n，则该设备为备份设备，当一个设备出现故障的时候，相应设备的方括号后将被标以(F)。

4．生成配置文件

mdadm的缺省配置文件为/etc/mdadm.conf，它主要是为了方便阵列的日常管理而设置的，对于阵列而言不是必须的，但是为了减少日后管理中不必要的麻烦，还是应该坚持把这一步做完。

在mdadm.conf文件中要包含两种类型的行：一种是以DEVICE开头的行，它指明在阵列中的设备列表；另一种是以ARRAY开头的行，它详细地说明了阵列的名称、模式、阵列中活动设备的数目以及设备的UUID号。格式如下：

DEVICE /dev/sdb1 /dev/sdc1 /dev/sdd1 /dev/sde1

ARRAY /dev/md0 level=raid5 num-devices=3 UUID=8f128343:715a42df: baece2a8: a5b878e0

以上的这些信息可以通过扫描系统的阵列来获取，命令为：

# mdadm -Ds

ARRAY /dev/md0 level=raid5 num-devices=3 UUID=8f128343:715a42df: baece2a8: a5b878e0

devices=/dev/sdb1,/dev/sdc1,/dev/sdd1,/dev/sde1

使用vi命令，按照规定的格式编辑修改/etc/mdadm.conf文件

# vi /etc/mdadm.conf

5．创建文件系统并挂接(mount)使用

RAID5已经启动并处于运行状态，现在要做的就是在其上创建一个文件系统，这里使用mkfs命令，文件系统类型为ext3。命令如下：

# mkfs -t ext3 /dev/md0

当新的文件系统生成之后，就可以将/dev/md0挂接到指定的目录了。命令如下：

# mount /dev/md0 /mnt/raid

为了让系统在启动时自动将/dev/md0挂接到/mnt/raid，还需要修改/etc/fstab文件，添加如下内容：

/dev/md0 /mnt/raid ext3 defaults 0 0

故障模拟

上面的实例，让我们对Redhat Linux AS 4的软件RAID功能有了一定的认识，并且通过详细的步骤说明了如何创建RAID5。有了RAID做保障，电脑里的数据看起来似乎已经很安全了，然而现有的情况还是不能让我们高枕无忧，想一想，万一磁盘出现故障怎么办？下面我们模拟一个更换RAID5故障磁盘的完整过程，希望以此丰富大家处理RAID5故障的经验，提高管理和维护水平。

我们仍然沿用上面的RAID5配置，首先往阵列中拷贝一些数据，接下来开始模拟/dev/sdb1设备故障。不过，对于无备份设备的RAID5的模拟过程也要经过如下三步，只是阵列重构和数据恢复是发生在新设备添加到阵列中之后，而不是设备损坏时。

1．将/dev/sdb1标记为已损坏的设备

# mdadm /dev/md0 -f /dev/sdb1

查看当前阵列状态

# more /proc/mdstat

Personalities : [raid5]

md0 : active raid5 sdd1[2] sde1[3] sdc1[1] sdb1[4](F)

75469842 blocks level 5, 128k chunk, algorithm 2 [3/2] [_UU]

[=>...................] recovery = 8.9% (3358407/37734912) finish=1.6min speed=9382K/sec

unused devices:

因为有备份设备，所以当阵列中出现设备损坏时，阵列能够在短时间内实现重构和数据的恢复。从当前的状态可以看出，阵列正在重构，且运行在降级模式，sdb1[4]的后面已经标上了(F)，活动设备数也降为2个。

经过几分钟后，再次查看当前阵列状态。

# more /proc/mdstat

Personalities : [raid5]

md0 : active raid5 sdd1[2] sde1[0] sdc1[1] sdb1[3](F)

75469842 blocks level 5, 128k chunk, algorithm 2 [3/3] [UUU]

unused devices:

此时阵列重构已经完成，数据恢复完毕，原有的备份设备sde1成为了活动设备。

2．移除损坏的设备

# mdadm /dev/md0 -r /dev/sdb1

查看当前阵列的状态：

# more /proc/mdstat

Personalities : [raid5]

md0 : active raid5 sdd1[2] sde1[0] sdc1[1]

75469842 blocks level 5, 128k chunk, algorithm 2 [3/3] [UUU]

unused devices:

损坏的sdb1已经从阵列中移掉。

3．将新设备添加到阵列中

因为是模拟操作，可以通过下面的命令再次将/dev/sdb1添加到阵列中。如果是实际操作则要注意两点：一是在添加之前要对新磁盘进行正确的分区；二是添加时要用所添加设备的设备名替换/dev/sdb1。

# mdadm /dev/md0 -a /dev/sdb1

查看当前阵列的状态：

# more /proc/mdstat

Personalities : [raid5]

md0 : active raid5 sdb1[3] sdd1[2] sde1[0] sdc1[1]

75469842 blocks level 5, 128k chunk, algorithm 2 [3/3] [UUU]

unused devices:

这时sdb1作为备份设备再次出现在阵列中

常用阵列维护命令

1．启动阵列

# mdadm -As /dev/md0

该命令指启动/dev/md0阵列，其中“-A”指装载一个已存在的阵列；“-s”指查找mdadm.conf文件中的配置信息，并以此为依据启动阵列。

#mdadm -As

该命令指启动mdadm.conf文件中的所有阵列。

#mdadm -A /dev/md0 /dev/sd[b,c,d,e]1

如果没有创建mdadm.conf文件则可以采用上面这种启动方式。

2．停止阵列

# mdadm -S /dev/md0

3．显示指定阵列的详细信息

# mdadm -D /dev/md0

链接

RAID简介

RAID是冗余磁盘阵列（Redundant Array of Inexpensive Disk）的简称。它是把多个磁盘组成一个阵列，当作单一磁盘使用。它将数据以分段(striping)的方式分散存储在不同的磁盘中，通过多个磁盘的同时读写，来减少数据的存取时间，并且可以利用不同的技术实现数据的冗余，即使有一个磁盘损坏，也可以从其他的磁盘中恢复所有的数据。简单地说，其好处就是：安全性高、速度快、数据容量大。

磁盘阵列根据其使用的技术不同而划分了等级，称为RAID level，目前公认的标准是RAID 0～RAID 5。其中的level并不代表技术的高低，RAID 5并不高于RAID 4 ，RAID 0并不低于RAID 2 ，至于选择哪一种RAID需视用户的需求而定。下面分别对常用的RAID 0、RAID 1、RAID 5进行简单的介绍。

1．RAID 0

特点：它是将多个磁盘并列起来，成为一个大硬盘。在存取数据时，将数据按磁盘的个数来进行分段，然后同时将这些数据写进这些盘中。在所有的级别中，RAID 0的速度是最快的。但没有数据冗余，阵列中任何一个磁盘坏掉，意味着所有数据丢失。

磁盘利用数：n(假设有n个磁盘)。

配置条件：最低两块磁盘，且分区大小尽量相同。

应用领域：对高磁盘容量及高速磁盘存取有特殊需求，而又不计较其高故障率的工作。当然，如果你正在使用集群，RAID 0 无疑是提高磁盘I/O性能的最好方法，因为在这种情况下，你就不用担心冗余的问题了。

2．RAID 1

特点：使用磁盘镜像(disk mirroring)的技术，在一个磁盘上存放数据的同时也在另一个磁盘上写一样的数据。因为有了备份磁盘，所以RAID 1的数据安全性在所有的RAID级别上来说是最好的。尽管其写入数据的速度比较慢，但因其数据是以分段的方式作储存，因而在读取时,它几乎和RAID 0有同样的性能。
 

磁盘利用数：n/2。

配置条件：最低两块磁盘，且分区大小尽量相同。

应用领域：数据库、金融系统等一些对数据有着高可靠性要求的领域。再者就是系统中写数据量比较少，而读数据量又比较多的情况下可以采用这一模式。

3．RAID 5

特点：以数据的校验位来保证数据的安全，但它不是以单独硬盘来存放数据的校验位，而是将数据段的校验位交互存放于各个磁盘上。这样，任何一个磁盘损坏，都可以根据其他磁盘上的校验位来重建损坏的数据。并行读写数据，性能也很高。
 

磁盘利用数：n-1。

配置条件：最低三块硬盘，且分区大小尽量相同。

测试通过

Red Hat Enterprise Linux 4中，raid磁盘阵列的管理仅通过一条/sbin/mdadm 命令来完成的。在通过mdadm -C 建立/dev/mdXRAID 设备后，每次电脑重新启动后，都能正确加载RAID 设备，这是为什么呢？
本人一开始也感到很疑惑，后来通过分析，初步掌握了linux起动时加载和管理RAID 设备的过程，写出来与大家分享和探讨。
1.与mdadm相关配置文件文件：
/etc/mdadm.conf
/proc/partitions
/proc/mdstat
/dev/mdX

2.linux起动时是如何加载和管理RAID 设备
主要是通过/etc/rc.d/rc.initsys来做到的。
首先查找/etc/mdadm.conf,如果找到则用/sbin/mdadm -A -s命令加载
。。。。。
if [ -f /etc/mdadm.conf ]; then
/sbin/mdadm -A -s
fi
。。。。。
可用以下命令测试：
/sbin/mdadm -S /dev/mdX
/sbin/mdadm -A -s
如果没有找到有效的/etc/mdadm.config文件，则通过/proc/partitions来加载
。。。。
if [ $RESULT -gt 0 -a -x /sbin/mdadm ]; then
/sbin/mdadm -Ac partitions $i -m dev
RESULT=$?
fi
。。。。。
显然/etc/mdadm.conf不是必须的
可用以下命令测试：
/sbin/mdadm -S /dev/mdX
/sbin/mdadm -Ac partitions /dev/md0 -m dev
or
mdadm -Ac partitions /dev/md0 -m 0

大概原理就是对最新日志里面的客户端访问IP进行采样统计分析，然后对超出正常访问次数的IP进行屏蔽，如下面统计分析后的结果：

对最新1000条日志的客户端访问IP进行排序统计访问次数。比如第一个IP 219.128.20.68 1000条日志就有295条，访问肯定不正常

root@ubuntu134:# tail access.log -n 1000 |grep vote.php |awk {'print $2'} |sort |uniq -c |sort -nr
   295 219.128.20.68
   175 113.250.97.209
   164 218.87.140.39
   153 59.61.215.42
     98 222.240.182.234
     83 220.181.110.65
     73 120.38.1.255
     62 221.3.99.106
     21 220.249.83.74
     12 218.22.10.114
      1 123.52.158.16
      1 114.81.115.201

然后就是自动处理，如果1000条日志单IP超过50条就屏蔽掉

*/2 * * * * /usr/local/nginx/var/log/drop.sh

#!/bin/sh
cd /usr/local/nginx/var/log
tail access.log -n 1000 |grep vote.php |awk {'print $2'} |sort |uniq -c |sort -nr |awk '{if ($2!=null && $1>50) {print $2}}' > drop_ip.txt
for i in `cat drop_ip.txt`
do
/sbin/iptables -I INPUT -s $i -j DROP;
done

这shell 每几分钟执行一次，就可自动屏蔽那些不正常IP，相信大家都看的懂，下面是针对连接数屏蔽代码

#!/bin/sh
/bin/netstat -ant |grep 80 |awk '{print $5}' |awk -F : '{print $1}' |sort |uniq -c |sort -rn |grep -v -E '192.168|127.0' |awk '{if ($2!=null && $1>50) {print $2}}' > drop_ip.txt
for i in `cat drop_ip.txt`
do
/sbin/iptables -I INPUT -s $i -j DROP;
done

说下，grep -v -E '192.168|127.0'  也就是排除内网IP，免得把自己给屏蔽了，当然还可以加些自己的IP。