meisw's blog

UPX 是一款先进的可执行程序文件压缩器
压缩过的可执行文件体积缩小50%-70%
这样减少了磁盘占用空间、网络上传下载的时间和其它分布以及存储费用。

通过 UPX 压缩过的程序和程序库完全没有功能损失
和压缩之前一样可正常地运行
对于支持的大多数格式没有运行时间或内存的不利后果。

UPX 支持许多不同的可执行文件格式
包含 Windows 95/98/ME/NT/2000/XP/CE 程序和动态链接库、DOS 程序、Linux 可执行文件和核心。

参数说明:
Usage: upx [-123456789dlthVL] [-qvfk] [-o file] file..

Commands:
   -1      compress faster                    -9     compress better
   -d      decompress                         -l     list compressed file
   -t      test compressed file               -V     display version number
   -h      give more help                     -L     display software license
Options:
   -q      be quiet                           -v     be verbose
   -oFILE write output to 'FILE'
   -f      force compression of suspicious files
   -k      keep backup files
file..    executables to (de)compress

Type 'upx --help' for more detailed help.

UPX comes with ABSOLUTELY NO WARRANTY; for details visit http://upx.sf.net

source = ['/home/swaroop/byte', '/home/swaroop/bin']
# If you are using Windows, use source = [r'C:\Documents',r'D:\Work'] or somethi
ng like that
# 2. The backup must be stored in a main backup directory
target_dir = '/mnt/e/backup/' # Remember to change this to what you will be usin
g
# 3. The files are backed up into a zip file.
# 4. The name of the zip archive is the current date and time
target   =   target_dir   +  time.strftime('%Y%m%d%H%M%S') + '.zip'

if not os.path.exists(today): 
   os.mkdir(today) # make directory 
   print 'Successfully created directory', today

comment = raw_input('Enter a comment --> ')
if len(comment) == 0: # check if a comment was entered
   target = today + os.sep + now + '.zip'
else:
   target = today + os.sep + now + '_' + \
      comment.replace(' ', '_') + '.zip'

zip_command = "zip -qr '%s' %s" % (target, ' '.join(source))
# Run the backup
if os.system(zip_command) == 0:
  print 'Successful backup to', target
else:
  print 'Backup FAILED'

之前已经写过一篇关于Python subprocess的帖子了，subprocess是Python下标准的用于进程创建、通讯的模块，这里再补充一些，注意：我还一直坚守Python2.x，所以不一定适合Python 3。

subprocess简单用法

这是最简单的用法：

p=subprocess.Popen("dir", shell=True)
p.wait()

shell参数根据你要执行的命令的情况来决定，上面是dir命令，就一定要shell=True了，p.wait()可以得到命令的返回值，没有问题。

进程通讯

如果想得到进程的输出，管道是个很方便的方法，这样：

p=subprocess.Popen("dir", shell=True, stdout=subprocess.PIPE, stderr=subprocess.PIPE)
(stdoutput,erroutput) = p.communicate()

p.communicate会一直等到进程退出，并将标准输出和标准错误输出返回，这样就可以得到子进程的输出了，上面，标准输出和标准错误输出是分开的，也可以合并起来，只需要将stderr参数设置为subprocess.STDOUT就可以了，这样子：

p=subprocess.Popen("dir", shell=True, stdout=subprocess.PIPE, stderr=subprocess.STDOUT)
(stdoutput,erroutput) = p.communicate()

如果你想一行行处理子进程的输出，也没有问题：

p=subprocess.Popen("dir", shell=True, stdout=subprocess.PIPE, stderr=subprocess.STDOUT)
while True:
    buff = p.stdout.readline()
    if buff == '' and p.poll() != None:
        break

死锁

但是如果你使用了管道，而又不去处理管道的输出，那么小心点，如果子进程输出数据过多，死锁就会发生了，比如下面的用法：

p=subprocess.Popen("longprint", shell=True, stdout=subprocess.PIPE, stderr=subprocess.STDOUT)
p.wait()

longprint是一个假想的有大量输出的进程，那么在我的xp, Python2.5的环境下，当输出达到4096时，死锁就发生了。当然，如果我们用p.stdout.readline或者p.communicate去清理输出，那么无论输出多少，死锁都是不会发生的。或者我们不使用管道，比如不做重定向，或者重定向到文件，也都是可以避免死锁的。

异步subprocess

无论是使用readline还是communicate，这里有个问题是：他们都是同步的，你没有办法在等待子进程输出的同时做点别的什么事情，标准的subprocess是不支持异步和子进程交互的，幸好，幸好，有人提供了Python 3下的异步方法，我移植到Python2.5下面，可以这样用了：

p=subprocess.Popen("dir", shell=True, stdout=subprocess.PIPE, stderr=subprocess.STDOUT)
while True:
    buff = p.asyncread(timeout=0.5)
    if buff == '' and p.poll() != None:
        break

这里带一个超时去读取子进程的输出，如果超时还没有输出，没关系，父进程可以干点别的什么事情，看起来很棒，subprocess的改动部分代码比较长，不在这里贴了。

关闭
在Python 2.6的subprocess模块中，新增加了一个小的接口就是Terminate，用于进程的终结，可惜可惜，十分遗憾，Windows下，这个Terminate只能杀死subprocess创建的进程，而不能杀死其子进程，如果我们明确知道创建的进程没有子进程，当然可以用这个接口，如果不肯定，则这个接口就没什么用了。

举个简单的例子，如果用shell=True的参数让subprocess创建进程，那么就会多出一个额外的cmd进程，这时用Terminate终结的就是这个cmd进程，而真正那个我们创建的进程则不会被终结。

有很多方法可以对付这个问题，但有一个简单的方法是使用Windows自己提供的taskkill命令，它有一个/T参数，可以杀死一个进程树，正是我们所需要的。subprocess创建的进程有一个pid属性，把pid传给taskkill就ok了。

http://www.liuzhongshu.com/code/subprocess-detail.html

以下内容假定已安装好Python 2.4/2.5
一、下载并编译pyinstaller（只需做一次，以后可直接做第二步）
1.下载pyinstaller,现在的版本是1.3
(1)wget http://pyinstaller.hpcf.upr.edu/source/1.3/pyinstaller_1.3.tar.gz

2.解包进入源码目录
(1)tar zxv pyinstaller_1.3.tar.gz
(2)cd pyinstaller-1.3/source/linux

3.编译源代码
(1)python Make.py 生成python的 .pyc文件

如无错误，则出现如下提示（只有一行）：
Now run "make" to build the targets: ../../support/loader/run ../../support/loader/run_d

(2)make 连接生成linux的 .o 文件

4.生成编译配置文件
(1)python Configure.py 生成config.dat配置文件

二、编译独立运行的python可执行文件

1.生成spec文件
python pyinstaller-1.3/Makespec.py --onefile --upx linuxlaptop.py

参数说明：
--onefile 生成单文件
--upx 生成压缩的文件（可减小执行文件体积，需先安装upx软件包）


2.生成最终的可执行文件
python pyinstaller-1.3/Build.py linuxlaptop.spec

执行完成后将在当前目录生成可执行的linuxlaptop文件，如有问题欢迎与我交流：linuxlaptop.cn。
原文：http://bbs.chinaunix.net/thread-1328460-1-1.html

============================个人实践=============================
系统：Ubuntu 8.0.4
安装相关包：apt-get install libc6-dev python-dev zlib1g-dev
cd source/linux
python ./Make.py
make

这时会提示pyinstaller-1.3中的几个包语法错误，估计源码包是在window下调试产生unix不识别的字符，典型的是换行符。
安装dos2unix:sudo apt-get install tofrodos
dos2unix /pyinstaller-1.3/pyinstaller-1.3/optparse.py......(6个文件左右)

再运行：python /pyinstaller-1.3/Build.py my.spec
搞定，生成了distmy目录，里头有好多.o文件，类似于win下的dll:)

<input name="reload" type="button" id="reload" onclick=location.reload() value="刷新" />
      &nbsp;&nbsp;
      <input name="release" type="button" id="release" onclick="location='<?=$PHP_SELF;?>?act=release'" value="跳转" />&nbsp;&nbsp;&nbsp;      </label>

Sed(a stream editor)
4个空间:input stream, pattern buffer, output stream和hold buffer
基本操作过程是:
(1).将input stream的当前行放入pattern buffer,然后input stream的指针指向下一行;
(2).对pattern buffer中的行进行处理;
(3).将2的处理结果放入output stream.然后循环这个过程.

hold buffer是另一个空间,可以通过命令和pattern buffer进行交互.

sed命令介绍

1. 基本命令---"替换": s
  1.1 基本用法
  e.g. sed 's/day/night/' <old >new
  该例子将文件old中的每一行第一次出现的day替换成night,将结果输出到文件new
  s            "替换"命令
  /../../      分割符(Delimiter)
  day          搜索字符串
  night        替换字符串

  其实,分割符"/"可以用别的符号代替,比如",", "|"等.
  e.g. sed 's/\/usr\/local\/bin/\/common\/bin/'<old >new
  等价于sed 's_/usr/local/bin_/common/bin_' <old >new
  显然,此时用"_"作分割符比"/"好得多.


  1.2 用&表示匹配的字符串

  有时可能会想在匹配到的字符串周围或附近加上一些字符.
  e.g. sed 's/abc/(abc)/' <old >new
  该例子在找到的abc前后加上括号.
  该例子还可以写成 sed 's/abc/(&)/' <old >new
  下面是更复杂的例子:
  sed 's/[a-z]*/(&)/' <old >new
  sed 's/[0-9]*/& &/' <old >new

  1.3 用\1, \2, ..., \9来表示匹配的字符串

  e.g. sed 's/\([a-z]*\)[0-9]*/\1/' <old >new
  本例中\1就是指前面的\([a-z]*\)

  sed 's/\([a-z]*\) \([0-9]*\)/\2 \1/' <old >new
  本例中\2和\1分别代表前面的\([0-9]*\)和\([a-z]*\)

  \1, \2, ..., \9也可以出现在搜索字符串中
  e.g. sed 's/\([a-z]*\) \1/\1/' <old >new
  本例可以去除重复的由字母组成的词

  1.4 "替换"选项
      1.4.1 /g 替换所有的
      sed默认只替换搜索字符串的第一次出现,利用/g可以替换搜索字符串所有
      出现的地方.例如,
      sed 's/\([^ ]*\)/(&)/g' <old >new

      1.4.2 用/1, /2, ...来表明替换哪一次出现
      e.g. sed 's/[^ ]*//2' <old >new
      可以从/1用到/512

      1.4.3 /p print选项
      当sed命令有-n选项时,该命令没用输出.
      -n配合/p选项后,如果该行确实发生了替换,则输出该行,否则不输出.

      1.4.4 /w filename 写到文件filename中
      e.g. sed 's/\([0-9]*\) \([a-z]*\)/\2/w new' <old
      该例子把输出放入文件new中

  1.5 替换和插入换行符号
  替换 (echo a;echo x;echo y) | sed '/x$/ {
       N
       s:x\n:x:
       }'

  插入
       (echo a;echo x;echo y) | sed 's:x:X\
       :'



2. 只对特定行的处理

  2.1 通过行号限定
  sed '3 s/[0-9][0-9]*//' <old >new 只处理第3行

  sed '1,100 s/A/a/' <old >new 只处理1到100行

  sed '101,$ s/A/a/' <old >new 处理101到文件的最后一行

  sed '101,$ !s/A/a/' <old >new 这里!表示只对1到100行进行替换,!的作用是取反


  2.2 通过正规表达式限定
  sed '/start/,/stop/ s/#.*//' <old >new
  本例中,sed先找到有start的行作为开始,找到最近的有stop的行作为结束,对之
  间的行进行操作.
  重复上述过程,直到文件结束

  下面这个例子是行号和正规表达式配合来限定
  sed '1,/start/ s/#.*//' <old >new 对第1行到含有start的行进行处理


3. 其他的简单命令
  3.1 删除命令 d
  sed '11,$ d' <old >new 删除从11行到文件末尾
  sed '/^#/ d' <old >new 删除所有以#开始的行

  3.2 print命令 p (注意与s命令的/p选项的区别)
  sed 'p' <old    每一行将会被输出两次
  sed -n 'p' <old 每一行将会输出一次(-n屏蔽掉一次)
  sed '/^$/ p' <old 只对空行输出两次,其他只输出一次
  sed -n '1,10 p' <old 输出前10行
  sed -n '/match/ p' <old 输出含有match的行

  3.3 quit命令 q
  sed '11 q'<old    输出前10行(在第11行退出)
  注意:q命令不能接收多行,例如
  sed '2,5 q'<old 是不正确的

  3.4 写入文件命令 w filename(注意与s命令的/w选项的区别)
  把某些行写入文件filename
  sed -n '/^[0-9]*[02468]/ w even' <old    将以偶数开始的行写入文件even

  3.5 输出行号命令 =
  sed -n '/PATTERN/ =' <old 遇到含有PATTERN的行时,同时输出行号

  3.6 追加,改变,插入新行
  追加命令 a
  #!/bin/sh
  sed '
  /WORD/ a\
  Add this line after every line with WORD
  '

  改变命令 c
  #!/bin/sh
  sed '
  /WORD/ c\
  Replace the current line with the line
  '

  插入命令 i
  #!/bin/sh
  sed '
  /WORD/ i\
  Add this line before every line with WORD
  '

  3.7 变换命令 y
  sed 'y/abcdef/ABCDEF/' <old  该例将字符abcdef分别变成大写

  3.8 将本行的控制符也显示出来的命令 l
  sed '1,10 l' <old

  3.9 d命令和D命令
  d命令删除pattern buffer中的内容进入下一次操作循环
  D命令删除pattern buffer中第一个换行符之前的内容进入下一次操作循环,如
  果pattern buffer中还有内容,则不用从input stream中读入

  3.10 p命令和P命令
  p命令输出pattern buffer中的内容
  P命令输出pattern buffer中第一个换行符之前的内容

  3.11 n命令和N命令
  n命令把下一行读入pattern buffer中(如果没用-n选项,将原来行输出)
  N命令把下一行追加到pattern buffer中

 3.12 流程控制命令
  b label命令:在指定行跳到label
  t label命令:如果在某行发生了替换,跳到label
  T label命令:如果在某行没有发生了替换,跳到label

4. 调用sed时的参数

  4.1 -e script 执行script这个脚本
  e.g. sed -e 's/a/A/' -e 's/b/B/' <old >new
  对每一行分别执行's/a/A/'和 's/b/B/'

  4.2 -n     禁止输出
  这里的-n与前面的/p配合,可以只输出被修改了的行.

  4.3 -f scriptname 把scriptname文件中的sed命令加入本次sed的调用中
  e.g. sed -f sedscript <old >new

  sedscript的内容可能是这样的:
  # sed comment - This script changes lower case vowels to upper case
  s/a/A/g
  s/e/E/g
  s/i/I/g
  s/o/O/g
  s/u/U/g

5. Hold Buffer

  x命令:将pattern buffer放入hold buffer,而将hold buffer的内容输出,pattern
  buffer的内容变成下一行
  h命令:将pattern buffer放入hold buffer,并将pattern buffer的内容输出,
  pattern buffer的内容变成下一行
  H命令:将pattern buffer追加到hold buffer
  g和G命令:g用hold buffer的内容替换pattern buffer的内容,而G将hold buffer内
  容追加到pattern buffer

参考: http://www.grymoire.com/Unix/Sed.html

sed -i '1,/PermitRootLogin/{/PermitRootLogin/c\
PermitRootLogin yes
}' /etc/ssh/sshd_config

只替换一次

sed -i '/^str/s/^/add/' t.sh

查找以str开头的行,并在行首插入add

sed -i '/libphp5/s/^/#/' /www/wdlinux/apache/conf/httpd.conf

cache_effective_user squid
cache_effective_group squid
tcp_recv_bufsize 65535 bytes

icp_port 0
visible_hostname localhost
http_port 80 vhost vport

acl local src 127.0.0.1
acl Manager proto cache_object
http_access allow Manager local
http_access deny Manager
acl alls src all
http_access allow alls

maximum_object_size 1024000 KB
maximum_object_size_in_memory 1024 KB
cache_mem 20480 MB
cache_swap_low  80
cache_swap_high 90

ipcache_size 1024
ipcache_low 90
ipcache_high 95
fqdncache_size 1024

connect_timeout 1 minute
peer_connect_timeout 30 seconds
request_timeout 2 minutes
persistent_request_timeout 30 seconds

via off
reply_header_access Via deny all
reply_header_access Server deny all

-------------------------------------

cache_peer 192.168.0.10 parent 80 0 no-query originserver name=a
cache_peer 192.168.0.11 parent 80 0 no-query originserver name=b

cache_peer_domain a www.a.com
cache_peer_domain b www.b.com

acl all src 0.0.0.0/0.0.0.0
http_access allow all

cache_peer_access a allow all
cache_peer_access b allow all