from: http://blog.yufeng.info/archives/1981
微博上的@拉风_zhang提出了个问题:
@淘宝褚霸 请教个问题,#1. cat huge_dump.sql | mysql -uroot ;#2. mysql -uroot < huge_dump.sql ;#1效率要高,在linux中通过管道传输 和 < 这种方式有什么差别呢?谢谢!#AskBaye#
这个问题挺有意思的,我的第一反应是:
没比较过,应该是一样的,一个是cat负责打开文件,一个是bash
这种场景在MySQL运维操作里面应该比较多,所以就花了点时间做了个比较和原理上的分析:
我们先构造场景:
首先准备一个程序b.out来模拟mysql对数据的消耗:
int
main(int argc, char *argv[]) |
while (fread(buf,
sizeof(buf), 1, stdin) > 0); |
编译好再顺手我们的程序功能是正确的:纯消耗流。
再来写个systemtap脚本用来方便观察程序的行为。
return (execname()
== "cat" || |
printf ( "%s
-> %s\n" ,
thread_indent(0), probefunc()); |
probe
kernel. function ( "pipe_read" ), |
kernel. function ( "pipe_readv" ), |
kernel. function ( "pipe_write" ), |
kernel. function ( "pipe_writev" ) |
printf ( "%s
-> %s: file ino %d\n" ,
thread_indent(0), probefunc(), __file_ino($filp)); |
probe
begin { println( ":~" )
} |
这个脚本重点观察几个系统调用的顺序和pipe的读写情况,
然后再准备个419M的大文件huge_dump.sql,在我们几十G内存的机器很容易在内存里放下:
$ sudo dd if =/dev/urandom
of=huge_dump.sql bs=4096 count=102400 |
419430400
bytes (419 MB) copied, 63.9886 seconds, 6.6 MB/s |
因为这个文件是用bufferio写的,所以它的内容都cache在pagecahce内存里面,不会涉及到磁盘。
好了,场景齐全了,我们接着来比较下二种情况下的速度:
$ time ( cat huge_dump.sql|./b.out) |
$ time (./b.out
<huge_dump.sql) |
从数字看出来速度有3倍左右的差别了,第二种明显快很多。
是不是有点奇怪?好吧我们来从原来上面分析下,还是继续用数据说话:
这次准备个很小的数据文件,方便观察然后在一个窗口运行stap
$ echo hello
> huge_dump.sql |
0 bash (26570):
-> sys_read |
0 bash (26570):
-> sys_read |
0 bash (26570):
-> sys_write |
0 bash (26570):
-> sys_read |
0 bash (26570):
-> sys_write |
0 bash (26570):
-> sys_close |
0 bash (26570):
-> sys_pipe |
0 bash (26570):
-> sys_pipe |
0 bash (26570):
-> do_fork |
0 bash (26570):
-> sys_close |
0 bash (26570):
-> sys_close |
0 bash (26570):
-> do_fork |
0 bash (13775):
-> sys_close |
0 bash (13775):
-> sys_read |
0 bash (13775):
-> pipe_read: file ino
20906911 |
0 bash (13775):
-> pipe_readv: file ino
20906911 |
0 bash (13776):
-> sys_close |
0 bash (13776):
-> sys_close |
0 bash (13776):
-> sys_close |
0 bash (13776):
-> do_execve |
0 bash (26570):
-> sys_close |
0 bash (26570):
-> sys_close |
0 bash (26570):
-> sys_close |
0 bash (13775):
-> sys_close |
0 bash (26570):
-> sys_wait4 |
0 bash (13775):
-> sys_close |
0 bash (13775):
-> sys_close |
0
b.out(13776): -> sys_close |
0
b.out(13776): -> sys_close |
0 bash (13775):
-> do_execve |
0
b.out(13776): -> sys_open |
0
b.out(13776): -> sys_close |
0
b.out(13776): -> sys_open |
0
b.out(13776): -> sys_read |
0
b.out(13776): -> sys_close |
0 cat (13775):
-> sys_close |
0 cat (13775):
-> sys_close |
0
b.out(13776): -> sys_read |
0
b.out(13776): -> pipe_read: file ino
20906910 |
0
b.out(13776): -> pipe_readv: file ino
20906910 |
0 cat (13775):
-> sys_open |
0 cat (13775):
-> sys_close |
0 cat (13775):
-> sys_open |
0 cat (13775):
-> sys_read |
0 cat (13775):
-> sys_close |
0 cat (13775):
-> sys_open |
0 cat (13775):
-> sys_close |
0 cat (13775):
-> sys_open |
0 cat (13775):
-> sys_read |
0 cat (13775):
-> sys_write |
0 cat (13775):
-> pipe_write: file ino
20906910 |
0 cat (13775):
-> pipe_writev: file ino
20906910 |
0 cat (13775):
-> sys_read |
0
b.out(13776): -> sys_read |
0
b.out(13776): -> pipe_read: file ino
20906910 |
0
b.out(13776): -> pipe_readv: file ino
20906910 |
0 cat (13775):
-> sys_close |
0 cat (13775):
-> sys_close |
0 bash (26570):
-> sys_wait4 |
0 bash (26570):
-> sys_close |
0 bash (26570):
-> sys_wait4 |
0 bash (26570):
-> sys_write |
stap在收集数据了,我们在另外一个窗口运行情况1管道的情况:
$ cat huge_dump.sql|./b.out |
我们从systemtap的日志可以看出: bash fork了2个进程,然后execve分别运行cat 和 b.out进程, 这二个进程用pipe通信,数据从由cat从 huge_dump.sql读出,写到pipe,然后b.out从pipe读出处理。
那么再看下情况二重定向的情况:
$
./b.out < huge_dump.sql |
0 bash (26570):
-> sys_read |
0 bash (26570):
-> sys_read |
0 bash (26570):
-> sys_write |
0 bash (26570):
-> sys_read |
0 bash (26570):
-> sys_write |
0 bash (26570):
-> sys_close |
0 bash (26570):
-> sys_pipe |
0 bash (26570):
-> do_fork |
0 bash (28926):
-> sys_close |
0 bash (28926):
-> sys_read |
0 bash (28926):
-> pipe_read: file ino
20920902 |
0 bash (28926):
-> pipe_readv: file ino
20920902 |
0 bash (26570):
-> sys_close |
0 bash (26570):
-> sys_close |
0 bash (26570):
-> sys_wait4 |
0 bash (28926):
-> sys_close |
0 bash (28926):
-> sys_open |
0 bash (28926):
-> sys_close |
0 bash (28926):
-> do_execve |
0
b.out(28926): -> sys_close |
0
b.out(28926): -> sys_close |
0
b.out(28926): -> sys_open |
0
b.out(28926): -> sys_close |
0
b.out(28926): -> sys_open |
0
b.out(28926): -> sys_read |
0
b.out(28926): -> sys_close |
0
b.out(28926): -> sys_read |
0
b.out(28926): -> sys_read |
0 bash (26570):
-> sys_wait4 |
0 bash (26570):
-> sys_write |
0 bash (26570):
-> sys_read |
bash fork了一个进程,打开数据文件,然后把文件句柄搞到0句柄上,这个进程execve运行b.out,然后b.out直接读取数据。
现在就非常清楚为什么二种场景速度有3倍的差别:
情况1. 读二次,写一次,外加一个进程上下文切换。
情况二:只读一次。
小结: 越简单的事情,有时候越有意思!
祝玩得开心!