现在的位置: 首页 > 综合 > 正文

使用splice实现零拷贝复制文件

2013年04月08日 ⁄ 综合 ⁄ 共 1105字 ⁄ 字号 评论关闭

    splice是linux2.6内核中新增的零拷贝数据发送函数,主要用于将数据发送到管道 或 从管道中接收数据。于splice类似的零拷贝发送函数还有sendfile,不同的是sendfile是将数据通过socket发到对端。所谓零拷贝是指(与传统的read/write模式相比),在数据发送的过程中,不需要在用户态为数据申请buffer,也就是不会产生用户态、内核态之间的数据拷贝(moves  data  between  two  file descriptors without copying
between kernel address space and user addressspace)。比如,使用经典的read/write方式复制文件的流程为:

1.    buf = malloc(len)  \\首先申请一块长度为len的内存

2.    read(fd1, buf, len)  \\将第一个文件fd1中len长度的数据读入buf

3.    write(fd2, buf, len) \\将buf中的数据写入文件fd2中

在非direct io的场景下,会导致文件的数据会在内核态的page cache与用户态的buf之间发生两次拷贝(读过程中一次,写过程中一次)

    splice系统调用的参数为:

      ssize_t splice(int fd_in, loff_t *off_in, int fd_out,
                      loff_t *off_out, size_t len, unsigned int flags);

    int fd_in:要读入数据的文件描述符

    loff_t *off_in:要读入数据的起始偏移

    int fd_out:要写入数据的文件描述符

    loff_t *off_out:要写入数据的起始偏移

    size_t len:要写入数据的长度

    unsigned int flags:标志位

    要特别强调的一点算,在splice系统调用的应用中,fd_in和fd_out中必须有一个是管道的描述符

使用splice拷贝文件的流程为:

1. 调用mkfifo或者pipe创建一个管道

2. splice(file_fd1, &off_in_1, pipe_fd_w, &off_out_w, len, 0)  \\将文件fd1中的数据移动到管道的写端

3. splice(pipe_fd_r, &off_in_r, file_fd2, &off_out_2, len, 0)  \\通过管道的读端,将数据移动到文件2

但在2.6.32内核实测发现,使用splice方式拷贝文件的性能并没有比read/write方式高,说明在这个方面还有改进的余地

   

抱歉!评论已关闭.