splice的原理和使用及代码实现
splice 原理重温
在《splice使用》一文中介绍了 splice 的原理和使用，现在我们来分析一下 splice 的代码实现。
我们先来回顾一下 splice 的原理：
如上图所示，使用 splice 拷贝数据时，需要通过管道作为中转。splice 首先将 页缓存 绑定到 管道 的写端，然后通过 管道 的读端读取到 页缓存 的数据，并且拷贝到 socket 缓冲区中。
我们知道管道有个 环形缓冲区，这个 环形缓冲区 需要绑定真实的物理内存页。而 splice 就是将管道的 环形缓冲区 绑定到文件的 页缓存，如下图所示：
通过将文件页缓存绑定到管道的环形缓冲区后，就可以通过管道的读端读取文件页缓存的数据。
splice 代码实现
在《splice使用》一文中介绍过 splice 的使用过程，要将文件内容发送到客户端连接的步骤如下：
首先，使用 splice() 系统调用将文件的内容与管道绑定。
然后，使用 splice() 系统调用将管道的数据拷贝到客户端连接 socket。
我们先来看看 splice() 系统调用的实现，代码如下：
asmlinkage longsys_splice(int fd_in, loff_t *off_in, int fd_out, loff_t *off_out, size_t len, unsigned int flags){ long error; struct file *in, *out; int fput_in, fput_out; ... error = -ebadf; in = fget_light(fd_in, &fput_in); // 1. 获取数据输入方文件对象 if (in) { if (in->f_mode & fmode_read) { out = fget_light(fd_out, &fput_out); // 2. 获取数据输出方文件对象 if (out) { if (out->f_mode & fmode_write) // 3. 调用 do_splice() 函数进行下一步操作 error = do_splice(in, off_in, out, off_out, len, flags); fput_light(out, fput_out); } } fput_light(in, fput_in); } return error;} splice() 系统调用主要调用 do_splice() 函数进行下一步处理，我们来分析一下 do_splice() 函数的实现。do_splice() 函数主要分两种情况进行处理，代码如下：
static longdo_splice(struct file *in, loff_t *off_in, struct file *out, loff_t *off_out, size_t len, unsigned int flags){ struct pipe_inode_info *pipe; loff_t offset, *off; long ret; // 情况1: 如果输入端是一个管道? pipe = pipe_info(in->f_path.dentry->d_inode); if (pipe) { ... // 调用 do_splice_from() 函数管道数据拷贝到目标文件句柄 ret = do_splice_from(pipe, out, off, len, flags); ... return ret; } // 情况2: 如果输出端是一个管道? pipe = pipe_info(out->f_path.dentry->d_inode); if (pipe) { ... // 调用 do_splice_to() 函数将文件内容与管道绑定 ret = do_splice_to(in, off, pipe, len, flags); ... return ret; } return -einval;} 如上面代码所示，do_splice() 函数分两种情况处理，如下：
如果输入端是一个管道，则调用 do_splice_from() 函数进行处理。
如果输出端是一个管道，则调用 do_splice_to() 函数进行处理。
下面我们分别来说明这两种情况的处理过程。
1. 输入端是一个管道
如果输入端是一个管道（也就是说从管道拷贝数据到输出端句柄），那么将会调用 do_splice_from() 函数进行处理，do_splice_from() 函数的实现如下：
static longdo_splice_from(struct pipe_inode_info *pipe, struct file *out, loff_t *ppos, size_t len, unsigned int flags){ ... return out->f_op->splice_write(pipe, out, ppos, len, flags);} 如果输出端是一个普通文件，那么 out->f_op->splice_write() 将会指向 generic_file_splice_write() 函数。如果输出端是一个 socket，那么 out->f_op->splice_write() 将会指向 generic_splice_sendpage() 函数。
下面将以 generic_file_splice_write() 函数作为分析对象，generic_file_splice_write() 函数会调用 __splice_from_pipe() 进行下一步处理，如下所示：
ssize_tgeneric_file_splice_write(struct pipe_inode_info *pipe, struct file *out, loff_t *ppos, size_t len, unsigned int flags){ ... ret = __splice_from_pipe(pipe, &sd, pipe_to_file); ... return ret;} 我们接着来分析 __splice_from_pipe() 函数的实现：
ssize_t__splice_from_pipe(struct pipe_inode_info *pipe, struct splice_desc *sd, splice_actor *actor){ ... for (;;) { if (pipe->nrbufs) { // 1. 获取管道环形缓冲区 struct pipe_buffer *buf = pipe->bufs + pipe->curbuf; const struct pipe_buf_operations *ops = buf->ops; ... // 2. 把管道环形缓冲区的数据拷贝到输出端文件。 // 其中 actor 指针指向 pipe_to_file() 函数，由 generic_file_splice_write() 函数传入 err = actor(pipe, buf, sd); if (err f_op->splice_read(in, ppos, pipe, len, flags);} 如果输入端是一个普通文件，那么 in->f_op->splice_read() 将会指向 generic_file_splice_read() 函数。如果输出端是一个 socket，那么 in->f_op->splice_read() 将会指向 sock_splice_read() 函数。
下面将以 generic_file_splice_read() 函数作为分析对象，generic_file_splice_read() 函数会调用 __generic_file_splice_read() 进行下一步处理，如下所示：
static int__generic_file_splice_read(struct file *in, loff_t *ppos, struct pipe_inode_info *pipe, size_t len, unsigned int flags){ ... struct page *pages[pipe_buffers]; struct splice_pipe_desc spd = { .pages = pages, ... }; ... // 1. 查找已经存在页缓存的页面 spd.nr_pages = find_get_pages_contig(mapping, index, nr_pages, pages); index += spd.nr_pages; ... // 2. 如果有些页缓存还不存在，那么申请新的页缓存 while (spd.nr_pages readpage(in, page); // 从硬盘读取数据 ... } ... spd.nr_pages++; index++; } ... // 4. 将页缓存与管道绑定 if (spd.nr_pages) return splice_to_pipe(pipe, &spd); return error;} __generic_file_splice_read() 函数的代码比较长，为了更易于分析，所以对其进行了精简。从精简后的代码可以看出，__generic_file_splice_read() 函数主要完成 4 个步骤：
查找要绑定的页缓存是否已经存在（已经从硬盘同步到页缓存）。
如果还有没有同步到内核的页缓存，那么申请新的页缓存。
如果页缓存与硬盘的数据不一致，那么先从硬盘同步到页缓存。
调用 splice_to_pipe() 函数将页缓存与管道绑定。
所以最终会调用 splice_to_pipe() 函数将页缓存与管道绑定，我们来看看 splice_to_pipe() 函数的实现：
ssize_tsplice_to_pipe(struct pipe_inode_info *pipe, struct splice_pipe_desc *spd){ unsigned int spd_pages = spd->nr_pages; int ret, do_wakeup, page_nr; ... for (;;) { ... if (pipe->nrbufs curbuf + pipe->nrbufs) & (pipe_buffers - 1); struct pipe_buffer *buf = pipe->bufs + newbuf; // 将环形缓冲区与页缓存绑定 buf->page = spd->pages[page_nr]; buf->offset = spd->partial[page_nr].offset; buf->len = spd->partial[page_nr].len; buf->private = spd->partial[page_nr].private; buf->ops = spd->ops; if (spd->flags & splice_f_gift) buf->flags |= pipe_buf_flag_gift; pipe->nrbufs++; page_nr++; ret += buf->len; ... if (pipe->nrbufs < pipe_buffers) continue; break; } ... } ... return ret;} splice_to_pipe() 函数代码虽然比较长，但是逻辑很简单，就是将管道的环形缓冲区与文件的页缓存进行绑定，这样就能过通过管道的读端来读取页缓存的数据。
所以，输出端是一个管道的调用链如下：
sys_splice()└→ do_splice() └→ do_splice_to() └→ generic_file_splice_read() └→ __generic_file_splice_read() └→ splice_to_pipe() 总结
本文主要介绍了 splice 的原理与实现，splice 是 零拷贝技术 的一种实现。希望通过本文，能够让读者对 零拷贝技术 有更深入的理解。
当然本文也忽略了很多实现的细节，所以在阅读的过程中遇到某些细节不理解的时候，可以直接阅读源代码来解疑。
混频器噪声系数那些事
提升SD-WAN网络可控性的6大方式介绍
人民网开始进军人工智能
华为P30最新谍报:10X无损变焦强大 高配版破万元
华为p10，OPPO，魅族三款手机搞得国外厂商没有立足之地
splice的原理和使用及代码实现
基于TMS320F2812 DSP的交流永磁同步直线电机控制
360N7Lite评测 在同价位的千元机中几乎是没有对手的
长虹等家电厂商“拓路”智慧家庭 竞谋物联“蓝海”
华为Mate40 RS保时捷斩获2020年手机保值榜第一
6514高阻计/电压表/静电计的性能特点及应用
MADGaze开启最新款混合现实智能眼镜众筹 官宣目前双目智能眼镜中最轻
SOD-323封装系列 TVS二极管阵列 型号齐全
降噪蓝牙耳机排行榜10强 实用的降噪耳机品牌排行
蓄电池修复技术——电动车电瓶连接线用多粗？
电阻阵列DAC,电阻阵列DAC基本原理是什么?
高频电路原理,各电路作用介绍
LED灯珠对LED显示屏的影响
二极管在 ESD 保护等方面取得了进步
Steam 2020 年度回顾：每月活跃用户 1.2 亿，最高同时在线 2480 万人
在《splice使用》一文中介绍了 splice 的原理和使用，现在我们来分析一下 splice 的代码实现。
我们先来回顾一下 splice 的原理：
如上图所示，使用 splice 拷贝数据时，需要通过管道作为中转。splice 首先将 页缓存 绑定到 管道 的写端，然后通过 管道 的读端读取到 页缓存 的数据，并且拷贝到 socket 缓冲区中。
我们知道管道有个 环形缓冲区，这个 环形缓冲区 需要绑定真实的物理内存页。而 splice 就是将管道的 环形缓冲区 绑定到文件的 页缓存，如下图所示：
通过将文件页缓存绑定到管道的环形缓冲区后，就可以通过管道的读端读取文件页缓存的数据。
splice 代码实现
在《splice使用》一文中介绍过 splice 的使用过程，要将文件内容发送到客户端连接的步骤如下：
首先，使用 splice() 系统调用将文件的内容与管道绑定。
然后，使用 splice() 系统调用将管道的数据拷贝到客户端连接 socket。
我们先来看看 splice() 系统调用的实现，代码如下：
asmlinkage longsys_splice(int fd_in, loff_t *off_in, int fd_out, loff_t *off_out, size_t len, unsigned int flags){ long error; struct file *in, *out; int fput_in, fput_out; ... error = -ebadf; in = fget_light(fd_in, &fput_in); // 1. 获取数据输入方文件对象 if (in) { if (in->f_mode & fmode_read) { out = fget_light(fd_out, &fput_out); // 2. 获取数据输出方文件对象 if (out) { if (out->f_mode & fmode_write) // 3. 调用 do_splice() 函数进行下一步操作 error = do_splice(in, off_in, out, off_out, len, flags); fput_light(out, fput_out); } } fput_light(in, fput_in); } return error;} splice() 系统调用主要调用 do_splice() 函数进行下一步处理，我们来分析一下 do_splice() 函数的实现。do_splice() 函数主要分两种情况进行处理，代码如下：
static longdo_splice(struct file *in, loff_t *off_in, struct file *out, loff_t *off_out, size_t len, unsigned int flags){ struct pipe_inode_info *pipe; loff_t offset, *off; long ret; // 情况1: 如果输入端是一个管道? pipe = pipe_info(in->f_path.dentry->d_inode); if (pipe) { ... // 调用 do_splice_from() 函数管道数据拷贝到目标文件句柄 ret = do_splice_from(pipe, out, off, len, flags); ... return ret; } // 情况2: 如果输出端是一个管道? pipe = pipe_info(out->f_path.dentry->d_inode); if (pipe) { ... // 调用 do_splice_to() 函数将文件内容与管道绑定 ret = do_splice_to(in, off, pipe, len, flags); ... return ret; } return -einval;} 如上面代码所示，do_splice() 函数分两种情况处理，如下：
如果输入端是一个管道，则调用 do_splice_from() 函数进行处理。
如果输出端是一个管道，则调用 do_splice_to() 函数进行处理。
下面我们分别来说明这两种情况的处理过程。
1. 输入端是一个管道
如果输入端是一个管道（也就是说从管道拷贝数据到输出端句柄），那么将会调用 do_splice_from() 函数进行处理，do_splice_from() 函数的实现如下：
static longdo_splice_from(struct pipe_inode_info *pipe, struct file *out, loff_t *ppos, size_t len, unsigned int flags){ ... return out->f_op->splice_write(pipe, out, ppos, len, flags);} 如果输出端是一个普通文件，那么 out->f_op->splice_write() 将会指向 generic_file_splice_write() 函数。如果输出端是一个 socket，那么 out->f_op->splice_write() 将会指向 generic_splice_sendpage() 函数。
下面将以 generic_file_splice_write() 函数作为分析对象，generic_file_splice_write() 函数会调用 __splice_from_pipe() 进行下一步处理，如下所示：
ssize_tgeneric_file_splice_write(struct pipe_inode_info *pipe, struct file *out, loff_t *ppos, size_t len, unsigned int flags){ ... ret = __splice_from_pipe(pipe, &sd, pipe_to_file); ... return ret;} 我们接着来分析 __splice_from_pipe() 函数的实现：
ssize_t__splice_from_pipe(struct pipe_inode_info *pipe, struct splice_desc *sd, splice_actor *actor){ ... for (;;) { if (pipe->nrbufs) { // 1. 获取管道环形缓冲区 struct pipe_buffer *buf = pipe->bufs + pipe->curbuf; const struct pipe_buf_operations *ops = buf->ops; ... // 2. 把管道环形缓冲区的数据拷贝到输出端文件。 // 其中 actor 指针指向 pipe_to_file() 函数，由 generic_file_splice_write() 函数传入 err = actor(pipe, buf, sd); if (err f_op->splice_read(in, ppos, pipe, len, flags);} 如果输入端是一个普通文件，那么 in->f_op->splice_read() 将会指向 generic_file_splice_read() 函数。如果输出端是一个 socket，那么 in->f_op->splice_read() 将会指向 sock_splice_read() 函数。
下面将以 generic_file_splice_read() 函数作为分析对象，generic_file_splice_read() 函数会调用 __generic_file_splice_read() 进行下一步处理，如下所示：
static int__generic_file_splice_read(struct file *in, loff_t *ppos, struct pipe_inode_info *pipe, size_t len, unsigned int flags){ ... struct page *pages[pipe_buffers]; struct splice_pipe_desc spd = { .pages = pages, ... }; ... // 1. 查找已经存在页缓存的页面 spd.nr_pages = find_get_pages_contig(mapping, index, nr_pages, pages); index += spd.nr_pages; ... // 2. 如果有些页缓存还不存在，那么申请新的页缓存 while (spd.nr_pages readpage(in, page); // 从硬盘读取数据 ... } ... spd.nr_pages++; index++; } ... // 4. 将页缓存与管道绑定 if (spd.nr_pages) return splice_to_pipe(pipe, &spd); return error;} __generic_file_splice_read() 函数的代码比较长，为了更易于分析，所以对其进行了精简。从精简后的代码可以看出，__generic_file_splice_read() 函数主要完成 4 个步骤：
查找要绑定的页缓存是否已经存在（已经从硬盘同步到页缓存）。
如果还有没有同步到内核的页缓存，那么申请新的页缓存。
如果页缓存与硬盘的数据不一致，那么先从硬盘同步到页缓存。
调用 splice_to_pipe() 函数将页缓存与管道绑定。
所以最终会调用 splice_to_pipe() 函数将页缓存与管道绑定，我们来看看 splice_to_pipe() 函数的实现：
ssize_tsplice_to_pipe(struct pipe_inode_info *pipe, struct splice_pipe_desc *spd){ unsigned int spd_pages = spd->nr_pages; int ret, do_wakeup, page_nr; ... for (;;) { ... if (pipe->nrbufs curbuf + pipe->nrbufs) & (pipe_buffers - 1); struct pipe_buffer *buf = pipe->bufs + newbuf; // 将环形缓冲区与页缓存绑定 buf->page = spd->pages[page_nr]; buf->offset = spd->partial[page_nr].offset; buf->len = spd->partial[page_nr].len; buf->private = spd->partial[page_nr].private; buf->ops = spd->ops; if (spd->flags & splice_f_gift) buf->flags |= pipe_buf_flag_gift; pipe->nrbufs++; page_nr++; ret += buf->len; ... if (pipe->nrbufs < pipe_buffers) continue; break; } ... } ... return ret;} splice_to_pipe() 函数代码虽然比较长，但是逻辑很简单，就是将管道的环形缓冲区与文件的页缓存进行绑定，这样就能过通过管道的读端来读取页缓存的数据。
所以，输出端是一个管道的调用链如下：
sys_splice()└→ do_splice() └→ do_splice_to() └→ generic_file_splice_read() └→ __generic_file_splice_read() └→ splice_to_pipe() 总结
本文主要介绍了 splice 的原理与实现，splice 是 零拷贝技术 的一种实现。希望通过本文，能够让读者对 零拷贝技术 有更深入的理解。
当然本文也忽略了很多实现的细节，所以在阅读的过程中遇到某些细节不理解的时候，可以直接阅读源代码来解疑。
混频器噪声系数那些事
提升SD-WAN网络可控性的6大方式介绍
人民网开始进军人工智能
华为P30最新谍报:10X无损变焦强大 高配版破万元
华为p10，OPPO，魅族三款手机搞得国外厂商没有立足之地
splice的原理和使用及代码实现
基于TMS320F2812 DSP的交流永磁同步直线电机控制
360N7Lite评测 在同价位的千元机中几乎是没有对手的
长虹等家电厂商“拓路”智慧家庭 竞谋物联“蓝海”
华为Mate40 RS保时捷斩获2020年手机保值榜第一
6514高阻计/电压表/静电计的性能特点及应用
MADGaze开启最新款混合现实智能眼镜众筹 官宣目前双目智能眼镜中最轻
SOD-323封装系列 TVS二极管阵列 型号齐全
降噪蓝牙耳机排行榜10强 实用的降噪耳机品牌排行
蓄电池修复技术——电动车电瓶连接线用多粗？
电阻阵列DAC,电阻阵列DAC基本原理是什么?
高频电路原理,各电路作用介绍
LED灯珠对LED显示屏的影响
二极管在 ESD 保护等方面取得了进步
Steam 2020 年度回顾：每月活跃用户 1.2 亿，最高同时在线 2480 万人