splice 原理重溫

在《splice使用》一文中介紹了?splice?的原理和使用，現在我們來分析一下?splice?的代碼實現。

我們先來回顧一下?splice?的原理：

如上圖所示，使用?splice?拷貝數據時，需要通過管道作為中轉。splice?首先將?頁緩存?綁定到?管道?的寫端，然后通過?管道?的讀端讀取到?頁緩存?的數據，并且拷貝到?socket?緩沖區中。

我們知道管道有個?環形緩沖區，這個?環形緩沖區?需要綁定真實的物理內存頁。而 splice 就是將管道的?環形緩沖區?綁定到文件的?頁緩存，如下圖所示：

通過將文件頁緩存綁定到管道的環形緩沖區后，就可以通過管道的讀端讀取文件頁緩存的數據。

splice 代碼實現

在《splice使用》一文中介紹過?splice?的使用過程，要將文件內容發送到客戶端連接的步驟如下：

首先，使用?splice()?系統調用將文件的內容與管道綁定。

然后，使用?splice()?系統調用將管道的數據拷貝到客戶端連接 socket。

我們先來看看?splice()?系統調用的實現，代碼如下：

asmlinkage?long
sys_splice(int?fd_in,?loff_t?*off_in,?
???????????int?fd_out,?loff_t?*off_out,?
???????????size_t?len,?unsigned?int?flags)
{
????long?error;
????struct?file?*in,?*out;
????int?fput_in,?fput_out;
????...

????error?=?-EBADF;
????in?=?fget_light(fd_in,?&fput_in);????????????//?1.?獲取數據輸入方文件對象
????if?(in)?{
????????if?(in->f_mode?&?FMODE_READ)?{
????????????out?=?fget_light(fd_out,?&fput_out);?//?2.?獲取數據輸出方文件對象
????????????if?(out)?{
????????????????if?(out->f_mode?&?FMODE_WRITE)
????????????????????//?3.?調用?do_splice()?函數進行下一步操作
????????????????????error?=?do_splice(in,?off_in,?out,?off_out,?len,?flags);

????????????????fput_light(out,?fput_out);
????????????}
????????}

????????fput_light(in,?fput_in);
????}

????return?error;
}

splice()?系統調用主要調用?do_splice()?函數進行下一步處理，我們來分析一下?do_splice()?函數的實現。do_splice()?函數主要分兩種情況進行處理，代碼如下：

static?long
do_splice(struct?file?*in,?loff_t?*off_in,?
??????????struct?file?*out,?loff_t?*off_out,?
??????????size_t?len,?unsigned?int?flags)
{
????struct?pipe_inode_info?*pipe;
????loff_t?offset,?*off;
????long?ret;

????//?情況1:?如果輸入端是一個管道?
????pipe?=?pipe_info(in->f_path.dentry->d_inode);
????if?(pipe)?{
????????...
????????//?調用?do_splice_from()?函數管道數據拷貝到目標文件句柄
????????ret?=?do_splice_from(pipe,?out,?off,?len,?flags);
????????...
????????return?ret;
????}

????//?情況2:?如果輸出端是一個管道?
????pipe?=?pipe_info(out->f_path.dentry->d_inode);
????if?(pipe)?{
????????...
????????//?調用?do_splice_to()?函數將文件內容與管道綁定
????????ret?=?do_splice_to(in,?off,?pipe,?len,?flags);
????????...
????????return?ret;
????}

????return?-EINVAL;
}

如上面代碼所示，do_splice()?函數分兩種情況處理，如下：

如果輸入端是一個管道，則調用?do_splice_from()?函數進行處理。

如果輸出端是一個管道，則調用?do_splice_to()?函數進行處理。

下面我們分別來說明這兩種情況的處理過程。

1. 輸入端是一個管道

如果輸入端是一個管道（也就是說從管道拷貝數據到輸出端句柄），那么將會調用?do_splice_from()?函數進行處理，do_splice_from()?函數的實現如下：

static?long
do_splice_from(struct?pipe_inode_info?*pipe,?struct?file?*out,
???????????????loff_t?*ppos,?size_t?len,?unsigned?int?flags)
{
????...
????return?out->f_op->splice_write(pipe,?out,?ppos,?len,?flags);
}

如果輸出端是一個普通文件，那么?out->f_op->splice_write()?將會指向?generic_file_splice_write()?函數。如果輸出端是一個 socket，那么?out->f_op->splice_write()?將會指向?generic_splice_sendpage()?函數。

下面將以?generic_file_splice_write()?函數作為分析對象，generic_file_splice_write()?函數會調用?__splice_from_pipe()?進行下一步處理，如下所示：

ssize_t
generic_file_splice_write(struct?pipe_inode_info?*pipe,?struct?file?*out,
??????????????????????????loff_t?*ppos,?size_t?len,?unsigned?int?flags)
{
????...
????ret?=?__splice_from_pipe(pipe,?&sd,?pipe_to_file);
????...
????return?ret;
}

我們接著來分析?__splice_from_pipe()?函數的實現：

ssize_t
__splice_from_pipe(struct?pipe_inode_info?*pipe,?struct?splice_desc?*sd,
???????????????????splice_actor?*actor)
{
????...
????for?(;;)?{
????????if?(pipe->nrbufs)?{
????????????//?1.?獲取管道環形緩沖區
????????????struct?pipe_buffer?*buf?=?pipe->bufs?+?pipe->curbuf;
????????????const?struct?pipe_buf_operations?*ops?=?buf->ops;
????????????...

????????????// 2. 把管道環形緩沖區的數據拷貝到輸出端文件。
????????????//?其中?actor?指針指向?pipe_to_file()?函數，由?generic_file_splice_write()?函數傳入
????????????err?=?actor(pipe,?buf,?sd);
????????????if?(err?<=?0)?{
????????????????if?(!ret?&&?err?!=?-ENODATA)
????????????????????ret?=?err;
????????????????break;
????????????}
????????????...
????????}
????????...
????}
????...
????return?ret;
}

對?__splice_from_pipe()?函數進行簡化后，邏輯就很簡單。主要過程如下：

獲取管道環形緩沖區。

調用?pipe_to_file()?函數把管道環形緩沖區的數據拷貝到輸出端的文件中。

所以，輸入端是一個管道的調用鏈如下：

sys_splice()
└→ do_splice()
   └→ do_splice_from()
      └→ generic_file_splice_write()
         └→ __splice_from_pipe()
            └→ pipe_to_file()

2. 輸出端是一個管道

如果輸出端是一個管道（也就是說將輸入端與管道綁定），那么將會調用?do_splice_to()?函數進行處理，do_splice_to()?函數的實現如下：

static?long
do_splice_to(struct?file?*in,?loff_t?*ppos,?struct?pipe_inode_info?*pipe,
?????????????size_t?len,?unsigned?int?flags)
{
????...
????return?in->f_op->splice_read(in,?ppos,?pipe,?len,?flags);
}

如果輸入端是一個普通文件，那么?in->f_op->splice_read()?將會指向?generic_file_splice_read()?函數。如果輸出端是一個 socket，那么?in->f_op->splice_read()?將會指向?sock_splice_read()?函數。

下面將以?generic_file_splice_read()?函數作為分析對象，generic_file_splice_read()?函數會調用?__generic_file_splice_read()?進行下一步處理，如下所示：

static?int
__generic_file_splice_read(struct?file?*in,?loff_t?*ppos,
???????????????????????????struct?pipe_inode_info?*pipe,
???????????????????????????size_t?len,?unsigned?int?flags)
{
????...
????struct?page?*pages[PIPE_BUFFERS];
????struct?splice_pipe_desc?spd?=?{
????????.pages?=?pages,
????????...
????};
????...

????//?1.?查找已經存在頁緩存的頁面
????spd.nr_pages?=?find_get_pages_contig(mapping,?index,?nr_pages,?pages);
????index?+=?spd.nr_pages;

????...
????//?2.?如果有些頁緩存還不存在，那么申請新的頁緩存
????while?(spd.nr_pages?a_ops->readpage(in,?page);?//?從硬盤讀取數據
????????????...
????????}
????????...
????????spd.nr_pages++;
????????index++;
????}

????...
????//?4.?將頁緩存與管道綁定
????if?(spd.nr_pages)
????????return?splice_to_pipe(pipe,?&spd);

????return?error;
}

__generic_file_splice_read()?函數的代碼比較長，為了更易于分析，所以對其進行了精簡。從精簡后的代碼可以看出，__generic_file_splice_read()?函數主要完成 4 個步驟：

查找要綁定的頁緩存是否已經存在（已經從硬盤同步到頁緩存）。

如果還有沒有同步到內核的頁緩存，那么申請新的頁緩存。

如果頁緩存與硬盤的數據不一致，那么先從硬盤同步到頁緩存。

調用?splice_to_pipe()?函數將頁緩存與管道綁定。

所以最終會調用?splice_to_pipe()?函數將頁緩存與管道綁定，我們來看看?splice_to_pipe()?函數的實現：

ssize_t
splice_to_pipe(struct?pipe_inode_info?*pipe,?struct?splice_pipe_desc?*spd)
{
????unsigned?int?spd_pages?=?spd->nr_pages;
????int?ret,?do_wakeup,?page_nr;
????...
????for?(;;)?{
????????...
????????if?(pipe->nrbufs?curbuf?+?pipe->nrbufs)?&?(PIPE_BUFFERS?-?1);
????????????struct?pipe_buffer?*buf?=?pipe->bufs?+?newbuf;

????????????//?將環形緩沖區與頁緩存綁定
????????????buf->page?=?spd->pages[page_nr];
????????????buf->offset?=?spd->partial[page_nr].offset;
????????????buf->len?=?spd->partial[page_nr].len;
????????????buf->private?=?spd->partial[page_nr].private;
????????????buf->ops?=?spd->ops;
????????????if?(spd->flags?&?SPLICE_F_GIFT)
????????????????buf->flags?|=?PIPE_BUF_FLAG_GIFT;

????????????pipe->nrbufs++;
????????????page_nr++;
????????????ret?+=?buf->len;

????????????...
????????????if?(pipe->nrbufs?

	splice_to_pipe()?函數代碼雖然比較長，但是邏輯很簡單，就是將管道的環形緩沖區與文件的頁緩存進行綁定，這樣就能過通過管道的讀端來讀取頁緩存的數據。

	所以，輸出端是一個管道的調用鏈如下：
sys_splice()
└→ do_splice()
   └→ do_splice_to()
      └→ generic_file_splice_read()
         └→ __generic_file_splice_read()
            └→ splice_to_pipe()

	總結

	本文主要介紹了?splice?的原理與實現，splice?是?零拷貝技術?的一種實現。希望通過本文，能夠讓讀者對?零拷貝技術?有更深入的理解。

	當然本文也忽略了很多實現的細節，所以在閱讀的過程中遇到某些細節不理解的時候，可以直接閱讀源代碼來解疑。

	編輯：黃飛

	?