1. 前言

本文首先從宏觀上概述了數據包發送的流程，接著分析了協議層注冊進內核以及被socket的過程，最后介紹了通過 socket 發送網絡數據的過程。

2. 數據包發送宏觀視角

從宏觀上看，一個數據包從用戶程序到達硬件網卡的整個過程如下：

使用系統調用（如 sendto，sendmsg 等）寫數據

數據穿過socket 子系統，進入socket 協議族（protocol family）系統

協議族處理：數據穿過協議層，這一過程（在許多情況下）會將數據（data）轉換成數據包（packet）

數據穿過路由層，這會涉及路由緩存和 ARP 緩存的更新；如果目的 MAC 不在 ARP 緩存表中，將觸發一次 ARP 廣播來查找 MAC 地址

穿過協議層，packet 到達設備無關層（device agnostic layer）

使用 XPS（如果啟用）或散列函數選擇發送隊列

調用網卡驅動的發送函數

數據傳送到網卡的 qdisc（queue discipline，排隊規則）

qdisc 會直接發送數據（如果可以），或者將其放到隊列，下次觸發NET_TX 類型軟中斷（softirq）的時候再發送

數據從 qdisc 傳送給驅動程序

驅動程序創建所需的DMA 映射，以便網卡從 RAM 讀取數據

驅動向網卡發送信號，通知數據可以發送了

網卡從 RAM 中獲取數據并發送

發送完成后，設備觸發一個硬中斷（IRQ），表示發送完成

硬中斷處理函數被喚醒執行。對許多設備來說，這會觸發 NET_RX 類型的軟中斷，然后 NAPI poll 循環開始收包

poll 函數會調用驅動程序的相應函數，解除 DMA 映射，釋放數據

3. 協議層注冊

協議層分析我們將關注 IP 和 UDP 層，其他協議層可參考這個過程。我們首先來看協議族是如何注冊到內核，并被 socket 子系統使用的。

當用戶程序像下面這樣創建 UDP socket 時會發生什么？

sock = socket（AF_INET， SOCK_DGRAM， IPPROTO_UDP）

簡單來說，內核會去查找由 UDP 協議棧導出的一組函數（其中包括用于發送和接收網絡數據的函數），并賦給 socket 的相應字段。準確理解這個過程需要查看 AF_INET 地址族的代碼。

內核初始化的很早階段就執行了 inet_init 函數，這個函數會注冊 AF_INET 協議族 ，以及該協議族內的各協議棧（TCP，UDP，ICMP 和 RAW），并調用初始化函數使協議棧準備好處理網絡數據。inet_init 定義在net/ipv4/af_inet.c 。

AF_INET 協議族導出一個包含 create 方法的 struct net_proto_family 類型實例。當從用戶程序創建 socket 時，內核會調用此方法：

static const struct net_proto_family inet_family_ops = {

.family = PF_INET，

.create = inet_create，

.owner = THIS_MODULE，

};

inet_create 根據傳遞的 socket 參數，在已注冊的協議中查找對應的協議：

/* Look for the requested type/protocol pair. */

lookup_protocol：

err = -ESOCKTNOSUPPORT;

rcu_read_lock（）;

list_for_each_entry_rcu（answer， &inetsw［sock-》type］， list） {

err = 0;

/* Check the non-wild match. */

if （protocol == answer-》protocol） {

if （protocol ！= IPPROTO_IP）

break;

} else {

/* Check for the two wild cases. */

if （IPPROTO_IP == protocol） {

protocol = answer-》protocol;

break;

}

if （IPPROTO_IP == answer-》protocol）

break;

}

err = -EPROTONOSUPPORT;

}

然后，將該協議的回調方法（集合）賦給這個新創建的 socket：

sock-》ops = answer-》ops;

可以在 af_inet.c 中看到所有協議的初始化參數。下面是TCP 和 UDP的初始化參數：

/* Upon startup we insert all the elements in inetsw_array［］ into

* the linked list inetsw.

*/

static struct inet_protosw inetsw_array［］ =

{

{

.type = SOCK_STREAM，

.protocol = IPPROTO_TCP，

.prot = &tcp_prot，

.ops = &inet_stream_ops，

.no_check = 0，

.flags = INET_PROTOSW_PERMANENT |

INET_PROTOSW_ICSK，

}，

{

.type = SOCK_DGRAM，

.protocol = IPPROTO_UDP，

.prot = &udp_prot，

.ops = &inet_dgram_ops，

.no_check = UDP_CSUM_DEFAULT，

.flags = INET_PROTOSW_PERMANENT，

}，

/* 。。。。 more protocols 。。。 */

IPPROTO_UDP 協議類型有一個 ops 變量，包含很多信息，包括用于發送和接收數據的回調函數：

const struct proto_ops inet_dgram_ops = {

.family = PF_INET，

.owner = THIS_MODULE，

/* 。。。 */

.sendmsg = inet_sendmsg，

.recvmsg = inet_recvmsg，

/* 。。。 */

};

EXPORT_SYMBOL（inet_dgram_ops）;

prot 字段指向一個協議相關的變量（的地址），對于 UDP 協議，其中包含了 UDP 相關的回調函數。UDP 協議對應的 prot 變量為 udp_prot，定義在 net/ipv4/udp.c：

struct proto udp_prot = {

.name = “UDP”，

.owner = THIS_MODULE，

/* 。。。 */

.sendmsg = udp_sendmsg，

.recvmsg = udp_recvmsg，

/* 。。。 */

};

EXPORT_SYMBOL（udp_prot）;

現在，讓我們轉向發送 UDP 數據的用戶程序，看看 udp_sendmsg 是如何在內核中被調用的。

4. 通過 socket 發送網絡數據

用戶程序想發送 UDP 網絡數據，因此它使用 sendto 系統調用：

ret = sendto（socket， buffer， buflen， 0， &dest， sizeof（dest））;

該系統調用穿過Linux 系統調用（system call）層，最后到達net/socket.c中的這個函數：

/*

* Send a datagram to a given address. We move the address into kernel

* space and check the user space data area is readable before invoking

* the protocol.

*/

SYSCALL_DEFINE6（sendto， int， fd， void __user *， buff， size_t， len，

unsigned int， flags， struct sockaddr __user *， addr，

int， addr_len）

{

/* 。。。 code 。。。 */

err = sock_sendmsg（sock， &msg， len）;

/* 。。。 code 。。。 */

}

SYSCALL_DEFINE6 宏會展開成一堆宏，后者經過一波復雜操作創建出一個帶 6 個參數的系統調用（因此叫 DEFINE6）。作為結果之一，會看到內核中的所有系統調用都帶 sys_前綴。

sendto 代碼會先將數據整理成底層可以處理的格式，然后調用 sock_sendmsg。特別地， 它將傳遞給 sendto 的地址放到另一個變量（msg）中：

iov.iov_base = buff;

iov.iov_len = len;

msg.msg_name = NULL;

msg.msg_iov = &iov;

msg.msg_iovlen = 1;

msg.msg_control = NULL;

msg.msg_controllen = 0;

msg.msg_namelen = 0;

if （addr） {

err = move_addr_to_kernel（addr， addr_len， &address）;

if （err 《 0）

goto out_put;

msg.msg_name = （struct sockaddr *）&address;

msg.msg_namelen = addr_len;

}

這段代碼將用戶程序傳入到內核的（存放待發送數據的）地址，作為 msg_name 字段嵌入到 struct msghdr 類型變量中。這和用戶程序直接調用 sendmsg 而不是 sendto 發送數據差不多，這之所以可行，是因為 sendto 和 sendmsg 底層都會調用 sock_sendmsg。

4.1 sock_sendmsg， __sock_sendmsg， __sock_sendmsg_nosec

sock_sendmsg 做一些錯誤檢查，然后調用__sock_sendmsg；后者做一些自己的錯誤檢查 ，然后調用__sock_sendmsg_nosec。__sock_sendmsg_nosec 將數據傳遞到 socket 子系統的更深處：

static inline int __sock_sendmsg_nosec（struct kiocb *iocb， struct socket *sock，

struct msghdr *msg， size_t size）

{

struct sock_iocb *si = 。。。。

/* other code 。。。 */

return sock-》ops-》sendmsg（iocb， sock， msg， size）;

}

通過前面介紹的 socket 創建過程，可以知道注冊到這里的 sendmsg 方法就是 inet_sendmsg。

4.2 inet_sendmsg

從名字可以猜到，這是 AF_INET 協議族提供的通用函數。此函數首先調用 sock_rps_record_flow 來記錄最后一個處理該（數據所屬的）flow 的 CPU; Receive Packet Steering 會用到這個信息。接下來，調用 socket 的協議類型（本例是 UDP）對應的 sendmsg 方法：

int inet_sendmsg（struct kiocb *iocb， struct socket *sock， struct msghdr *msg，

size_t size）

{

struct sock *sk = sock-》sk;

sock_rps_record_flow（sk）;

/* We may need to bind the socket. */

if （！inet_sk（sk）-》inet_num && ！sk-》sk_prot-》no_autobind && inet_autobind（sk））

return -EAGAIN;

return sk-》sk_prot-》sendmsg（iocb， sk， msg， size）;

}

EXPORT_SYMBOL（inet_sendmsg）;

本例是 UDP 協議，因此上面的 sk-》sk_prot-》sendmsg 指向的是之前看到的（通過 udp_prot 導出的）udp_sendmsg 函數。

sendmsg（）函數作為分界點，處理邏輯從 AF_INET 協議族通用處理轉移到具體的 UDP 協議的處理。

5. 總結

了解Linux內核網絡數據包發送的詳細過程，有助于我們進行網絡監控和調優。本文只分析了協議層的注冊和通過 socket 發送數據的過程，數據在傳輸層和網絡層的詳細發送過程將在下一篇文章中分析。

參考鏈接：

［1］ https://blog.packagecloud.io/eng/2017/02/06/monitoring-tuning-linux-networking-stack-sending-data

［2］ https://segmentfault.com/a/1190000008926093

本系列文章1-4，來源于陳莉君老師公眾號“Linux內核之旅”

編輯：jq