一般來說，使用套接字進行網絡編程時，默認使用linux內核提供的網絡服務。但是，現在我們自己在用戶空間構建了一個tcp協議棧，并且讓它為其他應用程序提供網絡服務，這勢必要求我們自己實現一套新的套接字接口，并且提供給其他應用程序指定使用。

但是，我們并不希望把該tcp協議棧封裝成動態庫的形式，因為這樣一來，應用程序的編譯是必須要把庫一起連接進去的。那么原生網絡編程開發的程序就不能基于我們tcp協議棧來運行了。

一種較好的設計思路是，把tcp協議棧剝離出來作為一個獨立的組件來運行，然后通過一個中間件，把網絡程序與tcp協議棧協同工作起來。這個中間件的主要工作就是負責偷龍換鳳，也就是把網絡程序中的內核網絡服務轉換成獨立運行的tcp協議棧的網絡服務。

核心思路：網絡程序(curl)+自定義套接字庫(liblevel.so)+tcp協議棧(level-ip)，如下圖：

curl小工具

curl是一種命令行工具，作用是發出網絡請求，然后得到和提取數據，顯示在"標準輸出"（stdout）上面。我們直接在curl命令后加上網址和端口，就可以看到網頁源碼。比如抓取www.sina.com網址：

curl www.sina.com 80

下面我們來看一個curl工具的簡易實現,如下圖：

第3行：判斷目標主機名是否合法

第11行：判斷目標端口好是否合法

第16行：完成主機名到地址解析

第21行：使用socket申請一個套接字描述符

第23行：使用connect函數發起tcp連接

第30行：按照http 1.1協議來填充要發送的內容，此處為http協議的get請求

第33行：調用write來發送網絡數據

第41行：在while循環中重復接收服務器返回來的網頁數據，并且打印在當前控制臺終端上。

這是標準的網絡應用程序，使用gcc命令編譯后即可運行。

gcc curl.c -o curl

liblevelip.so庫

level-ip腳本

liblevelip.so庫重新封裝了常用的socket套接字，并借助socket原生的本地套接字接口來與tcp協議棧(level-ip)進行數據通信。以后在curl程序使用socket套接字時，優先使用該庫的服務接口，而不是內核的網絡服務。這是通過level-ip這個shell腳本完成的，具體命令如下：

./level-ip curl www.sina.com 80

我們來分析一下level-ip這個shell腳本的原理，如下圖：

第1行：執行該shell腳本由/bin/sh程序來執行。

第3行：指定腳本如果發生錯誤，或者遇到不存在的變量就報錯，并停止執行。

第5行：保存腳本的第一個參數到prog變量中。

第6行：去掉一個參數，即原來的1,2,依此類推。

第8行：LD_PRELOAD是一個環境變量，其指定的動態庫加載等級最高。@表示第二個參數之后的全部參數。

綜上所述，我們就可以確定curl程序是優先加載liblevelip.so庫來使用了，通過這種打樁技術，我們可以在加載階段替換部分系統函數的調用，比如我們常用的socket接口。

liblevelip.c文件

liblevelip.so庫由liblevellip.c文件編譯而來，該文件在tools文件夾中，我們逐步來分析一下這個c文件。

__libc_start_main函數

首先是__libc_start_main函數，該函數原本是glibc庫里面的函數，curl程序里面的main函數就是從這里開始被調用。但是我們在liblevelip.c里面實現了這個函數，并且liblevelip.so的庫加載順序優先于glibc的動態庫加載。因此在執行curl程序中的main函數之前，此函數先被執行。如下圖：

第3行：dlsym函數里的第一個參數為RTLD_NEXT，這意味著我們將從其他動態庫去加載__libc_start_main函數符號(比如glibc庫)，然后把函數句柄賦值給__start_main變量。

第7~22行:從glibc庫中加載一部分linux系統原生提供的系統調用接口。因為我們的網絡服務還是要依賴于一些更底層的系統調用接口的。

第24行：初始化一個鏈表節點lvlip_socks。

第26行：調用glibc的原生__libc_start_main接口。

socket函數

接下來就是liblevelip.so對外提供的第一個網絡編程接口--socket函數了。該函數實現如下：

第3~5行：檢查網絡通信協議族是否為tcp協議，如果不是tcp協議，則調用內核提供的網絡服務。

第9行：借助tcp本地套接字接口，與tcp協議棧建立連接，用于通信的本地文件為/tmp/lvlip.socket

第11行：申請一個lvlip_sock類型的buff用于管理socket信息。結構體類型如下：

struct lvlip_sock { struct list_head list; int lvlfd; /* For Level-IP IPC */ int fd;};

list成員變量為鏈表結點

lvlfd記錄與tcp協議棧通信的網絡文件描述符

fd記錄tcp協議棧的返回狀態發送socket消息給tcp協議棧第12行:記錄與tcp協議棧通信的網絡文件描述符到sock->lvlfd第13行：把這次的網絡通信消息加入lvlip_socks鏈表中第14行：網絡通信消息數量加1第16行：獲取當前線程的pid號

第17~18行：申請ipc_msg+ipc_socket結構體長度的buff，用于發送詳細的socket信息到tcp協議棧。結構體定義如下：

struct ipc_msg { uint16_t type; pid_t pid; uint8_t data[];} __attribute__((packed));

type:記錄此次socket信息的具體類型

pid：記錄請求網絡服務的進程pid號

data：存放具體的通信內容

struct ipc_socket { int domain; int type; int protocol;} __attribute__((packed));

實際上就是soket函數的三個參數。

第23~29行：把ipc_socket作為通信的具體內容填充到ipc_msg的data區域中去

第31行：調用transmit_lvlip()函數真正給tcp協議棧發送消息，并且等待協議棧的數據回復。

此處我們就把liblevelip.so中的socket函數給剖析清楚了，其他諸如close、connect、write、read、send、sendto、recv、此處我們就把liblevelip.so中的socket函數給剖析清楚了，其他諸如close、connect、write、read、send、sendto、recv、此處我們就把liblevelip.so中的socket函數給剖析清楚了，其他諸如close、connect、write、read、send、sendto、recv、recvfrom、poll、select等函數，原理都是一樣的，此處不再展開分析。

tcp協議棧(level-ip)

用戶空間的level-ip協議棧，在運行之初，就已經在main函數里面創建了一系列線程。如下圖：

其中第9行，在run_threads()函數里創建了一系列線程，如下圖：

在這里，我們重點關注第5行創建的start_ipc_listener線程

該線程的實現如下：

第5行：指定tcp本地通信的路徑文件為"/tmp/lvlip.socket",與我們前面liblevelip.so庫的本地通信文件一致，這就說明它們之間確實是通過tco本地通信接口來通信的

第10行：調用socket接口開始進行tcp本地通信

第24行：調用bind函數綁定本地通信路徑

第31行：調用listen函數監聽指定端口，等待liblevelip.so庫發起連接

第46行：如果liblevelip.so庫發起連接，則調用accept函數準備開始收發信息。

第54行：每監聽到一個新的連接，新創建一個socket_ipc_open函數來進行數據的具體收發。

socket_ipc_open函數主要是負責通信信息的讀取，然后根據通信消息的類型不同，來進一步調用具體的處理函數，其實現如下：

第7行：調用read函數進行數據的讀取

第8行：調用具體指令的回調信息

demux_ipc_socket_call的函數非常簡單，實現如下：

前面我們在liblevelip.so庫中調用socket()函數的時候，發送的消息類型為IPC_SOCKET，所以在此處我們進一步分析ipc_socket()這個函數。

它的具體實現如下：

我們重點是關注第7行的_socket函數，該函數就是tcp協議棧的核心接口之一了，它是整個tcp協議棧的真正入口，我們以后再來專門分析這個接口。然后第9行，ipc_write函數負責把tcp協議棧的處理結果返回給liblevelip.so庫，代碼較為簡單，此處不再分析。

原文標題：Linux系統中間件的巧妙實現--以用戶空間的tcp協議棧為例

文章出處：【微信公眾號：FPGA之家】歡迎添加關注！文章轉載請注明出處。

責任編輯：haq