前言
一般來說,使用套接字進(jìn)行網(wǎng)絡(luò)編程時(shí),默認(rèn)使用linux內(nèi)核提供的網(wǎng)絡(luò)服務(wù)。但是,現(xiàn)在我們自己在用戶空間構(gòu)建了一個(gè)tcp協(xié)議棧,并且讓它為其他應(yīng)用程序提供網(wǎng)絡(luò)服務(wù),這勢必要求我們自己實(shí)現(xiàn)一套新的套接字接口,并且提供給其他應(yīng)用程序指定使用。
但是,我們并不希望把該tcp協(xié)議棧封裝成動態(tài)庫的形式,因?yàn)檫@樣一來,應(yīng)用程序的編譯是必須要把庫一起連接進(jìn)去的。那么原生網(wǎng)絡(luò)編程開發(fā)的程序就不能基于我們tcp協(xié)議棧來運(yùn)行了。
一種較好的設(shè)計(jì)思路是,把tcp協(xié)議棧剝離出來作為一個(gè)獨(dú)立的組件來運(yùn)行,然后通過一個(gè)中間件,把網(wǎng)絡(luò)程序與tcp協(xié)議棧協(xié)同工作起來。這個(gè)中間件的主要工作就是負(fù)責(zé)偷龍換鳳,也就是把網(wǎng)絡(luò)程序中的內(nèi)核網(wǎng)絡(luò)服務(wù)轉(zhuǎn)換成獨(dú)立運(yùn)行的tcp協(xié)議棧的網(wǎng)絡(luò)服務(wù)。
核心思路:網(wǎng)絡(luò)程序(curl)+自定義套接字庫(liblevel.so)+tcp協(xié)議棧(level-ip),如下圖:
curl小工具
curl是一種命令行工具,作用是發(fā)出網(wǎng)絡(luò)請求,然后得到和提取數(shù)據(jù),顯示在"標(biāo)準(zhǔn)輸出"(stdout)上面。我們直接在curl命令后加上網(wǎng)址和端口,就可以看到網(wǎng)頁源碼。比如抓取www.sina.com網(wǎng)址:
curl www.sina.com 80
下面我們來看一個(gè)curl工具的簡易實(shí)現(xiàn),如下圖:
第3行:判斷目標(biāo)主機(jī)名是否合法
第11行:判斷目標(biāo)端口好是否合法
第16行:完成主機(jī)名到地址解析
第21行:使用socket申請一個(gè)套接字描述符
第23行:使用connect函數(shù)發(fā)起tcp連接
第30行:按照http 1.1協(xié)議來填充要發(fā)送的內(nèi)容,此處為http協(xié)議的get請求
第33行:調(diào)用write來發(fā)送網(wǎng)絡(luò)數(shù)據(jù)
第41行:在while循環(huán)中重復(fù)接收服務(wù)器返回來的網(wǎng)頁數(shù)據(jù),并且打印在當(dāng)前控制臺終端上。
這是標(biāo)準(zhǔn)的網(wǎng)絡(luò)應(yīng)用程序,使用gcc命令編譯后即可運(yùn)行。
gcc curl.c -o curl
liblevelip.so庫
level-ip腳本
liblevelip.so庫重新封裝了常用的socket套接字,并借助socket原生的本地套接字接口來與tcp協(xié)議棧(level-ip)進(jìn)行數(shù)據(jù)通信。以后在curl程序使用socket套接字時(shí),優(yōu)先使用該庫的服務(wù)接口,而不是內(nèi)核的網(wǎng)絡(luò)服務(wù)。這是通過level-ip這個(gè)shell腳本完成的,具體命令如下:
./level-ip curl www.sina.com 80
我們來分析一下level-ip這個(gè)shell腳本的原理,如下圖:
第1行:執(zhí)行該shell腳本由/bin/sh程序來執(zhí)行。
第3行:指定腳本如果發(fā)生錯誤,或者遇到不存在的變量就報(bào)錯,并停止執(zhí)行。
第5行:保存腳本的第一個(gè)參數(shù)到prog變量中。
第6行:去掉一個(gè)參數(shù),即原來的1,2,依此類推。
第8行:LD_PRELOAD是一個(gè)環(huán)境變量,其指定的動態(tài)庫加載等級最高。@表示第二個(gè)參數(shù)之后的全部參數(shù)。
綜上所述,我們就可以確定curl程序是優(yōu)先加載liblevelip.so庫來使用了,通過這種打樁技術(shù),我們可以在加載階段替換部分系統(tǒng)函數(shù)的調(diào)用,比如我們常用的socket接口。
liblevelip.c文件
liblevelip.so庫由liblevellip.c文件編譯而來,該文件在tools文件夾中,我們逐步來分析一下這個(gè)c文件。
__libc_start_main函數(shù)
首先是__libc_start_main函數(shù),該函數(shù)原本是glibc庫里面的函數(shù),curl程序里面的main函數(shù)就是從這里開始被調(diào)用。但是我們在liblevelip.c里面實(shí)現(xiàn)了這個(gè)函數(shù),并且liblevelip.so的庫加載順序優(yōu)先于glibc的動態(tài)庫加載。因此在執(zhí)行curl程序中的main函數(shù)之前,此函數(shù)先被執(zhí)行。如下圖:
第3行:dlsym函數(shù)里的第一個(gè)參數(shù)為RTLD_NEXT,這意味著我們將從其他動態(tài)庫去加載__libc_start_main函數(shù)符號(比如glibc庫),然后把函數(shù)句柄賦值給__start_main變量。
第7~22行:從glibc庫中加載一部分linux系統(tǒng)原生提供的系統(tǒng)調(diào)用接口。因?yàn)槲覀兊木W(wǎng)絡(luò)服務(wù)還是要依賴于一些更底層的系統(tǒng)調(diào)用接口的。
第24行:初始化一個(gè)鏈表節(jié)點(diǎn)lvlip_socks。
第26行:調(diào)用glibc的原生__libc_start_main接口。
socket函數(shù)
接下來就是liblevelip.so對外提供的第一個(gè)網(wǎng)絡(luò)編程接口--socket函數(shù)了。該函數(shù)實(shí)現(xiàn)如下:
第3~5行:檢查網(wǎng)絡(luò)通信協(xié)議族是否為tcp協(xié)議,如果不是tcp協(xié)議,則調(diào)用內(nèi)核提供的網(wǎng)絡(luò)服務(wù)。
第9行:借助tcp本地套接字接口,與tcp協(xié)議棧建立連接,用于通信的本地文件為/tmp/lvlip.socket
第11行:申請一個(gè)lvlip_sock類型的buff用于管理socket信息。結(jié)構(gòu)體類型如下:
struct lvlip_sock { struct list_head list; int lvlfd; /* For Level-IP IPC */ int fd;};
list成員變量為鏈表結(jié)點(diǎn)
lvlfd記錄與tcp協(xié)議棧通信的網(wǎng)絡(luò)文件描述符
fd記錄tcp協(xié)議棧的返回狀態(tài)發(fā)送socket消息給tcp協(xié)議棧第12行:記錄與tcp協(xié)議棧通信的網(wǎng)絡(luò)文件描述符到sock->lvlfd第13行:把這次的網(wǎng)絡(luò)通信消息加入lvlip_socks鏈表中第14行:網(wǎng)絡(luò)通信消息數(shù)量加1第16行:獲取當(dāng)前線程的pid號
第17~18行:申請ipc_msg+ipc_socket結(jié)構(gòu)體長度的buff,用于發(fā)送詳細(xì)的socket信息到tcp協(xié)議棧。結(jié)構(gòu)體定義如下:
struct ipc_msg { uint16_t type; pid_t pid; uint8_t data[];} __attribute__((packed));
type:記錄此次socket信息的具體類型
pid:記錄請求網(wǎng)絡(luò)服務(wù)的進(jìn)程pid號
data:存放具體的通信內(nèi)容
struct ipc_socket { int domain; int type; int protocol;} __attribute__((packed));
實(shí)際上就是soket函數(shù)的三個(gè)參數(shù)。
第23~29行:把ipc_socket作為通信的具體內(nèi)容填充到ipc_msg的data區(qū)域中去
第31行:調(diào)用transmit_lvlip()函數(shù)真正給tcp協(xié)議棧發(fā)送消息,并且等待協(xié)議棧的數(shù)據(jù)回復(fù)。
此處我們就把liblevelip.so中的socket函數(shù)給剖析清楚了,其他諸如close、connect、write、read、send、sendto、recv、此處我們就把liblevelip.so中的socket函數(shù)給剖析清楚了,其他諸如close、connect、write、read、send、sendto、recv、此處我們就把liblevelip.so中的socket函數(shù)給剖析清楚了,其他諸如close、connect、write、read、send、sendto、recv、recvfrom、poll、select等函數(shù),原理都是一樣的,此處不再展開分析。
tcp協(xié)議棧(level-ip)
用戶空間的level-ip協(xié)議棧,在運(yùn)行之初,就已經(jīng)在main函數(shù)里面創(chuàng)建了一系列線程。如下圖:
其中第9行,在run_threads()函數(shù)里創(chuàng)建了一系列線程,如下圖:
在這里,我們重點(diǎn)關(guān)注第5行創(chuàng)建的start_ipc_listener線程
該線程的實(shí)現(xiàn)如下:
第5行:指定tcp本地通信的路徑文件為"/tmp/lvlip.socket",與我們前面liblevelip.so庫的本地通信文件一致,這就說明它們之間確實(shí)是通過tco本地通信接口來通信的
第10行:調(diào)用socket接口開始進(jìn)行tcp本地通信
第24行:調(diào)用bind函數(shù)綁定本地通信路徑
第31行:調(diào)用listen函數(shù)監(jiān)聽指定端口,等待liblevelip.so庫發(fā)起連接
第46行:如果liblevelip.so庫發(fā)起連接,則調(diào)用accept函數(shù)準(zhǔn)備開始收發(fā)信息。
第54行:每監(jiān)聽到一個(gè)新的連接,新創(chuàng)建一個(gè)socket_ipc_open函數(shù)來進(jìn)行數(shù)據(jù)的具體收發(fā)。
socket_ipc_open函數(shù)主要是負(fù)責(zé)通信信息的讀取,然后根據(jù)通信消息的類型不同,來進(jìn)一步調(diào)用具體的處理函數(shù),其實(shí)現(xiàn)如下:
第7行:調(diào)用read函數(shù)進(jìn)行數(shù)據(jù)的讀取
第8行:調(diào)用具體指令的回調(diào)信息
demux_ipc_socket_call的函數(shù)非常簡單,實(shí)現(xiàn)如下:
前面我們在liblevelip.so庫中調(diào)用socket()函數(shù)的時(shí)候,發(fā)送的消息類型為IPC_SOCKET,所以在此處我們進(jìn)一步分析ipc_socket()這個(gè)函數(shù)。
它的具體實(shí)現(xiàn)如下:
我們重點(diǎn)是關(guān)注第7行的_socket函數(shù),該函數(shù)就是tcp協(xié)議棧的核心接口之一了,它是整個(gè)tcp協(xié)議棧的真正入口,我們以后再來專門分析這個(gè)接口。然后第9行,ipc_write函數(shù)負(fù)責(zé)把tcp協(xié)議棧的處理結(jié)果返回給liblevelip.so庫,代碼較為簡單,此處不再分析。
-
Curl
+關(guān)注
關(guān)注
0文章
16瀏覽量
8185 -
編譯
+關(guān)注
關(guān)注
0文章
659瀏覽量
32893 -
網(wǎng)絡(luò)程序
+關(guān)注
關(guān)注
0文章
3瀏覽量
911
原文標(biāo)題:Linux系統(tǒng)中間件的巧妙實(shí)現(xiàn)--以用戶空間的tcp協(xié)議棧為例
文章出處:【微信號:zhuyandz,微信公眾號:FPGA之家】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。
發(fā)布評論請先 登錄
相關(guān)推薦
評論