0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

curl工具的簡易實(shí)現(xiàn)

FPGA之家 ? 來源:FPGA之家 ? 作者:FPGA之家 ? 2022-08-24 09:05 ? 次閱讀

前言

一般來說,使用套接字進(jìn)行網(wǎng)絡(luò)編程時(shí),默認(rèn)使用linux內(nèi)核提供的網(wǎng)絡(luò)服務(wù)。但是,現(xiàn)在我們自己在用戶空間構(gòu)建了一個(gè)tcp協(xié)議棧,并且讓它為其他應(yīng)用程序提供網(wǎng)絡(luò)服務(wù),這勢必要求我們自己實(shí)現(xiàn)一套新的套接字接口,并且提供給其他應(yīng)用程序指定使用。

但是,我們并不希望把該tcp協(xié)議棧封裝成動態(tài)庫的形式,因?yàn)檫@樣一來,應(yīng)用程序的編譯是必須要把庫一起連接進(jìn)去的。那么原生網(wǎng)絡(luò)編程開發(fā)的程序就不能基于我們tcp協(xié)議棧來運(yùn)行了。

一種較好的設(shè)計(jì)思路是,把tcp協(xié)議棧剝離出來作為一個(gè)獨(dú)立的組件來運(yùn)行,然后通過一個(gè)中間件,把網(wǎng)絡(luò)程序與tcp協(xié)議棧協(xié)同工作起來。這個(gè)中間件的主要工作就是負(fù)責(zé)偷龍換鳳,也就是把網(wǎng)絡(luò)程序中的內(nèi)核網(wǎng)絡(luò)服務(wù)轉(zhuǎn)換成獨(dú)立運(yùn)行的tcp協(xié)議棧的網(wǎng)絡(luò)服務(wù)。

核心思路:網(wǎng)絡(luò)程序(curl)+自定義套接字庫(liblevel.so)+tcp協(xié)議棧(level-ip),如下圖:

7365045c-2341-11ed-ba43-dac502259ad0.png

curl小工具

curl是一種命令行工具,作用是發(fā)出網(wǎng)絡(luò)請求,然后得到和提取數(shù)據(jù),顯示在"標(biāo)準(zhǔn)輸出"(stdout)上面。我們直接在curl命令后加上網(wǎng)址和端口,就可以看到網(wǎng)頁源碼。比如抓取www.sina.com網(wǎng)址:

curl www.sina.com 80

下面我們來看一個(gè)curl工具的簡易實(shí)現(xiàn),如下圖:

737ffb72-2341-11ed-ba43-dac502259ad0.png

第3行:判斷目標(biāo)主機(jī)名是否合法

第11行:判斷目標(biāo)端口好是否合法

第16行:完成主機(jī)名到地址解析

第21行:使用socket申請一個(gè)套接字描述符

第23行:使用connect函數(shù)發(fā)起tcp連接

第30行:按照http 1.1協(xié)議來填充要發(fā)送的內(nèi)容,此處為http協(xié)議的get請求

第33行:調(diào)用write來發(fā)送網(wǎng)絡(luò)數(shù)據(jù)

第41行:在while循環(huán)中重復(fù)接收服務(wù)器返回來的網(wǎng)頁數(shù)據(jù),并且打印在當(dāng)前控制臺終端上。

這是標(biāo)準(zhǔn)的網(wǎng)絡(luò)應(yīng)用程序,使用gcc命令編譯后即可運(yùn)行。

gcc curl.c -o curl

liblevelip.so庫

level-ip腳本

liblevelip.so庫重新封裝了常用的socket套接字,并借助socket原生的本地套接字接口來與tcp協(xié)議棧(level-ip)進(jìn)行數(shù)據(jù)通信。以后在curl程序使用socket套接字時(shí),優(yōu)先使用該庫的服務(wù)接口,而不是內(nèi)核的網(wǎng)絡(luò)服務(wù)。這是通過level-ip這個(gè)shell腳本完成的,具體命令如下:

./level-ip curl www.sina.com 80

我們來分析一下level-ip這個(gè)shell腳本的原理,如下圖:

73a4d4a6-2341-11ed-ba43-dac502259ad0.png

第1行:執(zhí)行該shell腳本由/bin/sh程序來執(zhí)行。

第3行:指定腳本如果發(fā)生錯誤,或者遇到不存在的變量就報(bào)錯,并停止執(zhí)行。

第5行:保存腳本的第一個(gè)參數(shù)到prog變量中。

第6行:去掉一個(gè)參數(shù),即原來的1,2,依此類推。

第8行:LD_PRELOAD是一個(gè)環(huán)境變量,其指定的動態(tài)庫加載等級最高。@表示第二個(gè)參數(shù)之后的全部參數(shù)。

綜上所述,我們就可以確定curl程序是優(yōu)先加載liblevelip.so庫來使用了,通過這種打樁技術(shù),我們可以在加載階段替換部分系統(tǒng)函數(shù)的調(diào)用,比如我們常用的socket接口。

liblevelip.c文件

liblevelip.so庫由liblevellip.c文件編譯而來,該文件在tools文件夾中,我們逐步來分析一下這個(gè)c文件。

__libc_start_main函數(shù)

首先是__libc_start_main函數(shù),該函數(shù)原本是glibc庫里面的函數(shù),curl程序里面的main函數(shù)就是從這里開始被調(diào)用。但是我們在liblevelip.c里面實(shí)現(xiàn)了這個(gè)函數(shù),并且liblevelip.so的庫加載順序優(yōu)先于glibc的動態(tài)庫加載。因此在執(zhí)行curl程序中的main函數(shù)之前,此函數(shù)先被執(zhí)行。如下圖:

73af364e-2341-11ed-ba43-dac502259ad0.png

第3行:dlsym函數(shù)里的第一個(gè)參數(shù)為RTLD_NEXT,這意味著我們將從其他動態(tài)庫去加載__libc_start_main函數(shù)符號(比如glibc庫),然后把函數(shù)句柄賦值給__start_main變量。

第7~22行:從glibc庫中加載一部分linux系統(tǒng)原生提供的系統(tǒng)調(diào)用接口。因?yàn)槲覀兊木W(wǎng)絡(luò)服務(wù)還是要依賴于一些更底層的系統(tǒng)調(diào)用接口的。

第24行:初始化一個(gè)鏈表節(jié)點(diǎn)lvlip_socks。

第26行:調(diào)用glibc的原生__libc_start_main接口。

socket函數(shù)

接下來就是liblevelip.so對外提供的第一個(gè)網(wǎng)絡(luò)編程接口--socket函數(shù)了。該函數(shù)實(shí)現(xiàn)如下:

73ce1b9a-2341-11ed-ba43-dac502259ad0.png

第3~5行:檢查網(wǎng)絡(luò)通信協(xié)議族是否為tcp協(xié)議,如果不是tcp協(xié)議,則調(diào)用內(nèi)核提供的網(wǎng)絡(luò)服務(wù)。

第9行:借助tcp本地套接字接口,與tcp協(xié)議棧建立連接,用于通信的本地文件為/tmp/lvlip.socket

第11行:申請一個(gè)lvlip_sock類型的buff用于管理socket信息。結(jié)構(gòu)體類型如下:

struct lvlip_sock {    struct list_head list;    int lvlfd; /* For Level-IP IPC */    int fd;};

list成員變量為鏈表結(jié)點(diǎn)

lvlfd記錄與tcp協(xié)議棧通信的網(wǎng)絡(luò)文件描述符

fd記錄tcp協(xié)議棧的返回狀態(tài)發(fā)送socket消息給tcp協(xié)議棧第12行:記錄與tcp協(xié)議棧通信的網(wǎng)絡(luò)文件描述符到sock->lvlfd第13行:把這次的網(wǎng)絡(luò)通信消息加入lvlip_socks鏈表中第14行:網(wǎng)絡(luò)通信消息數(shù)量加1第16行:獲取當(dāng)前線程的pid號

第17~18行:申請ipc_msg+ipc_socket結(jié)構(gòu)體長度的buff,用于發(fā)送詳細(xì)的socket信息到tcp協(xié)議棧。結(jié)構(gòu)體定義如下:

struct ipc_msg {    uint16_t type;    pid_t pid;    uint8_t data[];} __attribute__((packed));

type:記錄此次socket信息的具體類型

pid:記錄請求網(wǎng)絡(luò)服務(wù)的進(jìn)程pid號

data:存放具體的通信內(nèi)容

struct ipc_socket {    int domain;    int type;    int protocol;} __attribute__((packed));

實(shí)際上就是soket函數(shù)的三個(gè)參數(shù)。

第23~29行:把ipc_socket作為通信的具體內(nèi)容填充到ipc_msg的data區(qū)域中去

第31行:調(diào)用transmit_lvlip()函數(shù)真正給tcp協(xié)議棧發(fā)送消息,并且等待協(xié)議棧的數(shù)據(jù)回復(fù)。

此處我們就把liblevelip.so中的socket函數(shù)給剖析清楚了,其他諸如close、connect、write、read、send、sendto、recv、此處我們就把liblevelip.so中的socket函數(shù)給剖析清楚了,其他諸如close、connect、write、read、send、sendto、recv、此處我們就把liblevelip.so中的socket函數(shù)給剖析清楚了,其他諸如close、connect、write、read、send、sendto、recv、recvfrom、poll、select等函數(shù),原理都是一樣的,此處不再展開分析。

tcp協(xié)議棧(level-ip)

用戶空間的level-ip協(xié)議棧,在運(yùn)行之初,就已經(jīng)在main函數(shù)里面創(chuàng)建了一系列線程。如下圖:

73f2ec5e-2341-11ed-ba43-dac502259ad0.png

其中第9行,在run_threads()函數(shù)里創(chuàng)建了一系列線程,如下圖:

740ccf8e-2341-11ed-ba43-dac502259ad0.png

在這里,我們重點(diǎn)關(guān)注第5行創(chuàng)建的start_ipc_listener線程

該線程的實(shí)現(xiàn)如下:

74186d30-2341-11ed-ba43-dac502259ad0.png

第5行:指定tcp本地通信的路徑文件為"/tmp/lvlip.socket",與我們前面liblevelip.so庫的本地通信文件一致,這就說明它們之間確實(shí)是通過tco本地通信接口來通信的

第10行:調(diào)用socket接口開始進(jìn)行tcp本地通信

第24行:調(diào)用bind函數(shù)綁定本地通信路徑

第31行:調(diào)用listen函數(shù)監(jiān)聽指定端口,等待liblevelip.so庫發(fā)起連接

第46行:如果liblevelip.so庫發(fā)起連接,則調(diào)用accept函數(shù)準(zhǔn)備開始收發(fā)信息。

第54行:每監(jiān)聽到一個(gè)新的連接,新創(chuàng)建一個(gè)socket_ipc_open函數(shù)來進(jìn)行數(shù)據(jù)的具體收發(fā)。

socket_ipc_open函數(shù)主要是負(fù)責(zé)通信信息的讀取,然后根據(jù)通信消息的類型不同,來進(jìn)一步調(diào)用具體的處理函數(shù),其實(shí)現(xiàn)如下:

743b7f0a-2341-11ed-ba43-dac502259ad0.png

第7行:調(diào)用read函數(shù)進(jìn)行數(shù)據(jù)的讀取

第8行:調(diào)用具體指令的回調(diào)信息

demux_ipc_socket_call的函數(shù)非常簡單,實(shí)現(xiàn)如下:

74482b88-2341-11ed-ba43-dac502259ad0.png

前面我們在liblevelip.so庫中調(diào)用socket()函數(shù)的時(shí)候,發(fā)送的消息類型為IPC_SOCKET,所以在此處我們進(jìn)一步分析ipc_socket()這個(gè)函數(shù)。

它的具體實(shí)現(xiàn)如下:

7455531c-2341-11ed-ba43-dac502259ad0.png

我們重點(diǎn)是關(guān)注第7行的_socket函數(shù),該函數(shù)就是tcp協(xié)議棧的核心接口之一了,它是整個(gè)tcp協(xié)議棧的真正入口,我們以后再來專門分析這個(gè)接口。然后第9行,ipc_write函數(shù)負(fù)責(zé)把tcp協(xié)議棧的處理結(jié)果返回給liblevelip.so庫,代碼較為簡單,此處不再分析。

審核編輯:彭靜
聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點(diǎn)僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報(bào)投訴
  • Curl
    +關(guān)注

    關(guān)注

    0

    文章

    16

    瀏覽量

    8185
  • 編譯
    +關(guān)注

    關(guān)注

    0

    文章

    659

    瀏覽量

    32893
  • 網(wǎng)絡(luò)程序
    +關(guān)注

    關(guān)注

    0

    文章

    3

    瀏覽量

    911

原文標(biāo)題:Linux系統(tǒng)中間件的巧妙實(shí)現(xiàn)--以用戶空間的tcp協(xié)議棧為例

文章出處:【微信號:zhuyandz,微信公眾號:FPGA之家】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    Tiny4412下CURL安裝與使用

    CURL是一個(gè)利用URL語法在命令行下工作的文件傳輸工具,1997年首次發(fā)行。它支持文件上傳和下載,所以是綜合傳輸工具,但按傳統(tǒng),習(xí)慣稱CURL為下載
    的頭像 發(fā)表于 05-31 17:20 ?1499次閱讀
    Tiny4412下<b class='flag-5'>CURL</b>安裝與使用

    使用curl+wget抓取網(wǎng)頁方法

    打包下載地址:Windows平臺下的wget和curl工具包Windows平臺下,curl下載解壓后,直接是curl.exe格式,拷貝到系統(tǒng)命令目錄下 C:\Windows\Syst
    發(fā)表于 02-25 09:54

    研發(fā)課堂丨手把手教你如何操作i.MX6UL對curl軟件的支持

    本帖最后由 forlinx 于 2020-4-16 15:35 編輯 前言curl是一個(gè)開源項(xiàng)目,名字的含義是客戶端(client)的URL工具的意思。主要的產(chǎn)品是curl(命令行工具
    發(fā)表于 04-16 15:35

    操作步驟:添加i.MX6UL對curl軟件

    /libcurl目錄下),指令執(zhí)行后會配置編譯器: 5. 使用交叉編譯工具鏈編譯: 6. 執(zhí)行如下命令編譯安裝到步驟3中指定的位置。注意:本步驟會有多出錯誤提示,忽略即可。 7. 打開步驟3中的位置,此時(shí)目錄
    發(fā)表于 04-16 15:31

    【ELF 1開發(fā)板試用】5.移植 curl 工具進(jìn)行網(wǎng)絡(luò)調(diào)試

    【ELF 1開發(fā)板試用】5.移植 curl 工具進(jìn)行網(wǎng)絡(luò)調(diào)試 連接互聯(lián)網(wǎng) 動態(tài) 首先將開發(fā)板用網(wǎng)線與路由器LAN口相連接,可以執(zhí)行動態(tài)獲取 IP ,執(zhí)行 udhcpc -i eth0 這個(gè)命令會將
    發(fā)表于 11-28 19:39

    Curl 下載v7.17.1

    Curl支持協(xié)定眾多的文件傳輸程序,可下載FTP,HTT,HTTP,GOPHE,TELNET,DICT,F(xiàn)ILE,LDAP的文件,還可以上傳HTTP POST,HTTP PUT,F(xiàn)TP uploading,HTTP form based upload,proxies,cookies 點(diǎn)擊查看:
    發(fā)表于 12-04 13:09 ?12次下載

    curl文件下載工具的使用方法

    curl文件下載工具的使用方法 curl是一個(gè)利用URL語法在命令行方
    發(fā)表于 12-04 13:03 ?1756次閱讀

    淺談cURL 和wget相似之處及優(yōu)勢對比

    cURL與wget:你應(yīng)該選用哪一個(gè)? wget 和 cURL 都可以下載內(nèi)容,它們都被設(shè)計(jì)成可腳本化,都可以寫進(jìn)腳本中,但是wget 簡單直接,可享受超凡的下載速度,cURL是一個(gè)多功能工具
    的頭像 發(fā)表于 02-13 13:04 ?4501次閱讀

    simple curl操作類

    ./oschina_soft/curl.zip
    發(fā)表于 05-30 11:02 ?1次下載
    simple <b class='flag-5'>curl</b>操作類

    cURL的使用方法

    curl 是常用的開源命令行工具,用來請求 Web 服務(wù)器。它的名字就是客戶端(client)的 URL 工具的意思。它的功能非常強(qiáng)大,命令行參數(shù)多達(dá)幾十種。它支持包括 FTP、HTTP、HTTPS、FTP、SCP,SFTP 數(shù)
    的頭像 發(fā)表于 08-05 11:54 ?4944次閱讀

    windows下C語言使用curl庫訪問HTTP下載文件

    cURL是一個(gè)利用URL語法在命令行下工作的文件傳輸工具,1997年首次發(fā)行。它支持文件上傳和下載,所以是綜合傳輸工具,但按傳統(tǒng),習(xí)慣稱cURL為下載
    的頭像 發(fā)表于 09-17 15:57 ?2170次閱讀
    windows下C語言使用<b class='flag-5'>curl</b>庫訪問HTTP下載文件

    Linux系統(tǒng)如何安裝curl

    `curl`是用于在本地計(jì)算機(jī)與遠(yuǎn)程服務(wù)器之間傳輸數(shù)據(jù)的命令行工具。使用curl時(shí)您可以使用HTTP,HTTPS, SCP , SFTP和FTP等協(xié)議下載或上傳數(shù)據(jù)。
    的頭像 發(fā)表于 12-06 16:53 ?1.7w次閱讀

    curl命令接入onenet簡單使用

    注意的是,格式一定得正確無誤。那么就接下來進(jìn)入正題吧。先簡單介紹下什么是curl吧: curl是利用url語法在命令行方式下工作的開源文件傳輸工具(來自百度百科)。curl是一種簡單有
    發(fā)表于 10-20 17:11 ?0次下載
    <b class='flag-5'>curl</b>命令接入onenet簡單使用

    linux開發(fā)板如何編譯curl

    準(zhǔn)備開發(fā)環(huán)境 確保你的開發(fā)板已經(jīng)安裝了編譯 curl 所需的工具,包括 gcc 、 make 和可能的其他庫。如果開發(fā)板是交叉編譯環(huán)境(即你在一個(gè)平臺上編譯用于另一個(gè)平臺的程序),你還需要確保安裝了適當(dāng)?shù)慕徊婢幾g工具鏈。 2.
    的頭像 發(fā)表于 08-30 15:33 ?655次閱讀

    如何使用 cURL 測試 HTTP 協(xié)議

    cURL是一個(gè)強(qiáng)大的命令行工具,用于傳輸數(shù)據(jù),支持多種協(xié)議,包括HTTP、HTTPS、FTP等。使用cURL測試HTTP協(xié)議可以幫助你理解HTTP請求和響應(yīng)的工作原理,以及調(diào)試和驗(yàn)證你的HTTP服務(wù)
    的頭像 發(fā)表于 12-30 09:26 ?157次閱讀