0
  • 聊天消息
  • 系統(tǒng)消息
  • 評論與回復(fù)
登錄后你可以
  • 下載海量資料
  • 學(xué)習(xí)在線課程
  • 觀看技術(shù)視頻
  • 寫文章/發(fā)帖/加入社區(qū)
會員中心
創(chuàng)作中心

完善資料讓更多小伙伴認(rèn)識你,還能領(lǐng)取20積分哦,立即完善>

3天內(nèi)不再提示

學(xué)習(xí)Linux命令的正確姿勢

倩倩 ? 來源:開源Linux ? 作者:開源Linux ? 2022-08-31 10:27 ? 次閱讀

	

學(xué)習(xí)Linux命令的正確姿勢


	

	

	

問題描述

模擬高并發(fā)的場景,會出現(xiàn)批量的 TIME_WAIT 的 TCP 連接:
cfb29db8-28d3-11ed-ba43-dac502259ad0.png短時間后,所有的 TIME_WAIT 全都消失,被回收,端口包括服務(wù),均正常。即,在高并發(fā)的場景下,TIME_WAIT 連接存在,屬于正?,F(xiàn)象。線上場景中,持續(xù)的高并發(fā)場景:
  • 一部分 TIME_WAIT 連接被回收,但新的 TIME_WAIT 連接產(chǎn)生;

  • 一些極端情況下,會出現(xiàn)大量的 TIME_WAIT 連接。

Think:上述大量的 TIME_WAIT 狀態(tài) TCP 連接,有什么業(yè)務(wù)上的影響嗎?
Nginx 作為反向代理時,大量的短鏈接,可能導(dǎo)致 Nginx 上的 TCP 連接處于 time_wait 狀態(tài):
  • 每一個 time_wait 狀態(tài),都會占用一個「本地端口」,上限為 65535(16 bit,2 Byte);

  • 當(dāng)大量的連接處于 time_wait 時,新建立 TCP 連接會出錯,address already in use : connect 異常

統(tǒng)計 TCP 連接的狀態(tài):

	

		// 統(tǒng)計:各種連接的數(shù)量 $ netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}' ESTABLISHED 1154 TIME_WAIT 1645Tips:TCP 本地端口數(shù)量,上限為 65535(6.5w),這是因為 TCP 頭部使用 16 bit,存儲「端口號」,因此約束上限為 65535。

問題分析

大量的 TIME_WAIT 狀態(tài) TCP 連接存在,其本質(zhì)原因是什么?
  1. 大量的短連接存在

  2. 特別是 HTTP 請求中,如果 connection 頭部取值被設(shè)置為 close 時,基本都由「服務(wù)端」發(fā)起主動關(guān)閉連接

  3. 而,TCP 四次揮手關(guān)閉連接機(jī)制中,為了保證 ACK 重發(fā)和丟棄延遲數(shù)據(jù),設(shè)置 time_wait 為 2 倍的 MSL(報文最大存活時間)

TIME_WAIT 狀態(tài):
  1. TCP 連接中,主動關(guān)閉連接的一方出現(xiàn)的狀態(tài);(收到 FIN 命令,進(jìn)入 TIME_WAIT 狀態(tài),并返回 ACK 命令)

  2. 保持 2 個 MSL 時間,即,4 分鐘;(MSL 為 2 分鐘)

解決辦法

解決上述 time_wait 狀態(tài)大量存在,導(dǎo)致新連接創(chuàng)建失敗的問題,一般解決辦法:
  1. 客戶端,HTTP 請求的頭部,connection 設(shè)置為 keep-alive,保持存活一段時間:現(xiàn)在的瀏覽器,一般都這么進(jìn)行了

  2. 服務(wù)器端 允許 time_wait 狀態(tài)的 socket 被重用 縮減 time_wait 時間,設(shè)置為 1 MSL(即,2 mins)

結(jié)論:幾個核心要點

  1. time_wait 狀態(tài)的影響:

  • TCP 連接中,「主動發(fā)起關(guān)閉連接」的一端,會進(jìn)入 time_wait 狀態(tài)

  • time_wait 狀態(tài),默認(rèn)會持續(xù) 2 MSL(報文的最大生存時間),一般是 2x2 mins

  • time_wait 狀態(tài)下,TCP 連接占用的端口,無法被再次使用

  • TCP 端口數(shù)量,上限是 6.5w(65535,16 bit)

  • 大量 time_wait 狀態(tài)存在,會導(dǎo)致新建 TCP 連接會出錯,address already in use : connect 異常

  • 現(xiàn)實場景:

  • 服務(wù)器端,一般設(shè)置:不允許「主動關(guān)閉連接」

  • 但 HTTP 請求中,http 頭部 connection 參數(shù),可能設(shè)置為 close,則,服務(wù)端處理完請求會主動關(guān)閉 TCP 連接

  • 現(xiàn)在瀏覽器中, HTTP 請求 connection 參數(shù),一般都設(shè)置為 keep-alive

  • Nginx 反向代理場景中,可能出現(xiàn)大量短鏈接,服務(wù)器端,可能存在

  • 解決辦法:

  • 服務(wù)器端允許 time_wait 狀態(tài)的 socket 被重用

  • 縮減 time_wait 時間,設(shè)置為 1 MSL(即,2 mins)

附錄

幾個方面:
  1. TCP 連接狀態(tài)的查詢

  2. MSL 時間

  3. TCP 三次握手和四次握手

附錄 A:查詢 TCP 連接狀態(tài)Mac 下,查詢 TCP 連接狀態(tài)的具體命令:

	

		// Mac 下,查詢 TCP 連接狀態(tài)$ netstat -nat |grep TIME_WAIT // Mac 下,查詢 TCP 連接狀態(tài),其中 -E 表示 grep 或的匹配邏輯$ netstat -nat | grep -E "TIME_WAIT|Local Address"Proto Recv-Q Send-Q Local Address Foreign Address (state)tcp4 0 0 127.0.0.1.1080 127.0.0.1.59061 TIME_WAIT // 統(tǒng)計:各種連接的數(shù)量$ netstat -n | awk '/^tcp/ {++S[$NF]} END {for(a in S) print a, S[a]}'ESTABLISHED 1154TIME_WAIT 1645附錄 B:MSL 時間 MSL,Maximum Segment Lifetime,“報文最大生存時間”
  1. 任何報文在網(wǎng)絡(luò)上存在的最長時間,超過這個時間報文將被丟棄。(IP 報文)

  2. TCP報文 (segment)是ip數(shù)據(jù)報(datagram)的數(shù)據(jù)部分。

Tips:RFC 793中規(guī)定MSL為2分鐘,實際應(yīng)用中常用的是30秒,1分鐘和2分鐘等。2MSL,TCP 的 TIME_WAIT 狀態(tài),也稱為2MSL等待狀態(tài):
  1. 當(dāng)TCP的一端發(fā)起主動關(guān)閉(收到 FIN 請求),在發(fā)出最后一個ACK 響應(yīng)后,即第3次握 手完成后,發(fā)送了第四次握手的ACK包后,就進(jìn)入了TIME_WAIT狀態(tài)。

  2. 必須在此狀態(tài)上停留兩倍的MSL時間,等待2MSL時間主要目的是怕最后一個 ACK包對方?jīng)]收到,那么對方在超時后將重發(fā)第三次握手的FIN包,主動關(guān)閉端接到重發(fā)的FIN包后,可以再發(fā)一個ACK應(yīng)答包。

  3. 在 TIME_WAIT 狀態(tài)時,兩端的端口不能使用,要等到2MSL時間結(jié)束,才可繼續(xù)使用。(IP 層)

  4. 當(dāng)連接處于2MSL等待階段時,任何遲到的報文段都將被丟棄。 不過在實際應(yīng)用中,可以通過設(shè)置 「SO_REUSEADDR選項」,達(dá)到不必等待2MSL時間結(jié)束,即可使用被占用的端口。

附錄 C:TCP 三次握手和四次握手 具體示意圖:
  1. 三次握手,建立連接過程

  2. 四次揮手,釋放連接過程

cfdcc5d4-28d3-11ed-ba43-dac502259ad0.png ?

良許花了一個半月的時間研發(fā)了一門 Linux 命令課程,歡迎購買學(xué)習(xí)!

審核編輯 :李倩


聲明:本文內(nèi)容及配圖由入駐作者撰寫或者入駐合作網(wǎng)站授權(quán)轉(zhuǎn)載。文章觀點僅代表作者本人,不代表電子發(fā)燒友網(wǎng)立場。文章及其配圖僅供工程師學(xué)習(xí)之用,如有內(nèi)容侵權(quán)或者其他違規(guī)問題,請聯(lián)系本站處理。 舉報投訴
  • 服務(wù)器
    +關(guān)注

    關(guān)注

    12

    文章

    9204

    瀏覽量

    85548
  • TCP
    TCP
    +關(guān)注

    關(guān)注

    8

    文章

    1362

    瀏覽量

    79111

原文標(biāo)題:服務(wù)端 TCP 連接TIME_WAIT怎么破?77%的人都不知道~

文章出處:【微信號:良許Linux,微信公眾號:良許Linux】歡迎添加關(guān)注!文章轉(zhuǎn)載請注明出處。

收藏 人收藏

    評論

    相關(guān)推薦

    嵌入式開發(fā)必備-RK3562演示Linux常用系統(tǒng)查詢命令(上)觸覺智能出品

    實用干貨!嵌入式開發(fā)學(xué)習(xí)必備-RK3562演示Linux常用系統(tǒng)查詢命令(上)關(guān)注觸覺智能持續(xù)為大家?guī)砀嗲度胧介_發(fā)內(nèi)容
    的頭像 發(fā)表于 12-31 10:51 ?100次閱讀
    嵌入式開發(fā)必備-RK3562演示<b class='flag-5'>Linux</b>常用系統(tǒng)查詢<b class='flag-5'>命令</b>(上)觸覺智能出品

    Linux grep命令詳解

    Linux grep命令是一種非常常用的文本搜索工具,它可以在給定的文件中搜索匹配的字符串,并輸出匹配的行。grep是全稱“global search regular expression print”,可以識別正則表達(dá)式,并使用正則表達(dá)式進(jìn)行搜索。
    的頭像 發(fā)表于 12-25 09:39 ?112次閱讀

    盤點Linux系統(tǒng)中的常見命令

    作為運(yùn)維同學(xué)怎能不知道Linux系統(tǒng)中的lsmod、lsof、lspci、lsscsi命令呢,今天就來盤一盤她及實例。
    的頭像 發(fā)表于 12-03 09:48 ?262次閱讀
    盤點<b class='flag-5'>Linux</b>系統(tǒng)中的常見<b class='flag-5'>命令</b>

    Linux系統(tǒng)中shell命令解析

    shell是Linux系統(tǒng)的用戶界面,提供了用戶與內(nèi)核交互的一種接口,它接收用戶輸入的命令并到送到內(nèi)核去執(zhí)行,因此也被稱為Linux命令解釋器。
    的頭像 發(fā)表于 11-05 15:40 ?278次閱讀

    Linux實用命令大全

    Linux實用命令大全
    的頭像 發(fā)表于 10-23 13:50 ?242次閱讀
    <b class='flag-5'>Linux</b>實用<b class='flag-5'>命令</b>大全

    Linux lsof命令的基本用法

    linux 系統(tǒng)中,一切皆文件。通過文件不僅僅可以訪問常規(guī)數(shù)據(jù),還可以訪問網(wǎng)絡(luò)連接和硬件。所以 lsof 命令不僅可以查看進(jìn)程打開的文件、目錄,還可以查看進(jìn)程監(jiān)聽的端口等 socket 相關(guān)的信息。本文將介紹 lsof 命令
    的頭像 發(fā)表于 10-23 11:52 ?297次閱讀
    <b class='flag-5'>Linux</b> lsof<b class='flag-5'>命令</b>的基本用法

    Linux開發(fā)怎么學(xué)?

    Linux 發(fā)行版,如 Ubuntu、CentOS、Debian等,并根據(jù)相應(yīng)的安裝指南進(jìn)行安裝。建議大家安裝Ubuntu即可 3.學(xué)習(xí) Linux 基本命令
    發(fā)表于 10-10 14:34

    Linux中cut命令的實用示例

    Linux command cut 用于文本處理。您可以使用此命令通過選擇列從文件中提取部分文本。
    的頭像 發(fā)表于 08-05 15:14 ?326次閱讀

    util-linux修復(fù)WallEscape漏洞,影響Linux系統(tǒng)wall命令使用

    WallEscape 主要影響“wall”命令操作,Linux 系統(tǒng)中的常規(guī)下,該指令被用作向系統(tǒng)所有登錄用戶的終端發(fā)布消息。然而在處理命令行參數(shù)輸入時,過濾器未正確識別和過濾轉(zhuǎn)義序列
    的頭像 發(fā)表于 03-29 14:35 ?992次閱讀

    Linux常用網(wǎng)絡(luò)命令介紹

    默認(rèn)使用該命令會一直發(fā)送ICMP包直到用戶手動中止,可以使用-c命令指定發(fā)送數(shù)據(jù)包的個數(shù),使用-W指定最長等待時間,如果有多張網(wǎng)卡,還可以通過-I指定發(fā)送包的網(wǎng)卡。
    發(fā)表于 03-25 14:45 ?480次閱讀
    <b class='flag-5'>Linux</b>常用網(wǎng)絡(luò)<b class='flag-5'>命令</b>介紹

    linux命令概述

    電子發(fā)燒友網(wǎng)站提供《linux命令概述.pdf》資料免費下載
    發(fā)表于 03-11 09:18 ?3次下載

    Linux常用命令自學(xué)手冊》工具書永遠(yuǎn)是常備的秘籍

    生態(tài)系統(tǒng)。 此外,《Linux常用命令自學(xué)手冊》還有一個非常人性化的特點,那就是它充分考慮到了讀者的學(xué)習(xí)節(jié)奏和習(xí)慣。建議讀者每天練習(xí)一個命令,通過這種方式,讀者可以在輕松愉快的環(huán)境中逐
    發(fā)表于 01-29 19:42

    Linux上如何通過命令行來更改日期和時間?

    Linux上如何通過命令行來更改日期和時間? 在Linux上,我們可以使用命令行工具來更改日期和時間。操作系統(tǒng)中有一個專門的命令被稱為“d
    的頭像 發(fā)表于 01-16 17:10 ?2864次閱讀

    Linux查看IO狀態(tài)的常用命令都有哪些呢?

    介紹下Linux的3個常用I/O相關(guān)命令,解決I/O壓力過大問題時用iostat,查看磁盤的I/O狀態(tài)用iotop,查看I/O進(jìn)程排名用lsof
    的頭像 發(fā)表于 01-16 09:28 ?5421次閱讀

    Linux基本命令總結(jié)

    都說Linux命令多,實際工作中我們又有多少命令會接觸用到呢?本文跟大家分享Linux運(yùn)維工作中常用的600個命令,可以說這些
    的頭像 發(fā)表于 01-11 10:32 ?980次閱讀