最多能創(chuàng)建多少個(gè) TCP 連接？

本文來自微信公眾號(hào)：低并發(fā)編程 （ID：dibingfa），作者：閃客

我是一個(gè) Linux 服務(wù)器上的進(jìn)程，名叫小進(jìn)。

老是有人說我最多只能創(chuàng)建 65535 個(gè) TCP 連接。

我不信這個(gè)邪，今天我要親自去實(shí)踐一下。

我走到操作系統(tǒng)老大的跟前，說：

"老操，我要建立一個(gè) TCP 連接！"

老操不慌不忙，拿出一個(gè)表格遞給我，"小進(jìn)，先填表吧"

我一看這個(gè)表，這不就是經(jīng)典的 socket 四元組嘛。我只有一塊網(wǎng)卡，其 IP 地址是 123.126.45.68，我想要與 110.242.68.3 的 80 端口建立一個(gè) TCP 連接，我將這些信息填寫在了表中。

源端口號(hào)填什么呢？我記得端口號(hào)是 16 位的，可以有 0 ~ 65535 這個(gè)范圍的數(shù)字，那我隨便選一個(gè)吧！

正當(dāng)我猶豫到底選什么數(shù)字的時(shí)候，老操一把搶過我的表格。

"你墨跡個(gè)啥呢小進(jìn)？源端口號(hào)不用你填，我會(huì)給你分配一個(gè)可用的數(shù)字。源 IP 也不用你填，我知道都有哪些網(wǎng)卡，并且會(huì)幫你選個(gè)合適的。真是個(gè)新手，回去等消息吧。"

"哦"

老操帶著我的表格，走了。

過了很長時(shí)間，老操終于回來了，并且?guī)е粋€(gè)紙條。

"小進(jìn)，你把這個(gè)收好了。"

我問道，"這是啥呀？"

老操不耐煩地說道，"剛剛說你是新手你還不服，這個(gè) 5 表示文件描述符，linux 下一切皆文件，你待會(huì)和你那個(gè)目標(biāo) IP 進(jìn)行 TCP 通信的時(shí)候，就對(duì)著這個(gè)文件描述符讀寫就好啦。"

"這么方便！好的，謝謝老操。"

我拿著這個(gè)文件描述符，把它放到屬于我的內(nèi)存中裱起來了，反正我只是想看看最多能創(chuàng)建多少 TCP 連接，又不是去真的用它，嘻嘻。

端口號(hào)

過了一分鐘，我又去找老操了。

"老操，我要建立一個(gè) TCP 連接！"

老操不慌不忙，拿出一個(gè)表格遞給我，"小進(jìn)，先填表吧"

這回我熟悉了，只把目標(biāo) IP 和目標(biāo)端口填好。

老操辦好事之后，又帶著一個(gè)紙條回來，上面寫著數(shù)字 "6"。

就這樣，我每隔一分鐘都去找老操建立一個(gè)新的 TCP 連接，目標(biāo) IP 都是 110.242.68.3，目標(biāo)端口都是 80。

老操也很奇怪，不知道我在這折騰啥，他雖然權(quán)力大，但無權(quán)拒絕我的指令，每次都兢兢業(yè)業(yè)地把事情辦好，并給我一張一張寫著文件描述符的紙條。

直到有一次，我收到的紙條有些不同。

我?guī)е┰S責(zé)怪的語氣問，"老操，這是怎么回事呀？"

老操也沒好氣地說，"這表示端口號(hào)不夠用啦！早就覺得你小子不對(duì)勁了，一個(gè)勁地對(duì)著同一個(gè) IP 和端口創(chuàng)建 TCP 連接，之前沒辦法必須執(zhí)行你給的指令，現(xiàn)在不行了，端口號(hào)不夠用了，源端口那里我沒法給你填了。"

我也不是那么好騙的，質(zhì)疑道。"老操，你也別欺負(fù)我這個(gè)新手，我可是知道端口號(hào)是 16 位的，范圍是 1~65535，一共可以創(chuàng)建 65535 個(gè) TCP 連接，我現(xiàn)在才創(chuàng)建了 63977 個(gè)，怎么就不夠了！"

老操鄙視地看了我一眼，"你小子可真是閑的蛋疼啊，還真一個(gè)個(gè)數(shù)，來我告訴你吧，Linux 對(duì)可使用的端口范圍是有具體限制的，具體可以用如下命令查看。"

[root]# cat /proc/sys/net/ipv4/ip_local_port_range 
1024 65000

"看到?jīng)]，當(dāng)前的限制是 1024~65000，所以你就只能有 63977 個(gè)端口號(hào)可以使用。"

我趕緊像老操道歉，"哎喲真是抱歉，還是我見識(shí)太少，那這個(gè)數(shù)可以修改么？"

老操也沒跟我一般見識(shí)，還是耐心地回答我，"可以的，具體可以 vim /etc/ sysctl.conf 這個(gè)文件進(jìn)行修改，我們在這個(gè)文件里添加一行記錄"

net.ipv4.ip_local_port_range = 60000 60009

"保存好后執(zhí)行 sysctl -p /etc/ sysctl.conf 使其生效。這樣你就只有 10 個(gè)端口號(hào)可以用了，就會(huì)更快報(bào)出端口號(hào)不夠用的錯(cuò)誤"

"原來如此，謝謝老操又給我上了一課。"

哎不對(duì)，建立一個(gè) TCP 連接，需要將通信兩端的套接字（socket）進(jìn)行綁定，如下：

源 IP 地址：源端口號(hào) <---->  目標(biāo) IP 地址：目標(biāo)端口號(hào)

只要這套綁定關(guān)系構(gòu)成的四元組不重復(fù)即可，剛剛端口號(hào)不夠用了，是因?yàn)槲乙恢睂?duì)同一個(gè)目標(biāo) IP 和端口建立連接，那我換一個(gè)目標(biāo)端口號(hào)試試。

我又把這個(gè)表交給老操，老操一眼就看破了我的小心思，可是也沒辦法，馬上去給我建立了一個(gè)新的 TCP 連接，并且成功返回給我一個(gè)新的文件描述符紙條。

看來成功了，只要源端口號(hào)不用夠用了，就不斷變換目標(biāo) IP 和目標(biāo)端口號(hào)，保證四元組不重復(fù)，我就能創(chuàng)建好多好多 TCP 連接啦！

這也證明了有人說最多只能創(chuàng)建 65535 個(gè) TCP 連接是多么荒唐。

文件描述符

找到了突破端口號(hào)限制的辦法，我不斷找老操建立 TCP 連接，老操也拿我沒有辦法。

直到有一次，我又收到了一張?zhí)厥獾募垪l，上面寫的不是文件描述符。

我又沒好氣地問老操，"這又是咋回事？"

老操幸災(zāi)樂禍地告訴我，"呵呵，你小子以為突破端口號(hào)限制就無法無天了？現(xiàn)在文件描述符不夠用啦！"

"怎么啥啥都有限制啊？你們操作系統(tǒng)給我們的限制也太多了吧？"

"廢話，你看看你都建了多少個(gè) TCP 連接了！每建立一個(gè) TCP 連接，我就得分配給你一個(gè)文件描述符，linux 對(duì)可打開的文件描述符的數(shù)量分別作了三個(gè)方面的限制。"

系統(tǒng)級(jí)：當(dāng)前系統(tǒng)可打開的最大數(shù)量，通過 cat /proc/ sys / fs / file-max 查看

用戶級(jí)：指定用戶可打開的最大數(shù)量，通過 cat /etc/ security / limits.conf 查看

進(jìn)程級(jí)：單個(gè)進(jìn)程可打開的最大數(shù)量，通過 cat /proc/ sys / fs / nr_open 查看

天呢，真是人在屋檐下呀，我趕緊看了看這些具體的限制。

[root ~]# cat /proc/sys/fs/file-max
100000
[root ~]# cat /proc/sys/fs/nr_open
100000
[root ~]# cat /etc/security/limits.conf

* soft nproc 100000
* hard nproc 100000

原來如此，我記得剛剛收到的最后一張紙條是。

再之后就收到文件描述符不夠的錯(cuò)誤了。

我又請教老操，"老操，那這個(gè)限制可以修改么？"

老操仍然耐心地告訴我，"當(dāng)然可以，比如你想修改單個(gè)進(jìn)程可打開的最大文件描述符限制為 100，可以這樣。"

echo 100  /proc/sys/fs/nr_open

"原來如此，我這就去把各種文件描述符限制都改大一點(diǎn)，也不多，就在后面加個(gè) 0 吧"

"額，早知道不告訴你小子了。" 老操再次用鄙視的眼睛看著我。

線程

突破了文件描述符限制，我又開始肆無忌憚地創(chuàng)建起了 TCP 連接。

但我發(fā)現(xiàn)，老操的辦事效率越來越慢，建立一個(gè) TCP 連接花的時(shí)間越來越久。

有一次，我忍不住責(zé)問老操，"你是不是在偷懶啊？之前找你建一個(gè) TCP 連接就花不到一分鐘時(shí)間，你看看最近我哪次不是等一個(gè)多小時(shí)你才搞好？"

老操也忍不住了，"小進(jìn)啊你還好意思說我，你知不知道你每建一個(gè) TCP 連接都需要消耗一個(gè)線程來為你服務(wù)？現(xiàn)在我和 CPU 老大那里都忙得不可開交了，一直在為你這好幾十萬個(gè)線程不停地進(jìn)行上下文切換，我們精力有限啊，自然就沒法像以前那么快為你服務(wù)了。"

聽完老操的抱怨，我想起了之前似乎有人跟我說過 C10K 問題，就是當(dāng)服務(wù)器連接數(shù)達(dá)到 1 萬且每個(gè)連接都需要消耗一個(gè)線程資源時(shí)，操作系統(tǒng)就會(huì)不停地忙于線程的上下文切換，最終導(dǎo)致系統(tǒng)崩潰，這可不是鬧著玩的。

我趕緊像操作系統(tǒng)老大請教，"老操，實(shí)在不好意思，一直以為你強(qiáng)大無比，沒想到也有忙得不可開交的時(shí)候呀，那我們現(xiàn)在應(yīng)該怎么辦呀？"

老操無奈地說，"我勸你還是別再繼續(xù)玩了，沒什么意義，不過我想你也不會(huì)聽我的，那我跟你說兩句吧。"

你現(xiàn)在這種每建一個(gè) TCP 連接就創(chuàng)建一個(gè)線程的方式，是最傳統(tǒng)的多線程并發(fā)模型，早期的操作系統(tǒng)也只支持這種方式。但現(xiàn)在我進(jìn)化了，我還支持 IO 多路復(fù)用的方式，簡單說就是一個(gè)線程可以管理多個(gè) TCP 連接的資源，這樣你就可以用少量的線程來管理大量的 TCP 連接了。

我一臉疑惑，"啥是 IO 多路復(fù)用??？"。

老操一臉鄙視，"你這... 你去看看閃客的《你管這破玩意叫 IO 多路復(fù)用》，就明白了。"

這次真是大開眼界了，我趕緊把代碼改成了這種 IO 多路復(fù)用的模型，將原來的 TCP 連接銷毀掉，改成同一個(gè)線程管理多個(gè) TCP 連接，很快，操作系統(tǒng)老大就恢復(fù)了以往的辦事效率，同時(shí)我的 TCP 連接數(shù)又多了起來。

內(nèi)存

突破了端口號(hào)、文件描述符、線程數(shù)等重重限制的我，再次肆無忌憚地創(chuàng)建起了 TCP 連接。

直到有一次，我又收到了一張紅牌。

嗨，又是啥東西限制了呀，改了不就完了。我不耐煩地問老操，"這回又是啥毛??？"

老操說道。"這個(gè)錯(cuò)誤叫內(nèi)存溢出，每個(gè) TCP 連接本身，以及這個(gè)連接所用到的緩沖區(qū)，都是需要占用一定內(nèi)存的，現(xiàn)在內(nèi)存已經(jīng)被你占滿了，不夠用了，所以報(bào)了這個(gè)錯(cuò)。"

我看這次老操特別耐心，也沒多說什么，但想著被內(nèi)存限制住了，有點(diǎn)不太開心，于是我讓老操幫我最后一個(gè)忙。

"老操呀，幫小進(jìn)我最后一個(gè)忙吧，你權(quán)利大，你看看把那些特別占內(nèi)存的進(jìn)程給殺掉，給我騰出點(diǎn)地方，我今天要完成我的夢想，看看 TCP 連接數(shù)到底能創(chuàng)建多少個(gè)！"

老操見我真的是夠拼的，便答應(yīng)了我，殺死了好多進(jìn)程，我很是感動(dòng)。

CPU

有了老操為我爭取的內(nèi)存資源，我又開始日以繼日地創(chuàng)建 TCP 連接。

老操也不再說什么，同樣日以繼日地執(zhí)行著我的指令。

有一次，老操語重心長地對(duì)我說，"差不多了，我勸你就此收手吧，現(xiàn)在 CPU 的占用率已經(jīng)快到 100% 了。"

我覺得老操這人真的可笑，經(jīng)過這幾次的小挫折，我明白了只要思想不滑坡，方法總比苦難多，老操這人就是太謹(jǐn)慎了，我豈能半途而廢，不管他。

我仍然繼續(xù)創(chuàng)建著 TCP 連接。

直到有一天，老操把我請到一個(gè)小飯館，一塊吃了頓飯，吃好后說道。"咱哥倆也算是配合了很久啦，今天我是來跟你道個(gè)別的。"

我很不解地問，"怎么了老操，發(fā)生什么事了？。"

老操說，"由于你的 TCP 連接，CPU 占用率已經(jīng)很長時(shí)間維持在 100%，我們的使用者，也就是我們的上帝，幾乎什么事情都做不了了，連鼠標(biāo)動(dòng)一下都要等好久，所以他給我下達(dá)了一個(gè)重啟的指令，我執(zhí)行這個(gè)指令后，你，以及像你一樣的所有進(jìn)程，包括我這個(gè)操作系統(tǒng)本身，一切都就消失了。"

我大驚失色，"啊，這么突然么？這條指令什么時(shí)候執(zhí)行？"

老操緩緩起身，"就現(xiàn)在了，剛剛這條指令還沒得到 CPU 運(yùn)行的機(jī)會(huì)，不過現(xiàn)在到了。"

突然，我眼前一黑，一切都沒了。

總結(jié)

后記

其實(shí)這個(gè)問題，我覺得結(jié)論不重要，最重要的是思考過程。

而思考過程其實(shí)相當(dāng)簡單，就是，尋找限制條件而已，其實(shí)一開始這篇文章，我寫了個(gè)故事在開頭，但后來感覺放在后記更合適。故事是這樣的。

閃客：小宇，我問你，你一天最多能吃多少個(gè)漢堡？

小宇：額，你這問的太隱私了吧，不過看在你教我技術(shù)的份上，我就告訴你，最多能吃 4 個(gè)左右吧。

閃客：咳咳真的么？好吧，那你一分鐘最多能吃多少個(gè)漢堡？

小宇：快的話可能 2 個(gè)，不過正常應(yīng)該最多就能吃完 1 個(gè)了。

閃客：好的，那我問你，剛剛這兩個(gè)問題你為什么能不假思索地回答出來呢？

小宇：哈哈你這是什么話，我自己我當(dāng)然了解了。

閃客：不，你仔細(xì)想想你回答這兩個(gè)問題的邏輯。

小宇：哦我明白你的意思了，當(dāng)你問我一天最多能吃多少個(gè)漢堡時(shí)，我考慮的是我的胃的容量最多能容下多少個(gè)漢堡。而當(dāng)你問我一分鐘最多能吃多少個(gè)漢堡時(shí)，我考慮的時(shí)我吃漢堡的速度，按照這個(gè)速度在一分鐘內(nèi)能吃多少。

閃客：沒錯(cuò)，你總結(jié)得很好！一天最多吃多少個(gè)漢堡，此時(shí)時(shí)間非常充裕，所以主要是胃的容量限制了這個(gè)漢堡最大值，計(jì)算公式應(yīng)該是：

最多漢堡數(shù) = 胃的容量 ÷ 漢堡的體積

而一分鐘最多吃多少個(gè)漢堡，此時(shí)胃的容量非常充裕，限制漢堡最大值的是時(shí)間因素，計(jì)算公式是：

最多漢堡數(shù) = 一分鐘 ÷ 吃一個(gè)漢堡的耗時(shí)

所以，取決于最先觸達(dá)的那個(gè)限制條件。

而最大 TCP 連接數(shù)這個(gè)問題，假如面試被問到了，即使你完全不會(huì)，也應(yīng)該有這樣的思路。

而如果你有了這樣的思路，你多多少少都能回答出讓面試官滿意的答案，因?yàn)橛?jì)算機(jī)很多時(shí)候，更看重思路，而不是細(xì)枝末節(jié)。

廣告聲明：文內(nèi)含有的對(duì)外跳轉(zhuǎn)鏈接（包括不限于超鏈接、二維碼、口令等形式），用于傳遞更多信息，節(jié)省甄選時(shí)間，結(jié)果僅供參考，IT之家所有文章均包含本聲明。