linuxtcp緩存大小
① linux 中每個 TCP 連接最少佔用多少內存
net.ipv4.tcp_wmem = 4096 16384 4194304
net.ipv4.tcp_rmem = 4096 87380 4194304
就是說,每個tcp連接的socket,至少需要8k位元組,那麼對於8G內存的機器,如果不考慮swap等其他因素,最多支持並發100萬個tcp
socket
② linux為每個tcp分配多少內存還有Windows為每個tcp分配多少內存
下面這些是在網上找到的,可以參考一下:
操作系統:CentOS
查看TCP能使用的內存:
shell>cat /proc/sys/net/ipv4/tcp_mem
1528416 2037888 3056832
這三個值就是TCP可使用內存的大小,單位是頁,每個頁是4K的大小。
這三個值分別代表
Low:1528416 (1528416 *4/1024/1024大概6g)
Pressure:2037888 (2037888 *4/1024/1024大概8g)
High:3056832(3056832*4/1024/1024大概12g)
這個也是系統裝後的默認取值,也就是說最大有12個g(75%的內存)可以用作TCP連接,這三個量也同時代表了三個閥值,TCP的使用小於第二個值時kernel不會有任何提示操作,當大於第二個值時進入壓力模式,當高於第三個值時將不接受新的TCP連接,同時會報出「Out of socket memory」或者「TCP:too many of orphaned sockets」。
TCP讀緩存大小:
shell>cat /proc/sys/net/ipv4/tcp_rmem
4096 87380 4194304
單位是位元組:第一個是最小值4K,第二個是默認值85K,第三個是最大值4M,這個可以在sysctl.conf中net.ipv4.tcp_rmem中進行調整。
TCP寫緩存大小:
shell>cat /proc/sys/net/ipv4/tcp_wmem
4096 16384 4194304
單位是位元組:第一個是最小值4K,第二個是默認值16K,第三個是最大值4M,這個可以在sysctl.conf中net.ipv4.tcp_wmem中進行調整。
一個TCP在三次握手建立連接後,最小的內存消耗在8K(讀4K+寫4K)左右,默認的內存消耗在101K(讀85K+寫16K)左右,最大的內存消耗在(讀4M+寫4M)8M左右,按照系統TCP的全局控制,有12個g可用作內存緩存,假設按照最小的讀寫緩存計算,一個TCP連接佔用8K內存,那麼系統能承受最大的並發為 12*1024*1024/8 = 157萬,假設按照默認的讀寫緩存計算,一個TCP連接佔用101K內存,那麼系統能承受最大的並發為 12*1024*1024/101 = 12萬,假設按照最大的讀寫緩存計算,一個TCP連接佔用8M內存,那麼系統能承受最大的並發為 12*1024/8 = 1536。
③ 修改linux系統socket緩沖區大小
進行socket編程有時候可能需要修改下socket的接收緩沖區大小,這里可以使用 setsockopt 函數,但是如果需要修改的緩沖區很大(比如500MB),則還需要修改系統內核的TCP/IP參數,不然接收緩沖區大小會收到內核參數的限制,所以需要改兩個地方。下面以把socket接收緩沖區修改為500MB說明一下要作的修改。《Linux就該這么學》
修改內核TCP/IP參數
在終端用sysctl命令修改socket最大緩沖區限制:
sudo sysctl -w net.core.rmem_max=5242880001
在代碼中用setsockopt函數修改SO_RCVBUF選項
int recvbuff = 500*1024*1024;
if(setsockopt(sockfd, SOL_SOCKET, SO_RCVBUF, (const char*)&recvbuff, sizeof(int)) == -1)
printf("setsocket error
");
else
printf("setsocket success
");12345
以上兩點,只改第1點,一個socket只會預留63個報文的接收緩沖;只改第2點,緩沖區大小會受到rmem_max的限制,如果需要的緩沖區很大的話,必須兩點都改。
④ linux tcp 通過setsockopt設置接收緩存區有什麼用
Socket的send函數在執行時報EAGAIN的錯誤
當客戶通過Socket提供的send函數發送大的數據包時,就可能返回一個EGGAIN的錯誤。該錯誤產生的原因是由於send 函數中的size變數大小超過了tcp_sendspace的值。tcp_sendspace定義了應用在調用send之前能夠在kernel中緩存的數據量。當應用程序在socket中設置了O_NDELAY或者O_NONBLOCK屬性後,如果發送緩存被占滿,send就會返回EAGAIN的錯誤。
為了消除該錯誤,有三種方法可以選擇:
1.調大tcp_sendspace,使之大於send中的size參數
---no -p -o tcp_sendspace=65536
2.在調用send前,在setsockopt函數中為SNDBUF設置更大的值
3.使用write替代send,因為write沒有設置O_NDELAY或者O_NONBLOCK
1. tcp 收發緩沖區默認值
[root@qljt core]# cat /proc/sys/net/ipv4/tcp_rmem
4096 87380 4161536
87380 :tcp接收緩沖區的默認值
[root@qljt core]# cat /proc/sys/net/ipv4/tcp_wmem
4096 16384 4161536
16384 : tcp 發送緩沖區的默認值
2. tcp 或udp收發緩沖區最大值
[root@qljt core]# cat /proc/sys/net/core/rmem_max
131071
131071:tcp 或 udp 接收緩沖區最大可設置值的一半。
也就是說調用 setsockopt(s, SOL_SOCKET, SO_RCVBUF, &rcv_size, &optlen); 時rcv_size 如果超過 131071,那麼
getsockopt(s, SOL_SOCKET, SO_RCVBUF, &rcv_size, &optlen); 去到的值就等於 131071 * 2 = 262142
[root@qljt core]# cat /proc/sys/net/core/wmem_max
131071
131071:tcp 或 udp 發送緩沖區最大可設置值得一半。
跟上面同一個道理
3. udp收發緩沖區默認值
[root@qljt core]# cat /proc/sys/net/core/rmem_default
111616:udp接收緩沖區的默認值
[root@qljt core]# cat /proc/sys/net/core/wmem_default
111616
111616:udp發送緩沖區的默認值
. tcp 或udp收發緩沖區最小值
tcp 或udp接收緩沖區的最小值為 256 bytes,由內核的宏決定;
tcp 或udp發送緩沖區的最小值為 2048 bytes,由內核的宏決定
setsockopt設置socket狀態
1.closesocket(一般不會立即關閉而經歷TIME_WAIT的過程)後想繼續重用該socket:
BOOL bReuseaddr=TRUE;
setsockopt(s,SOL_SOCKET ,SO_REUSEADDR,(const char*)&bReuseaddr,sizeof(BOOL));
2. 如果要已經處於連接狀態的soket在調用closesocket後強制關閉,不經歷TIME_WAIT的過程:
BOOL bDontLinger = FALSE;
setsockopt(s,SOL_SOCKET,SO_DONTLINGER,(const char*)&bDontLinger,sizeof(BOOL));
3.在send(),recv()過程中有時由於網路狀況等原因,發收不能預期進行,而設置收發時限:
int nNetTimeout=1000;//1秒
//發送時限
setsockopt(socket,SOL_S0CKET,SO_SNDTIMEO,(char *)&nNetTimeout,sizeof(int));
//接收時限
setsockopt(socket,SOL_S0CKET,SO_RCVTIMEO,(char *)&nNetTimeout,sizeof(int));
4.在send()的時候,返回的是實際發送出去的位元組(同步)或發送到socket緩沖區的位元組(非同步);系統默認的狀態發送和接收一次為8688位元組(約為8.5K);在實際的過程中發送數據
和接收數據量比較大,可以設置socket緩沖區,而避免了send(),recv()不斷的循環收發:
// 接收緩沖區
int nRecvBuf=32*1024;//設置為32K
setsockopt(s,SOL_SOCKET,SO_RCVBUF,(const char*)&nRecvBuf,sizeof(int));
//發送緩沖區
int nSendBuf=32*1024;//設置為32K
setsockopt(s,SOL_SOCKET,SO_SNDBUF,(const char*)&nSendBuf,sizeof(int));
5. 如果在發送數據的時,希望不經歷由系統緩沖區到socket緩沖區的拷貝而影響程序的性能:
int nZero=0;
setsockopt(socket,SOL_S0CKET,SO_SNDBUF,(char *)&nZero,sizeof(nZero));
6.同上在recv()完成上述功能(默認情況是將socket緩沖區的內容拷貝到系統緩沖區):
int nZero=0;
setsockopt(socket,SOL_S0CKET,SO_RCVBUF,(char *)&nZero,sizeof(int));
7.一般在發送UDP數據報的時候,希望該socket發送的數據具有廣播特性:
BOOL bBroadcast=TRUE;
setsockopt(s,SOL_SOCKET,SO_BROADCAST,(const char*)&bBroadcast,sizeof(BOOL));
8.在client連接伺服器過程中,如果處於非阻塞模式下的socket在connect()的過程中可以設置connect()延時,直到accpet()被呼叫(本函數設置只有在非阻塞的過程中有顯著的
作用,在阻塞的函數調用中作用不大)
BOOL bConditionalAccept=TRUE;
setsockopt(s,SOL_SOCKET,SO_CONDITIONAL_ACCEPT,(const char*)&bConditionalAccept,sizeof(BOOL));
9.如果在發送數據的過程中(send()沒有完成,還有數據沒發送)而調用了closesocket(),以前我們一般採取的措施是"從容關閉"shutdown(s,SD_BOTH),但是數據是肯定丟失了,如何設置讓程序滿足具體應用的要求(即讓沒發完的數據發送出去後在關閉socket)?
struct linger {
u_short l_onoff;
u_short l_linger;
};
linger m_sLinger;
m_sLinger.l_onoff=1;//(在closesocket()調用,但是還有數據沒發送完畢的時候容許逗留)
// 如果m_sLinger.l_onoff=0;則功能和2.)作用相同;
m_sLinger.l_linger=5;//(容許逗留的時間為5秒)
setsockopt(s,SOL_SOCKET,SO_LINGER,(const char*)&m_sLinger,sizeof(linger));
設置套介面的選項。
#include <winsock.h>
int PASCAL FAR setsockopt( SOCKET s, int level, int optname,
const char FAR* optval, int optlen);
s:標識一個套介面的描述字。
level:選項定義的層次;目前僅支持SOL_SOCKET和IPPROTO_TCP層次。
optname:需設置的選項。
optval:指針,指向存放選項值的緩沖區。
optlen:optval緩沖區的長度。
注釋:
setsockopt()函數用於任意類型、任意狀態套介面的設置選項值。盡管在不同協議層上存在選項,但本函數僅定義了最高的「套介面」層次上的選項。選項影響套介面的操作,諸如加急數據是否在普通數據流中接收,廣播數據是否可以從套介面發送等等。
有兩種套介面的選項:一種是布爾型選項,允許或禁止一種特性;另一種是整形或結構選項。允許一個布爾型選項,則將optval指向非零整形數;禁止一個選項optval指向一個等於零的整形數。對於布爾型選項,optlen應等於sizeof(int);對其他選項,optval指向包含所需選項的整形數或結構,而optlen則為整形數或結構的長度。SO_LINGER選項用於控制下述情況的行動:套介面上有排隊的待發送數據,且 closesocket()調用已執行。參見closesocket()函數中關於SO_LINGER選項對closesocket()語義的影響。應用程序通過創建一個linger結構來設置相應的操作特性:
struct linger {
int l_onoff;
int l_linger;
};
為了允許SO_LINGER,應用程序應將l_onoff設為非零,將l_linger設為零或需要的超時值(以秒為單位),然後調用setsockopt()。為了允許SO_DONTLINGER(亦即禁止SO_LINGER),l_onoff應設為零,然後調用setsockopt()。
預設條件下,一個套介面不能與一個已在使用中的本地地址捆綁(參見bind())。但有時會需要「重用」地址。因為每一個連接都由本地地址和遠端地址的組合唯一確定,所以只要遠端地址不同,兩個套介面與一個地址捆綁並無大礙。為了通知WINDOWS套介面實現不要因為一個地址已被一個套介面使用就不讓它與另一個套介面捆綁,應用程序可在bind()調用前先設置SO_REUSEADDR選項。請注意僅在bind()調用時該選項才被解釋;故此無需(但也無害)將一個不會共用地址的套介面設置該選項,或者在bind()對這個或其他套介面無影響情況下設置或清除這一選項。
一個應用程序可以通過打開SO_KEEPALIVE選項,使得WINDOWS套介面實現在TCP連接情況下允許使用「保持活動」包。一個WINDOWS套介面實現並不是必需支持「保持活動」,但是如果支持的話,具體的語義將與實現有關,應遵守RFC1122「Internet主機要求-通訊層」中第 4.2.3.6節的規范。如果有關連接由於「保持活動」而失效,則進行中的任何對該套介面的調用都將以WSAENETRESET錯誤返回,後續的任何調用將以WSAENOTCONN錯誤返回。
TCP_NODELAY選項禁止Nagle演算法。Nagle演算法通過將未確認的數據存入緩沖區直到蓄足一個包一起發送的方法,來減少主機發送的零碎小數據包的數目。但對於某些應用來說,這種演算法將降低系統性能。所以TCP_NODELAY可用來將此演算法關閉。應用程序編寫者只有在確切了解它的效果並確實需要的情況下,才設置TCP_NODELAY選項,因為設置後對網路性能有明顯的負面影響。TCP_NODELAY是唯一使用IPPROTO_TCP層的選項,其他所有選項都使用SOL_SOCKET層。
如果設置了SO_DEBUG選項,WINDOWS套介面供應商被鼓勵(但不是必需)提供輸出相應的調試信息。但產生調試信息的機制以及調試信息的形式已超出本規范的討論范圍。
setsockopt()支持下列選項。其中「類型」表明optval所指數據的類型。
選項 類型 意義
SO_BROADCAST BOOL 允許套介面傳送廣播信息。
SO_DEBUG BOOL 記錄調試信息。
SO_DONTLINER BOOL 不要因為數據未發送就阻塞關閉操作。設置本選項相當於將SO_LINGER的l_onoff元素置為零。
SO_DONTROUTE BOOL 禁止選徑;直接傳送。
SO_KEEPALIVE BOOL 發送「保持活動」包。
SO_LINGER struct linger FAR* 如關閉時有未發送數據,則逗留。
SO_OOBINLINE BOOL 在常規數據流中接收帶外數據。
SO_RCVBUF int 為接收確定緩沖區大小。
SO_REUSEADDR BOOL 允許套介面和一個已在使用中的地址捆綁(參見bind())。
SO_SNDBUF int 指定發送緩沖區大小。
TCP_NODELAY BOOL 禁止發送合並的Nagle演算法。
setsockopt()不支持的BSD選項有:
選項名 類型 意義
SO_ACCEPTCONN BOOL 套介面在監聽。
SO_ERROR int 獲取錯誤狀態並清除。
SO_RCVLOWAT int 接收低級水印。
SO_RCVTIMEO int 接收超時。
SO_SNDLOWAT int 發送低級水印。
SO_SNDTIMEO int 發送超時。
SO_TYPE int 套介面類型。
IP_OPTIONS 在IP頭中設置選項。
返回值:
若無錯誤發生,setsockopt()返回0。否則的話,返回SOCKET_ERROR錯誤,應用程序可通過WSAGetLastError()獲取相應錯誤代碼。
錯誤代碼:
WSANOTINITIALISED:在使用此API之前應首先成功地調用WSAStartup()。
WSAENETDOWN:WINDOWS套介面實現檢測到網路子系統失效。
WSAEFAULT:optval不是進程地址空間中的一個有效部分。
WSAEINPROGRESS:一個阻塞的WINDOWS套介面調用正在運行中。
WSAEINVAL:level值非法,或optval中的信息非法。
WSAENETRESET:當SO_KEEPALIVE設置後連接超時。
WSAENOPROTOOPT:未知或不支持選項。其中,SOCK_STREAM類型的套介面不支持SO_BROADCAST選項,SOCK_DGRAM 類型的套介面不支持SO_DONTLINGER 、SO_KEEPALIVE、SO_LINGER和SO_OOBINLINE選項。
WSAENOTCONN:當設置SO_KEEPALIVE後連接被復位。
WSAENOTSOCK:描述字不是一個套介面。
⑤ 請教Linux關於UDP最大緩沖區設置
1. tcp 收發緩沖區默認值 [root@ ]# cat /proc/sys/net/ipv4/tcp_rmem 4096 87380 4161536 87380 :tcp接收緩沖區的默認值 [root@ ]# cat /proc/sys/net/ipv4/tcp_wmem 4096 16384 4161536 16384 : tcp 發送緩沖區的默認值 2. tcp 或udp收發緩沖區最大值 [root@ ]# cat /proc/sys/net/core/rmem_max 131071 131071:tcp 或 udp 接收緩沖區最大可設置值的一半。 也就是說調用 setsockopt(s, SOL_SOCKET, SO_RCVBUF, &rcv_size, &optlen); 時rcv_size 如果超過 131071,那麼 getsockopt(s, SOL_SOCKET, SO_RCVBUF, &rcv_size, &optlen); 去到的值就等於 131071 * 2 = 262142 [root@ ]# cat /proc/sys/net/core/wmem_max 131071 131071:tcp 或 udp 發送緩沖區最大可設置值得一半。 跟上面同一個道理 3. udp收發緩沖區默認值 [root@ ]# cat /proc/sys/net/core/rmem_default 111616:udp接收緩沖區的默認值 [root@ ]# cat /proc/sys/net/core/wmem_default 111616 111616:udp發送緩沖區的默認值 4. tcp 或udp收發緩沖區最小值 tcp 或udp接收緩沖區的最小值為 256 bytes,由內核的宏決定; tcp 或udp發送緩沖區的最小值為 2048 bytes,由內核的宏決定
⑥ 一般優化linux的內核,需要優化什麼參數
首先要知道一點所有的TCP/IP的參數修改是臨時的,因為它們都位於/PROC/SYS/NET目錄下,如果想使參數長期保存,可以通過編輯/ETC/SYSCTL.CONF文件來實現,這里不做詳細說明,只針對Linux的TCPIP內核參數優化列舉相關參數:
1、為自動調優定義socket使用的內存
2、默認的TCP數據接收窗口大小(位元組)
3、最大的TCP數據接收窗口
4、默認的TCP發送窗口大小
5、最大的TCP數據發送窗口
6、在每個網路介面接收數據包的速率比內核處理這些包速率快時,允許送到隊列的數據包最大數目
7、定義了系統中每一個埠最大的監聽隊列長度
8、探測消息未獲得相應時,重發該消息的間隔時間
9、在認定tcp連接失效之前,最多發送多少個keepalive探測消息等。
⑦ Linux中每個TCP連接最少佔用多少內存
中文網路上流傳一種錯誤的說法:TCP 連接建立的時候會分配接收緩沖區和發送緩沖區,至少各 4KB,加上 TCP 協議控制塊(protocol control block)的 2KB,一共是 10KB。本文告訴你正確的答案。
⑧ Linux系統支持的最大TCP連接是多少
這個文件是一個綜合性的問題。首先就tcp鏈接來說吧,主要體現在tcp的socket鏈接數上面,65535 應該是足夠用了,但是tcp連接11種狀態,不同不同狀態有可能有會話保持什麼的。這些暫且不說,現在tcp連接的還有Linux下文件的最大打開數量,流量帶寬等等。
優化:
1.ulimit -a 查看最大文件打開數量,然後修改
2.減少tcp長連接,或其他狀態鏈接,可以改下會話保持時間,主動自動關閉(不建議),重復使用tcp等。這個是在tcp鏈接數來進行考慮。
3.增多IP,增多埠,一個IP是這么多,那可以在一台Linux上綁定多個IP來增加鏈接數。