linux內核源碼剖析tcpip實現

㈠ 怎樣學習tcp/ip協議

什麼是TCP/IP協議，劃為幾層，各有什麼功能？
TCP/IP協議族包含了很多功能各異的子協議。為此我們也利用上文所述的分層的方式來剖析它的結構。TCP/IP層次模型共分為四層：應用層、傳輸層、網路層、數據鏈路層。

TCP/IP網路協議
TCP/IP(Transmission Control Protocol/Internet Protocol，傳輸控制協議/網間網協議)是目前世界上應用最為廣泛的協議，它的流行與Internet的迅猛發展密切相關—TCP/IP最初是為互聯網的原型ARPANET所設計的，目的是提供一整套方便實用、能應用於多種網路上的協議，事實證明TCP/IP做到了這一點，它使網路互聯變得容易起來，並且使越來越多的網路加入其中，成為Internet的事實標准。

* 應用層—應用層是所有用戶所面向的應用程序的統稱。ICP/IP協議族在這一層面有著很多協議來支持不同的應用，許多大家所熟悉的基於Internet的應用的實現就離不開這些協議。如我們進行萬維網（WWW）訪問用到了HTTP協議、文件傳輸用FTP協議、電子郵件發送用SMTP、域名的解析用DNS協議、 遠程登錄用Telnet協議等等，都是屬於TCP/IP應用層的；就用戶而言，看到的是由一個個軟體所構築的大多為圖形化的操作界面，而實際後台運行的便是上述協議。

* 傳輸層—這一層的的功能主要是提供應用程序間的通信，TCP/IP協議族在這一層的協議有TCP和UDP。

* 網路層—是TCP/IP協議族中非常關鍵的一層，主要定義了IP地址格式，從而能夠使得不同應用類型的數據在Internet上通暢地傳輸，IP協議就是一個網路層協議。

* 網路介面層—這是TCP/IP軟體的最低層，負責接收IP數據包並通過網路發送之，或者從網路上接收物理幀，抽出IP數據報，交給IP層。

1．TCP/UDP協議
TCP (Transmission Control Protocol)和UDP(User Datagram Protocol)協議屬於傳輸層協議。其中TCP提供IP環境下的數據可靠傳輸，它提供的服務包括數據流傳送、可靠性、有效流控、全雙工操作和多路復用。通過面向連接、端到端和可靠的數據包發送。通俗說，它是事先為所發送的數據開辟出連接好的通道，然後再進行數據發送；而UDP則不為IP提供可靠性、流控或差錯恢復功能。一般來說，TCP對應的是可靠性要求高的應用，而UDP對應的則是可靠性要求低、傳輸經濟的應用。TCP支持的應用協議主要有：Telnet、FTP、SMTP等；UDP支持的應用層協議主要有：NFS（網路文件系統）、SNMP（簡單網路管理協議）、DNS（主域名稱系統）、TFTP（通用文件傳輸協議）等。

IP協議的定義、IP地址的分類及特點

什麼是IP協議，IP地址如何表示，分為幾類，各有什麼特點？
為了便於定址和層次化地構造網路，IP地址被分為A、B、C、D、E五類，商業應用中只用到A、B、C三類。

IP協議(Internet Protocol)又稱互聯網協議，是支持網間互連的數據報協議，它與TCP協議（傳輸控制協議）一起構成了TCP/IP協議族的核心。它提供網間連接的完善功能， 包括IP數據報規定互連網路范圍內的IP地址格式。

Internet 上，為了實現連接到互聯網上的結點之間的通信，必須為每個結點（入網的計算機）分配一個地址，並且應當保證這個地址是全網唯一的，這便是IP地址。

目前的IP地址（IPv4：IP第4版本）由32個二進制位表示，每8位二進制數為一個整數，中間由小數點間隔，如159.226.41.98，整個IP地址空間有4組8位二進制數，由表示主機所在的網路的地址（類似部隊的編號）以及主機在該網路中的標識（如同士兵在該部隊的編號）共同組成。

為了便於定址和層次化的構造網路，IP地址被分為A、B、C、D、E五類，商業應用中只用到A、B、C三類。

* A類地址：A類地址的網路標識由第一組8位二進制數表示，網路中的主機標識佔3組8位二進制數，A類地址的特點是網路標識的第一位二進制數取值必須為「0」。不難算出，A類地址允許有126個網段，每個網路大約允許有1670萬台主機，通常分配給擁有大量主機的網路（如主幹網）。

* B類地址：B類地址的網路標識由前兩組8位二進制數表示，網路中的主機標識占兩組8位二進制數，B類地址的特點是網路標識的前兩位二進制數取值必須為「10」。B類地址允許有16384個網段，每個網路允許有65533台主機，適用於結點比較多的網路（如區域網）。

* C類地址：C類地址的網路標識由前3組8位二進制數表示，網路中主機標識佔1組8位二進制數，C類地址的特點是網路標識的前3位二進制數取值必須為「110」。具有C類地址的網路允許有254台主機，適用於結點比較少的網路（如校園網）。

為了便於記憶，通常習慣採用4個十進制數來表示一個IP地址，十進制數之間採用句點「.」予以分隔。這種IP地址的表示方法也被稱為點分十進製法。如以這種方式表示，A類網路的IP地址范圍為1.0.0.1－127.255.255.254；B類網路的IP地址范圍為：128.1.0.1－191.255.255.254；C類網路的IP地址范圍為：192.0.1.1－223.255.255.254。

由於網路地址緊張、主機地址相對過剩，採取子網掩碼的方式來指定網段號。

TCP/IP協議與低層的數據鏈路層和物理層無關，這也是TCP/IP的重要特點。正因為如此 ，它能廣泛地支持由低兩層協議構成的物理網路結構。目前已使用TCP/IP連接成洲際網、全國網與跨地區網。

㈡ 請問linux怎麼增大socket連接上限

1、修改用戶進程可打開文件數限制
在Linux平台上，無論編寫客戶端程序還是服務端程序，在進行高並發TCP連接處理時，
最高的並發數量都要受到系統對用戶單一進程同時可打開文件數量的限制(這是因為系統
為每個TCP連接都要創建一個socket句柄，每個socket句柄同時也是一個文件句柄)。
可使用ulimit命令查看系統允許當前用戶進程打開的文件數限制：
[speng@as4 ~]$ ulimit -n
1024
這表示當前用戶的每個進程最多允許同時打開1024個文件，這1024個文件中還得除去
每個進程必然打開的標准輸入，標准輸出，標准錯誤，伺服器監聽 socket，
進程間通訊的unix域socket等文件，那麼剩下的可用於客戶端socket連接的文件數就
只有大概1024-10=1014個左右。也就是說預設情況下，基於Linux的通訊程序最多允許
同時1014個TCP並發連接。
對於想支持更高數量的TCP並發連接的通訊處理程序，就必須修改Linux對當前用戶的
進程同時打開的文件數量的軟限制(soft limit)和硬限制(hardlimit)。其中軟限制
是指Linux在當前系統能夠承受的范圍內進一步限制用戶同時打開的文件數；硬限制
則是根據系統硬體資源狀況(主要是系統內存)計算出來的系統最多可同時打開的文件數量。
通常軟限制小於或等於硬限制。

修改上述限制的最簡單的辦法就是使用ulimit命令：
[speng@as4 ~]$ ulimit -n
上述命令中，在中指定要設置的單一進程允許打開的最大文件數。如果系統回顯
類似於「Operation notpermitted」之類的話，說明上述限制修改失敗，實際上是
因為在中指定的數值超過了Linux系統對該用戶打開文件數的軟限制或硬限制。
因此，就需要修改Linux系統對用戶的關於打開文件數的軟限制和硬限制。

第一步，修改/etc/security/limits.conf文件，在文件中添加如下行：
speng soft nofile 10240
speng hard nofile 10240
其中speng指定了要修改哪個用戶的打開文件數限制，可用』*'號表示修改所有用戶的限制；
soft或hard指定要修改軟限制還是硬限制；10240則指定了想要修改的新的限制值，
即最大打開文件數(請注意軟限制值要小於或等於硬限制)。修改完後保存文件。

第二步，修改/etc/pam.d/login文件，在文件中添加如下行：
session required /lib/security/pam_limits.so
這是告訴Linux在用戶完成系統登錄後，應該調用pam_limits.so模塊來設置系統對
該用戶可使用的各種資源數量的最大限制(包括用戶可打開的最大文件數限制)，
而pam_limits.so模塊就會從/etc/security/limits.conf文件中讀取配置來設置這些限制值。
修改完後保存此文件。

第三步，查看Linux系統級的最大打開文件數限制，使用如下命令：
[speng@as4 ~]$ cat /proc/sys/fs/file-max
12158
這表明這台Linux系統最多允許同時打開(即包含所有用戶打開文件數總和)12158個文件，
是Linux系統級硬限制，所有用戶級的打開文件數限制都不應超過這個數值。通常這個系統級
硬限制是Linux系統在啟動時根據系統硬體資源狀況計算出來的最佳的最大同時打開文件數限制，
如果沒有特殊需要，不應該修改此限制，除非想為用戶級打開文件數限制設置超過此限制的值。

修改此硬限制的方法是修改/etc/rc.local腳本，在腳本中添加如下行：
echo 22158 > /proc/sys/fs/file-max
這是讓Linux在啟動完成後強行將系統級打開文件數硬限制設置為22158。修改完後保存此文件。

完成上述步驟後重啟系統，一般情況下就可以將Linux系統對指定用戶的單一進程允許同時
打開的最大文件數限制設為指定的數值。如果重啟後用 ulimit-n命令查看用戶可打開文件數限制
仍然低於上述步驟中設置的最大值，這可能是因為在用戶登錄腳本/etc/profile中使用ulimit -n命令
已經將用戶可同時打開的文件數做了限制。由於通過ulimit-n修改系統對用戶可同時打開文件的
最大數限制時，新修改的值只能小於或等於上次 ulimit-n設置的值，因此想用此命令增大這個
限制值是不可能的。
所以，如果有上述問題存在，就只能去打開/etc/profile腳本文件，
在文件中查找是否使用了ulimit-n限制了用戶可同時打開的最大文件數量，如果找到，
則刪除這行命令，或者將其設置的值改為合適的值，然後保存文件，用戶退出並重新登錄系統即可。
通過上述步驟，就為支持高並發TCP連接處理的通訊處理程序解除關於打開文件數量方面的系統限制。
2、修改網路內核對TCP連接的有關限制
在Linux上編寫支持高並發TCP連接的客戶端通訊處理程序時，有時會發現盡管已經解除了系統
對用戶同時打開文件數的限制，但仍會出現並發TCP連接數增加到一定數量時，再也無法成功
建立新的TCP連接的現象。出現這種現在的原因有多種。

第一種原因可能是因為Linux網路內核對本地埠號范圍有限制。此時，進一步分析為什麼無法
建立TCP連接，會發現問題出在connect()調用返回失敗，查看系統錯誤提示消息是「Can』t assign requestedaddress」。同時，如果在此時用tcpmp工具監視網路，會發現根本沒有TCP連接時客戶端
發SYN包的網路流量。這些情況說明問題在於本地Linux系統內核中有限制。
其實，問題的根本原因
在於Linux內核的TCP/IP協議實現模塊對系統中所有的客戶端TCP連接對應的本地埠號的范圍
進行了限制(例如，內核限制本地埠號的范圍為1024~32768之間)。當系統中某一時刻同時
存在太多的TCP客戶端連接時，由於每個TCP客戶端連接都要佔用一個唯一的本地埠號
(此埠號在系統的本地埠號范圍限制中)，如果現有的TCP客戶端連接已將所有的本地埠號占滿，
則此時就無法為新的TCP客戶端連接分配一個本地埠號了，因此系統會在這種情況下在connect()
調用中返回失敗，並將錯誤提示消息設為「Can』t assignrequested address」。
有關這些控制
邏輯可以查看Linux內核源代碼，以linux2.6內核為例，可以查看tcp_ipv4.c文件中如下函數：
static int tcp_v4_hash_connect(struct sock *sk)
請注意上述函數中對變數sysctl_local_port_range的訪問控制。變數sysctl_local_port_range
的初始化則是在tcp.c文件中的如下函數中設置：
void __init tcp_init(void)
內核編譯時默認設置的本地埠號范圍可能太小，因此需要修改此本地埠范圍限制。
第一步，修改/etc/sysctl.conf文件，在文件中添加如下行：
net.ipv4.ip_local_port_range = 1024 65000
這表明將系統對本地埠范圍限制設置為1024~65000之間。請注意，本地埠范圍的最小值
必須大於或等於1024；而埠范圍的最大值則應小於或等於65535。修改完後保存此文件。
第二步，執行sysctl命令：
[speng@as4 ~]$ sysctl -p
如果系統沒有錯誤提示，就表明新的本地埠范圍設置成功。如果按上述埠范圍進行設置，
則理論上單獨一個進程最多可以同時建立60000多個TCP客戶端連接。

第二種無法建立TCP連接的原因可能是因為Linux網路內核的IP_TABLE防火牆對最大跟蹤的TCP
連接數有限制。此時程序會表現為在 connect()調用中阻塞，如同死機，如果用tcpmp工具監視網路，
也會發現根本沒有TCP連接時客戶端發SYN包的網路流量。由於 IP_TABLE防火牆在內核中會對
每個TCP連接的狀態進行跟蹤，跟蹤信息將會放在位於內核內存中的conntrackdatabase中，
這個資料庫的大小有限，當系統中存在過多的TCP連接時，資料庫容量不足，IP_TABLE無法為
新的TCP連接建立跟蹤信息，於是表現為在connect()調用中阻塞。此時就必須修改內核對最大跟蹤
的TCP連接數的限制，方法同修改內核對本地埠號范圍的限制是類似的：

第一步，修改/etc/sysctl.conf文件，在文件中添加如下行：
net.ipv4.ip_conntrack_max = 10240
這表明將系統對最大跟蹤的TCP連接數限制設置為10240。請注意，此限制值要盡量小，
以節省對內核內存的佔用。

第二步，執行sysctl命令：
[speng@as4 ~]$ sysctl -p
如果系統沒有錯誤提示，就表明系統對新的最大跟蹤的TCP連接數限制修改成功。
如果按上述參數進行設置，則理論上單獨一個進程最多可以同時建立10000多個TCP客戶端連接。

3、使用支持高並發網路I/O的編程技術
在Linux上編寫高並發TCP連接應用程序時，必須使用合適的網路I/O技術和I/O事件分派機制。
可用的I/O技術有同步I/O，非阻塞式同步I/O(也稱反應式I/O)，以及非同步I/O。在高TCP並發的情形下，
如果使用同步I/O，這會嚴重阻塞程序的運轉，除非為每個TCP連接的I/O創建一個線程。

但是，過多的線程又會因系統對線程的調度造成巨大開銷。因此，在高TCP並發的情形下使用
同步 I/O是不可取的，這時可以考慮使用非阻塞式同步I/O或非同步I/O。非阻塞式同步I/O的技術包括使用select()，poll()，epoll等機制。非同步I/O的技術就是使用AIO。

從I/O事件分派機制來看，使用select()是不合適的，因為它所支持的並發連接數有限(通常在1024個以內)。
如果考慮性能，poll()也是不合適的，盡管它可以支持的較高的TCP並發數，但是由於其採用
「輪詢」機制，當並發數較高時，其運行效率相當低，並可能存在I/O事件分派不均，導致部分TCP
連接上的I/O出現「飢餓」現象。而如果使用epoll或AIO，則沒有上述問題(早期Linux內核的AIO技術
實現是通過在內核中為每個 I/O請求創建一個線程來實現的，這種實現機制在高並發TCP連接的情形下
使用其實也有嚴重的性能問題。但在最新的Linux內核中，AIO的實現已經得到改進)。

綜上所述，在開發支持高並發TCP連接的Linux應用程序時，應盡量使用epoll或AIO技術來實現並發的
TCP連接上的I/O控制，這將為提升程序對高並發TCP連接的支持提供有效的I/O保證。

內核參數sysctl.conf的優化

/etc/sysctl.conf 是用來控制linux網路的配置文件，對於依賴網路的程序（如web伺服器和cache伺服器）
非常重要，RHEL默認提供的最好調整。

推薦配置（把原/etc/sysctl.conf內容清掉，把下面內容復制進去）：
net.ipv4.ip_local_port_range = 1024 65536
net.core.rmem_max=16777216
net.core.wmem_max=16777216
net.ipv4.tcp_rmem=4096 87380 16777216
net.ipv4.tcp_wmem=4096 65536 16777216
net.ipv4.tcp_fin_timeout = 10
net.ipv4.tcp_tw_recycle = 1
net.ipv4.tcp_timestamps = 0
net.ipv4.tcp_window_scaling = 0
net.ipv4.tcp_sack = 0
net.core.netdev_max_backlog = 30000
net.ipv4.tcp_no_metrics_save=1
net.core.somaxconn = 262144
net.ipv4.tcp_syncookies = 0
net.ipv4.tcp_max_orphans = 262144
net.ipv4.tcp_max_syn_backlog = 262144
net.ipv4.tcp_synack_retries = 2
net.ipv4.tcp_syn_retries = 2

這個配置參考於cache伺服器varnish的推薦配置和SunOne 伺服器系統優化的推薦配置。

varnish調優推薦配置的地址為：http://varnish.projects.linpro.no/wiki/Performance

不過varnish推薦的配置是有問題的，實際運行表明「net.ipv4.tcp_fin_timeout = 3」的配置
會導致頁面經常打不開；並且當網友使用的是IE6瀏覽器時，訪問網站一段時間後，所有網頁都會
打不開，重啟瀏覽器後正常。可能是國外的網速快吧，我們國情決定需要
調整「net.ipv4.tcp_fin_timeout = 10」，在10s的情況下，一切正常（實際運行結論）。

修改完畢後，執行：
/sbin/sysctl -p /etc/sysctl.conf
/sbin/sysctl -w net.ipv4.route.flush=1

命令生效。為了保險起見，也可以reboot系統。

調整文件數：
linux系統優化完網路必須調高系統允許打開的文件數才能支持大的並發，默認1024是遠遠不夠的。

執行命令：
Shell代碼
echo ulimit -HSn 65536 >> /etc/rc.local
echo ulimit -HSn 65536 >>/root/.bash_profile
ulimit -HSn 65536

㈢ Linux內核應該怎麼去學習

學嵌入式Linux要先學以下幾點：
1.c語言。要有C語言的基礎，當然越熟練越好，不熟也沒關系，具備基本技能就可以：比如寫一個數組排序、輸入數字求和什麼的。C語言的學習就是多些多練。
2.Linux基礎
Linux操作系統的概念、安裝方法，詳細了解Linux下的目錄結構、基本命令、編輯器VI ,編譯器GCC，調試器GDB和 Make 項目管理工具, Shell、 Makefile腳本編寫等知識，嵌入式開發環境的搭建。
3.Linux系統編程
重點學習標准I/O庫，Linux多任務編程中的多進程和多線程，以及進程間通信(pipe、FIFO、消息隊列、共享內存、signal、信號量等)，同步與互斥對共享資源訪問控制等重要知識，主要提升對Linux應用開發的理解和代碼調試的能力。
4.Linux網路編程
計算機網路在嵌入式Linux系統應用開發過程中使用非常廣泛，通過Linux網路發展、TCP/IP協議、socket編程、TCP網路編程、UDP網路編程、Web編程開發等方面入手，全面了解Linux網路應用程序開發。重點學習網路編程相關API，熟練掌握TCP協議伺服器的編程方法和並發伺服器的實現，了解HTTP協議及其實現方法，熟悉UDP廣播、多播的原理及編程方法，掌握混合C/S架構網路通信系統的設計，熟悉HTML,Javascript等Web編程技術及實現方法。
5.數據結構與演算法
數據結構及演算法在嵌入式底層驅動、通信協議、及各種引擎開發中會得到大量應用，對其掌握的好壞直接影響程序的效率、簡潔及健壯性。此階段的學習要重點理解數據結構與演算法的基礎內容，包括順序表、鏈表、隊列、棧、樹、圖、哈希表、各種查找排序演算法等應用及其C語言實現過程。
6.Cortex A8 、Linux 平台開發
通過基於ARM Cortex-A8處理s5pv210了解晶元手冊的基本閱讀技巧，掌握s5pv210系統資源、時鍾控制器、電源管理、異常中斷控制器、nand flash控制器等模塊，為底層平台搭建做好准備。Linux平台包括內核裁減、內核移植、交叉編譯、GNU工具使用、內核調試、Bootloader介紹、製作與原理分析、根文件系統製作以及向內核中添加自己的模塊，並在s5pv210實驗平台上運行自己製作的Linux系統,集成部署Linux系統整個流程。同時了解Android操作系統開發流程。Android系統是基於Linux平台的開源操作系統，該平台由操作系統、中間件、用戶界面和應用軟體組成，是首個為移動終端打造的真正開放和完整的移動軟體，目前它的應用不再局限於移動終端，還包括數據電視、機頂盒、PDA等消費類電子產品。
7.驅動開發
驅動程序設計是嵌入式Linux開發工作中重要的一部分，也是比較困難的一部分。本階段的學習要熟悉Linux的內核機制、驅動程序與用戶級應用程序的介面，掌握系統對設備的並發操作。熟悉所開發硬體的工作原理，具備ARM硬體介面的基礎知識，熟悉ARM Cortex-A8處理器s5pv210各資源、掌握Linux設備驅動原理框架，熟悉工程中常見Linux高級字元設備、塊設備、網路設備、USB設備等驅動開發，在工作中能獨立勝任底層驅動開發。

㈣ 關於ubuntu系統下編寫tcp/ip協議的問題

此問題過於高深 小弟不能

㈤ Linux學習書籍求推薦

Linux學習書籍求推薦
1、《Linux與Unix Shell 編程指南》
C語言基礎
1、《C Primer Plus，5th Edition》【美】Stephen Prata著
2、《The C Programming Language, 2nd Edition》【美】Brian W. Kernighan David M. Rithie（K & R）著
3、《Advanced Programming in the UNIX Environment，2nd Edition》（APUE）
4、《嵌入式Linux應用程序開發詳解》
Linux內核
1、《深入理解Linux內核》（第三版）
2、《Linux內核源代碼情景分析》毛德操 胡希明著
研發方向
1、《UNIX Network Programming》（UNP）
2、《TCP/IP詳解》
3、《Linux內核編程》
4、《Linux設備驅動開發》（LDD）
硬體基礎
1、《ARM體系結構與編程》杜春雷著
2、S3C2410 Datasheet
英語基礎
1、《計算機與通信專業英語》
系統教程
1、《嵌入式系統――體系結構、編程與設計》
2、《嵌入式系統――採用公開源代碼和StrongARM/Xscale處理器》毛德操 胡希明著
3、《Building Embedded Linux Systems》
理論基礎
1、《演算法導論》
2、《數據結構（C語言版）》
3、《計算機組織與體系結構?性能分析》
4、《深入理解計算機系統》【美】Randal E. Bryant David O』Hallaron著
5、《操作系統：精髓與設計原理》
6、《編譯原理》
7、《數據通信與計算機網路》
8、《數據壓縮原理與應用》
入門篇
《LINUX權威指南》書不錯，寫的很全面也比較廣，涉及的不深，做為入門書籍不錯，可以比較全面的了解linux 。另外比較熱門的也可以看看《鳥哥的私房菜》等書，偏管理類的書。如果想做server方向的可以找來看看。
驅動 篇
《LINUX設備驅動程序 》就是網上說的「LDD」，經典之作，必備書籍。國產經典《Linux驅動詳細解》也是一本非常不錯的書，很實用，書中源代碼分析比較多，基於2440的，對linux外圍驅動有很全面的講解
內核篇
浙江大學的《LINUX內核源代碼情景分析》，外國鬼子的《萊昂氏UNIX源代碼分析》還有《深入理解linux內核》都是出名的經典巨作。另外趙 炯的《LINUX內核完全剖析–基於0.12內核》也非常不錯，對內核代碼進行了詳細的注釋，非常有助於對內核的理解和代碼的分析。
shell篇
《LINUX與UNIX Shell編程指南》
應用 編程
不用說了肯定是《unix環境高級編程》被稱為unix編程的聖經。
TCP/IP篇
《TCP/IP詳解》作者W.Richard Stevens也是《unix環境高級編程》的作者，牛人出的書沒有一本不是經典的。但是英年早逝，默哀一下。
c語言
《The C Programming Language》正是作者造出來的c語言，書能垃圾就怪了
《c和指針》和《c缺陷和陷阱》兩本必備。包含了c語言最容易出錯的地方，加深c語言功力的好材料。
關於演算法
《演算法導論》
1 熟悉linux基本環境 >>> 《鳥哥的私訪菜》《unix初級教程》 《linux編程寶典》（市面上無，圖書館有）， 等等。
2 熟悉操作系統的基礎知識 >>> 《現代操作系統》 《操作系統概念》
3 熟悉系統編程 >>> 《unix環境高級編程第二版》《unix操作系統設計與實現》
4 內核 按先後順序： 《 linux內核設計與實現》 《linux設備驅動程序》 《深入理解 linux內核》 《linux內核源代碼情景分析》 《深入理解linux虛擬內存系統》
5 其他一些書籍： 《freebsd操作系統設計與實現》 《solaris內核結構》 《unix高級教程：系統技術內幕》 《現代體系結構的unix系統：內核程序員的smp與cache技術》 《保護方式下的80386及其編程》 （後3本市面上沒了，大學圖書館里一般都有》 《Intel64 and IA-32 Arichitectures Software Developer』s Manual》
6 其實內核玩深了，體系和編譯也要學好 《計算機體系結構：量化研究方法》 《編譯原理》（龍書）

Linux編程推薦書籍一覽表
shell 編程
《LINUX與UNIX SHELL編程指南》
BASH寶典：
Advanced Bash Scripting Guide (如果你使用的是 GNU/Debian 系統，可以用 apt-get install abs-guide 安裝該文檔)
BASH Programming – Introction HOW-TO
Bash Man

用戶級編程書籍：
Advanced Programming in the UNIX Environment（中文版《UNIX環境高級編程》第二版） 作者 W.Richard
Stevens/尤晉元等
GNU/Linux編程指南 作者 Kurt Wall
Linux 程序設計權威指南 作者 於明儉、陳向陽、方漢
《The Art of Unix Programming》作者 E.S.R
Computer Systems A Programmer』s Perspective
（中文名）《深入理解計算機系統（修訂版）》
《Unix Systems Programming》(中文版《UNIX系統編程》)作者： （美）KAY
A.ROBBINS, STEVE ROBBINS 譯者：陳涓 趙振平
網路編程：
Unix Network Programming V1 & V2,Unix網路編程卷1、2 作者 W.Richard Stevens
《unix網路編程》
XWindow編程
Definitive Guides to the X WindowSystem 作者 Dan Heller, Paula M. Ferguson

內核源代碼閱讀(結合源代碼)和編程
（入門）
《邊干邊學Linux內核指導》
（高級）
《Linux Kernel Development》
《Linux內核源代碼情景分析》
《深入分析Linux內核源代碼》 陳莉君
《 Understanding Linux Network Internals 》即《 深入理解Linux網路內幕（英文影印版）》Christian Benvenuti
內核模塊編程
《The Linux Kernel Mole Programming Guide》
Linux設備驅動編程
Linux設備驅動程序/Linux Device
Drivers 作者 Alessandro Ruibini
多線程編程
《多線程編程指南》

㈥ 關於 Linux 網路，你必須知道這些

我們一起學習了文件系統和磁碟 I/O 的工作原理，以及相應的性能分析和優化方法。接下來，我們將進入下一個重要模塊—— Linux 的網路子系統。

由於網路處理的流程最復雜，跟我們前面講到的進程調度、中斷處理、內存管理以及 I/O 等都密不可分，所以，我把網路模塊作為最後一個資源模塊來講解。

同 CPU、內存以及 I/O 一樣，網路也是 Linux 系統最核心的功能。網路是一種把不同計算機或網路設備連接到一起的技術，它本質上是一種進程間通信方式，特別是跨系統的進程間通信，必須要通過網路才能進行。隨著高並發、分布式、雲計算、微服務等技術的普及，網路的性能也變得越來越重要。

說到網路，我想你肯定經常提起七層負載均衡、四層負載均衡，或者三層設備、二層設備等等。那麼，這里說的二層、三層、四層、七層又都是什麼意思呢？

實際上，這些層都來自國際標准化組織制定的開放式系統互聯通信參考模型（Open System Interconnection Reference Model），簡稱為 OSI 網路模型。

但是 OSI 模型還是太復雜了，也沒能提供一個可實現的方法。所以，在 Linux 中，我們實際上使用的是另一個更實用的四層模型，即 TCP/IP 網路模型。

TCP/IP 模型，把網路互聯的框架分為應用層、傳輸層、網路層、網路介面層等四層，其中，

為了幫你更形象理解 TCP/IP 與 OSI 模型的關系，我畫了一張圖，如下所示：

當然了，雖說 Linux 實際按照 TCP/IP 模型，實現了網路協議棧，但在平時的學習交流中，我們習慣上還是用 OSI 七層模型來描述。比如，說到七層和四層負載均衡，對應的分別是 OSI 模型中的應用層和傳輸層（而它們對應到 TCP/IP 模型中，實際上是四層和三層）。

OSI引入了服務、介面、協議、分層的概念，TCP/IP借鑒了OSI的這些概念建立TCP/IP模型。

OSI先有模型，後有協議，先有標准，後進行實踐；而TCP/IP則相反，先有協議和應用再提出了模型，且是參照的OSI模型。

OSI是一種理論下的模型，而TCP/IP已被廣泛使用，成為網路互聯事實上的標准。

有了 TCP/IP 模型後，在進行網路傳輸時，數據包就會按照協議棧，對上一層發來的數據進行逐層處理；然後封裝上該層的協議頭，再發送給下一層。

當然，網路包在每一層的處理邏輯，都取決於各層採用的網路協議。比如在應用層，一個提供 REST API 的應用，可以使用 HTTP 協議，把它需要傳輸的 JSON 數據封裝到 HTTP 協議中，然後向下傳遞給 TCP 層。

而封裝做的事情就很簡單了，只是在原來的負載前後，增加固定格式的元數據，原始的負載數據並不會被修改。

比如，以通過 TCP 協議通信的網路包為例，通過下面這張圖，我們可以看到，應用程序數據在每個層的封裝格式。

這些新增的頭部和尾部，增加了網路包的大小，但我們都知道，物理鏈路中並不能傳輸任意大小的數據包。網路介面配置的最大傳輸單元（MTU），就規定了最大的 IP 包大小。在我們最常用的乙太網中，MTU 默認值是 1500（這也是 Linux 的默認值）。

一旦網路包超過 MTU 的大小，就會在網路層分片，以保證分片後的 IP 包不大於 MTU 值。顯然，MTU 越大，需要的分包也就越少，自然，網路吞吐能力就越好。

理解了 TCP/IP 網路模型和網路包的封裝原理後，你很容易能想到，Linux 內核中的網路棧，其實也類似於 TCP/IP 的四層結構。如下圖所示，就是 Linux 通用 IP 網路棧的示意圖：

我們從上到下來看這個網路棧，你可以發現，

這里我簡單說一下網卡。網卡是發送和接收網路包的基本設備。在系統啟動過程中，網卡通過內核中的網卡驅動程序注冊到系統中。而在網路收發過程中，內核通過中斷跟網卡進行交互。

再結合前面提到的 Linux 網路棧，可以看出，網路包的處理非常復雜。所以，網卡硬中斷只處理最核心的網卡數據讀取或發送，而協議棧中的大部分邏輯，都會放到軟中斷中處理。

我們先來看網路包的接收流程。

當一個網路幀到達網卡後，網卡會通過 DMA 方式，把這個網路包放到收包隊列中；然後通過硬中斷，告訴中斷處理程序已經收到了網路包。

接著，網卡中斷處理程序會為網路幀分配內核數據結構（sk_buff），並將其拷貝到 sk_buff 緩沖區中；然後再通過軟中斷，通知內核收到了新的網路幀。

接下來，內核協議棧從緩沖區中取出網路幀，並通過網路協議棧，從下到上逐層處理這個網路幀。比如，

最後，應用程序就可以使用 Socket 介面，讀取到新接收到的數據了。

為了更清晰表示這個流程，我畫了一張圖，這張圖的左半部分表示接收流程，而圖中的粉色箭頭則表示網路包的處理路徑。

了解網路包的接收流程後，就很容易理解網路包的發送流程。網路包的發送流程就是上圖的右半部分，很容易發現，網路包的發送方向，正好跟接收方向相反。

首先，應用程序調用 Socket API（比如 sendmsg）發送網路包。

由於這是一個系統調用，所以會陷入到內核態的套接字層中。套接字層會把數據包放到 Socket 發送緩沖區中。

接下來，網路協議棧從 Socket 發送緩沖區中，取出數據包；再按照 TCP/IP 棧，從上到下逐層處理。比如，傳輸層和網路層，分別為其增加 TCP 頭和 IP 頭，執行路由查找確認下一跳的 IP，並按照 MTU 大小進行分片。

分片後的網路包，再送到網路介面層，進行物理地址定址，以找到下一跳的 MAC 地址。然後添加幀頭和幀尾，放到發包隊列中。這一切完成後，會有軟中斷通知驅動程序：發包隊列中有新的網路幀需要發送。

最後，驅動程序通過 DMA ，從發包隊列中讀出網路幀，並通過物理網卡把它發送出去。

多台伺服器通過網卡、交換機、路由器等網路設備連接到一起，構成了相互連接的網路。由於網路設備的異構性和網路協議的復雜性，國際標准化組織定義了一個七層的 OSI 網路模型，但是這個模型過於復雜，實際工作中的事實標准，是更為實用的 TCP/IP 模型。

TCP/IP 模型，把網路互聯的框架，分為應用層、傳輸層、網路層、網路介面層等四層，這也是 Linux 網路棧最核心的構成部分。

我結合網路上查閱的資料和文章中的內容，總結了下網卡收發報文的過程，不知道是否正確：

當發送數據包時，與上述相反。鏈路層將數據包封裝完畢後，放入網卡的DMA緩沖區，並調用系統硬中斷，通知網卡從緩沖區讀取並發送數據。

了解 Linux 網路的基本原理和收發流程後，你肯定迫不及待想知道，如何去觀察網路的性能情況。具體而言，哪些指標可以用來衡量 Linux 的網路性能呢？

實際上，我們通常用帶寬、吞吐量、延時、PPS（Packet Per Second）等指標衡量網路的性能。

除了這些指標，網路的可用性（網路能否正常通信）、並發連接數（TCP 連接數量）、丟包率（丟包百分比）、重傳率（重新傳輸的網路包比例）等也是常用的性能指標。

分析網路問題的第一步，通常是查看網路介面的配置和狀態。你可以使用 ifconfig 或者 ip 命令，來查看網路的配置。我個人更推薦使用 ip 工具，因為它提供了更豐富的功能和更易用的介面。

以網路介面 eth0 為例，你可以運行下面的兩個命令，查看它的配置和狀態：

你可以看到，ifconfig 和 ip 命令輸出的指標基本相同，只是顯示格式略微不同。比如，它們都包括了網路介面的狀態標志、MTU 大小、IP、子網、MAC 地址以及網路包收發的統計信息。

第一，網路介面的狀態標志。ifconfig 輸出中的 RUNNING ，或 ip 輸出中的 LOWER_UP ，都表示物理網路是連通的，即網卡已經連接到了交換機或者路由器中。如果你看不到它們，通常表示網線被拔掉了。

第二，MTU 的大小。MTU 默認大小是 1500，根據網路架構的不同（比如是否使用了 VXLAN 等疊加網路），你可能需要調大或者調小 MTU 的數值。

第三，網路介面的 IP 地址、子網以及 MAC 地址。這些都是保障網路功能正常工作所必需的，你需要確保配置正確。

第四，網路收發的位元組數、包數、錯誤數以及丟包情況，特別是 TX 和 RX 部分的 errors、dropped、overruns、carrier 以及 collisions 等指標不為 0 時，通常表示出現了網路 I/O 問題。其中：

ifconfig 和 ip 只顯示了網路介面收發數據包的統計信息，但在實際的性能問題中，網路協議棧中的統計信息，我們也必須關注。你可以用 netstat 或者 ss ，來查看套接字、網路棧、網路介面以及路由表的信息。

我個人更推薦，使用 ss 來查詢網路的連接信息，因為它比 netstat 提供了更好的性能（速度更快）。

比如，你可以執行下面的命令，查詢套接字信息：

netstat 和 ss 的輸出也是類似的，都展示了套接字的狀態、接收隊列、發送隊列、本地地址、遠端地址、進程 PID 和進程名稱等。

其中，接收隊列（Recv-Q）和發送隊列（Send-Q）需要你特別關注，它們通常應該是 0。當你發現它們不是 0 時，說明有網路包的堆積發生。當然還要注意，在不同套接字狀態下，它們的含義不同。

當套接字處於連接狀態（Established）時，

當套接字處於監聽狀態（Listening）時，

所謂全連接，是指伺服器收到了客戶端的 ACK，完成了 TCP 三次握手，然後就會把這個連接挪到全連接隊列中。這些全連接中的套接字，還需要被 accept() 系統調用取走，伺服器才可以開始真正處理客戶端的請求。

與全連接隊列相對應的，還有一個半連接隊列。所謂半連接是指還沒有完成 TCP 三次握手的連接，連接只進行了一半。伺服器收到了客戶端的 SYN 包後，就會把這個連接放到半連接隊列中，然後再向客戶端發送 SYN+ACK 包。

類似的，使用 netstat 或 ss ，也可以查看協議棧的信息：

這些協議棧的統計信息都很直觀。ss 只顯示已經連接、關閉、孤兒套接字等簡要統計，而 netstat 則提供的是更詳細的網路協議棧信息。

比如，上面 netstat 的輸出示例，就展示了 TCP 協議的主動連接、被動連接、失敗重試、發送和接收的分段數量等各種信息。

接下來，我們再來看看，如何查看系統當前的網路吞吐量和 PPS。在這里，我推薦使用我們的老朋友 sar，在前面的 CPU、內存和 I/O 模塊中，我們已經多次用到它。

給 sar 增加 -n 參數就可以查看網路的統計信息，比如網路介面（DEV）、網路介面錯誤（EDEV）、TCP、UDP、ICMP 等等。執行下面的命令，你就可以得到網路介面統計信息：

這兒輸出的指標比較多，我來簡單解釋下它們的含義。

其中，Bandwidth 可以用 ethtool 來查詢，它的單位通常是 Gb/s 或者 Mb/s，不過注意這里小寫字母 b ，表示比特而不是位元組。我們通常提到的千兆網卡、萬兆網卡等，單位也都是比特。如下你可以看到，我的 eth0 網卡就是一個千兆網卡：

其中，Bandwidth 可以用 ethtool 來查詢，它的單位通常是 Gb/s 或者 Mb/s，不過注意這里小寫字母 b ，表示比特而不是位元組。我們通常提到的千兆網卡、萬兆網卡等，單位也都是比特。如下你可以看到，我的 eth0 網卡就是一個千兆網卡：

我們通常使用帶寬、吞吐量、延時等指標，來衡量網路的性能；相應的，你可以用 ifconfig、netstat、ss、sar、ping 等工具，來查看這些網路的性能指標。

小狗同學問到： 老師，您好 ss —lntp 這個 當session處於listening中 rec-q 確定是 syn的backlog嗎？
A: Recv-Q為全連接隊列當前使用了多少。 中文資料里這個問題講得最明白的文章： https://mp.weixin.qq.com/s/yH3PzGEFopbpA-jw4MythQ

看了源碼發現，這個地方講的有問題.關於ss輸出中listen狀態套接字的Recv-Q表示全連接隊列當前使用了多少,也就是全連接隊列的當前長度,而Send-Q表示全連接隊列的最大長度

㈦ tcp/ip協議族裡面的眾多協議主要是用什麼語言開發的

使用C語言開發的，你可以看看TCP/IP詳解第二卷，主要講的就是源碼的實現，很詳細，那個是最基本的版本，還有一本linux內核源碼剖析講的也不錯

㈧ linux和嵌入式linux

為什麼一說嵌入式Linux就老是想到「裁剪」、「閹割」這種修飾語呢？如果你這么理解的話，說明，你對嵌入式還是存在一定的誤區的，對自己知識結構的完善是不利的。。。

什麼叫做嵌入式呢？雖然目前沒有很標準的定義，但業界普遍認為：專門為某個應用場景而實現的計算機系統，都叫做嵌入式系統。家裡的四口路由器，手機，平板電腦，甚至是PC主板（注意，我說的是主板，不是整個PC）都是嵌入式系統。也可以說，除了你用的PC，工作站，伺服器以外，都可以歸納如嵌入式系統的領域。

在嵌入式系統中，有的是有操作系統的，有的是沒有操作系統的。雖然單片機在嵌入式應用中仍舊占據著很重要的角色和份額，但從軟體工程師的就業發展來說，帶有操作系統的嵌入式系統無疑有著更廣的發展空間。

嵌入式操作系統中，有各種RTOS（最有名的，莫過於VxWorks了），也有一些實時性能不錯的OS（較新的2.6版及向後版本的Linux可以規劃在這里），還有一些實時性能不怎麼樣的OS（2.4版本的Linux內核，Windows等可以劃歸在這里）。

所以，根據應用場景，操作系統是有可能非非非常復雜的。所以，嵌入式Linux未必是「不完整的」「閹割了重大功能的」「簡單化的」Linux。。。

糾正了概念，統一了你我的認識之後，你肯定就不會再問：究竟是學「純」Linux呢，還是學嵌入式Linux呢？這個問題是沒有意義的。其實，無論是內核，還是libc庫，還是各種應用程序，PC和嵌入式的知識是共同的，沒有嚴格界限的。嵌入式Linux跟PC上Linux的區別，更多的在於驅動程序的選擇，本地編譯還是交叉編譯，UI界面的選擇等方面。它們的本質技術，是沒有任何區別的。

你在嵌入式上可能需要做小量裁剪，你在PC上同樣會做裁剪。這並不意味著要閹割重要功能，因為，你在PC上做的工作，同樣會希望在手機、平板電腦等這些復雜的移動終端上得以實現的~~~
（如果你只是為了實現一個很簡單的功能，那我還是乾脆建議你不要學習、使用Linux了）~~

所以，最終的結論是：如果你能精通Linux，那無論是PC上的Linux，還是嵌入式Linux，那麼你都是很精通的。嵌入式和PC只是應用場景不同而已（更多的體現在用戶空間各種程序的區別）。

如果希望成為一個內核開發者：
如果你對內核感興趣的話，可以推薦兩本公認的經典書籍：《深入理解Linux內核》《LInux設備驅動程序》。這兩本，是所有內核開發工作者，讀1遍，10遍，100遍，仍舊會認真讀下去，並嘗試理解每一個字的經典中的經典。
另外，我個人推薦一本《深入Linux內核架構》。這本書是一個德國人寫的，對於基礎比較薄弱的，是一個很好的自學教材。
如果看起來感覺還是吃力，建議以《Linux內核設計與實現》作為起步。這本書里沒有講透徹的地方，都可以去參看上面的那三本書。這本書，如果讀起來也比較吃力的話，建議看看《Linux內核0.11完全注釋(趙炯)》。如果連這本書都比較吃力的話，我還真沒轍了，建議先看Linux的一些科普文章了。
補充一句：看任何書，永遠都無法替代自己讀內核源碼~~~

如果你要搞應用，那麼《UNIX環境高級編程》不可不讀。剩下的，就要看你搞什麼應用了。

㈨ 簡單的給我介紹下網路協議中的TCP協議的數據結構是怎麼樣的

sk_buff結構可能是linux網路代碼中最重要的數據結構，它表示接收或發送數據包的包頭信息。它在<include/linux/skbuff.h>中定義，並包含很多成員變數供網路代碼中的各子系統使用。這個結構在linux內核的發展過程中改動過很多次，或者是增加新的選項，或者是重新組織已存在的成員變數以使得成員變數的布局更加清晰。它的成員變數可以大致分為以下幾類：Layout 布局General 通用Feature-specific功能相關Management functions管理函數 這個結構被不同的網路層（MAC或者其他二層鏈路協議，三層的IP，四層的TCP或UDP等）使用，並且其中的成員變數在結構從一層向另一層傳遞時改變。L4向L3傳遞前會添加一個L4的頭部，同樣，L3向L2傳遞前，會添加一個L3的頭部。添加頭部比在不同層之間拷貝數據的效率更高。由於在緩沖區的頭部添加數據意味著要修改指向緩沖區的指針，這是個復雜的操作，所以內核提供了一個函數skb_reserve（在後面的章節中描述）來完成這個功能。協議棧中的每一層在往下一層傳遞緩沖區前，第一件事就是調用skb_reserve在緩沖區的頭部給協議頭預留一定的空間。skb_reserve同樣被設備驅動使用來對齊接收到包的包頭。如果緩沖區向上層協議傳遞，舊的協議層的頭部信息就沒什麼用了。例如，L2的頭部只有在網路驅動處理L2的協議時有用，L3是不會關心它的信息的。但是，內核並沒有把L2的頭部從緩沖區中刪除，而是把有效荷載的指針指向L3的頭部，這樣做，可以節省CPU時間。1. 網路參數和內核數據結構 就像你在瀏覽TCP/IP規范或者配置內核時所看到的一樣，網路代碼提供了很多有用的功能，但是這些功能並不是必須的，比如說，防火牆，多播，還有其他一些功能。大部分的功能都需要在內核數據結構中添加自己的成員變數。因此，sk_buff裡麵包含了很多像#ifdef這樣的預編譯指令。例如，在sk_buff結構的最後，你可以找到：struct sk_buff { ... ... ...#ifdef CONFIG_NET_SCHED _ _u32 tc_index;#ifdef CONFIG_NET_CLS_ACT _ _u32 tc_verd; _ _u32 tc_classid;#endif#endif}
它表明，tc_index只有在編譯時定義了CONFIG_NET_SCHED符號才有效。這個符號可以通過選擇特定的編譯選項來定義（例如："Device Drivers Networking supportNetworking options QoS and/or fair queueing"）。這些編譯選項可以由管理員通過make config來選擇，或者通過一些自動安裝工具來選擇。前面的例子有兩個嵌套的選項：CONFIG_NET_CLS_ACT（包分類器）只有在選擇支持「QoS and/or fair queueing」時才能生效。順便提一下，QoS選項不能被編譯成內核模塊。原因就是，內核編譯之後，由某個選項所控制的數據結構是不能動態變化的。一般來說，如果某個選項會修改內核數據結構（比如說，在sk_buff
裡面增加一個項tc_index），那麼，包含這個選項的組件就不能被編譯成內核模塊。你可能經常需要查找是哪個make config編譯選項或者變種定義了某個#ifdef標記，以便理解內核中包含的某段代碼。在2.6內核中，最快的，查找它們之間關聯關系的方法，就是查找分布在內核源代碼樹中的kconfig文件中是否定義了相應的符號（每個目錄都有一個這樣的文件）。在
2.4內核中，你需要查看Documentation/Configure.help文件。2. Layout Fields有些sk_buff成員變數的作用是方便查找或者是連接數據結構本身。內核可以把sk_buff組織成一個雙向鏈表。當然，這個鏈表的結構要比常見的雙向鏈表的結構復雜一點。就像任何一個雙向鏈表一樣，sk_buff中有兩個指針next和prev，其中，next指向下一個節點，而
prev指向上一個節點。但是，這個鏈表還有另一個需求：每個sk_buff結構都必須能夠很快找到鏈表頭節點。為了滿足這個需求，在第一個節點前面會插入另一個結構sk_buff_head，這是一個輔助節點，它的定義如下：struct sk_buff_head { struct sk_buff * next; struct sk_buff * prev; _ _u32 qlen; spinlock_t lock; }; qlen代表鏈表元素的個數。lock用於防止對鏈表的並發訪問。sk_buff和sk_buff_head的前兩個元素是一樣的：next和prev指針。這使得它們可以放到同一個鏈表中，盡管sk_buff_head要比sk_buff小得多。另外，相同的函數可以同樣應用於sk_buff和sk_buff_head。為了使這個數據結構更靈活，每個sk_buff結構都包含一個指向sk_buff_head的指針。這個指針的名字是list。圖1會幫助你理解它們之間的關系。Figure 1. List of sk_buff elements

㈩ linux學習的步驟

教你一個快樂中學習linux的方式,就是安裝Fedora系統,要自己親手安裝,然後根據教程用命令配置你的linux系統,這里為什麼說讓你安裝fedora系統呢,就是因為此系統是命令操作為主的,能讓你更好的得到鍛煉,系統安裝好後,你只要用這個系統進行各種操作就可以了,例如看電影 聽音樂 聊QQ等等,前提是這些軟體你要手動去用命令去linux源安裝,在這些玩,用的過程中,你的linux知識不知不覺就提高了.遇到不會的操作就多找找教程,我覺得這個學習沒有步驟,因為你在使用linux系統時,對於linux 的知識已經在不斷加深了. 純手打,比較有誠意,復制一大篇根本沒意義.