Linuxis內存管理

『壹』 linux中使用了什麼內存管理方法,為什麼

「事實勝於雄辯」，我們用一個小例子（原形取自《User-Level Memory Management》）來展示上面所講的各種內存區的差別與位置。

進程的地址空間對應的描述結構是「內存描述符結構」,它表示進程的全部地址空間，——包含了和進程地址空間有關的全部信息，其中當然包含進程的內存區域。

進程內存的分配與回收

創建進程fork()、程序載入execve()、映射文件mmap()、動態內存分配malloc()/brk()等進程相關操作都需要分配內存給進程。不過這時進程申請和獲得的還不是實際內存，而是虛擬內存，准確的說是「內存區域」。進程對內存區域的分配最終都會歸結到do_mmap（）函數上來（brk調用被單獨以系統調用實現，不用do_mmap()），

內核使用do_mmap()函數創建一個新的線性地址區間。但是說該函數創建了一個新VMA並不非常准確，因為如果創建的地址區間和一個已經存在的地址區間相鄰，並且它們具有相同的訪問許可權的話，那麼兩個區間將合並為一個。如果不能合並，那麼就確實需要創建一個新的VMA了。但無論哪種情況，do_mmap()函數都會將一個地址區間加入到進程的地址空間中－－無論是擴展已存在的內存區域還是創建一個新的區域。

同樣，釋放一個內存區域應使用函數do_ummap()，它會銷毀對應的內存區域。

如何由虛變實！

從上面已經看到進程所能直接操作的地址都為虛擬地址。當進程需要內存時，從內核獲得的僅僅是虛擬的內存區域，而不是實際的物理地址，進程並沒有獲得物理內存（物理頁面——頁的概念請大家參考硬體基礎一章），獲得的僅僅是對一個新的線性地址區間的使用權。實際的物理內存只有當進程真的去訪問新獲取的虛擬地址時，才會由「請求頁機制」產生「缺頁」異常，從而進入分配實際頁面的常式。

該異常是虛擬內存機制賴以存在的基本保證——它會告訴內核去真正為進程分配物理頁，並建立對應的頁表，這之後虛擬地址才實實在在地映射到了系統的物理內存上。（當然，如果頁被換出到磁碟，也會產生缺頁異常，不過這時不用再建立頁表了）

這種請求頁機制把頁面的分配推遲到不能再推遲為止，並不急於把所有的事情都一次做完（這種思想有點像設計模式中的代理模式（proxy））。之所以能這么做是利用了內存訪問的「局部性原理」，請求頁帶來的好處是節約了空閑內存，提高了系統的吞吐率。要想更清楚地了解請求頁機制，可以看看《深入理解linux內核》一書。

這里我們需要說明在內存區域結構上的nopage操作。當訪問的進程虛擬內存並未真正分配頁面時，該操作便被調用來分配實際的物理頁，並為該頁建立頁表項。在最後的例子中我們會演示如何使用該方法。

系統物理內存管理

雖然應用程序操作的對象是映射到物理內存之上的虛擬內存，但是處理器直接操作的卻是物理內存。所以當應用程序訪問一個虛擬地址時，首先必須將虛擬地址轉化成物理地址，然後處理器才能解析地址訪問請求。地址的轉換工作需要通過查詢頁表才能完成，概括地講，地址轉換需要將虛擬地址分段，使每段虛地址都作為一個索引指向頁表，而頁表項則指向下一級別的頁表或者指向最終的物理頁面。

每個進程都有自己的頁表。進程描述符的pgd域指向的就是進程的頁全局目錄。下面我們借用《linux設備驅動程序》中的一幅圖大致看看進程地址空間到物理頁之間的轉換關系。

上面的過程說起來簡單，做起來難呀。因為在虛擬地址映射到頁之前必須先分配物理頁——也就是說必須先從內核中獲取空閑頁，並建立頁表。下面我們介紹一下內核管理物理內存的機制。

物理內存管理（頁管理）

Linux內核管理物理內存是通過分頁機制實現的，它將整個內存劃分成無數個4k（在i386體系結構中）大小的頁，從而分配和回收內存的基本單位便是內存頁了。利用分頁管理有助於靈活分配內存地址，因為分配時不必要求必須有大塊的連續內存[3]，系統可以東一頁、西一頁的湊出所需要的內存供進程使用。雖然如此，但是實際上系統使用內存時還是傾向於分配連續的內存塊，因為分配連續內存時，頁表不需要更改，因此能降低TLB的刷新率（頻繁刷新會在很大程度上降低訪問速度）。

鑒於上述需求，內核分配物理頁面時為了盡量減少不連續情況，採用了「夥伴」關系來管理空閑頁面。夥伴關系分配演算法大家應該不陌生——幾乎所有操作系統方面的書都會提到,我們不去詳細說它了，如果不明白可以參看有關資料。這里只需要大家明白Linux中空閑頁面的組織和管理利用了夥伴關系，因此空閑頁面分配時也需要遵循夥伴關系，最小單位只能是2的冪倍頁面大小。內核中分配空閑頁面的基本函數是get_free_page/get_free_pages，它們或是分配單頁或是分配指定的頁面（2、4、8…512頁）。

注意：get_free_page是在內核中分配內存，不同於malloc在用戶空間中分配，malloc利用堆動態分配，實際上是調用brk()系統調用，該調用的作用是擴大或縮小進程堆空間（它會修改進程的brk域）。如果現有的內存區域不夠容納堆空間，則會以頁面大小的倍數為單位，擴張或收縮對應的內存區域，但brk值並非以頁面大小為倍數修改，而是按實際請求修改。因此Malloc在用戶空間分配內存可以以位元組為單位分配,但內核在內部仍然會是以頁為單位分配的。

另外,需要提及的是，物理頁在系統中由頁結構structpage描述，系統中所有的頁面都存儲在數組mem_map[]中，可以通過該數組找到系統中的每一頁（空閑或非空閑）。而其中的空閑頁面則可由上述提到的以夥伴關系組織的空閑頁鏈表（free_area[MAX_ORDER]）來索引。

內核內存使用

Slab

所謂尺有所長，寸有所短。以頁為最小單位分配內存對於內核管理系統中的物理內存來說的確比較方便，但內核自身最常使用的內存卻往往是很小（遠遠小於一頁）的內存塊——比如存放文件描述符、進程描述符、虛擬內存區域描述符等行為所需的內存都不足一頁。這些用來存放描述符的內存相比頁面而言，就好比是麵包屑與麵包。一個整頁中可以聚集多個這些小塊內存；而且這些小塊內存塊也和麵包屑一樣頻繁地生成/銷毀。

為了滿足內核對這種小內存塊的需要，Linux系統採用了一種被稱為slab分配器的技術。Slab分配器的實現相當復雜，但原理不難，其核心思想就是「存儲池[4]」的運用。內存片段（小塊內存）被看作對象，當被使用完後，並不直接釋放而是被緩存到「存儲池」里，留做下次使用，這無疑避免了頻繁創建與銷毀對象所帶來的額外負載。

Slab技術不但避免了內存內部分片（下文將解釋）帶來的不便（引入Slab分配器的主要目的是為了減少對夥伴系統分配演算法的調用次數——頻繁分配和回收必然會導致內存碎片——難以找到大塊連續的可用內存），而且可以很好地利用硬體緩存提高訪問速度。

Slab並非是脫離夥伴關系而獨立存在的一種內存分配方式，slab仍然是建立在頁面基礎之上，換句話說，Slab將頁面（來自於夥伴關系管理的空閑頁面鏈表）撕碎成眾多小內存塊以供分配，slab中的對象分配和銷毀使用kmem_cache_alloc與kmem_cache_free。

Kmalloc

Slab分配器不僅僅只用來存放內核專用的結構體，它還被用來處理內核對小塊內存的請求。當然鑒於Slab分配器的特點，一般來說內核程序中對小於一頁的小塊內存的請求才通過Slab分配器提供的介面Kmalloc來完成（雖然它可分配32到131072位元組的內存）。從內核內存分配的角度來講，kmalloc可被看成是get_free_page（s）的一個有效補充，內存分配粒度更靈活了。

有興趣的話，可以到/proc/slabinfo中找到內核執行現場使用的各種slab信息統計，其中你會看到系統中所有slab的使用信息。從信息中可以看到系統中除了專用結構體使用的slab外，還存在大量為Kmalloc而准備的Slab（其中有些為dma准備的）。

內核非連續內存分配（Vmalloc）

夥伴關系也好、slab技術也好，從內存管理理論角度而言目的基本是一致的，它們都是為了防止「分片」，不過分片又分為外部分片和內部分片之說，所謂內部分片是說系統為了滿足一小段內存區（連續）的需要，不得不分配了一大區域連續內存給它，從而造成了空間浪費；外部分片是指系統雖有足夠的內存，但卻是分散的碎片，無法滿足對大塊「連續內存」的需求。無論何種分片都是系統有效利用內存的障礙。slab分配器使得一個頁面內包含的眾多小塊內存可獨立被分配使用，避免了內部分片，節約了空閑內存。夥伴關系把內存塊按大小分組管理，一定程度上減輕了外部分片的危害，因為頁框分配不在盲目，而是按照大小依次有序進行，不過夥伴關系只是減輕了外部分片，但並未徹底消除。你自己比劃一下多次分配頁面後，空閑內存的剩餘情況吧。

所以避免外部分片的最終思路還是落到了如何利用不連續的內存塊組合成「看起來很大的內存塊」——這里的情況很類似於用戶空間分配虛擬內存，內存邏輯上連續，其實映射到並不一定連續的物理內存上。Linux內核借用了這個技術，允許內核程序在內核地址空間中分配虛擬地址，同樣也利用頁表（內核頁表）將虛擬地址映射到分散的內存頁上。以此完美地解決了內核內存使用中的外部分片問題。內核提供vmalloc函數分配內核虛擬內存，該函數不同於kmalloc，它可以分配較Kmalloc大得多的內存空間（可遠大於128K，但必須是頁大小的倍數），但相比Kmalloc來說,Vmalloc需要對內核虛擬地址進行重映射，必須更新內核頁表，因此分配效率上要低一些（用空間換時間）

與用戶進程相似,內核也有一個名為init_mm的mm_strcut結構來描述內核地址空間，其中頁表項pdg=swapper_pg_dir包含了系統內核空間（3G-4G）的映射關系。因此vmalloc分配內核虛擬地址必須更新內核頁表，而kmalloc或get_free_page由於分配的連續內存，所以不需要更新內核頁表。

vmalloc分配的內核虛擬內存與kmalloc/get_free_page分配的內核虛擬內存位於不同的區間，不會重疊。因為內核虛擬空間被分區管理，各司其職。進程空間地址分布從0到3G(其實是到PAGE_OFFSET,在0x86中它等於0xC0000000)，從3G到vmalloc_start這段地址是物理內存映射區域（該區域中包含了內核鏡像、物理頁面表mem_map等等）比如我使用的系統內存是64M(可以用free看到)，那麼(3G——3G+64M)這片內存就應該映射到物理內存，而vmalloc_start位置應在3G+64M附近（說"附近"因為是在物理內存映射區與vmalloc_start期間還會存在一個8M大小的gap來防止躍界）,vmalloc_end的位置接近4G(說"接近"是因為最後位置系統會保留一片128k大小的區域用於專用頁面映射，還有可能會有高端內存映射區，這些都是細節，這里我們不做糾纏)。

上圖是內存分布的模糊輪廓

由get_free_page或Kmalloc函數所分配的連續內存都陷於物理映射區域，所以它們返回的內核虛擬地址和實際物理地址僅僅是相差一個偏移量（PAGE_OFFSET），你可以很方便的將其轉化為物理內存地址，同時內核也提供了virt_to_phys（）函數將內核虛擬空間中的物理映射區地址轉化為物理地址。要知道，物理內存映射區中的地址與內核頁表是有序對應的，系統中的每個物理頁面都可以找到它對應的內核虛擬地址（在物理內存映射區中的）。

而vmalloc分配的地址則限於vmalloc_start與vmalloc_end之間。每一塊vmalloc分配的內核虛擬內存都對應一個vm_struct結構體（可別和vm_area_struct搞混，那可是進程虛擬內存區域的結構），不同的內核虛擬地址被4k大小的空閑區間隔，以防止越界——見下圖）。與進程虛擬地址的特性一樣，這些虛擬地址與物理內存沒有簡單的位移關系，必須通過內核頁表才可轉換為物理地址或物理頁。它們有可能尚未被映射，在發生缺頁時才真正分配物理頁面。

這里給出一個小程序幫助大家認清上面幾種分配函數所對應的區域。

#include<linux/mole.h>

#include<linux/slab.h>

#include<linux/vmalloc.h>

unsignedchar*pagemem;

unsignedchar*kmallocmem;

unsignedchar*vmallocmem;

intinit_mole(void)

{

pagemem = get_free_page(0);

printk("<1>pagemem=%s",pagemem);

kmallocmem = kmalloc(100,0);

printk("<1>kmallocmem=%s",kmallocmem);

vmallocmem = vmalloc(1000000);

printk("<1>vmallocmem=%s",vmallocmem);

}

voidcleanup_mole(void)

{

free_page(pagemem);

kfree(kmallocmem);

vfree(vmallocmem);

}

實例

內存映射(mmap)是Linux操作系統的一個很大特色，它可以將系統內存映射到一個文件（設備）上，以便可以通過訪問文件內容來達到訪問內存的目的。這樣做的最大好處是提高了內存訪問速度，並且可以利用文件系統的介面編程（設備在Linux中作為特殊文件處理）訪問內存，降低了開發難度。許多設備驅動程序便是利用內存映射功能將用戶空間的一段地址關聯到設備內存上，無論何時，只要內存在分配的地址范圍內進行讀寫，實際上就是對設備內存的訪問。同時對設備文件的訪問也等同於對內存區域的訪問，也就是說，通過文件操作介面可以訪問內存。Linux中的X伺服器就是一個利用內存映射達到直接高速訪問視頻卡內存的例子。

熟悉文件操作的朋友一定會知道file_operations結構中有mmap方法，在用戶執行mmap系統調用時，便會調用該方法來通過文件訪問內存——不過在調用文件系統mmap方法前，內核還需要處理分配內存區域（vma_struct）、建立頁表等工作。對於具體映射細節不作介紹了，需要強調的是,建立頁表可以採用remap_page_range方法一次建立起所有映射區的頁表，或利用vma_struct的nopage方法在缺頁時現場一頁一頁的建立頁表。第一種方法相比第二種方法簡單方便、速度快，但是靈活性不高。一次調用所有頁表便定型了，不適用於那些需要現場建立頁表的場合——比如映射區需要擴展或下面我們例子中的情況。

我們這里的實例希望利用內存映射，將系統內核中的一部分虛擬內存映射到用戶空間，以供應用程序讀取——你可利用它進行內核空間到用戶空間的大規模信息傳輸。因此我們將試圖寫一個虛擬字元設備驅動程序，通過它將系統內核空間映射到用戶空間——將內核虛擬內存映射到用戶虛擬地址。從上一節已經看到Linux內核空間中包含兩種虛擬地址：一種是物理和邏輯都連續的物理內存映射虛擬地址；另一種是邏輯連續但非物理連續的vmalloc分配的內存虛擬地址。我們的例子程序將演示把vmalloc分配的內核虛擬地址映射到用戶地址空間的全過程。

程序里主要應解決兩個問題：

第一是如何將vmalloc分配的內核虛擬內存正確地轉化成物理地址？

因為內存映射先要獲得被映射的物理地址，然後才能將其映射到要求的用戶虛擬地址上。我們已經看到內核物理內存映射區域中的地址可以被內核函數virt_to_phys轉換成實際的物理內存地址，但對於vmalloc分配的內核虛擬地址無法直接轉化成物理地址，所以我們必須對這部分虛擬內存格外「照顧」——先將其轉化成內核物理內存映射區域中的地址，然後在用virt_to_phys變為物理地址。

轉化工作需要進行如下步驟：

找到vmalloc虛擬內存對應的頁表，並尋找到對應的頁表項。

獲取頁表項對應的頁面指針

通過頁面得到對應的內核物理內存映射區域地址。

如下圖所示：

第二是當訪問vmalloc分配區時，如果發現虛擬內存尚未被映射到物理頁，則需要處理「缺頁異常」。因此需要我們實現內存區域中的nopaga操作，以能返回被映射的物理頁面指針，在我們的實例中就是返回上面過程中的內核物理內存映射區域中的地址。由於vmalloc分配的虛擬地址與物理地址的對應關系並非分配時就可確定，必須在缺頁現場建立頁表，因此這里不能使用remap_page_range方法，只能用vma的nopage方法一頁一頁的建立。

程序組成

map_driver.c，它是以模塊形式載入的虛擬字元驅動程序。該驅動負責將一定長的內核虛擬地址(vmalloc分配的)映射到設備文件上。其中主要的函數有——vaddress_to_kaddress（）負責對vmalloc分配的地址進行頁表解析,以找到對應的內核物理映射地址（kmalloc分配的地址）；map_nopage()負責在進程訪問一個當前並不存在的VMA頁時，尋找該地址對應的物理頁，並返回該頁的指針。

test.c它利用上述驅動模塊對應的設備文件在用戶空間讀取讀取內核內存。結果可以看到內核虛擬地址的內容（ok!），被顯示在了屏幕上。

執行步驟

編譯map_driver.c為map_driver.o模塊,具體參數見Makefile

載入模塊：insmodmap_driver.o

生成對應的設備文件

1在/proc/devices下找到map_driver對應的設備命和設備號：grepmapdrv/proc/devices

2建立設備文件mknodmapfilec 254 0（在我的系統里設備號為254）

利用maptest讀取mapfile文件，將取自內核的信息列印到屏幕上。

『貳』 LINUX系統的內存管理知識詳解

內存是Linux內核所管理的最重要的資源之一。內存管理系統是操作系統中最為重要的部分，因為系統的物理內存總是少於系統所需要的內存數量。虛擬內存就是為了克服這個矛盾而採用的策略。系統的虛擬內存通過在各個進程之間共享內存而使系統看起來有多於實際內存的內存容量。Linux支持虛擬內存, 就是使用磁碟作為RAM的擴展，使可用內存相應地有效擴大。核心把當前不用的內存塊存到硬碟，騰出內存給其他目的。當原來的內容又要使用時，再讀回內存。以下就是我為大家整理到的詳細LINUX系統內存管理的知識，歡迎大家閱讀!!!

LINUX系統教程：內存管理的知識詳解

一、內存使用情況監測

(1)實時監控內存使用情況

在命令行使用「Free」命令可以監控內存使用情況

代碼如下:

#free

total used free shared buffers cached

Mem: 256024 192284 63740 0 10676 101004

-/+ buffers/cache: 80604 175420

Swap: 522072 0 522072

上面給出了一個256兆的RAM和512兆交換空間的系統情況。第三行輸出(Mem:)顯示物理內存。total列不顯示核心使用的物理內存(通常大約1MB)。used列顯示被使用的內存總額(第二行不計緩沖)。 free列顯示全部沒使用的內存。Shared列顯示多個進程共享的內存總額。Buffers列顯示磁碟緩存的當前大小。第五行(Swap:)對對換空間，顯示的信息類似上面。如果這行為全0，那麼沒使用對換空間。在預設的狀態下，free命令以千位元組(也就是1024位元組為單位)來顯示內存使用情況。可以使用—h參數以位元組為單位顯示內存使用情況，或者可以使用—m參數以兆位元組為單位顯示內存使用情況。還可以通過—s參數使用命令來不間斷地監視內存使用情況：

#free –b –s2

這個命令將會在終端窗口中連續不斷地報告內存的使用情況，每2秒鍾更新一次。

(2)組合watch與 free命令用來實時監控內存使用情況：

代碼如下:

#watch -n 2 -d free

Every 2.0s: free Fri Jul 6 06:06:12 2007

total used free shared buffers cached

Mem: 233356 218616 14740 0 5560 64784

-/+ buffers/cache: 148272 85084

Swap: 622584 6656 615928

watch命令會每兩秒執行 free一次，執行前會清除屏幕，在同樣位置顯示數據。因為 watch命令不會卷動屏幕，所以適合出長時間的監測內存使用率。可以使用 -n選項，控制執行的頻率;也可以利用 -d選項，讓命令將每次不同的地方顯示出來。Watch命令會一直執行，直到您按下 [Ctrl]-[C] 為止。

二、虛擬內存的概念

(1)Linux虛擬內存實現機制

Linux虛擬內存的實現需要六種機制的支持：地址映射機制、內存分配回收機制、緩存和刷新機制、請求頁機制、交換機制、內存共享機制。

首先內存管理程序通過映射機制把用戶程序的邏輯地址映射到物理地址，在用戶程序運行時如果發現程序中要用的虛地址沒有對應的物理內存時，就發出了請求頁要求;如果有空閑的內存可供分配，就請求分配內存(於是用到了內存的分配和回收)，並把正在使用的物理頁記錄在緩存中(使用了緩存機制)。 如果沒有足夠的內存可供分配，那麼就調用交換機制，騰出一部分內存。另外在地址映射中要通過TLB(翻譯後援存儲器)來尋找物理頁;交換機制中也要用到交換緩存，並且把物理頁內容交換到交換文件中後也要修改頁表來映射文件地址。

(2)虛擬內存容量設定

也許有人告訴你，應該分配2倍於物理內存的虛擬內存，但這是個不固定的規律。如果你的物理保存比較小，可以這樣設定。如果你有1G物理內存或更多的話，可以縮小一下虛擬內存。Linux會把大量的內存用做Cache的,但在資源緊張時回收回.。你只要看到swap為0或者很小就可以放心了,因為內存放著不用才是最大的浪費。

三、使甩vmstat命令監視虛擬內存使用情況

vmstat是Virtual Meomory Statistics(虛擬內存統計)的縮寫，可對操作系統的虛擬內存、進程、CPU活動進行監視。它是對系統的整體情況進行統計，不足之處是無法對某個進程進行深入分析。通常使用vmstat 5 5(表示在5秒時間內進行5次采樣)命令測試。將得到一個數據匯總它可以反映真正的系統情況。

代碼如下:

#vmstat 5 5

procs -----------memory---------- ---swap-- -----io---- --system-- ----cpu----

r b swpd free buff cache si so bi bo in cs us sy id wa

1 0 62792 3460 9116 88092 6 30 189 89 1061 569 17 28 54 2

0 0 62792 3400 9124 88092 0 0 0 14 884 434 4 14 81 0

0 0 62792 3400 9132 88092 0 0 0 14 877 424 4 15 81 0

1 0 62792 3400 9140 88092 0 0 0 14 868 418 6 20 74 0

1 0 62792 3400 9148 88092 0 0 0 15 847 400 9 25 67 0

vmstat命令輸出分成六個部分：

(1)進程procs：

r：在運行隊列中等待的進程數 。

b：在等待io的進程數 。

(2)內存memoy：

swpd：現時可用的交換內存(單位KB)。

free：空閑的內存(單位KB)。

buff: 緩沖去中的內存數(單位：KB)。

cache：被用來做為高速緩存的內存數(單位：KB)。

(3) swap交換頁面

si: 從磁碟交換到內存的交換頁數量，單位：KB/秒。

so: 從內存交換到磁碟的交換頁數量，單位：KB/秒。

(4) io塊設備:

bi: 發送到塊設備的塊數，單位：塊/秒。

bo: 從塊設備接收到的塊數，單位：塊/秒。

(5)system系統：

in: 每秒的中斷數，包括時鍾中斷。

cs: 每秒的環境(上下文)切換次數。

(6)cpu中央處理器：

cs：用戶進程使用的時間 。以百分比表示。

sy：系統進程使用的時間。 以百分比表示。

id：中央處理器的空閑時間 。以百分比表示。

如果 r經常大於 4 ，且id經常小於40，表示中央處理器的負荷很重。 如果bi，bo 長期不等於0，表示物理內存容量太小。

四、Linux 伺服器的內存泄露和回收內存的方法

1、內存泄漏的定義：

一般我們常說的內存泄漏是指堆內存的泄漏。堆內存是指程序從堆中分配的，大小任意的(內存塊的大小可以在程序運行期決定)，使用完後必須顯示釋放的內存。應用程序一般使用malloc，realloc，new等函數從堆中分配到一塊內存，使用完後，程序必須負責相應的調用free或釋放該內存塊，否則，這塊內存就不能被再次使用，我們就說這塊內存泄漏了。

2、內存泄露的危害

從用戶使用程序的角度來看，內存泄漏本身不會產生什麼危害，作為一般的用戶，根本感覺不到內存泄漏的存在。真正有危害的`是內存泄漏的堆積，這會最終消耗盡系統所有的內存。從這個角度來說，一次性內存泄漏並沒有什麼危害，因為它不會堆積，而隱式內存泄漏危害性則非常大，因為較之於常發性和偶發性內存泄漏它更難被檢測到。存在內存泄漏問題的程序除了會佔用更多的內存外，還會使程序的性能急劇下降。對於伺服器而言，如果出現這種情況，即使系統不崩潰，也會嚴重影響使用。

3、內存泄露的檢測和回收

對於內存溢出之類的麻煩可能大家在編寫指針比較多的復雜的程序的時候就會遇到。在 Linux 或者 unix 下，C、C++語言是最使用工具。但是我們的 C++ 程序缺乏相應的手段來檢測內存信息，而只能使用 top 指令觀察進程的動態內存總額。而且程序退出時，我們無法獲知任何內存泄漏信息。

使用kill命令

使用Linux命令回收內存，我們可以使用Ps、Kill兩個命令檢測內存使用情況和進行回收。在使用超級用戶許可權時使用命令「Ps」，它會列出所有正在運行的程序名稱，和對應的進程號(PID)。Kill命令的工作原理是：向Linux操作系統的內核送出一個系統操作信號和程序的進程號(PID)。

應用例子：

為了高效率回收內存可以使用命令ps 參數v：

代碼如下:

[root@www ~]# ps v

PID TTY STAT TIME MAJFL TRS DRS RSS %MEM COMMAND

2542 tty1 Ss+ 0:00 0 8 1627 428 0.1 /sbin/mingetty tty1

2543 tty2 Ss+ 0:00 0 8 1631 428 0.1 /sbin/mingetty tty2

2547 tty3 Ss+ 0:00 0 8 1631 432 0.1 /sbin/mingetty tty3

2548 tty4 Ss+ 0:00 0 8 1627 428 0.1 /sbin/mingetty tty4

2574 tty5 Ss+ 0:00 0 8 1631 432 0.1 /sbin/mingetty tty5

2587 tty6 Ss+ 0:00 0 8 1627 424 0.1 /sbin/mingetty tty6

2657 tty7 Ss+ 1:18 12 1710 29981 7040 3.0 /usr/bin/Xorg :0 -br -a

2670 pts/2 Ss 0:01 2 682 6213 1496 0.6 -bash

3008 pts/4 Ss 0:00 2 682 6221 1472 0.6 /bin/bash

3029 pts/4 S+ 0:00 2 32 1783 548 0.2 ping 192.168.1.12

3030 pts/2 R+ 0:00 2 73 5134 768 0.3 ps v

然後如果想回收Ping命令的內存的話，使用命令：

代碼如下:

# Kill -9 3029

使用工具軟體

Memprof是一個非常具有吸引力且非常易於使用的軟體，它由Red Hat的Owen Talyor創立。這個工具是用於GNOME前端的Boehm-Demers-Weiser垃圾回收器。這個工具直接就可以執行，並且其工作起來無需對源代碼進行任何修改。在程序執行時，這個工具會以圖形化的方式顯示內存的使用情況。

相關介紹：Linux

嚴格來講，Linux這個詞本身只表示Linux內核，但人們已經習慣了用Linux來形容整個基於Linux內核，並且使用GNU 工程各種工具和資料庫的操作系統。

Linux擁有以下特性：類似於Unix的基本思想，支持完全免費與自由傳播，完全兼容POSIX1.0標准，支持多用戶、多任務、有著良好的界面、支持多種平台。Linux 能運行主要的UNIX工具軟體、應用程序和網路協議。它支持32位和64位硬體。Linux繼承了Unix以網路為核心的設計思想，是一個性能穩定的多用戶網路操作系統。

Linux有著許多不同的版本，但它們都使用了Linux內核。Linux可安裝在各種計算機硬體設備中，比如手機、平板電腦、路由器、視頻游戲控制台、台式計算機、大型機和超級計算機。

『叄』 Linux進程內存如何管理

內存管理的主要工作就是對物理內存進行組織，然後對物理內存的分配和回收。但是Linux引入了虛擬地址的概念。
虛擬地址的作用
如果用戶進程直接操作物理地址會有以下的壞處：
1、 用戶進程可以直接操作內核對應的內存，破壞內核運行。
2、 用戶進程也會破壞其他進程的運行
CPU中寄存器中存儲的是邏輯地址，需要進行映射才能轉化為對應的物理地址，然後獲取對應的內存。
通過引入邏輯地址，每個進程都擁有單獨的邏輯地址范圍。
當進程申請內存的時候，會為其分配邏輯地址和物理地址，並將邏輯地址和物理地址做一個映射。

『肆』 linux內存管理

直接man ps看手冊的解釋
rss RSS resident set size, the non-swapped physical memory that a task has used (in kiloBytes). (alias rssize, rsz).實際駐留"在內存中"的內存數. 不包括已經交換出去的代碼. 舉一個例子: 如果你有一個程序使用了100K內存, 操作系統交換出40K內存, 那麼RSS為60K. RSS還包括了與其它進程共享的內存區域. 這些區域通常用於libc庫等.
vsz VSZ virtual memory size of the process in KiB (1024-byte units). Device mappings are currently excluded; this is subject to change. (alias vsize).一個進程佔用的總的地址空間大小. 它包括了沒有映射到內存中的頁面。
size SZ approximate amount of swap space that would be required if the process were to dirty all writable pages and then be swapped out. This number is very rough!進程使用的地址空間, 如果進程映射了100M的內存, 進程的地址空間將報告為100M內存. 事實上, 這個大小不是一個程序實際使用的內存數.
sz SZ size in physical pages of the core image of the process. This includes text, data, and stack space. Device mappings are currently excluded; this is subject to change. See vsz and rss. 映射到內存中的頁面, 這些頁面僅由進程單獨使用. 這也是我們最關心地方: 進程實際佔用的內存數。

『伍』 如何熟悉Linux內存管理機制

Linux內存管理機制：
一 物理內存和虛擬內存
我們知道，直接從物理內存讀寫數據要比從硬碟讀寫數據要快的多，因此，我們希望所有數據的讀取和寫入都在內存完成，而內存是有限的，這樣就引出了物理內存與虛擬內存的概念。
物理內存就是系統硬體提供的內存大小，是真正的內存，相對於物理內存，在linux下還有一個虛擬內存的概念，虛擬內存就是為了滿足物理內存的不足
Linux的內存管理採取的是分頁存取機制，為了保證物理內存能得到充分的利用，內核會在適當的時候將物理內存中不經常使用的數據塊自動交換到虛擬內存中，而將經常使用的信息保留到物理內存。
要深入了解linux內存運行機制，需要知道下面提到的幾個方面：
Linux系統會不時的進行頁面交換操作，以保持盡可能多的空閑物理內存，即使並沒有什麼事情需要內存，Linux也會交換出暫時不用的內存頁面。這可以避免等待交換所需的時間。
Linux 進行頁面交換是有條件的，不是所有頁面在不用時都交換到虛擬內存，linux內核根據」最近最經常使用「演算法，僅僅將一些不經常使用的頁面文件交換到虛擬 內存，有時我們會看到這么一個現象：linux物理內存還有很多，但是交換空間也使用了很多。其實，這並不奇怪，例如，一個佔用很大內存的進程運行時，需 要耗費很多內存資源，此時就會有一些不常用頁面文件被交換到虛擬內存中，但後來這個佔用很多內存資源的進程結束並釋放了很多內存時，剛才被交換出去的頁面 文件並不會自動的交換進物理內存，除非有這個必要，那麼此刻系統物理內存就會空閑很多，同時交換空間也在被使用，就出現了剛才所說的現象了。關於這點，不 用擔心什麼，只要知道是怎麼一回事就可以了。
交換空間的頁面在使用時會首先被交換到物理內存，如果此時沒有足夠的物理內存來容納這些頁 面，它們又會被馬上交換出去，如此以來，虛擬內存中可能沒有足夠空間來存儲這些交換頁面，最終會導致linux出現假死機、服務異常等問題，linux雖 然可以在一段時間內自行恢復，但是恢復後的系統已經基本不可用了。
因此，合理規劃和設計Linux內存的使用，是非常重要的.
二 內存的監控
作為一名Linux系統管理員，監控內存的使用狀態是非常重要的，通過監控有助於了解內存的使用狀態，比如內存佔用是否正常，內存是否緊缺等等，監控內存最常使用的命令有free、top等

『陸』 Linux 內核的內存管理 - 概念

Concepts overview — The Linux Kernel documentation

Linux中的內存管理是一個復雜的系統，經過多年的發展，它包含越來越多的功能，以支持從 MMU-less microcontrollers 到 supercomputers 的各種系統。
沒有MMU內存管理的系統被稱為 nommu ，它值得寫一份專門的文檔進行描述。
盡管有些概念是相同的，這里我們假設MMU可用，CPU可以將虛擬地址轉換為物理地址。

計算機系統中的物理內存是有限資源，即便支持內存熱插拔，其可以安裝的內存也有限的。物理內存不一定必須是連續的；它可以作為一組不同的地址范圍被訪問。此外，不同的CPU架構，甚至同架構的不同實現對如何定義這些地址范圍都是不同的。

這使得直接處理物理內存異常復雜，為了避免這種復雜性，開發了 虛擬內存 （virtual memory） 的概念。

虛擬內存從應用軟體中抽象出物理內存的細節，只允許在物理內存中保留需要的信息 （demand paging） ，並提供一種機制來保護和控制進程之間的數據共享。

通過虛擬內存，每次內存訪問都訪問一個 虛擬地址 。當CPU對從系統內存讀取（或寫入）的指令進行解碼時，它將該指令中編碼的虛擬地址轉換為內存控制器可以理解的物理地址。

物理內存被切分為 頁幀 page frames 或 頁 pages 。頁的大小是基於架構的。一些架構允許從幾個支持的值中選擇頁大小；此選擇在內核編譯時設置到內核配置。

每個物理內存頁都可以映射為一個或多個 虛擬頁（virtual pages） 。映射關系描述在 頁表（page tables） 中，頁表將程序使用的虛擬地址轉換為物理內存地址。頁表以層次結構組織。

最底層的表包含軟體使用的實際內存頁的物理地址。較高層的表包含較低層表頁的物理地址。頂層表的指針駐留在寄存器中。
當CPU進行地址轉換的時候，它使用寄存器訪問頂級頁表。

虛擬地址的高位，用於頂級頁表的條目索引。然後，通過該條目訪問下級，下級的虛擬地址位又作為其下下級頁表的索引。虛擬地址的最低位定義實際頁內的偏移量。

地址轉換需要多次內存訪問，而內存訪問相對於CPU速度來說比較慢。為了避免在地址轉換上花費寶貴的處理器周期，CPU維護著一個稱為 TLB （Translation Lookaside Buffer）的用於地址轉換緩存（cache）。通常TLB是非常稀缺的資源，需要大內存工作應用程序會因為TLB未命中而影響性能。

很多現代CPU架構允許頁表的高層直接映射到內存頁。例如，x86架構，可以通過二級、三級頁表的條目映射2M甚至1G內存頁。在Linux中，這些內存頁稱為 大頁 （Huge） 。大頁的使用顯著降低了TLB的壓力，提高了TLB命中率，從而提高了系統的整體性能。

Linux提供兩種機制開啟使用大頁映射物理內存。

第一個是 HugeTLB 文件系統，即 hugetlbfs 。它是一個偽文件系統，使用RAM作為其存儲。在此文件系統中創建的文件，數據駐留在內存中，並使用大頁進行映射。
關於 HugeTLB Pages

另一個被稱為 THP (Transparent HugePages) ，後出的開啟大頁映射物理內存的機制。
與 hugetlbfs 不同，hugetlbfs要求用戶和/或系統管理員配置系統內存的哪些部分應該並可以被大頁映射；THP透明地管理這些映射並獲取名稱。
關於 Transparent Hugepage Support

通常，硬體對不同物理內存范圍的訪問方式有所限制。某些情況下，設備不能對所有可定址內存執行DMA。在其他情況下，物理內存的大小超過虛擬內存的最大可定址大小，需要採取特殊措施來訪問部分內存。還有些情況，物理內存的尺寸超過了虛擬內存的最大可定址尺寸，需要採取特殊措施來訪問部分內存。

Linux根據內存頁的使用情況，將其組合為多個 zones 。比如， ZONE_DMA 包含設備用於DMA的內存， ZONE_HIGHMEM 包含未永久映射到內核地址空間的內存， ZONE_NORMAL 包含正常定址內存頁。
內存zones的實際層次架構取決於硬體，因為並非所有架構都定義了所有的zones，不同平台對DMA的要求也不同。

多處理器機器很多基於 NUMA （Non-Uniform Memory Access system - 非統一內存訪問系統 ）架構。 在這樣的系統中，根據與處理器的「距離」，內存被安排成具有不同訪問延遲的 banks 。每個 bank 被稱為一個 node ，Linux為每個 node 構造一個獨立的內存管理子系統。 Node 有自己的zones集合、free&used頁面列表，以及各種統計計數器。
What is NUMA?
NUMA Memory Policy

物理內存易失，將數據放入內存的常見情況是讀取文件。讀取文件時，數據會放入 頁面緩存（page cache） ，可以在再次讀取時避免耗時的磁碟訪問。同樣，寫文件時，數據也會被放入 頁面緩存 ，並最終進入存儲設備。被寫入的頁被標記為 臟頁（dirty page） ，當Linux決定將其重用時，它會將更新的數據同步到設備上的文件。

匿名內存 anonymous memory 或 匿名映射 anonymous mappings 表示沒有後置文件系統的內存。這些映射是為程序的stack和heap隱式創建的，或調用mmap（2）顯式創建的。通常，匿名映射只定義允許程序訪問的虛擬內存區域。讀，會創建一個頁表條目，該條目引用一個填充有零的特殊物理頁。寫，則分配一個常規物理頁來保存寫入數據。該頁將被標記為臟頁，如果內核決定重用該頁，則臟頁將被交換出去 swapped out 。

縱貫整個系統生命周期，物理頁可用於存儲不同類型的數據。它可以是內核內部數據結構、設備驅動DMA緩沖區、讀取自文件系統的數據、用戶空間進程分配的內存等。
根據內存頁使用情況，Linux內存管理會區別處理。可以隨時釋放的頁面稱為 可回收（reclaimable） 頁面，因為它們把數據緩存到了其他地方（比如，硬碟），或者被swap out到硬碟上。
可回收頁最值得注意的是 頁面緩存 和 匿名頁面 。

在大多數情況下，存放內部內核數據的頁，和用作DMA緩沖區的頁無法重用，它們將保持現狀直到用戶釋放。這樣的被稱為 不可回收頁（unreclaimable） 。
然而，在特定情況下，即便是內核數據結構佔用的頁面也會被回收。
例如，文件系統元數據的緩存（in-memory）可以從存儲設備中重新讀取，因此，當系統存在內存壓力時，可以從主內存中丟棄它們。

釋放可回收物理內存頁並重新調整其用途的過程稱為 (surprise!) reclaim 。
Linux支持非同步或同步回收頁，取決於系統的狀態。
當系統負載不高時，大部分內存是空閑的，可以立即從空閑頁得到分配。
當系統負載提升後，空閑頁減少，當達到某個閾值（ low watermark ）時，內存分配請求將喚醒 kswapd 守護進程。它將以非同步的方式掃描內存頁。如果內存頁中的數據在其他地方也有，則釋放這些內存頁；或者退出內存到後置存儲設備（關聯 臟頁 ）。

隨著內存使用量進一步增加，並達到另一個閾值- min watermark -將觸發回收。這種情況下，分配將暫停，直到回收到足夠的內存頁。

當系統運行時，任務分配並釋放內存，內存變得碎片化。
雖然使用虛擬內存可以將分散的物理頁表示為虛擬連續范圍，但有時需要分配大的連續的物理內存。這種需求可能會提升。例如，當設備驅動需要一個大的DMA緩沖區時，或當THP分配一個大頁時。
內存地址壓縮（compaction ） 解決了碎片問題。
該機制將佔用的頁從內存zone的下部移動到上部的空閑頁。壓縮掃描完成後，zone開始處的空閑頁就並在一起了，分配較大的連續物理內存就可行了。

與 reclaim 類似， compaction 可以在 kcompactd守護進程中非同步進行，也可以作為內存分配請求的結果同步進行。

在存在負載的機器上，內存可能會耗盡，內核無法回收到足夠的內存以繼續運行。
為了保障系統的其餘部分，引入了 OOM killer 。

OOM killer 選擇犧牲一個任務來保障系統的總體健康。選定的任務被killed，以期望在它退出後釋放足夠的內存以繼續正常的操作。

『柒』 linux中的內存管理方法

區別於Windows的內存管理。主要特點是，無論物理內存有多大，Linux 都將其充份利用，將一些程序調用過的硬碟數據讀入內存，利用內存讀寫的高速特性來提高Linux系統的數據訪問性能。而Windows是只在需要內存時，才為應用程序分配內存，並不能充分利用大容量的內存空間。換句話說，每增加一些物理內存，Linux都將能充分利用起來，發揮了硬體投資帶來的好處，而Windows只將其做為擺設，即使增加8GB甚至更大。

『捌』 Linux對內存的管理, 以及page fault的概念

http://blog.scoutapp.com/articles/2015/04/10/understanding-page-faults-and-memory-swap-in-outs-when-should-you-worry

Linux allocates memory to processes by dividing the physical memory into pages, and then mapping those physical pages to the virtual memory needed by a process. It does this in conjunction with the Memory Management Unit (MMU) in the CPU. Typically a page will represent 4KB of physical memory. Statistics and flags are kept about each page to tell Linux the status of that chunk of memory.

These pages can be in different states. Some will be free (unused), some will be used to hold executable code, and some will be allocated as data for a program. There are lots of clever algorithms that manage this list of pages and control how they are cached, freed and loaded.

由MMU把物理內存分割成眾多個page，每個page是4KB. 然後把page映射到進程的虛擬內存空間. CPU在執行進程中的指令時， 以虛擬內存地址為基礎， 通過map映射， 進而找到物理內存中實際存放指令的地址.

Imagine a large running program on a Linux system. The program executable size could be measured in megabytes, but not all that code will run at once. Some of the code will only be run ring initialization or when a special condition occurs. Over time Linux can discard the pages of memory which hold executable code, if it thinks that they are no longer needed or will be used rarely. As a result not all of the machine code will be held in memory even when the program is running.

A program is executed by the CPU as it steps its way through the machine code. Each instruction is stored in physical memory at a certain address. The MMU handles the mapping from the physical address space to the virtual address space. At some point in the program's execution the CPU may need to address code which isn't in memory. The MMU knows that the page for that code isn't available (because Linux told it) and so the CPU will raise a page fault.

The name sounds more serious than it really is. It isn't an error, but rather a known event where the CPU is telling the operating system that it needs physical access to some more of the code.

Linux will respond by allocating more pages to the process, filling those pages with the code from the binary file, configuring the MMU, and telling the CPU to continue.

page fault, (嚴格說， 這里指的是major page fault)名字聽起來挺嚴重， 實際上， 並不是什麼"錯誤".
大致是這樣， 一個程序可能占幾Mb， 但並不是所有的指令都要同時運行， 有些是在初始化時運行， 有些是在特定條件下才會去運行. 因此linux並不會把所有的指令都從磁碟載入到page內存. 那麼當cpu在執行指令時， 如果發現下一條要執行的指令不在實際的物理內存page中時， CPU 就會 raise a page fault， 通知MMU把下面要執行的指令從磁碟載入到物理內存page中. 嚴格說， 這里指的是major fault. 還有另一種， 就是minor fault.

There is also a special case scenario called a minor page fault which occurs when the code (or data) needed is actually already in memory, but it isn't allocated to that process. For example, if a user is running a web browser then the memory pages with the browser executable code can be shared across multiple users (since the binary is read-only and can't change). If a second user starts the same web browser then Linux won't load all the binary again from disk, it will map the shareable pages from the first user and give the second process access to them. In other words, a minor page fault occurs only when the page list is updated (and the MMU configured) without actually needing to access the disk.

minor page fault, 指的就是CPU要執行的指令實際上已經在物理內存page中了， 只是這個page沒有被分配給當前進程, 這時CPU就會raise一個minor page fault, 讓MMU把這個page分配給當前進程使用, 因此minor page fault並不需要去訪問磁碟.

當物理內存不夠時，把一些物理內存page中的內容寫入到磁碟， 以騰出一些空閑的page出來供進程使用, 這就是swap out.(The process of writing pages out to disk to free memory is called swapping-out)
反過來說， 當CPU要執行的指令被發現已經swap out到了磁碟中， 這時就需要從磁碟把這些指令再swap in到物理內存中，讓CPU去執行.
swap in和swap out的操作都是比較耗時的, 頻繁的swap in和swap out操作很影響系統性能.

-------DONE.-----------

『玖』 linux怎麼管理空閑內存

內存組織層次：頁式管理—>(numa)—>node的zonelist—>32位DMA/NORMAL/HIGHMEM三個區，64位沒有高端內存—>夥伴分配系統—>slab/slub/slob
2.創建進程時內存分配：實際上只分配task_struct和thread_info的內存，而且很可能是從slab緩存中分配的，當進程運行時由於缺頁中斷，才由內核層具體分配物理內存並與vm掛接
3.malloc是c runtime中的實現，是上層庫的內存分配層，至於內核層的，可以看看__alloc_pages/alloc_pages/kmalloc(小內存直接slab，大內存還是alloc_pages)/vmalloc(alloc_page分配不連續的物理頁，映射到連續的vm_struct中的pages指針數組)/vmap/map_vm_area等幾個函數

『拾』 Linux進程內存如何管理

Linux系統提供了復雜的存儲管理系統，使得進程所能訪問的內存達到4GB。在Linux系統中，進程的4GB內存空間被分為兩個部分——用戶空間與內核空間。用戶空間的地址一般分布為0~3GB(即PAGE_OFFSET，在Ox86中它等於OxC0000000），這樣，剩下的3~4GB為內核空間，用戶進程通常只能訪問用戶空間的虛擬地址，不能訪問內核空間的虛擬地址。用戶進程只有通過系統調用（代表用戶進程在內核態執行）等方式才可以訪問到內核空間。每個進程的用戶空間都是完全獨立、互不相乾的，用戶進程各自有不同的頁表。而內核空間是由內核負責映射，它並不會跟著進程改變，是固定的。內核空間的虛擬地址到物理地址映射是被所有進程共享的，內核的虛擬空間獨立於其他程序。Linux中1GB的內核地址空間又被劃分為物理內存映射區、虛擬內存分配區、高端頁面映射區、專用頁面映射區和系統保留映射區這幾個區域。對於x86系統而言，一般情況下，物理內存映射區最大長度為896MB，系統的物理內存被順序映射在內核空間的這個區域中。當系統物理內存大於896MB時，超過物理內存映射區的那部分內存稱為高端內存（而未超過物理內存映射區的內存通常被稱為常規內存），內核在存取高端內存時必須將它們映射到高端頁面映射區。Linux保留內核空間最頂部FIXADDR_TOP~4GB的區域作為保留區。當系統物理內存超過4GB時，必須使用CPU的擴展分頁(PAE）模式所提供的64位頁目錄項才能存取到4GB以上的物理內存，這需要CPU的支持。加入了PAE功能的Intel Pentium Pro及以後的CPU允許內存最大可配置到64GB，它們具備36位物理地址空間定址能力。由此可見，對於32位的x86而言，在3~4GB之間的內核空間中，從低地址到高地址依次為:物理內存映射區隔離帶vmalloc虛擬內存分配器區隔離帶高端內存映射區專用頁面映射區保留區。