linuxc內存共享
❶ linux兩種共享內存的區別
持久性不同、文件反射方式不同。
1、持久性不同。sysvshm是持久化的,除非被一個進程明確的刪除,否則它始終存在於內存里,直到系統關機。mmap映射的內存在不是持久化的,假如進程關閉,映射隨即失效,除非事前已經映射到了一個文件上。
2、文件反射方式不同。前者用COW的方式,把文件映射到當前的進程空間,修改操作不會改動源文件。後者直接把文件映射到當前的進程空間,所有的修改會直接反應到文件的page cache,而後由內核自動同步到映射文件上。
❷ 探討一下 Linux 共享內存的 N 種方式
關於 Linux 共享內存,寫得最好的應該是宋寶華的 《世上最好的共享內存》 一文。
本文可以說是對這篇文章的學習筆記,順手練習了一下 rust libc —— shichaoyuan/learn_rust/linux-shmipc-demo
按照宋寶華的總結,當前有四種主流的共享內存方式:
前兩種方式比較符合傳統的用法,共享內存做為進程間通信的媒介。
第三種方式更像是通過傳遞內存「句柄」進行數據傳輸。
第四種方式是為設備間傳遞數據設計,避免內存拷貝,直接傳遞內存「句柄」。
這里嘗試了一下第二種和第三種方式。
這套 API 應該是最普遍的 —— shm_open + mmap,本質上來說 Aeron 也是用的這種方式(關於 Aeron 可以參考 我之前的文章 )。
看一下 glibc 中 shm_open 函數的實現就一清二楚了:
shm_open 函數就是在 /dev/shm 目錄下建文件,該目錄掛載為 tmpfs,至於 tmpfs 可以簡單理解為存儲介質是內存的一種文件系統,更准確的理解可以參考官方文檔 tmpfs.txt 。
然後通過 mmap 函數將 tmpfs 文件映射到用戶空間就可以隨意操作了。
優點:
這種方式最大的優勢在於共享的內存是有「實體」(也就是 tmpfs 中的文件)的,所以多個進程可以很容易通過文件名這個信息構建共享內存結構,特別適合把共享內存做為通信媒介的場景(例如 Aeron )。
缺點:
如果非要找一個缺點的話,可能是,文件本身獨立於進程的生命周期,在使用完畢後需要注意刪除文件(僅僅 close 是不行的),否則會一直佔用內存資源。
memfd_create 函數的作用是創建一個匿名的文件,返回對應的 fd,這個文件當然不普通,它存活在內存中。更准確的理解可以參考官方文檔 memfd_create(2) 。
直觀理解,memfd_create 與 shm_open 的作用是一樣的,都是創建共享內存實體,只是 memfd_create 創建的實體是匿名的,這就帶了一個問題:如何讓其它進程獲取到匿名的實體?shm_open 方式有具體的文件名,所以可以通過打開文件的方式獲取,那麼對於匿名的文件怎麼處理呢?
答案是:通過 Unix Domain Socket 傳遞 fd。
rust 的 UDS 實現:
rust 在 std 中已經提供了 UDS 的實現,但是關於傳遞 fd 的 send_vectored_with_ancillary 函數還屬於 nightly-only experimental API 階段。所以這里使用了一個三方 crate —— sendfd ,坦白說可以自己實現一下,使用 libc 構建好 SCM_RIGHTS 數據,sendmsg 出去即可,不過細節還是挺多,我這里就放棄了。
這套 API 設計更靈活,直接拓展了我的思路,本來還是受限於 Aeron 的用法,如果在這套 API 的加持下,是否可以通過傳遞數據包內存塊(fd)真正實現零拷貝呢?
優點:
靈活。
缺點:
無
❸ linux c 信號量與共享內存問題 多客戶端同時接受消息
假設伺服器的守護進程為D,D維護著一張廣播鏈表。假設鏈表元素為
struct BEntry{
pid_t pid; //伺服器子進程id
mqd_t mqd; //消息隊列描述符或者其他IPC手段也可以
};
每次有客戶端連上來,做fork的時候就把IPC手段建立好,不管用管道,或者消息,或者共享內存都大同小異,設客戶端連上來fork產生的伺服器子進程為Subn n為下標。
然後如果要廣播消息,就讓Subn通知D(可以用廣播鏈表裡的IPC手段,也可以另建),然後由D廣播消息給各個Subm, Subx,這些Sub進程再發給客戶端,這樣可以同時廣播,效率比較高。
❹ 怎麼在linux下C語言中將結構體寫入共享內存
隨便怎麼寫啊,共享內存獲取到不是給你一個內存地址,這里稱之為des么,直接通過des地址訪問啊,比如你要寫2個結構體進去,第一個Memcpy寫到des,第二個可以(Memcpy到des+結構體大小)的地址指向的內存上,
❺ Linux進程通信實驗(共享內存通信,接上篇)
這一篇記錄一下共享內存實驗,需要linux的共享內存機制有一定的了解,同時也需要了解POSIX信號量來實現進程間的同步。可以參考以下兩篇博客: https://blog.csdn.net/sicofield/article/details/10897091
https://blog.csdn.net/ljianhui/article/details/10253345
實驗要求:編寫sender和receiver程序,sender創建一個共享內存並等待用戶輸入,然後把輸入通過共享內存發送給receiver並等待,receiver收到後把消息顯示在屏幕上並用同樣方式向sender發送一個over,然後兩個程序結束運行。
這個實驗的難點主要在於共享內存的創建和撤銷(涉及到的步驟比較多,需要理解各步驟的功能),以及實現兩個進程間的相互等待(使用信號量來實現,這里使用了有名信號量)
實驗心得:學習理解了linux的共享內存機制以及POSIX信號量機制。
兩個實驗雖然加強了對linux一些機制的理解,但是感覺對linux的學習還不夠,需要繼續學習。
❻ c/c++ unix c/linux c 嵌入式 共享內存
錯誤比較不明顯,最要的錯誤是int shmid=shmget(key,4,IPC_CREAT|IPC_EXCL|0660);這一行之中的標志位IPC_EXCL確保創建新的唯一的共享內存,如果已經存在(也就是說之前使用了一次),他將返回錯誤,故將這個標志位去掉,其他的不是很嚴重,忽略的是沒有最後刪除共享內存,而只是分離了共享內存。修改代碼如下:
#include<stdio.h>
#include<stdlib.h>
#include<unistd.h>
#include<sys/ipc.h>
#include<sys/shm.h>
intmain()
{
key_tkey=ftok(".",100);
if(key==-1){
perror("ftok");
return-1;
}
intshmid=shmget(key,0,0);
if(shmid==-1)
{
perror("shmget");
exit(-1);
}
void*p=shmat(shmid,0,0);
if(p==(void*)-1)
{perror("shmat");
exit(-1);
}
int*pi=p;
printf("*pi=%d ",*pi);
shmdt(p);
}
#include<stdio.h>
#include<stdlib.h>
#include<unistd.h>
#include<sys/ipc.h>
#include<sys/shm.h>
intmain()
{
key_tkey=ftok(".",100);
if(key==-1){
perror("ftok");
return-1;
}
intshmid=shmget(key,4,IPC_CREAT|0660);
if(shmid==-1)
{
perror("shmget");
exit(-1);
}
void*p=shmat(shmid,0,0);
if(p==(void*)-1)
{perror("shmat");
exit(-1);
}
int*pi=p;
*pi=100;
shmdt(p);
}
❼ linux查看共享內存命令
共享內存查看
使用ipcs命令,不加如何參數時,會把共享內存、信號量、消息隊列的信息都列印出來,如果只想顯示共享內存信息,使用如下命令:
[root@localhost ~]# ipcs -m
------ Shared Memory Segments --------
key shmid owner perms bytes nattch status
0x00000000 1867776 root 600 393216 2 dest
0x00000000 1900545 root 600 393216 2 dest
0x00030021 1703938 zc 666 131104 1
0x0003802e 1736707 zc 666 131104 1
0x00030004 1769476 zc 666 131104 1
0x00038002 1802245 zc 666 131104 1
0x00000000 1933318 root 600 393216 2 dest
0x00000000 1966087 root 600 393216 2 dest
0x00000000 1998856 root 600 393216 2 dest
0x00000000 2031625 root 600 393216 2 dest
0x00000000 2064394 root 600 393216 2 dest
0x0014350c 2261003 cs 666 33554432 2
0x00000000 2129932 root 600 393216 2 dest
0x00000000 2162701 root 600 393216 2 dest
0x00143511 395837454 root 666 1048576 1
其中:
第一列就是共享內存的key;
第二列是共享內存的編號shmid;
第三列就是創建的用戶owner;
第四列就是許可權perms;
第五列為創建的大小bytes;
第六列為連接到共享內存的進程數nattach;
第七列是共享內存的狀態status。其中顯示「dest」表示共享內存段已經被刪除,但是還有用戶在使用它,當該段內存的mode欄位設置為SHM_DEST時就會顯示「dest」。當用戶調用shmctl的IPC_RMID時,內存先查看多少個進程與這個內存關聯著,如果關聯數為0,就會銷毀這段共享內存,否者設置這段內存的mod的mode位為SHM_DEST,如果所有進程都不用則刪除這段共享內存。
❽ Linux下使用能否使用C共享內存存放指針
共享內存指在多處理器的計算機系統中,可以被不同中央處理器(CPU)訪問的大容量內存。由於多個CPU需要快速訪問存儲器,這樣就要對存儲器進行緩存(Cache)。任何一個緩存的數據被更新後,由於其他處理器也可能要存取,共享內存就需要立即更新,否則不同的處理器可能用到不同的數據。共享內存 (shared memory)是 Unix下的多進程之間的通信方法 ,這種方法通常用於一個程序的多進程間通信,實際上多個程序間也可以通過共享內存來傳遞信息。
共享內存的創建
共享內存是存在於內核級別的一種資源,在shell中可以使用ipcs命令來查看當前系統IPC中的狀態,在文件系統/proc目錄下有對其描述的相應文件。函數shmget可以創建或打開一塊共享內存區。函數原型如下: #include <sys/shm.h> int shmget( key_t key, size_t size, int flag ); 函數中參數key用來變換成一個標識符,而且每一個IPC對象與一個key相對應。當新建一個共享內存段時,size參數為要請求的內存長度(以位元組為單位)。 注意:內核是以頁為單位分配內存,當size參數的值不是系統內存頁長的整數倍時,系統會分配給進程最小的可以滿足size長的頁數,但是最後一頁的剩餘部分內存是不可用的。 當打開一個內存段時,參數size的值為0。參數flag中的相應許可權位初始化ipc_perm結構體中的mode域。同時參數flag是函數行為參數,它指定一些當函數遇到阻塞或其他情況時應做出的反應。shmid_ds結構初始化如表14-4所示。
編輯本段初始化
shmid_ds結構數據 初 值 shmid_ds結構數據 初 值
shm_lpid 0 shm_dtime 0
shm_nattach 0 shm_ctime 系統當前值
shm_atime 0 shm_segsz 參數 size
下面實例演示了使用shmget函數創建一塊共享內存。程序中在調用shmget函數時指定key參數值為IPC_PRIVATE,這個參數的意義是創建一個新的共享內存區,當創建成功後使用shell命令ipcs來顯示目前系統下共享內存的狀態。命令參數-m為只顯示共享內存的狀態。 (1)在vi編輯器中編輯該程序如下: 程序清單14-8 create_shm.c 使用shmget函數創建共享內存 #include <sys/types.h> #include <sys/ipc.h> #include <sys/shm.h> #include <stdlib.h> #include <stdio.h> #define BUFSZ 4096 int main ( void ) printf ( "successfully created segment : %d \n", shm_id ) ; system( "ipcs -m"); /*調用ipcs命令查看IPC*/ exit( 0 ); } (2)在shell中編譯該程序如下: $gcc create_shm.c–o create_shm (3)在shell中運行該程序如下: $./ create_shm successfully created segment : 2752516 ------ Shared Memory Segments -------- key shmid owner perms bytes nattch status 0x00000000 65536 root 600 393216 2 dest 0x00000000 2654209 root 666 4096 0 0x0056a4d5 2686978 root 600 488 1 0x0056a4d6 2719747 root 600 131072 1 0x00000000 2752516 root 666 4096 0 上述程序中使用shmget函數來創建一段共享內存,並在結束前調用了系統shell命令ipcs –m來查看當前系統IPC狀態。
編輯本段共享內存的操作
由於共享內存這一特殊的資源類型,使它不同於普通的文件,因此,系統需要為其提供專有的操作函數,而這無疑增加了程序員開發的難度(需要記憶額外的專有函數)。使用函數shmctl可以對共享內存段進行多種操作,其函數原型如下: #include <sys/shm.h> int shmctl( int shm_id, int cmd, struct shmid_ds *buf ); 函數中參數shm_id為所要操作的共享內存段的標識符,struct shmid_ds型指針參數buf的作用與參數cmd的值相關,參數cmd指明了所要進行的操作,其解釋如表14-5所示。
編輯本段cmd參數詳解
cmd的值 意 義
IPC_STAT 取shm_id所指向內存共享段的shmid_ds結構,對參數buf指向的結構賦值
IPC_SET 使用buf指向的結構對sh_mid段的相關結構賦值,只對以下幾個域有作用,shm_perm. uid shm_perm.gid以及shm_perm.mode 注意此命令只有具備以下條件的進程才可以請求: 1.進程的用戶ID等於shm_perm.cuid或者等於shm_perm.uid 2.超級用戶特權進程
IPC_RMID 刪除shm_id所指向的共享內存段,只有當shmid_ds結構的shm_nattch域為零時,才會真正執行刪除命令,否則不會刪除該段 注意此命令的請求規則與IPC_SET命令相同
SHM_LOCK 鎖定共享內存段在內存,此命令只能由超級用戶請求
SHM_UNLOCK 對共享內存段解鎖,此命令只能由超級用戶請求
使用函數shmat將一個存在的共享內存段連接到本進程空間,其函數原型如下: #include <sys/shm.h> void *shmat( int shm_id, const void *addr, int flag ); 函數中參數shm_id指定要引入的共享內存,參數addr與flag組合說明要引入的地址值,通常只有2種用法,addr為0,表明讓內核來決定第1個可以引入的位置。addr非零,並且flag中指定SHM_RND,則此段引入到addr所指向的位置(此操作不推薦使用,因為不會只對一種硬體上運行應用程序,為了程序的通用性推薦使用第1種方法),在flag參數中可以指定要引入的方式(讀寫方式指定)。 %說明:函數成功執行返回值為實際引入的地址,失敗返回–1。shmat函數成功執行會將shm_id段的shmid_ds結構的shm_nattch計數器的值加1。 當對共享內存段操作結束時,應調用shmdt函數,作用是將指定的共享內存段從當前進程空間中脫離出去。函數原型如下: #include <sys/shm.h> int shmdt( void *addr); 參數addr是調用shmat函數的返回值,函數執行成功返回0,並將該共享內存的shmid_ds結構的shm_nattch計數器減1,失敗返回–1。 下面實例演示了操作共享內存段的流程。程序的開始部分先檢測用戶是否有輸入,如出錯則列印該命令的使用幫助。接下來從命令行讀取將要引入的共享內存ID,使用shmat函數引入該共享內存,並在分離該內存之前睡眠3秒以方便查看系統IPC狀態。 (1)在vi編輯器中編輯該程序如下: 程序清單14-9 opr_shm.c 操作共享內存段 #include <sys/types.h> #include <sys/ipc.h> #include <sys/shm.h> #include <stdlib.h> #include <stdio.h> int main ( int argc, char *argv[] ) shm_id = atoi(argv[1]); /*得到要引入的共享內存段*/ /*引入共享內存段,由內核選擇要引入的位置*/ if ( (shm_buf = shmat( shm_id, 0, 0)) < (char *) 0 ) printf ( " segment attached at %p\n", shm_buf ); /*輸出導入的位置*/ system("ipcs -m"); sleep(3); /* 休眠 */ if ( (shmdt(shm_buf)) < 0 ) printf ( "segment detached \n" ); system ( "ipcs -m " ); /*再次查看系統IPC狀態*/ exit ( 0 ); } (2)在shell中編譯該程序如下: $gcc opr_shm.c–o opr_shm (3)在shell中運行該程序如下: $./ opr_shm 2752516 segment attached at 0xb7f29000 ------ Shared Memory Segments -------- key shmid owner perms bytes nattch status 0x00000000 65536 root 600 393216 2 dest 0x00000000 2654209 root 666 4096 0 0x0056a4d5 2686978 root 600 488 1 0x0056a4d6 2719747 root 600 131072 1 0x00000000 2752516 root 666 4096 1 segment detached ------ Shared Memory Segments -------- key shmid owner perms bytes nattch status 0x00000000 65536 root 600 393216 2 dest 0x00000000 2654209 root 666 4096 0 0x0056a4d5 2686978 root 600 488 1 0x0056a4d6 2719747 root 600 131072 1 0x00000000 2752516 root 666 4096 0 上述程序中從命令行中讀取所要引入的共享內存ID,並使用shmat函數引入該內存到當前的進程空間中。注意在使用shmat函數時,將參數addr的值設為0,所表達的意義是由內核來決定該共享內存在當前進程中的位置。由於在編程的過程中,很少會針對某一個特定的硬體或系統編程,所以由內核決定引入位置也就是shmat推薦的使用方式。在導入後使用shell命令ipcs –m來顯示當前的系統IPC的狀態,可以看出輸出信息中nattch欄位為該共享內存時的引用值,最後使用shmdt函數分離該共享內存並列印系統IPC的狀態。
編輯本段共享內存使用注意事項
共享內存相比其他幾種方式有著更方便的數據控制能力,數據在讀寫過程中會更透明。當成功導入一塊共享內存後,它只是相當於一個字元串指針來指向一塊內存,在當前進程下用戶可以隨意的訪問。缺點是,數據寫入進程或數據讀出進程中,需要附加的數據結構控制,共享內存通信數據結構示意如圖14-9所示。
編輯本段結構示意
%說明:圖中兩個進程同時遵循一定的規則來讀寫該內存。同時,在多進程同步或互斥上也需要附加的代碼來輔助共享內存機制。 在共享內存段中都是以字元串的默認結束符為一條信息的結尾。每個進程在讀寫時都遵守這個規則,就不會破壞數據的完整性。
另外,站長團上有產品團購,便宜有保證
❾ 如下Linux c內存共享例子,為什麼運行第二個main輸出的時候會出段錯誤
If shmflg specifies both IPC_CREAT and IPC_EXCL and a shared memory
segment already exists for key, then shmget() fails with errno set to
EEXIST.
IPC_CREAT to create a new segment. If this flag is not used, then
shmget() will find the segment associated with key and
check to see if the user has permission to access the seg-
ment.
IPC_EXCL used with IPC_CREAT to ensure failure if the segment
already exists.
所以,你第二個程序,在調用shmget時,就失敗了。你應該判斷一下shmget的返回值,-1表示失敗。
解決辦法是不同時指定 IPC_CREAT 和 IPC_EXCL