並發訪問控制
1. 如何處理大量數據並發操作
處理大量數據並發操作可以採用如下幾種方法:
1.使用緩存：使用程序直接保存到內存中。或者使用緩存框架: 用一個特定的類型值來保存，以區別空數據和未緩存的兩種狀態。
2.資料庫優化：表結構優化;sql語句優化，語法優化和處理邏輯優化;分區;分表;索引優化;使用存儲過程代替直接操作。
3.分離活躍數據:可以分為活躍用戶和不活躍用戶。
4.批量讀取和延遲修改: 高並發情況可以將多個查詢請求合並到一個。高並發且頻繁修改的可以暫存緩存中。
5.讀寫分離: 資料庫伺服器配置多個，配置主從資料庫。寫用主資料庫，讀用從資料庫。
6.分布式資料庫: 將不同的表存放到不同的資料庫中，然後再放到不同的伺服器中。
7.NoSql和Hadoop: NoSql，not only SQL。沒有關系型資料庫那麼多限制，比較靈活高效。Hadoop，將一個表中的數據分層多塊，保存到多個節點（分布式）。每一塊數據都有多個節點保存（集群）。集群可以並行處理相同的數據，還可以保證數據的完整性。
拓展資料:
大數據（big data），指無法在一定時間范圍內用常規軟體工具進行捕捉、管理和處理的數據集合，是需要新處理模式才能具有更強的決策力、洞察發現力和流程優化能力的海量、高增長率和多樣化的信息資產。
在維克托·邁爾-舍恩伯格及肯尼斯·庫克耶編寫的《大數據時代》中大數據指不用隨機分析法（抽樣調查）這樣捷徑，而採用所有數據進行分析處理。大數據的5V特點（IBM提出）：Volume（大量）、Velocity（高速）、Variety（多樣）、Value（低價值密度）、Veracity（真實性）。
2. 並發控制問題本質上是計算機的什麼問題
並發控制是一種用於控制多個進程或者任務訪問共享資源的機制，用於保證並發訪問的正確執行。保證一個進程或用戶的工作不會對另一個進程或用戶的工作產生不合理的影響。
3. 控制並發訪問的主要方法
選B
並發控制的主要技術有封鎖、時間戳、和樂觀控製法，商用的DBMS一般都採用封鎖方法。
封鎖是實現並發控制的一個非常重要的技術。
所謂封鎖就是事務T在對某個數據對象例如表、記錄等操作之前，先向系統發出請求，對其加鎖。
就解釋這么些，希望對你有所幫助，我並不是為了分數來的，我是為了感受這種大家互相提問以及解答從而達到學習的方式。。。
4. 項目中怎麼控制多線程高並發訪問
1、首先明確信號量Semaphore的用法，然後新建一個項目，new-->file-->class，隨意命名，此處命名為semaphoreDemo。
5. 並發控制的概念和解決方法
學資料庫的時候了解了一些關於並發控制的東西.
舉例說就是多個用戶同時修改某個文件.
由於修改的先後順序不同.導致文件存取異常.
例如 聯網售票系統 如果原有的兩張票 被四個售票台同時賣出去了.
後果.....
解決辦法就是需要設制訪問獨占,區分訪問者的先後順序吧.
保證同一時間只有一個用戶能夠存取....
再具體的我就不清楚拉~ 我也是學習中~~~~呵呵
關注~~
6. 請用技術語言介紹下線程同步，並發操作怎麼控制
現在流行的進程線程同步互斥的控制機制，其實是由最原始最基本的4種方法實現的。由這4種方法組合優化就有了.Net和Java下靈活多變的，編程簡便的線程進程式控制制手段。
這4種方法具體定義如下 在《操作系統教程》ISBN 7-5053-6193-7 一書中可以找到更加詳細的解釋
1、臨界區:通過對多線程的串列化來訪問公共資源或一段代碼，速度快，適合控制數據訪問。
2、互斥量:為協調共同對一個共享資源的單獨訪問而設計的。
3、信號量:為控制一個具有有限數量用戶資源而設計。
4、事 件:用來通知線程有一些事件已發生，從而啟動後繼任務的開始。
臨界區（Critical Section）
保證在某一時刻只有一個線程能訪問數據的簡便辦法。在任意時刻只允許一個線程對共享資源進行訪問。如果有多個線程試圖同時訪問臨界區，那麼在有一個線程進入後其他所有試圖訪問此臨界區的線程將被掛起，並一直持續到進入臨界區的線程離開。臨界區在被釋放後，其他線程可以繼續搶占，並以此達到用原子方式操作共享資源的目的。
臨界區包含兩個操作原語：
EnterCriticalSection（） 進入臨界區
LeaveCriticalSection（） 離開臨界區
EnterCriticalSection（）語句執行後代碼將進入臨界區以後無論發生什麼，必須確保與之匹配的LeaveCriticalSection（）都能夠被執行到。否則臨界區保護的共享資源將永遠不會被釋放。雖然臨界區同步速度很快，但卻只能用來同步本進程內的線程，而不可用來同步多個進程中的線程。
MFC提供了很多功能完備的類，我用MFC實現了臨界區。MFC為臨界區提供有一個CCriticalSection類，使用該類進行線程同步處理是非常簡單的。只需在線程函數中用CCriticalSection類成員函數Lock（）和UnLock（）標定出被保護代碼片段即可。Lock（）後代碼用到的資源自動被視為臨界區內的資源被保護。UnLock後別的線程才能訪問這些資源。
//CriticalSection
CCriticalSection global_CriticalSection;
// 共享資源
char global_Array[256];
//初始化共享資源
void InitializeArray()
{
for(int i = 0;i<256;i++)
{
global_Array[i]=I;
}
}
//寫線程
UINT Global_ThreadWrite(LPVOID pParam)
{
CEdit *ptr=(CEdit *)pParam;
ptr->SetWindowText("");
//進入臨界區
global_CriticalSection.Lock();
for(int i = 0;i<256;i++)
{
global_Array[i]=W;
ptr->SetWindowText(global_Array);
Sleep(10);
}
//離開臨界區
global_CriticalSection.Unlock();
return 0;
}
//刪除線程
UINT Global_ThreadDelete(LPVOID pParam)
{
CEdit *ptr=(CEdit *)pParam;
ptr->SetWindowText("");
//進入臨界區
global_CriticalSection.Lock();
for(int i = 0;i<256;i++)
{
global_Array[i]=D;
ptr->SetWindowText(global_Array);
Sleep(10);
}
//離開臨界區
global_CriticalSection.Unlock();
return 0;
}
//創建線程並啟動線程
void CCriticalSectionsDlg::OnBnClickedButtonLock()
{
//Start the first Thread
CWinThread *ptrWrite = AfxBeginThread(Global_ThreadWrite,
&m_Write,
THREAD_PRIORITY_NORMAL,
0,
CREATE_SUSPENDED);
ptrWrite->ResumeThread();
//Start the second Thread
CWinThread *ptrDelete = AfxBeginThread(Global_ThreadDelete,
&m_Delete,
THREAD_PRIORITY_NORMAL,
0,
CREATE_SUSPENDED);
ptrDelete->ResumeThread();
}
在測試程序中，Lock UnLock兩個按鈕分別實現，在有臨界區保護共享資源的執行狀態，和沒有臨界區保護共享資源的執行狀態。
程序運行結果
互斥量（Mutex）
互斥量跟臨界區很相似，只有擁有互斥對象的線程才具有訪問資源的許可權，由於互斥對象只有一個，因此就決定了任何情況下此共享資源都不會同時被多個線程所訪問。當前占據資源的線程在任務處理完後應將擁有的互斥對象交出，以便其他線程在獲得後得以訪問資源。互斥量比臨界區復雜。因為使用互斥不僅僅能夠在同一應用程序不同線程中實現資源的安全共享，而且可以在不同應用程序的線程之間實現對資源的安全共享。
互斥量包含的幾個操作原語：
CreateMutex（） 創建一個互斥量
OpenMutex（） 打開一個互斥量
ReleaseMutex（） 釋放互斥量
WaitForMultipleObjects（） 等待互斥量對象
同樣MFC為互斥量提供有一個CMutex類。使用CMutex類實現互斥量操作非常簡單，但是要特別注意對CMutex的構造函數的調用
CMutex( BOOL bInitiallyOwn = FALSE, LPCTSTR lpszName = NULL, LPSECURITY_ATTRIBUTES lpsaAttribute = NULL)
不用的參數不能亂填，亂填會出現一些意想不到的運行結果。
//創建互斥量
CMutex global_Mutex(0,0,0);
// 共享資源
char global_Array[256];
void InitializeArray()
{
for(int i = 0;i<256;i++)
{
global_Array[i]=I;
}
}
UINT Global_ThreadWrite(LPVOID pParam)
{
CEdit *ptr=(CEdit *)pParam;
ptr->SetWindowText("");
global_Mutex.Lock();
for(int i = 0;i<256;i++)
{
global_Array[i]=W;
ptr->SetWindowText(global_Array);
Sleep(10);
}
global_Mutex.Unlock();
return 0;
}
UINT Global_ThreadDelete(LPVOID pParam)
{
CEdit *ptr=(CEdit *)pParam;
ptr->SetWindowText("");
global_Mutex.Lock();
for(int i = 0;i<256;i++)
{
global_Array[i]=D;
ptr->SetWindowText(global_Array);
Sleep(10);
}
global_Mutex.Unlock();
return 0;
}
同樣在測試程序中，Lock UnLock兩個按鈕分別實現，在有互斥量保護共享資源的執行狀態，和沒有互斥量保護共享資源的執行狀態。
程序運行結果
信號量（Semaphores）
信號量對象對線程的同步方式與前面幾種方法不同，信號允許多個線程同時使用共享資源，這與操作系統中的PV操作相同。它指出了同時訪問共享資源的線程最大數目。它允許多個線程在同一時刻訪問同一資源，但是需要限制在同一時刻訪問此資源的最大線程數目。在用CreateSemaphore（）創建信號量時即要同時指出允許的最大資源計數和當前可用資源計數。一般是將當前可用資源計數設置為最大資源計數，每增加一個線程對共享資源的訪問，當前可用資源計數就會減1，只要當前可用資源計數是大於0的，就可以發出信號量信號。但是當前可用計數減小到0時則說明當前佔用資源的線程數已經達到了所允許的最大數目，不能在允許其他線程的進入，此時的信號量信號將無法發出。線程在處理完共享資源後，應在離開的同時通過ReleaseSemaphore（）函數將當前可用資源計數加1。在任何時候當前可用資源計數決不可能大於最大資源計數。
PV操作及信號量的概念都是由荷蘭科學家E.W.Dijkstra提出的。信號量S是一個整數，S大於等於零時代表可供並發進程使用的資源實體數，但S小於零時則表示正在等待使用共享資源的進程數。
P操作 申請資源：
（1）S減1；
（2）若S減1後仍大於等於零，則進程繼續執行；
（3）若S減1後小於零，則該進程被阻塞後進入與該信號相對應的隊列中，然後轉入進程調度。
V操作 釋放資源：
（1）S加1；
（2）若相加結果大於零，則進程繼續執行；
（3）若相加結果小於等於零，則從該信號的等待隊列中喚醒一個等待進程，然後再返回原進程繼續執行或轉入進程調度。
信號量包含的幾個操作原語：
CreateSemaphore（） 創建一個信號量
OpenSemaphore（） 打開一個信號量
ReleaseSemaphore（） 釋放信號量
WaitForSingleObject（） 等待信號量
//信號量句柄
HANDLE global_Semephore;
// 共享資源
char global_Array[256];
void InitializeArray()
{
for(int i = 0;i<256;i++)
{
global_Array[i]=I;
}
}
//線程1
UINT Global_ThreadOne(LPVOID pParam)
{
CEdit *ptr=(CEdit *)pParam;
ptr->SetWindowText("");
//等待對共享資源請求被通過 等於 P操作
WaitForSingleObject(global_Semephore, INFINITE);
for(int i = 0;i<256;i++)
{
global_Array[i]=O;
ptr->SetWindowText(global_Array);
Sleep(10);
}
//釋放共享資源 等於 V操作
ReleaseSemaphore(global_Semephore, 1, NULL);
return 0;
}
UINT Global_ThreadTwo(LPVOID pParam)
{
CEdit *ptr=(CEdit *)pParam;
ptr->SetWindowText("");
WaitForSingleObject(global_Semephore, INFINITE);
for(int i = 0;i<256;i++)
{
global_Array[i]=T;
ptr->SetWindowText(global_Array);
Sleep(10);
}
ReleaseSemaphore(global_Semephore, 1, NULL);
return 0;
}
UINT Global_ThreadThree(LPVOID pParam)
{
CEdit *ptr=(CEdit *)pParam;
ptr->SetWindowText("");
WaitForSingleObject(global_Semephore, INFINITE);
for(int i = 0;i<256;i++)
{
global_Array[i]=H;
ptr->SetWindowText(global_Array);
Sleep(10);
}
ReleaseSemaphore(global_Semephore, 1, NULL);
return 0;
}
void CSemaphoreDlg::OnBnClickedButtonOne()
{
//設置信號量 1 個資源 1同時只可以有一個線程訪問
global_Semephore= CreateSemaphore(NULL, 1, 1, NULL);
this->StartThread();
// TODO: Add your control notification handler code here
}
void CSemaphoreDlg::OnBnClickedButtonTwo()
{
//設置信號量 2 個資源 2 同時只可以有兩個線程訪問
global_Semephore= CreateSemaphore(NULL, 2, 2, NULL);
this->StartThread();
// TODO: Add your control notification handler code here
}
void CSemaphoreDlg::OnBnClickedButtonThree()
{
//設置信號量 3 個資源 3 同時只可以有三個線程訪問
global_Semephore= CreateSemaphore(NULL, 3, 3, NULL);
this->StartThread();
// TODO: Add your control notification handler code here
}
信號量的使用特點使其更適用於對Socket（套接字）程序中線程的同步。例如，網路上的HTTP伺服器要對同一時間內訪問同一頁面的用戶數加以限制，這時可以為每一個用戶對伺服器的頁面請求設置一個線程，而頁面則是待保護的共享資源，通過使用信號量對線程的同步作用可以確保在任一時刻無論有多少用戶對某一頁面進行訪問，只有不大於設定的最大用戶數目的線程能夠進行訪問，而其他的訪問企圖則被掛起，只有在有用戶退出對此頁面的訪問後才有可能進入。
程序運行結果
事件（Event）
事件對象也可以通過通知操作的方式來保持線程的同步。並且可以實現不同進程中的線程同步操作。
信號量包含的幾個操作原語：
CreateEvent（） 創建一個信號量
OpenEvent（） 打開一個事件
SetEvent（） 回置事件
WaitForSingleObject（） 等待一個事件
WaitForMultipleObjects（） 等待多個事件
WaitForMultipleObjects 函數原型：
WaitForMultipleObjects（
IN DWORD nCount, // 等待句柄數
IN CONST HANDLE *lpHandles, //指向句柄數組
IN BOOL bWaitAll, //是否完全等待標志
IN DWORD dwMilliseconds //等待時間
）
參數nCount指定了要等待的內核對象的數目，存放這些內核對象的數組由lpHandles來指向。fWaitAll對指定的這nCount個內核對象的兩種等待方式進行了指定，為TRUE時當所有對象都被通知時函數才會返回，為FALSE則只要其中任何一個得到通知就可以返回。dwMilliseconds在這里的作用與在WaitForSingleObject（）中的作用是完全一致的。如果等待超時，函數將返回WAIT_TIMEOUT。
//事件數組
HANDLE global_Events[2];
// 共享資源
char global_Array[256];
void InitializeArray()
{
for(int i = 0;i<256;i++)
{
global_Ar
ray[i]=I;
}
}
UINT Global_ThreadOne(LPVOID pParam)
{
CEdit *ptr=(CEdit *)pParam;
ptr->SetWindowText("");
for(int i = 0;i<256;i++)
{
global_Array[i]=O;
ptr->SetWindowText(global_Array);
Sleep(10);
}
//回置事件
SetEvent(global_Events[0]);
return 0;
}
UINT Global_ThreadTwo(LPVOID pParam)
{
CEdit *ptr=(CEdit *)pParam;
ptr->SetWindowText("");
for(int i = 0;i<256;i++)
{
global_Array[i]=T;
ptr->SetWindowText(global_Array);
Sleep(10);
}
//回置事件
SetEvent(global_Events[1]);
return 0;
}
UINT Global_ThreadThree(LPVOID pParam)
{
CEdit *ptr=(CEdit *)pParam;
ptr->SetWindowText("");
//等待兩個事件都被回置
WaitForMultipleObjects(2, global_Events, true, INFINITE);
for(int i = 0;i<256;i++)
{
global_Array[i]=H;
ptr->SetWindowText(global_Array);
Sleep(10);
}
return 0;
}
void CEventDlg::OnBnClickedButtonStart()
{
for (int i = 0; i < 2; i++)
{
//實例化事件
global_Events[i]=CreateEvent(NULL,false,false,NULL);
}
CWinThread *ptrOne = AfxBeginThread(Global_ThreadOne,
&m_One,
THREAD_PRIORITY_NORMAL,
0,
CREATE_SUSPENDED);
ptrOne->ResumeThread();
//Start the second Thread
CWinThread *ptrTwo = AfxBeginThread(Global_ThreadTwo,
&m_Two,
THREAD_PRIORITY_NORMAL,
0,
CREATE_SUSPENDED);
ptrTwo->ResumeThread();
//Start the Third Thread
CWinThread *ptrThree = AfxBeginThread(Global_ThreadThree,
&m_Three,
THREAD_PRIORITY_NORMAL,
0,
CREATE_SUSPENDED);
ptrThree->ResumeThread();
// TODO: Add your control notification handler code here
}
事件可以實現不同進程中的線程同步操作，並且可以方便的實現多個線程的優先比較等待操作，例如寫多個WaitForSingleObject來代替WaitForMultipleObjects從而使編程更加靈活。
程序運行結果
總結：
1． 互斥量與臨界區的作用非常相似，但互斥量是可以命名的，也就是說它可以跨越進程使用。所以創建互斥量需要的資源更多，所以如果只為了在進程內部是用的話使用臨界區會帶來速度上的優勢並能夠減少資源佔用量。因為互斥量是跨進程的互斥量一旦被創建，就可以通過名字打開它。
2． 互斥量（Mutex），信號燈（Semaphore），事件（Event）都可以被跨越進程使用來進行同步數據操作，而其他的對象與數據同步操作無關，但對於進程和線程來講，如果進程和線程在運行狀態則為無信號狀態，在退出後為有信號狀態。所以可以使用WaitForSingleObject來等待進程和線程退出。
3． 通過互斥量可以指定資源被獨占的方式使用，但如果有下面一種情況通過互斥量就無法處理，比如現在一位用戶購買了一份三個並發訪問許可的資料庫系統，可以根據用戶購買的訪問許可數量來決定有多少個線程/進程能同時進行資料庫操作，這時候如果利用互斥量就沒有辦法完成這個要求，信號燈對象可以說是一種資源計數器。
疑問：
在 Linux 上，有兩類信號量。第一類是由 semget/semop/semctl API 定義的信號量的 SVR4（System V Release 4）版本。第二類是由 sem_init/sem_wait/sem_post/interfaces 定義的 POSIX 介面。 它們具有相同的功能，但介面不同。 在2.4.x內核中，信號量數據結構定義為(include/asm/semaphore.h)。
但是在Linux中沒有對互斥量的具體提法，只是看到說互斥量是信號量的一種特殊情況，當信號量的最大資源數=1同時可以訪問共享資源的線程數=1 就是互斥量了。臨界區的定義也比較模糊。沒有找到用事件處理線程/進程同步互斥的操作的相關資料。在Linux下用GCC/G++編譯標准C++代碼，信號量的操作幾乎和Windows下VC7的編程一樣，不用改多少就順利移植了，可是互斥量，事件，臨界區的Linux移植沒有成功。
請採納。
7. 多線程如何並發訪問SQLite資料庫
SQLite作為一款小型的嵌入式資料庫，本身沒有提供復雜的鎖定機制，無法內部管理多路並發下的數據操作同步問題，更談不上優化，所以涉及到多路並發的情況，需要外部進行讀寫鎖控制，否則SQLite會返回SQLITE_BUSY錯誤，以駁回相關請求。
返回SQLITE_BUSY主要有以下幾種情況：
1。當有寫操作時，其他讀操作會被駁回
2。當有寫操作時，其他寫操作會被駁回
3。當開啟事務時，在提交事務之前，其他寫操作會被駁回
4。當開啟事務時，在提交事務之前，其他事務請求會被駁回
5。當有讀操作時，其他寫操作會被駁回
6。讀操作之間能夠並發執行
基於以上討論，可以看出這是一個典型的讀者寫者問題，讀操作要能夠共享，寫操作要互斥，讀寫之間也要互斥
可以設計如下的方案解決並發操作資料庫被鎖定的問題，同時保證讀操作能夠保持最大並發
1。採用互斥鎖控制資料庫寫操作
2。只有擁有互斥鎖的線程才能夠操作資料庫
3。寫操作必須獨立擁有互斥鎖
4。讀操作必須能夠共享互斥鎖，即在第一次讀取的時候獲取互斥鎖，最後一次讀取的時候釋放互斥鎖
8. mysql鎖能控制並發嗎
可以的，mysql中典型的是mvcc協議：
MVCC是為了實現資料庫的並發控制而設計的一種協議。從直觀理解上來看，要實現資料庫的並發訪問控制，最簡單的做法就是加鎖訪問，即讀的時候不能寫（允許多個西線程同時讀，即共享鎖，S鎖），寫的時候不能讀（一次最多隻能有一個線程對同一份數據進行寫操作，即排它鎖，X鎖）。這樣的加鎖訪問，其實並不算是真正的並發，或者說它只能實現並發的讀，因為它最終實現的是讀寫串列化，這樣就大大降低了資料庫的讀寫性能。加鎖訪問其實就是和MVCC相對的LBCC，即基於鎖的並發控制（Lock-Based Concurrent Control），是四種隔離級別中級別最高的Serialize隔離級別。為了提出比LBCC更優越的並發性能方法，MVCC便應運而生。
9. 為什麼資料庫系統要採用並發控制
並發（concurrent）和並行（parallel）這兩個概念，在資料庫系統的資料中經常出現，然而有關它們的定義和區別卻沒有明確的說法。這里，我們根據這兩個概念在資料中的使用，對它們的不同做一個說明。
並發是指多個任務的同時執行，任務與任務之間沒有聯系。由於資料庫系統要同時為許多用戶提供服務，每個用戶都可以發出自己的訪問請求，一個請求就是一個任務。在一個時間點，資料庫系統可能要同時處理多個任務。因此，資料庫系統一定要具備並發處理能力。
並行是指將一個任務劃分為多個子任務，這些子任務同時執行。在所有子任務處理完成後，將它們的結果進行合並，就得到該任務的最終處理結果。在資料庫系統中，如果要執行一個大的數據查詢，為了提高速度、降低響應時間，用戶可以通過系統配置或者在命令中，要求對該大數據量查詢進行並行處理，將該查詢劃分成多個子查詢。這些子查詢同時執行，最後系統將所有子查詢的處理結果進行合並，作為該查詢處理的最終結果。現有的大型資料庫系統都支持並行處理。
需要說明的是，並發和並行與資料庫系統採用多進程還是多線程體系結構無關。對採用多進程結構的資料庫系統，所有的任務、子任務通過進程來處理；而對採用多線程結構的資料庫系統，這些工作是由線程來完成。
資料庫系統的並發控制，涉及到任務的調度、數據的一致性及可靠性等，而資料庫系統的並行處理，主要涉及任務的處理速度、系統性能等方面。