python多進程變數

Ⅰ python多線程全局變數和鎖

1.python中數據類型，int,float,復數，字元，元組，做全局變數時需要在函數裡面用global申明變數，才能對變數進行操作。

而，對象，列表，詞典，不需要聲明，直接就是全局的。

2.線程鎖mutex=threading.Lock()

創建後就是全局的。線程調用函數可以直接在函數中使用。

mutex.acquire()開啟鎖

mutex=release()關閉鎖

要注意，死鎖的情況發生。

注意運行效率的變化:

正常1秒，完成56997921

加鎖之後，1秒只運行了531187，相差10倍多。

3.繼承.threading.Thread的類，無法調用__init__函數，無法在創建對象時初始化新建的屬性。

4.線程在cpu的執行，有隨機性

5. 新建線程時，需要傳參數時，args是一個元組，如果只有一個參數，一定後面要加一個,符號。不能只有一個參數否則線程會報創建參數錯誤。threading.Thread(target=fuc,args=(arg,))

Ⅱ python 多進程

基於官方文檔：
https://docs.python.org/zh-cn/3/library/multiprocessing.html
日樂購，剛才看到的一個博客，寫的都不太對，還是基於官方的比較穩妥
我就是喜歡抄官方的，哈哈

通常我們使用Process實例化一個進程，並調用 他的 start() 方法啟動它。
這種方法和 Thread 是一樣的。

上圖中，我寫了 p.join() 所以主進程是 等待 子進程執行完後，才執行 print("運行結束")
否則就是反過來了（這個不一定，看你的語句了，順序其實是隨機的）例如：

主進加個 sleep

所以不加join() ,其實子進程和主進程是各干各的，誰也不等誰。都執行完後，文件運行就結束了

上面我們用了 os.getpid() 和 os.getppid() 獲取 當前進程，和父進程的id
下面就講一下，這兩個函數的用法：
os.getpid()
返回當前進程的id
os.getppid()
返回父進程的id。 父進程退出後，unix 返回初始化進程（1）中的一個
windows返回相同的id (可能被其他進程使用了)
這也就解釋了，為啥我上面 的程序運行多次， 第一次列印的parentid 都是 14212 了。
而子進程的父級 process id 是調用他的那個進程的 id ： 1940

視頻筆記：
多進程：使用大致方法：

參考： 進程通信（pipe和queue）

pool.map （函數可以有return 也可以共享內存或queue） 結果直接是個列表

poll.apply_async() （同map,只不過是一個進程，返回結果用 xx.get() 獲得）

報錯：

參考 ： https://blog.csdn.net/xiemanR/article/details/71700531

把 pool = Pool() 放到 if name == " main ": 下面初始化搞定。
結果：

這個肯定有解釋的

測試多進程計算效果：
進程池運行：

結果：

普通計算：

我們同樣傳入 1 2 10 三個參數測試：

其實對比下來開始快了一半的；
我們把循環里的數字去掉一個 0；
單進程：

多進程：

兩次測試 單進程/進程池 分別為 0.669 和 0.772 幾乎成正比的。
問題 二：
視圖：
post 視圖裡面

Music 類：

直接報錯：

寫在 類裡面也 在函數里用 self.pool 調用也不行，也是相同的錯誤。

最後 把 pool = Pool 直接寫在 search 函數裡面，奇跡出現了：

前台也能顯示搜索的音樂結果了

總結一點，進程這個東西，最好 寫在 直接運行的函數裡面，而不是 一個函數跳來跳去。因為最後可能 是在子進程的子進程運行的，這是不許的，會報錯。
還有一點，多進程運行的函數對象，不能是 lambda 函數。也許lambda 虛擬，在內存？？

使用 pool.map 子進程 函數報錯，導致整個 pool 掛了:
參考： https://blog.csdn.net/hedongho/article/details/79139606
主要你要，對函數內部捕獲錯誤，而不能讓異常拋出就可以了。

關於map 傳多個函數參數
我一開始，就是正常思維，多個參數，搞個元祖，讓參數一一對應不就行了：

報錯：

參考：
https://blog.csdn.net/qq_15969343/article/details/84672527
普通的 process 當讓可以穿多個參數，map 卻不知道咋傳的。
apply_async 和map 一樣，不知道咋傳的。

最簡單的方法：
使用 starmap 而不是 map

結果：
子進程結束
1.8399453163146973
成功拿到結果了

關於map 和 starmap 不同的地方看源碼：

關於apply_async() ,我沒找到多參數的方法，大不了用 一個迭代的 starmap 實現。哈哈

關於 上面源碼裡面有 itertools.starmap
itertools 用法參考：
https://docs.python.org/zh-cn/3/library/itertools.html#itertool-functions

有個問題，多進程最好不要使用全部的 cpu , 因為這樣可能影響其他任務，所以 在進程池 添加 process 參數 指定，cpu 個數：

上面就是預留了 一個cpu 干其他事的

後面直接使用 Queue 遇到這個問題：

解決：
Manager().Queue() 代替 Queue()

因為 queue.get() 是堵塞型的，所以可以提前判斷是不是 空的，以免堵塞進程。比如下面這樣：
使用 queue.empty() 空為True

Ⅲ python 多進程

os.fork()指令會創建另外一個進程，他的輸出源也是你的python command line或者其他IDE。所以你會看見2個提示符。另外，IDE要處理那麼多輸出源，當然會很卡。還有，你連打下3次這個命令，相當於對三個進程都進行了下達指令，所以這時候你的進程數目為8(看不懂的建議看小學數學)。你的各個進程的輸出會類似於打架，所以窗口會變得很慢。
建議：用pid來區分各個進程(os.fork()在父進程會返回pid，子進程會返回0)，例如：
import os
import time
pid=os.fork()
if pid==0:
time.sleep(0.1);

print "Child."

else:
print "The child's pid is:"+str(pid)

//end

以上代碼中子進程我給他暫停0.1秒來防止與父進程的輸出「打架」，當然有更好的解決方法，由於字數限制不打出來了，具體就是鎖住輸出源，通過之後再解鎖，可以網路。

點贊、採納、轉發，素質三連，友誼你我他！

Ⅳ python中多進程和多線程的區別

什麼是線程、進程?
進程(process)與線程(thread)是操作系統的基本概念，它們比較抽象，不容易掌握。
關於這兩者，最經典的一句話就是「進程是資源分配的最小單位，線程是CPU調度的最小單位」，線程是程序中一個單一的順序控制流程，進程內一個相對獨立的、可調度的執行單元，是系統獨立調度和分配CPU的基本單位指運行中的程序的調度單位，在單個程序中同時運行多個線程完成不同的工作，稱為多線程。
進程與線程的區別是什麼?
進程是資源分配的基本單位，所有與該進程有關的資源，都被記錄在進程式控制制塊PCB中，以表示該進程擁有這些資源或正在使用它們，另外，進程也是搶占處理機的調度單位，它擁有一個完整的虛擬地址空間，當進程發生調度時，不同的進程擁有不同的虛擬地址空間，而同一進程內的不同線程共享同一地址空間。
與進程相對應的，線程與資源分配無關，它屬於某一個進程，並與進程內的其他線程一起共享進程的資源，線程只由相關堆棧(系統棧或用戶棧)寄存器和線程式控制製表TCB組成，寄存器可被用來存儲線程內的局部變數，但不能存儲其他線程的相關變數。
通常在一個進程中可以包含若干個線程，它們可以利用進程所擁有的資源，在引入線程的操作系統中，通常都是把進程作為分配資源的基本單位，而把線程作為獨立運行和獨立調度的基本單位。
由於線程比進程更小，基本上不擁有系統資源，所以對它的調度所付出的開銷就會小得多，能更高效的提高系統內多個程序間並發執行的程度，從而顯著提高系統資源的利用率和吞吐量。
因而近年來推出的通用操作系統都引入了線程，以便進一步提高系統的並發性，並把它視為現代操作系統的一個重要指標。

Ⅳ python3.4.3 多進程之間結果變數的傳遞問題，程序無任何結果輸出

多進程間共享的變數要使用特殊的數據結構，在multiprocessing包里有提供，常用的有Queue, Value, Array等，這里比較適合用Queue

修改後的程序如下，注意Result賦值，和ProcessCheck的參數

另外，Result要排序後輸出的話，要用循環從Queue取值構建list再排序，這里省略了

importdatetime
importsys
importtime
importmultiprocessing
PartStart=[]#每個process計算的起點
PartEnd=[]#每個process計算的終點
Result=multiprocessing.Queue()#所有結果存儲在Result數組中
ProcessCount=10#進程數
EndNum=9999999#計算范圍，默認100開始，終止數可以任意修改，大於100即可

print('Start:%s'%datetime.datetime.now().strftime("%Y/%d/%m%H:%M:%S"))
start=time.time()

d=int(((EndNum-99)/ProcessCount)+0.5)
foriinrange(ProcessCount):
PartStart.append(100+i*d)
PartEnd.append(PartStart[i]+d-1)
PartEnd[ProcessCount-1]=EndNum
#==========================================
#這段代碼只是計算每個process的計算起點和終點

defCheckNum(Number):
tmp=str(Number)
len_num=len(tmp)
sum_num=0
foriinrange(len_num):
sum_num=sum_num+(int(tmp[i])**len_num)
ifsum_num==int(Number):
returnTrue
#print(Number,"是水仙花數")
else:
returnFalse
#print(Number,"不是水仙花數")
defProcessCheck(Start,End,Result):
forjinrange(int(Start),int(End)+1):
ifCheckNum(j):
#print(j,"是水仙花數")
print("helloworld")
Result.put(str(j)+"是水仙花數")
#============================================
#這段代碼用於計算某數值區間內的水仙花數，並存儲進result數組中，也是每個process運行的代碼

defmain():
threads=[]
foriinrange(ProcessCount):
p=multiprocessing.Process(target=ProcessCheck,args=(PartStart[i],PartEnd[i],Result))
threads.append(p)
foriinrange(ProcessCount):
threads[i].start()
foriinrange(ProcessCount):
threads[i].join()
#Result.sort(key=lambdat:t[0])
foriinrange(Result.qsize()):
print(Result.get())
#將最後的結果排序輸出，但沒有任何結果出現
end=time.time()
input('End:%s'%datetime.datetime.now().strftime("%Y/%d/%m%H:%M:%S")+"
"+"共耗時："+str(end-start))
#這個input沒有任何意義，主要是防止程序直接結束退出
if__name__=='__main__':
main()