python協程的實現原理
㈠ 簡述python進程，線程和協程的區別及應用場景
協程多與線程進行比較
1) 一個線程可以多個協程，一個進程也可以單獨擁有多個協程，這樣python中則能使用多核CPU。
2) 線程進程都是同步機制，而協程則是非同步
3) 協程能保留上一次調用時的狀態，每次過程重入時，就相當於進入上一次調用的狀態
㈡ python協程為什麼不需要枷鎖
Python是一門動態的腳本語言，它有一個鎖叫做全局解釋器鎖，它這個鎖是加在cpython解釋器上的，我們說的Python多線程，再線程切換的時候加了鎖，用了控制同步。所以多線程不是真正意義的並發，而協程是在線程裡面的，線程並沒有鎖，一個線程可以有多個協程，協程又叫微線程，它的切換完全由自己創建，它有幾種實現方式，一種是yield和send,一種是gevent,一種是greenlet,線程的並發不好，協程可以有上萬次並發。回到之前的問題，因為協程在線程內，而線程本身沒有鎖，所以攜程沒有鎖。
㈢ Python（七十二）多任務非同步協程
11_lxml/01_線程池的基本使用.py：
11_lxml/02_非同步.py：
11_多任務非同步協程/03_多任務非同步.py：
11_多任務非同步協程/04_flask服務.py：
11_多任務非同步協程/04_多任務非同步協程.py：
11_多任務非同步協程/05_aiohttp實現.py：（需與11_多任務非同步協程/05_aiohttp實現.py連用）
文章到這里就結束了！希望大家能多多支持Python（系列）！六個月帶大家學會Python，私聊我，可以問關於本文章的問題！以後每天都會發布新的文章，喜歡的點點關注！一個陪伴你學習Python的新青年！不管多忙都會更新下去，一起加油！
Editor：Lonelyroots
㈣ 協程與非同步IO
協程，又稱微線程，纖程。英文名 Coroutine 。Python對協程的支持是通過 generator 實現的。在generator中，我們不但可以通過for循環來迭代，還可以不斷調用 next()函數 獲取由 yield 語句返回的下一個值。但是Python的yield不但可以返回一個值，它還可以接收調用者發出的參數。yield其實是終端當前的函數，返回給調用方。python3中使用yield來實現range，節省內存，提高性能，懶載入的模式。
asyncio是Python 3.4 版本引入的 標准庫 ，直接內置了對非同步IO的支持。
從Python 3.5 開始引入了新的語法 async 和 await ，用來簡化yield的語法：
import asyncio
import threading
async def compute(x, y):
print("Compute %s + %s ..." % (x, y))
print(threading.current_thread().name)
await asyncio.sleep(x + y)
return x + y
async def print_sum(x, y):
result = await compute(x, y)
print("%s + %s = %s" % (x, y, result))
print(threading.current_thread().name)
if __name__ == "__main__":
loop = asyncio.get_event_loop()
tasks = [print_sum(1, 2), print_sum(3, 4)]
loop.run_until_complete(asyncio.wait(tasks))
loop.close()
線程是內核進行搶占式的調度的，這樣就確保了每個線程都有執行的機會。而 coroutine 運行在同一個線程中，由語言的運行時中的 EventLoop（事件循環） 來進行調度。和大多數語言一樣，在 Python 中，協程的調度是非搶占式的，也就是說一個協程必須主動讓出執行機會，其他協程才有機會運行。
讓出執行的關鍵字就是 await。也就是說一個協程如果阻塞了，持續不讓出 CPU，那麼整個線程就卡住了，沒有任何並發。
PS: 作為服務端，event loop最核心的就是IO多路復用技術，所有來自客戶端的請求都由IO多路復用函數來處理;作為客戶端，event loop的核心在於利用Future對象延遲執行，並使用send函數激發協程,掛起,等待服務端處理完成返回後再調用CallBack函數繼續下面的流程
Go語言的協程是 語言本身特性 ，erlang和golang都是採用了CSP(Communicating Sequential Processes)模式(Python中的協程是eventloop模型)，但是erlang是基於進程的消息通信，go是基於goroutine和channel的通信。
Python和Go都引入了消息調度系統模型，來避免鎖的影響和進程/線程開銷大的問題。
協程從本質上來說是一種用戶態的線程，不需要系統來執行搶占式調度，而是在語言層面實現線程的調度 。因為協程 不再使用共享內存/數據 ，而是使用 通信 來共享內存/鎖，因為在一個超級大系統里具有無數的鎖，共享變數等等會使得整個系統變得無比的臃腫，而通過消息機制來交流，可以使得每個並發的單元都成為一個獨立的個體，擁有自己的變數，單元之間變數並不共享，對於單元的輸入輸出只有消息。開發者只需要關心在一個並發單元的輸入與輸出的影響，而不需要再考慮類似於修改共享內存/數據對其它程序的影響。
㈤ python協程gevent怎麼用
在學習gevent之前，你肯定要知道你學的這個東西是什麼。
官方描述gevent
gevent is a coroutine-based Python networking library that uses greenlet to provide a high-level synchronous API on top of the libev event loop.
翻譯：gevent是一個基於協程的Python網路庫。我們先理解這句，也是這次學習的重點——協程。
wiki描述協程
與子常式一樣，協程也是一種程序組件。相對子常式而言，協程更為一般和靈活，但在實踐中使用沒有子常式那樣廣泛。子常式的起始處是惟一的入口點，一旦退出即完成了子常式的執行，子常式的一個實例只會返回一次；協程可以通過yield來調用其它協程。通過yield方式轉移執行權的協程之間不是調用者與被調用者的關系，而是彼此對稱、平等的。協程允許多個入口點，可以在指定位置掛起和恢復執行。
沒看懂？沒關系，我也沒看懂，不過算是有點線索：子常式。
子常式
過程有兩種，一種叫子常式（Subroutine），通常叫Sub；另一種叫函數（Function）。底層實現機制是一樣的，區別在於，Sub只執行操作，沒有返回值；Function不但執行操作，並且有返回值。用過VB的應該會比較清楚這點。（原諒我用了網路）說到底子常式就是過程，我們一般叫它函數。
說到函數，我就想吐槽了，不明白為什麼要叫函數。很多時候我們寫一個函數是為了封裝、模塊化某個功能，它是一個功能、或者說是一個過程。因為它包含的是類似於流程圖那樣的具體邏輯，先怎樣做，然後怎樣做；如果遇到A情況則怎樣，如果遇到B情況又怎樣。個人覺得還是叫過程比較好，叫做函數就讓人很糾結了，難道因為回歸到底層還是計算問題，出於數學的角度把它稱為函數？這個略坑啊！為了符合大家的口味，我還是稱之為函數好了（其實我也習慣叫函數了%>_
講到函數，我們就往底層深入一點，看看下面的代碼：
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
def a():
print "a start"
b()
print "a end"
def b():
print "b start"
c()
print "b end"
def c():
print "c start"
print "c end"
if __name__ == "__main__":
a()
a start
b start
c start
c end
b end
a end
對於這樣的結果大家肯定不會意外的。每當函數被調用，就會在棧中開辟一個棧空間，調用結束後再回收該空間。
假設一個這樣的場景：有個講台，每個人都可以上去發表言論，但是每次講台只能站一個人。現在a在上面演講，當他說到「大家好！」的時候，b有個緊急通知要告訴大家，所以a就先下來讓b講完通知，然後a再上講台繼續演講。如果用函數的思想模擬這個問題，堆棧示意圖是這樣的：
那什麼東西有這樣的能力呢？我們很快就可以想到進程、線程，但是你真的想使用進程、線程如此重量級的東西在這么簡單的程序上嗎？野蠻的搶占式機制和笨重的上下文切換！
還有一種程序組件，那就是協程。它能保留上一次調用時的狀態，每次重新進入該過程的時候，就相當於回到上一次離開時所處邏輯流的位置。協程的起始處是第一個入口點，在協程里，返回點之後是接下來的入口點。協程的生命期完全由他們的使用的需要決定。每個協程在用yield命令向另一個協程交出控制時都盡可能做了更多的工作，放棄控制使得另一個協程從這個協程停止的地方開始，接下來的每次協程被調用時，都是從協程返回（或yield）的位置接著執行。
從上面這些你就可以知道其實協程是模擬了多線程（或多進程）的操作，多線程在切換的時候都會有一個上下文切換，在退出的時候將現場保存起來，等到下一次進入的時候從保存的現場開始，繼續執行。
看下協程是怎樣實現的：
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
import random
from time import sleep
from greenlet import greenlet
from Queue import Queue
queue = Queue(1)
@greenlet
def procer():
chars = ['a', 'b', 'c', 'd', 'e']
global queue
while True:
char = random.choice(chars)
queue.put(char)
print "Proced: ", char
sleep(1)
consumer.switch()
@greenlet
def consumer():
global queue
while True:
char = queue.get()
print "Consumed: ", char
sleep(1)
procer.switch()
if __name__ == "__main__":
procer.run()
consumer.run()
應用場景
我們一直都在大談協程是什麼樣一個東西，卻從沒有提起協程用來幹嘛，這個其實大家分析一下就能夠知道。從上面的生產者——消費者問題應該能看出，它分別有兩個任務，假設交給兩個人去執行，但每次只能允許一個人行動。當緩沖區滿的時候，生產者是出於等待狀態的，這個時候可以將執行任務的權利轉交給消費者，當緩沖區空得時候，消費者是出於等待狀態的，這個時候可以將執行任務的權利轉交給生產者，是不是很容易聯想到多任務切換？然後想到線程？最後想到高並發？
但同學們又會問，既然有了線程為什麼還要協程呢？因為線程是系統級別的，在做切換的時候消耗是特別大的，具體為什麼這么大等我研究好了再告訴你；同時線程的切換是由CPU決定的，可能你剛好執行到一個地方的時候就要被迫終止，這個時候你需要用各種措施來保證你的數據不出錯，所以線程對於數據安全的操作是比較復雜的。而協程是用戶級別的切換，且切換是由自己控制，不受外力終止。
總結
協程其實模擬了人類活動的一種過程。例如：你准備先寫文檔，然後修復bug。這時候接到電話說這個bug很嚴重，必須立即修復（可以看作CPU通知）。於是你暫停寫文檔，開始去填坑，終於你把坑填完了，你回來寫文檔，這個時候你肯定是接著之前寫的文檔繼續，難道你要把之前寫的給刪了，重新寫？這就是協程。那如果是子常式呢？那你就必須重新寫了，因為退出之後，棧幀就會被彈出銷毀，再次調用就是開辟新的棧空間了。
總結：協程就是用戶態下的線程，是人們在有了進程、線程之後仍覺得效率不夠，而追求的又一種高並發解決方案。為什麼說是用戶態，是因為操作系統並不知道它的存在，它是由程序員自己控制、互相協作的讓出控制權而不是像進程、線程那樣由操作系統調度決定是否讓出控制權。
㈥ 詳解Python中的協程，為什麼說它的底層是生成器
協程又稱為是微線程，英文名是Coroutine。它和線程一樣可以調度，但是不同的是線程的啟動和調度需要通過操作系統來處理。並且線程的啟動和銷毀需要涉及一些操作系統的變數申請和銷毀處理，需要的時間比較長。而協程呢，它的調度和銷毀都是程序自己來控制的，因此它更加輕量級也更加靈活。
協程有這么多優點，自然也會有一些缺點，其中最大的缺點就是需要編程語言自己支持，否則的話需要開發者自己通過一些方法來實現協程。對於大部分語言來說，都不支持這一機制。go語言由於天然支持協程，並且支持得非常好，使得它廣受好評，短短幾年時間就迅速流行起來。
對於Python來說，本身就有著一個GIL這個巨大的先天問題。GIL是Python的全局鎖，在它的限制下一個Python進程同一時間只能同時執行一個線程，即使是在多核心的機器當中。這就大大影響了Python的性能，尤其是在CPU密集型的工作上。所以為了提升Python的性能，很多開發者想出了使用多進程+協程的方式。一開始是開發者自行實現的，後來在Python3.4的版本當中，官方也收入了這個功能，因此目前可以光明正大地說，Python是支持協程的語言了。
生成器（generator)
生成器我們也在之前的文章當中介紹過，為什麼我們介紹協程需要用到生成器呢，是因為Python的協程底層就是通過生成器來實現的。
通過生成器來實現協程的原因也很簡單，我們都知道協程需要切換掛起，而生成器當中有一個yield關鍵字，剛好可以實現這個功能。所以當初那些自己在Python當中開發協程功能的程序員都是通過生成器來實現的，我們想要理解Python當中協程的運用，就必須從最原始的生成器開始。
生成器我們很熟悉了，本質上就是帶有yield這個關鍵詞的函數。
async，await和future
從Python3.5版本開始，引入了async，await和future。我們來簡單說說它們各自的用途，其中async其實就是@asyncio.coroutine，用途是完全一樣的。同樣await代替的是yield from，意為等待另外一個協程結束。
我們用這兩個一改，上面的代碼就成了：
async def test(k):
n = 0
while n < k:
await asyncio.sleep(0.5)
print('n = {}'.format(n))
n += 1
由於我們加上了await，所以每次在列印之前都會等待0.5秒。我們把await換成yield from也是一樣的，只不過用await更加直觀也更加貼合協程的含義。
Future其實可以看成是一個信號量，我們創建一個全局的future，當一個協程執行完成之後，將結果存入這個future當中。其他的協程可以await future來實現阻塞。我們來看一個例子就明白了：
future = asyncio.Future()
async def test(k):
n = 0
while n < k:
await asyncio.sleep(0.5)
print('n = {}'.format(n))
n += 1
future.set_result('success')
async def log():
result = await future
print(result)
loop = asyncio.get_event_loop()
loop.run_until_complete(asyncio.wait([
log(),
test(5)
]))
loop.close()
在這個例子當中我們創建了兩個協程，第一個協程是每隔0.5秒print一個數字，在print完成之後把success寫入到future當中。第二個協程就是等待future當中的數據，之後print出來。
在loop當中我們要調度執行的不再是一個協程對象了而是兩個，所以我們用asyncio當中的wait將這兩個對象包起來。只有當wait當中的兩個對象執行結束，wait才會結束。loop等待的是wait的結束，而wait等待的是傳入其中的協程的結束，這就形成了一個依賴循環，等價於這兩個協程對象結束，loop才會結束。
總結
async並不只是可以用在函數上，事實上還有很多其他的用法，比如用在with語句上，用在for循環上等等。這些用法比較小眾，細節也很多，就不一一展開了，大家感興趣的可以自行去了解一下。
不知道大家在讀這篇文章的過程當中有沒有覺得有些費勁，如果有的話，其實是很正常的。原因也很簡單，因為Python原生是不支持協程這個概念的，所以在一開始設計的時候也沒有做這方面的准備，是後來覺得有必要才加入的。那麼作為後面加入的內容，必然會對原先的很多內容產生影響，尤其是協程藉助了之前生成器的概念來實現的，那麼必然會有很多耦合不清楚的情況。這也是這一塊的語法很亂，對初學者不友好的原因。
㈦ Python非同步編程4：協程函數，協程對象，await關鍵字
協程函數：async def 函數名。3.5+
協程對象：執行協程函數()得到的協程對象。
3.5之後的寫法：
3.7之後的寫法：更簡便
await後面 跟 可等待的對象。（協程對象，Future，Task對象 約等於IO等待）
await實例2：串列執行。 一個協程函數裡面可以支持多個await ，雖然會串列，但是如果有其他協程函數，任務列表也在執行，依然會切換。只是案例中的main對應執行的others1和others2串列 。 await會等待對象的值得到之後才繼續往下走。
㈧ python後端開發需要學什麼
第一階段：Python語言基礎
主要學習Python最基礎知識，如Python3、數據類型、字元串、函數、類、文件操作等。階段課程結束後，學員需要完成Pygame實戰飛機大戰、2048等項目。
第二階段：Python語言高級
主要學習Python庫、正則表達式、進程線程、爬蟲、遍歷以及MySQL資料庫。
第三階段：Pythonweb開發
主要學習HTML、CSS、JavaScript、jQuery等前端知識，掌握python三大後端框架(Django、 Flask以及Tornado)。需要完成網頁界面設計實戰;能獨立開發網站。
第四階段：Linux基礎
主要學習Linux相關的各種命令，如文件處理命令、壓縮解壓命令、許可權管理以及Linux Shell開發等。
第五階段：Linux運維自動化開發
主要學習Python開發Linux運維、Linux運維報警工具開發、Linux運維報警安全審計開發、Linux業務質量報表工具開發、Kali安全檢測工具檢測以及Kali 密碼破解實戰。
第六階段：Python爬蟲
主要學習python爬蟲技術，掌握多線程爬蟲技術，分布式爬蟲技術。
第七階段：Python數據分析和大數據
主要學習numpy數據處理、pandas數據分析、matplotlib數據可視化、scipy數據統計分析以及python 金融數據分析;Hadoop HDFS、python Hadoop MapRece、python Spark core、python Spark SQL以及python Spark MLlib。
第八階段：Python機器學習
主要學習KNN演算法、線性回歸、邏輯斯蒂回歸演算法、決策樹演算法、樸素貝葉斯演算法、支持向量機以及聚類k-means演算法。
關於python後端開發需要學什麼的內容，青藤小編就和您分享到這里了。如果您對python編程有濃厚的興趣，希望這篇文章可以為您提供幫助。如果您還想了解更多關於python編程的技巧及素材等內容，可以點擊本站的其他文章進行學習。
㈨ python協程（4）：asyncio
asyncio是官方提供的協程的類庫，從python3.4開始支持該模塊
async & awiat是python3.5中引入的關鍵字，使用async關鍵字可以將一個函數定義為協程函數，使用awiat關鍵字可以在遇到IO的時候掛起當前協程（也就是任務），去執行其他協程。
await + 可等待的對象（協程對象、Future對象、Task對象 -> IO等待）
注意：在python3.4中是通過asyncio裝飾器定義協程，在python3.8中已經移除了asyncio裝飾器。
事件循環，可以把他當做是一個while循環，這個while循環在周期性的運行並執行一些協程（任務），在特定條件下終止循環。
loop = asyncio.get_event_loop()：生成一個事件循環
loop.run_until_complete(任務)：將任務放到事件循環
Tasks用於並發調度協程，通過asyncio.create_task(協程對象)的方式創建Task對象，這樣可以讓協程加入事件循環中等待被調度執行。除了使用 asyncio.create_task() 函數以外，還可以用低層級的 loop.create_task() 或 ensure_future() 函數。不建議手動實例化 Task 對象。
本質上是將協程對象封裝成task對象，並將協程立即加入事件循環，同時追蹤協程的狀態。
注意：asyncio.create_task() 函數在 Python 3.7 中被加入。在 Python 3.7 之前，可以改用 asyncio.ensure_future() 函數。
下面結合async & awiat、事件循環和Task看一個示例
示例一：
*注意：python 3.7以後增加了asyncio.run（協程對象），效果等同於loop = asyncio.get_event_loop()，loop.run_until_complete(協程對象) *
示例二：
注意：asyncio.wait 源碼內部會對列表中的每個協程執行ensure_future從而封裝為Task對象，所以在和wait配合使用時task_list的值為[func(),func()] 也是可以的。
示例三：
㈩ Python怎麼多線程中添加協程
由於python是一種解釋性腳本語言，python的多線程在運行過程中始終存在全局線程鎖。
簡單的來說就是在實際的運行過程中，python只能利用一個線程，因此python的多線程並不達到C語言多線程的性能。
可以使用多進程來代替多線程，但需要注意的是多進程最好不要涉及到例如文件操作的頻繁操作IO的功能。