python並發框架

1. python高並發web框架有哪些

我用的是tornado，支持微線程，支持最新的python3.x，在原生python裡面並發能力是最強的，自帶的模板功能我感覺也夠用了。
當然缺點是這個框架很精簡（從另外一個方面說也是優點），很多功能都得自己實現，不像Django什麼都給你集成好了。

2. python的web開發一般使用什麼框架

django是目前最火的一個，大而全，學習周期稍微長，
tornado是一個輕量級的，代碼很少，最大的優點是非阻塞，處理並發。
個人推薦tornado，感覺django的很多東西沒有必要，比如它orm，如果注重效率，還是tornado吧。

3. python並發和java並發的區別

使用tornado的前提是你的服務是IO密集型的，並且你得寫非同步api，也可以請參考我簽名中的框架，把tornado改造成eventloop+threadpool (GitHub - nikoloss/iceworld: tonado的multi-thread 多線程封裝)。我們公司的android ios wap後台全是這套框架在提供服務。目前已經切換到一個分布式http響應群組裡面了，此時tornado只是作為一個中繼的gateway存在：GitHub - nikoloss/cellnest: 分布式service

在沒有阻塞的情況下，python的性能肯定不如編譯型語言。這種全非同步的模型的優勢也無法體現出來，一旦有IO操作了，這種全非同步模型的第一步accpet新連接的操作並不會暫停，也就是只要有內容抵達，至少ioloop這個環節是可以照單全收的，接收之後協程處理，隨著並發量增長它的性能下降是平穩且平滑的。反觀線程模型，如果消費數據趕不上新連接新數據的生產，性能就會直線下降。

你的700qps差不多，你可以換3.1或者3.2的tornado試試，1100~1400應該可以跑出來。當然追求一個靜態文本的輸出性能是否有必要，我覺得實際情況比這種單純的壓測要復雜的多。

4. Python幾種主流框架比較

Django：Python界最全能的Web開發框架，各種功能完備，可維護性和開發速度都非常強大。常有人說Django慢，其實主要慢在Django
ORM與資料庫的交互上，所以是否選擇使用Django，取決於項目對資料庫交互性的要求以及各種優化。
而對於Django的同步特性導致吞吐量小的問題，其實可以通過Celery等解決，不算是什麼根本問題。Django代表的項目有：Instagram、guardian等。
Flask：屬於微框架的典範，也是Python代碼寫的最好的項目之一。Flask框架的靈活性很高，但也是一把雙刃劍，能用好Flask的，可以做成Pinterest，用不好就沒有什麼太大的作用了。Flask雖然屬於微框架，但也可以做成規模化的Flask，加上flask可以自由選擇自己的資料庫交互組件，再加上celery+redis等非同步特性以後，flask框架的性能非常不錯，之所以很多團隊選擇flask框架，主要原因就是對靈活性的要求。
Tornado：天生非同步，性能強悍，這是它的代名詞。對比Django而言，Tornado屬於較為原始的框架，諸多內容需要自己去處理。不過，隨著項目的不斷壯大，框架能夠提供的功能佔比越來越小，更多的內容需要團隊自己去實現，而大項目往往需要性能的保證，這時候Tornado就是非常不錯的選擇。代表項目：知乎等。

5. Python的框架可以用來做什麼

Python的應用方向
1. 常規軟體開發
Python支持函數式編程和OOP面向對象編程，能夠承擔任何種類軟體的開發工作，因此常規的軟體開發、腳本編寫、網路編程等都屬於標配能力。
2. 科學計算
隨著NumPy, SciPy, Matplotlib, Enthought librarys等眾多程序庫的開發，Python越來越適合於做科學計算、繪制高質量的2D和3D圖像。和科學計算領域最流行的商業軟體Matlab相比，Python是一門通用的程序設計語言，比Matlab所採用的腳本語言的應用范圍更廣泛，有更多的程序庫的支持。雖然Matlab中的許多高級功能和toolbox目前還是無法替代的，不過在日常的科研開發之中仍然有很多的工作是可以用Python代勞的。
3. 自動化運維
這幾乎是Python應用的自留地，作為運維工程師首選的編程語言，Python在自動化運維方面已經深入人心，比如Saltstack和Ansible都是大名鼎鼎的自動化平台。
4. 雲計算
開源雲計算解決方案OpenStack就是基於Python開發的，搞雲計算的同學都懂的。
5. WEB開發
基於Python的Web開發框架不要太多，比如耳熟能詳的Django，還有Tornado，Flask。其中的Python+Django架構，應用范圍非常廣，開發速度非常快，學習門檻也很低，能夠幫助你快速的搭建起可用的WEB服務。
6. 網路爬蟲
也稱網路蜘蛛，是大數據行業獲取數據的核心工具。沒有網路爬蟲自動地、不分晝夜地、高智能地在互聯網上爬取免費的數據，那些大數據相關的公司恐怕要少四分之三。能夠編寫網路爬蟲的編程語言有不少，但Python絕對是其中的主流之一，其Scripy爬蟲框架應用非常廣泛。
7. 數據分析
在大量數據的基礎上，結合科學計算、機器學習等技術，對數據進行清洗、去重、規格化和針對性的分析是大數據行業的基石。Python是數據分析的主流語言之一。
8. 人工智慧
Python在人工智慧大范疇領域內的機器學習、神經網路、深度學習等方面都是主流的編程語言，得到廣泛的支持和應用。
當然，除了以上的主流和前沿領域，Python還在其他傳統或特殊行業起著重要的作用。

6. python高並發web框架有哪些

python 就不能考慮高並發
gevent 焦作人
另外 pypy+tornado 有驚喜，42w 7IP 懂的自然懂，內存佔用沒記錯是10k+/Conn

7. 如何在Python中編寫並發程序

GIL

在Python中,由於歷史原因(GIL),使得Python中多線程的效果非常不理想.GIL使得任何時刻Python只能利用一個CPU核,並
且它的調度演算法簡單粗暴:多線程中,讓每個線程運行一段時間t,然後強行掛起該線程,繼而去運行其他線程,如此周而復始,直到所有線程結束.

這使得無法有效利用計算機系統中的"局部性",頻繁的線程切換也對緩存不是很友好,造成資源的浪費.

據說Python官方曾經實現了一個去除GIL的Python解釋器,但是其效果還不如有GIL的解釋器,遂放棄.後來Python官方推出了"利
用多進程替代多線程"的方案,在Python3中也有concurrent.futures這樣的包,讓我們的程序編寫可以做到"簡單和性能兼得".

多進程/多線程+Queue

一般來說,在Python中編寫並發程序的經驗是:計算密集型任務使用多進程,IO密集型任務使用多進程或者多線程.另外,因為涉及到資源共享,所
以需要同步鎖等一系列麻煩的步驟,代碼編寫不直觀.另外一種好的思路是利用多進程/多線程+Queue的方法,可以避免加鎖這樣麻煩低效的方式.

現在在Python2中利用Queue+多進程的方法來處理一個IO密集型任務.

假設現在需要下載多個網頁內容並進行解析,單進程的方式效率很低,所以使用多進程/多線程勢在必行.
我們可以先初始化一個tasks隊列,裡面將要存儲的是一系列dest_url,同時開啟4個進程向tasks中取任務然後執行,處理結果存儲在一個results隊列中,最後對results中的結果進行解析.最後關閉兩個隊列.

下面是一些主要的邏輯代碼.

# -*- coding:utf-8 -*-

#IO密集型任務
#多個進程同時下載多個網頁
#利用Queue+多進程
#由於是IO密集型,所以同樣可以利用threading模塊

import multiprocessing

def main():
tasks = multiprocessing.JoinableQueue()
results = multiprocessing.Queue()
cpu_count = multiprocessing.cpu_count() #進程數目==CPU核數目

create_process(tasks, results, cpu_count) #主進程馬上創建一系列進程,但是由於阻塞隊列tasks開始為空,副進程全部被阻塞
add_tasks(tasks) #開始往tasks中添加任務
parse(tasks, results) #最後主進程等待其他線程處理完成結果

def create_process(tasks, results, cpu_count):
for _ in range(cpu_count):
p = multiprocessing.Process(target=_worker, args=(tasks, results)) #根據_worker創建對應的進程
p.daemon = True #讓所有進程可以隨主進程結束而結束
p.start() #啟動

def _worker(tasks, results):
while True: #因為前面所有線程都設置了daemon=True,故不會無限循環
try:
task = tasks.get() #如果tasks中沒有任務,則阻塞
result = _download(task)
results.put(result) #some exceptions do not handled
finally:
tasks.task_done()

def add_tasks(tasks):
for url in get_urls(): #get_urls() return a urls_list
tasks.put(url)

def parse(tasks, results):
try:
tasks.join()
except KeyboardInterrupt as err:
print "Tasks has been stopped!"
print err

while not results.empty():
_parse(results)

if __name__ == '__main__':
main()

利用Python3中的concurrent.futures包

在Python3中可以利用concurrent.futures包,編寫更加簡單易用的多線程/多進程代碼.其使用感覺和Java的concurrent框架很相似(借鑒?)
比如下面的簡單代碼示例

def handler():
futures = set()

with concurrent.futures.ProcessPoolExecutor(max_workers=cpu_count) as executor:
for task in get_task(tasks):
future = executor.submit(task)
futures.add(future)

def wait_for(futures):
try:
for future in concurrent.futures.as_completed(futures):
err = futures.exception()
if not err:
result = future.result()
else:
raise err
except KeyboardInterrupt as e:
for future in futures:
future.cancel()
print "Task has been canceled!"
print e
return result

總結

要是一些大型Python項目也這般編寫,那麼效率也太低了.在Python中有許多已有的框架使用,使用它們起來更加高效.

8. python 下有什麼好用的多進程並發框架么

需要嗎？直接使用multiprocessing就搞定了。這個很好用。不需要更多的框架了。

不過會有很多習慣用法。自己摸索一下。主要是Queue還有共享內存。

9. python裡面哪些框架有

Django: Py Web應用開發框架
Diesel：基於Greenlet的事件I/O框架
Flask：一個用Py編寫的輕量級Web應用框架
Cubes：輕量級Py OLAP框架
Kartograph.py：創造矢量地圖的輕量級Py框架
Pulsar：Py的事件驅動並發框架
Web2py：全棧式Web框架
Falcon：構建雲API和網路應用後端的高性能Py框架
Dpark：Py版的Spark
Buildbot：基於Py的持續集成測試框架
Zerorpc：基於ZeroMQ的高性能分布式RPC框架
Bottle: 微型Py Web框架
Tornado：非同步非阻塞IO的Py Web框架
webpy: 輕量級的Py Web框架
Scrapy：Py的爬蟲框架

10. python為什麼這么多框架

Python的五個框架：

Django

Flask是一個微框架，最適合簡單的小項目。該框架基於Jinja 2和Werkzeug開發。這個框架的主要目的是開發一個強大的web應用程序庫。

特點：

· 包含開發調試器和伺服器

· 有豐富的文檔

· 支持安全cookie

· 基於unicode

· 單元測試集成支持