python并发框架

1. python高并发web框架有哪些

我用的是tornado，支持微线程，支持最新的python3.x，在原生python里面并发能力是最强的，自带的模板功能我感觉也够用了。
当然缺点是这个框架很精简（从另外一个方面说也是优点），很多功能都得自己实现，不像Django什么都给你集成好了。

2. python的web开发一般使用什么框架

django是目前最火的一个，大而全，学习周期稍微长，
tornado是一个轻量级的，代码很少，最大的优点是非阻塞，处理并发。
个人推荐tornado，感觉django的很多东西没有必要，比如它orm，如果注重效率，还是tornado吧。

3. python并发和java并发的区别

使用tornado的前提是你的服务是IO密集型的，并且你得写异步api，也可以请参考我签名中的框架，把tornado改造成eventloop+threadpool (GitHub - nikoloss/iceworld: tonado的multi-thread 多线程封装)。我们公司的android ios wap后台全是这套框架在提供服务。目前已经切换到一个分布式http响应群组里面了，此时tornado只是作为一个中继的gateway存在：GitHub - nikoloss/cellnest: 分布式service

在没有阻塞的情况下，python的性能肯定不如编译型语言。这种全异步的模型的优势也无法体现出来，一旦有IO操作了，这种全异步模型的第一步accpet新连接的操作并不会暂停，也就是只要有内容抵达，至少ioloop这个环节是可以照单全收的，接收之后协程处理，随着并发量增长它的性能下降是平稳且平滑的。反观线程模型，如果消费数据赶不上新连接新数据的生产，性能就会直线下降。

你的700qps差不多，你可以换3.1或者3.2的tornado试试，1100~1400应该可以跑出来。当然追求一个静态文本的输出性能是否有必要，我觉得实际情况比这种单纯的压测要复杂的多。

4. Python几种主流框架比较

Django：Python界最全能的Web开发框架，各种功能完备，可维护性和开发速度都非常强大。常有人说Django慢，其实主要慢在Django
ORM与数据库的交互上，所以是否选择使用Django，取决于项目对数据库交互性的要求以及各种优化。
而对于Django的同步特性导致吞吐量小的问题，其实可以通过Celery等解决，不算是什么根本问题。Django代表的项目有：Instagram、guardian等。
Flask：属于微框架的典范，也是Python代码写的最好的项目之一。Flask框架的灵活性很高，但也是一把双刃剑，能用好Flask的，可以做成Pinterest，用不好就没有什么太大的作用了。Flask虽然属于微框架，但也可以做成规模化的Flask，加上flask可以自由选择自己的数据库交互组件，再加上celery+redis等异步特性以后，flask框架的性能非常不错，之所以很多团队选择flask框架，主要原因就是对灵活性的要求。
Tornado：天生异步，性能强悍，这是它的代名词。对比Django而言，Tornado属于较为原始的框架，诸多内容需要自己去处理。不过，随着项目的不断壮大，框架能够提供的功能占比越来越小，更多的内容需要团队自己去实现，而大项目往往需要性能的保证，这时候Tornado就是非常不错的选择。代表项目：知乎等。

5. Python的框架可以用来做什么

Python的应用方向
1. 常规软件开发
Python支持函数式编程和OOP面向对象编程，能够承担任何种类软件的开发工作，因此常规的软件开发、脚本编写、网络编程等都属于标配能力。
2. 科学计算
随着NumPy, SciPy, Matplotlib, Enthought librarys等众多程序库的开发，Python越来越适合于做科学计算、绘制高质量的2D和3D图像。和科学计算领域最流行的商业软件Matlab相比，Python是一门通用的程序设计语言，比Matlab所采用的脚本语言的应用范围更广泛，有更多的程序库的支持。虽然Matlab中的许多高级功能和toolbox目前还是无法替代的，不过在日常的科研开发之中仍然有很多的工作是可以用Python代劳的。
3. 自动化运维
这几乎是Python应用的自留地，作为运维工程师首选的编程语言，Python在自动化运维方面已经深入人心，比如Saltstack和Ansible都是大名鼎鼎的自动化平台。
4. 云计算
开源云计算解决方案OpenStack就是基于Python开发的，搞云计算的同学都懂的。
5. WEB开发
基于Python的Web开发框架不要太多，比如耳熟能详的Django，还有Tornado，Flask。其中的Python+Django架构，应用范围非常广，开发速度非常快，学习门槛也很低，能够帮助你快速的搭建起可用的WEB服务。
6. 网络爬虫
也称网络蜘蛛，是大数据行业获取数据的核心工具。没有网络爬虫自动地、不分昼夜地、高智能地在互联网上爬取免费的数据，那些大数据相关的公司恐怕要少四分之三。能够编写网络爬虫的编程语言有不少，但Python绝对是其中的主流之一，其Scripy爬虫框架应用非常广泛。
7. 数据分析
在大量数据的基础上，结合科学计算、机器学习等技术，对数据进行清洗、去重、规格化和针对性的分析是大数据行业的基石。Python是数据分析的主流语言之一。
8. 人工智能
Python在人工智能大范畴领域内的机器学习、神经网络、深度学习等方面都是主流的编程语言，得到广泛的支持和应用。
当然，除了以上的主流和前沿领域，Python还在其他传统或特殊行业起着重要的作用。

6. python高并发web框架有哪些

python 就不能考虑高并发
gevent 焦作人
另外 pypy+tornado 有惊喜，42w 7IP 懂的自然懂，内存占用没记错是10k+/Conn

7. 如何在Python中编写并发程序

GIL

在Python中,由于历史原因(GIL),使得Python中多线程的效果非常不理想.GIL使得任何时刻Python只能利用一个CPU核,并
且它的调度算法简单粗暴:多线程中,让每个线程运行一段时间t,然后强行挂起该线程,继而去运行其他线程,如此周而复始,直到所有线程结束.

这使得无法有效利用计算机系统中的"局部性",频繁的线程切换也对缓存不是很友好,造成资源的浪费.

据说Python官方曾经实现了一个去除GIL的Python解释器,但是其效果还不如有GIL的解释器,遂放弃.后来Python官方推出了"利
用多进程替代多线程"的方案,在Python3中也有concurrent.futures这样的包,让我们的程序编写可以做到"简单和性能兼得".

多进程/多线程+Queue

一般来说,在Python中编写并发程序的经验是:计算密集型任务使用多进程,IO密集型任务使用多进程或者多线程.另外,因为涉及到资源共享,所
以需要同步锁等一系列麻烦的步骤,代码编写不直观.另外一种好的思路是利用多进程/多线程+Queue的方法,可以避免加锁这样麻烦低效的方式.

现在在Python2中利用Queue+多进程的方法来处理一个IO密集型任务.

假设现在需要下载多个网页内容并进行解析,单进程的方式效率很低,所以使用多进程/多线程势在必行.
我们可以先初始化一个tasks队列,里面将要存储的是一系列dest_url,同时开启4个进程向tasks中取任务然后执行,处理结果存储在一个results队列中,最后对results中的结果进行解析.最后关闭两个队列.

下面是一些主要的逻辑代码.

# -*- coding:utf-8 -*-

#IO密集型任务
#多个进程同时下载多个网页
#利用Queue+多进程
#由于是IO密集型,所以同样可以利用threading模块

import multiprocessing

def main():
tasks = multiprocessing.JoinableQueue()
results = multiprocessing.Queue()
cpu_count = multiprocessing.cpu_count() #进程数目==CPU核数目

create_process(tasks, results, cpu_count) #主进程马上创建一系列进程,但是由于阻塞队列tasks开始为空,副进程全部被阻塞
add_tasks(tasks) #开始往tasks中添加任务
parse(tasks, results) #最后主进程等待其他线程处理完成结果

def create_process(tasks, results, cpu_count):
for _ in range(cpu_count):
p = multiprocessing.Process(target=_worker, args=(tasks, results)) #根据_worker创建对应的进程
p.daemon = True #让所有进程可以随主进程结束而结束
p.start() #启动

def _worker(tasks, results):
while True: #因为前面所有线程都设置了daemon=True,故不会无限循环
try:
task = tasks.get() #如果tasks中没有任务,则阻塞
result = _download(task)
results.put(result) #some exceptions do not handled
finally:
tasks.task_done()

def add_tasks(tasks):
for url in get_urls(): #get_urls() return a urls_list
tasks.put(url)

def parse(tasks, results):
try:
tasks.join()
except KeyboardInterrupt as err:
print "Tasks has been stopped!"
print err

while not results.empty():
_parse(results)

if __name__ == '__main__':
main()

利用Python3中的concurrent.futures包

在Python3中可以利用concurrent.futures包,编写更加简单易用的多线程/多进程代码.其使用感觉和Java的concurrent框架很相似(借鉴?)
比如下面的简单代码示例

def handler():
futures = set()

with concurrent.futures.ProcessPoolExecutor(max_workers=cpu_count) as executor:
for task in get_task(tasks):
future = executor.submit(task)
futures.add(future)

def wait_for(futures):
try:
for future in concurrent.futures.as_completed(futures):
err = futures.exception()
if not err:
result = future.result()
else:
raise err
except KeyboardInterrupt as e:
for future in futures:
future.cancel()
print "Task has been canceled!"
print e
return result

总结

要是一些大型Python项目也这般编写,那么效率也太低了.在Python中有许多已有的框架使用,使用它们起来更加高效.

8. python 下有什么好用的多进程并发框架么

需要吗？直接使用multiprocessing就搞定了。这个很好用。不需要更多的框架了。

不过会有很多习惯用法。自己摸索一下。主要是Queue还有共享内存。

9. python里面哪些框架有

Django: Py Web应用开发框架
Diesel：基于Greenlet的事件I/O框架
Flask：一个用Py编写的轻量级Web应用框架
Cubes：轻量级Py OLAP框架
Kartograph.py：创造矢量地图的轻量级Py框架
Pulsar：Py的事件驱动并发框架
Web2py：全栈式Web框架
Falcon：构建云API和网络应用后端的高性能Py框架
Dpark：Py版的Spark
Buildbot：基于Py的持续集成测试框架
Zerorpc：基于ZeroMQ的高性能分布式RPC框架
Bottle: 微型Py Web框架
Tornado：异步非阻塞IO的Py Web框架
webpy: 轻量级的Py Web框架
Scrapy：Py的爬虫框架

10. python为什么这么多框架

Python的五个框架：

Django

Flask是一个微框架，最适合简单的小项目。该框架基于Jinja 2和Werkzeug开发。这个框架的主要目的是开发一个强大的web应用程序库。

特点：

· 包含开发调试器和服务器

· 有丰富的文档

· 支持安全cookie

· 基于unicode

· 单元测试集成支持