python分布式开发
随着互联网的不断发展，关于python编程开发语言的学习已经成为大部分程序员的学习重点，下面我们就一起来了解一下，python编程中分布式和并行计算方法都有哪些。
1引言这一章中，我们跳转到协调多个计算机和处理器的问题。
先，我们会观察分布式系统。
它们是互相连接的独立计算机，需要互相沟通来完成任务。
它们可能需要协作来提供服务，共享数据，或者甚至是储存太大而不能在一台机器上装下的数据。
我们会看到，计算机可以在分布式系统中起到不同作用，并且了解各种信息，计算机需要交换它们来共同工作。
接下来，我们会考虑并行计算。
并行计算是这样，当一个小程序由多个处理器使用共享内存执行时，所有处理器都并行工作来使任务完成得更快。
并发(或并行)引入了新的挑战，并且我们会开发新的机制来管理并发程序的复杂性。
2分布式系统分布式系统是自主的计算机网络，计算机互相通信来完成一个目标。
分布式系统中的计算机都是独立的，并且没有物理上共享的内存或处理器。
它们使用消息来和其它计算机通信，消息是网络上从一台计算机到另一台计算机传输的一段信息。
消息可以用于沟通许多事情：计算机可以让其它计算机来执行一个带有特定参数的过程，它们可以发送和接受数据包，或者发送信号让其它计算机执行特定行为。
分布式系统中的计算机具有不同的作用。
计算机的作用取决于系统的目标，以及计算机自身的硬件和软件属性。
分布式系统中，有两种主要方式来组织计算机，一种叫客户端-服务端架构(C/S架构)，另一种叫做对等网络架构(P2P架构)。
2.1C/S系统C/S架构是一种从中心来源分发服务的方式。
只有单个服务端提供服务，多台客户端和服务器通信来消耗它的产出。
在这个架构中，客户端和服务端都有不同的任务。
服务端的任务就是响应来自客户端的服务请求，而客户端的任务就是使用响应中提供的数据来执行一些任务。
C/S通信模型可以追溯到二十世纪七十年代Unix的引入，但这一模型由于现代万维网(WWW)中的使用而变得具有影响力。
一个C/S交互的例子就是在线阅读纽约时报。
当www.nytimes.com上的服务器与浏览器客户端(比如Firefox)通信时，它的任务就是发送回来纽约时报主页的HTML。
电脑培训http://www.kmbdqn.cn/认为这可能涉及到基于发送给服务器的用户账户信息，计算个性化的内容。
这意味着需要展示图片，安排视觉上的内容，展示不同的颜色、字体和图形，以及允许用户和渲染后的页面交互。
2. 什么是Python全栈工程师
能一个人完个整个项目的所有开发工作，就是全栈。
这里的“栈”指的是项目的技术栈。
比如常见的做Web，那么，
后端的数据库；
服务端的Python；
Web服务端的nginx；
前端 的html和javascript;
以及使用的框架相关的知识，键数据库，元数据库，操作系统，Docker之类的
还有从需求分析到测试发布及运维的能力。
不同的项目对全栈的定义是不同的。
3. Python五大应用领域是什么
一、网络爬虫
网络爬虫是Python比较常用的一个场景，国际上，google在前期大量地运用Python言语作为网络爬虫的根底，带动了整个Python言语的运用发展。
二、数据处理
Python有很齐备的生态环境。"大数据"分析中涉及到的分布式核算、数据可视化、数据库操作等，Python中都有成熟的模块能够挑选完结其功能。关于Hadoop-MapRece和Spark，都能够直接运用Python完结核算逻辑，这不管关于数据科学家仍是关于数据工程师而言都是十分便当的。
三、web开发
Python的诞生前史比Web还要早，由于Python是一种解说型的脚本言语，开发效率高，所以十分适合用来做Web开发。
Django 是 Python 编程言语驱动的一个开源模型-视图-控制器(MVC)风格的 Web 运用程序结构。运用 Django，咱们在几分钟之内就能够创建高品质、易维护、数据库驱动的运用程序。
四、数据分析
关于数据分析师来说，不只要自己理解数据背面的含义，而且还要给更直地展现数据的含义。
Scipy是一组专门解决科学核算中各种规范问题域的包的集合。Numpy是python科学核算的根底包。Pandas处理上千万的数据是一挥而就的工作，同时随后咱们也将看到它比sql有更强的表达能力，能够做很多复杂的操作，要写的code也更少。
五、人工智能
人工智能是现在十分火的一个方向，AI热潮让Python言语的未来充满了无限的潜力。现在释放出来的几个十分有影响力的AI结构，大多是Python的实现，为什么呢?
在人工智能大领域领域内的数据发掘、机器学习、神经网络、深度学习等方面都是主流的编程言语，得到广泛的支持和运用。人工智能的核心算法大部分仍是依赖于C/C++的，由于是核算密集型，需求十分精细的优化，还需求GPU、专用硬件之类的接口，这些都只要C/C++能做到。
关于Python五大应用领域是什么，环球青藤小编就和大家分享到这里了，学习是永无止境的，学习一项技能更是受益终身，所以，只要肯努力学，什么时候开始都不晚。如果您还想继续了解关于python编程的学习方法及素材等内容，可以点击本站其他文章学习。
4. Python做大数据，都需要学习什么，比如哪些框架，库等！人工智能呢请尽量详细点！
阶段一、人工智能篇之Python核心
1、Python扫盲
2、面向对象编程基础
3、变量和基本数据类型
4、Python机器学习类库
5、Python控制语句与函数
6.、Python数据库操作+正则表达式
7、Lambda表达式、装饰器和Python模块化开发
阶段二、人工智能篇之数据库交互技术
1、初识MySQL数据库
2、创建MySQL数据库和表
3、MySQL数据库数据管理
4、使用事务保证数据完整性
5、使用DQL命令查询数据
6、创建和使用索引
7、MySQL数据库备份和恢复
阶段三、人工智能篇之前端特效
1、HTML+CSS
2、Java
3、jQuery
阶段四、人工智能篇之Python高级应用
1、Python开发
2、数据库应用程序开发
3、Python Web设计
4、存储模型设计
5、智联招聘爬虫
6、附加：基础python爬虫库
阶段五、人工智能篇之人工智能机器学习篇
1、数学基础
2、高等数学必知必会
3、Numpy前导介绍
4、Pandas前导课程
5、机器学习
阶段六、人工智能篇之人工智能项目实战
1、人脸性别和年龄识别原理
2、CTR广告点击量预测
3、DQN+遗传算法
4、图像检索系统
5、NLP阅读理解
阶段七、人工智能篇之人工智能项目实战篇
1、基于Python数据分析与机器学习案例实战教程
2、基于人工智能与深度学习的项目实战
3、分布式搜索引擎ElasticSearch开发
4、AI法律咨询大数据分析与服务智能推荐项目
5、电商大数据情感分析与AI推断实战项目
6、AI大数据互联网电影智能推荐
5. 学Python能做什么 需要哪些必备技能
Python可以从业的方向有很多，每个方向的要求不同，自然所需要掌握的技能也是有差异的。
Python是一门简单、易学并且很有前途的编程语言，很多人都对Python感兴趣，但是当学完Python基础用法之后，又会产生迷茫，尤其是自学的人员，不知道接下来的Python学习方向，以及学完之后能干些什么？以下是Python十大应用领域！
1. WEB开发
Python拥有很多免费数据函数库、免费web网页模板系统、以及与web服务器进行交互的库，可以实现web开发，搭建web框架，目前比较有名气的Python web框架为Django。从事该领域应从数据、组件、安全等多领域进行学习，从底层了解其工作原理并可驾驭任何业内主流的Web框架。
2. 网络编程
网络编程是Python学习的另一方向，网络编程在生活和开发中无处不在，哪里有通讯就有网络，它可以称为是一切开发的“基石”。对于所有编程开发人员必须要知其然并知其所以然，所以网络部分将从协议、封包、解包等底层进行深入剖析。
3. 爬虫开发
在爬虫领域，Python几乎是霸主地位，将网络一切数据作为资源，通过自动化程序进行有针对性的数据采集以及处理。从事该领域应学习爬虫策略、高性能异步IO、分布式爬虫等，并针对Scrapy框架源码进行深入剖析，从而理解其原理并实现自定义爬虫框架。
4. 云计算开发
Python是从事云计算工作需要掌握的一门编程语言，目前很火的云计算框架OpenStack就是由Python开发的，如果想要深入学习并进行二次开发，就需要具备Python的技能。
5. 人工智能
MASA和Google早期大量使用Python，为Python积累了丰富的科学运算库，当AI时代来临后，Python从众多编程语言中脱颖而出，各种人工智能算法都基于Python编写，尤其PyTorch之后，Python作为AI时代头牌语言的位置基本确定。
6. 自动化运维
Python是一门综合性的语言，能满足绝大部分自动化运维需求，前端和后端都可以做，从事该领域，应从设计层面、框架选择、灵活性、扩展性、故障处理、以及如何优化等层面进行学习。
7. 金融分析
金融分析包含金融知识和Python相关模块的学习，学习内容囊括Numpy\Pandas\Scipy数据分析模块等，以及常见金融分析策略如“双均线”、“周规则交易”、“羊驼策略”、“Dual Thrust 交易策略”等。
8. 科学运算
Python是一门很适合做科学计算的编程语言，97年开始，NASA就大量使用Python进行各种复杂的科学运算，随着NumPy、SciPy、Matplotlib、Enthought librarys等众多程序库的开发，使得Python越来越适合做科学计算、绘制高质量的2D和3D图像。
9. 游戏开发
在网络游戏开发中，Python也有很多应用，相比于Lua or C++，Python比Lua有更高阶的抽象能力，可以用更少的代码描述游戏业务逻辑，Python非常适合编写1万行以上的项目，而且能够很好的把网游项目的规模控制在10万行代码以内。
10. 桌面软件
Python在图形界面开发上很强大，可以用tkinter/PyQT框架开发各种桌面软件！
6. 学会Python之后更适合做哪方面的工作
下面我们来说一下Python具体的工作岗位以及其岗位要求：
Python后台开发工程师：主要是负责搭建和改进平台产品的后台，并与前端开发工程师相互配合完成整体产品的开发工作。要求工程师具备至少一门Python Web开发框架（Tornado、Django、Flask等），了解并熟悉MySQL/Redis/MongoDB。还要熟悉分布式、微服务、高性能Web服务的开发。
Python爬虫开发工程师：爬虫开发工程师并非我们预想的那样，只是负责为公司爬取相对应的数据内容。爬虫开发工程师主要负责对传统网页、SNS及微博等各种网站信息高效采集与正确解析，然后对用户数据进行整理分析，参与建模的构建，总结分析不同网站、网页的结构特点及规律，负责爬虫架构设计和研发，参与爬虫核心算法和策略优化研究。需要开发工程师熟悉了解robot规则、selenium、mitmproxy、pymouse等内容。当然作为爬虫开发工程师一定要有一定的职业情况，所有工作都需要在合理合法的需求下进行。
Python全栈开发工程师：是指可以使用Python相关工具，独立完成网站开发，称之为全栈开发。全栈开发工程师需要掌握非常多的技能，包括：项目管理、前后端开发、界面设计、产品设计、数据库开发、多端产品等等。
自动化运维工程师：是在基本的运维工作的基础上，实现运维工作的自动化，并且对自动化程序进行优化提升。需要从业者在掌握基本的运营工作的前提下，掌握Python中的IPy、Ansible、Saltstack等常用模块。
自动化测试工程师：首要要完成测试的基本工作，包括测试计划、测试用例、黑盒测试、性能测试等等。其次要是完成产品的自动化测试的部署以及维护工作，并且不断尝试新的方法，新的工具，以提高测试的效率。需要掌握Python以及selenium相关的技能。
数据分析师：指的是不同行业中，专门从事行业数据搜集、整理、分析，并依据数据做出行业研究、评估和预测的专业人员。需要从业者了解行业相关业务知识、相关管理工作、掌握足够的数据分析方法、了解数据分析工具使用、能够完成数据分析建模等，工作内容偏重于分析，同样也要掌握一定的开发能力，例如R语言和Python语言。
数据分析开发工程师：根据数据分析师的建模完成数据相关的开发工作，搭建仓库、完成数据存储、数据处理、计算处理以及报表开发等工作。需要从业者熟练应用数据库、数据建模开发、Python相关数据科学知识等技能。
人工智能开发工程师：根据企业人工智能AI相关的开发需求，完成相应产品或者功能开发。需要从业者掌握充分的数据理论基础、Python开发基础、机器学习理论与实践、深度学习理论与实践、自然语言处理等一系列相关的开发技能。
Python游戏开发工程师：主要负责游戏服务端的逻辑开发。需要从业者掌握Python各种性能优化方法、soket网络编程知识、运维相关基础知识、以及Python相关的游戏开发库与框架。此外还可以将Python开发相关工作按照岗位晋升分为初级Python开发工程师、中级Python开发工程师、高级Python开发工程师、项目经理、架构师、CTO等。主要是根据从业者工作年限，在某个就业方向的工作经验以及解决问题的能力进行定位。
无论是哪个就业方向，扎实的学习好Python相关知识是重中之重，在互联网行业，无论是大厂还是创业创新的公司，招聘人才的最核心要求是技术能力，只有自己的能力和岗位匹配的时候，才能获得更多的工作机会。
7. 如何用 python 构建一个简单的分布式系统
从GitHub中整理出的15个最受欢迎的Python开源框架。这些框架包括事件I/O，OLAP，Web开发，高性能网络通信，测试，爬虫等。
Django: Python Web应用开发框架
Django 应该是最出名的Python框架，GAE甚至Erlang都有框架受它影响。Django是走大而全的方向，它最出名的是其全自动化的管理后台：只需要使用起ORM，做简单的对象定义，它就能自动生成数据库结构、以及全功能的管理后台。
Diesel：基于Greenlet的事件I/O框架
Diesel提供一个整洁的API来编写网络客户端和服务器。支持TCP和UDP。
Flask：一个用Python编写的轻量级Web应用框架
Flask是一个使用Python编写的轻量级Web应用框架。基于Werkzeug WSGI工具箱和Jinja2
模板引擎。Flask也被称为“microframework”，因为它使用简单的核心，用extension增加其他功能。Flask没有默认使用的数
据库、窗体验证工具。
Cubes：轻量级Python OLAP框架
Cubes是一个轻量级Python框架，包含OLAP、多维数据分析和浏览聚合数据（aggregated data）等工具。
Kartograph.py：创造矢量地图的轻量级Python框架
Kartograph是一个Python库，用来为ESRI生成SVG地图。Kartograph.py目前仍处于beta阶段，你可以在virtualenv环境下来测试。
Pulsar：Python的事件驱动并发框架
Pulsar是一个事件驱动的并发框架，有了pulsar，你可以写出在不同进程或线程中运行一个或多个活动的异步服务器。
Web2py：全栈式Web框架
Web2py是一个为Python语言提供的全功能Web应用框架，旨在敏捷快速的开发Web应用，具有快速、安全以及可移植的数据库驱动的应用，兼容Google App Engine。
Falcon：构建云API和网络应用后端的高性能Python框架
Falcon是一个构建云API的高性能Python框架，它鼓励使用REST架构风格，尽可能以最少的力气做最多的事情。
Dpark：Python版的Spark
DPark是Spark的Python克隆，是一个Python实现的分布式计算框架，可以非常方便地实现大规模数据处理和迭代计算。DPark由豆瓣实现，目前豆瓣内部的绝大多数数据分析都使用DPark完成，正日趋完善。
Buildbot：基于Python的持续集成测试框架
Buildbot是一个开源框架，可以自动化软件构建、测试和发布等过程。每当代码有改变，服务器要求不同平台上的客户端立即进行代码构建和测试，收集并报告不同平台的构建和测试结果。
Zerorpc：基于ZeroMQ的高性能分布式RPC框架
Zerorpc是一个基于ZeroMQ和MessagePack开发的远程过程调用协议（RPC）实现。和 Zerorpc 一起使用的 Service API 被称为 zeroservice。Zerorpc 可以通过编程或命令行方式调用。
Bottle: 微型Python Web框架
Bottle是一个简单高效的遵循WSGI的微型python Web框架。说微型，是因为它只有一个文件，除Python标准库外，它不依赖于任何第三方模块。
Tornado：异步非阻塞IO的Python Web框架
Tornado的全称是Torado Web Server，从名字上看就可知道它可以用作Web服务器，但同时它也是一个Python Web的开发框架。最初是在FriendFeed公司的网站上使用，FaceBook收购了之后便开源了出来。
webpy: 轻量级的Python Web框架
webpy的设计理念力求精简（Keep it simple and powerful），源码很简短，只提供一个框架所必须的东西，不依赖大量的第三方模块，它没有URL路由、没有模板也没有数据库的访问。
Scrapy：Python的爬虫框架
Scrapy是一个使用Python编写的，轻量级的，简单轻巧，并且使用起来非常的方便。
8. 如何用Python写一个分布式爬虫
本文将会以PC端微博进行讲解，因为移动端微博数据不如PC短全面，而且抓取和解析难度都会小一些。文章比较长，由于篇幅所限，文章并没有列出所有代码，只是讲了大致流程和思路。
要抓微博数据，第一步便是模拟登陆，因为很多信息（比如用户信息，用户主页微博数据翻页等各种翻页）都需要在登录状态下才能查看。关于模拟登陆进阶，我写过两篇文章，一篇是模拟登陆微博的，是从小白的角度写的。另外一篇是模拟登陆网络云的，是从有一定经验的熟手的角度写的。读了这两篇文章，并且根据我写的过程自己动手实现过的同学，应该对于模拟登陆PC端微博是没有太大难度的。那两篇文章没有讲如何处理验证码，这里我简单说一下，做爬虫的同学不要老想着用什么机器学习的方法去识别复杂验证码，真的难度非常大，这应该也不是一个爬虫工程师的工作重点，当然这只是我的个人建议。工程化的项目，我还是建议大家通过打码平台来解决验证码的问题。我在分布式微博爬虫中就是直接调用打码平台的接口来做的大规模微博账号的模拟登陆，效果还不错，而且打码成本很低。
说完模拟登陆（具体请参见我写的那两篇文章，篇幅所限，我就不过来了），我们现在正式进入微博的数据抓取。这里我会以微博用户信息抓取为例来进行分析和讲解。
关于用户信息抓取，可能我们有两个目的。一个是我们只想抓一些指定用户，另外一个是我们想尽可能多的抓取更多数量的用户的信息。我的目的假定是第二种。那么我们该以什么样的策略来抓取，才能获得尽可能多的用户信息呢？如果我们初始用户选择有误，选了一些不活跃的用户，很可能会形成一个环，这样就抓不了太多的数据。这里有一个很简单的思路：我们把一些大V拿来做为种子用户，我们先抓他们的个人信息，然后再抓大V所关注的用户和粉丝，大V关注的用户肯定也是类似大V的用户，这样的话，就不容易形成环了。
策略我们都清楚了。就该是分析和编码了。
我们先来分析如何构造用户信息的URL。这里我以微博名为一起神吐槽的博主为例进行分析。做爬虫的话，一个很重要的意识就是爬虫能抓的数据都是人能看到的数据，反过来，人能在浏览器上看到的数据，爬虫几乎都能抓。这里用的是几乎，因为有的数据抓取难度特别。我们首先需要以正常人的流程看看怎么获取到用户的信息。我们先进入该博主的主页，如下图
根据唯一性判断
我们在页面源码中搜索，只发现一个script中有该字符串，那么就是那段script是页面相关信息。我们可以通过正则表达式把该script提取出来，然后把其中的html也提取出来，再保存到本地，看看信息是否全面。这里我就不截图了。感觉还有很多要写的，不然篇幅太长了。
另外，对于具体页面的解析，我也不做太多的介绍了。太细的东西还是建议读读源码。我只讲一下，我觉得的一种处理异常的比较优雅的方式。微博爬虫的话，主要是页面样式太多，如果你打算包含所有不同的用户的模版，那么我觉得几乎不可能，不同用户模版，用到的解析规则就不一样。那么出现解析异常如何处理？尤其是你没有catch到的异常。很可能因为这个问题，程序就崩掉。其实对于Python这门语言来说，我们可以通过装饰器来捕捉我们没有考虑到的异常，比如我这个装饰器
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
def parse_decorator(return_type):
"""
:param return_type: 用于捕捉页面解析的异常, 0表示返回数字0, 1表示返回空字符串, 2表示返回[],3表示返回False, 4表示返回{}, 5返回None
:return: 0,'',[],False,{},None
"""
def page_parse(func):
@wraps(func)
def handle_error(*keys):
try:
return func(*keys)
except Exception as e:
parser.error(e)
if return_type == 5:
return None
elif return_type == 4:
return {}
elif return_type == 3:
return False
elif return_type == 2:
return []
elif return_type == 1:
return ''
else:
return 0
return handle_error
return page_parse
上面的代码就是处理解析页面发生异常的情况，我们只能在数据的准确性、全面性和程序的健壮性之间做一些取舍。用装饰器的话，程序中不用写太多的try语句，代码重复率也会减少很多。
页面的解析由于篇幅所限，我就讲到这里了。没有涉及太具体的解析，其中一个还有一个比较难的点，就是数据的全面性，读者可以去多观察几个微博用户的个人信息，就会发现有的个人信息，有的用户有填写，有的并没有。解析的时候要考虑完的话，建议从自己的微博的个人信息入手，看到底有哪些可以填。这样可以保证几乎不会漏掉一些重要的信息。
最后，我再切合本文的标题，讲如何搭建一个分布式的微博爬虫。开发过程中，我们可以先就做单机单线程的爬虫，然后再改成使用celery的方式。这里这样做是为了方便开发和测试，因为你单机搭起来并且跑得通了，那么分布式的话，就很容易改了，因为celery的API使用本来就很简洁。
我们抓取的是用户信息和他的关注和粉丝uid。用户信息的话，我们一个请求大概能抓取一个用户的信息，而粉丝和关注我们一个请求可以抓取18个左右（因为这个抓的是列表），显然可以发现用户信息应该多占一些请求的资源。这时候就该介绍理论篇没有介绍的关于celery的一个高级特性了，它叫做任务路由。直白点说，它可以规定哪个分布式节点能做哪些任务，不能做哪些任务。它的存在可以让资源分配更加合理，分布式微博爬虫项目初期，就没有使用任务路由，然后抓了十多万条关注和分析，结果发现用户信息抓几万条，这就是资源分配得不合理。那么如何进行任务路由呢？
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
# coding:utf-8
import os
from datetime import timedelta
from celery import Celery
from kombu import Exchange, Queue
from config.conf import get_broker_or_backend
from celery import platforms
# 允许celery以root身份启动
platforms.C_FORCE_ROOT = True
worker_log_path = os.path.join(os.path.dirname(os.path.dirname(__file__))+'/logs', 'celery.log')
beat_log_path = os.path.join(os.path.dirname(os.path.dirname(__file__))+'/logs', 'beat.log')
tasks = ['tasks.login', 'tasks.user']
# include的作用就是注册服务化函数
app = Celery('weibo_task', include=tasks, broker=get_broker_or_backend(1), backend=get_broker_or_backend(2))
app.conf.update(
CELERY_TIMEZONE='Asia/Shanghai',
CELERY_ENABLE_UTC=True,
CELERYD_LOG_FILE=worker_log_path,
CELERYBEAT_LOG_FILE=beat_log_path,
CELERY_ACCEPT_CONTENT=['json'],
CELERY_TASK_SERIALIZER='json',
CELERY_RESULT_SERIALIZER='json',
CELERY_QUEUES=(
Queue('login_queue', exchange=Exchange('login', type='direct'), routing_key='for_login'),
Queue('user_crawler', exchange=Exchange('user_info', type='direct'), routing_key='for_user_info'),
Queue('fans_followers', exchange=Exchange('fans_followers', type='direct'), routing_key='for_fans_followers'),
)
上述代码我指定了有login_queue、user_crawler、fans_followers三个任务队列。它们分别的作用是登录、用户信息抓取、粉丝和关注抓取。现在假设我有三台爬虫服务器A、B和C。我想让我所有的账号登录任务分散到三台服务器、让用户抓取在A和B上执行，让粉丝和关注抓取在C上执行，那么启动A、B、C三个服务器的celery worker的命令就分别是
Python
1
2
3
celery -A tasks.workers -Q login_queue,user_crawler worker -l info -c 1 # A服务器和B服务器启动worker的命令，它们只会执行登录和用户信息抓取任务
celery -A tasks.workers -Q login_queue,fans_followers worker -l info -c 1 # C服务器启动worker的命令，它只会执行登录、粉丝和关注抓取任务
然后我们通过命令行或者代码（如下）就能发送所有任务给各个节点执行了
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
4
9. 学习Python需要掌握哪些知识
以下是python全栈开发课程学习路线，可以按照这个课程大纲有规划的进行学习：
阶段一：Python开发基础
Python全栈开发与人工智能之Python开发基础知识学习内容包括：Python基础语法、数据类型、字符编码、文件操作、函数、装饰器、迭代器、内置方法、常用模块等。
阶段二：Python高级编程和数据库开发
Python全栈开发与人工智能之Python高级编程和数据库开发知识学习内容包括：面向对象开发、Socket网络编程、线程、进程、队列、IO多路模型、Mysql数据库开发等。
阶段三：前端开发
Python全栈开发与人工智能之前端开发知识学习内容包括：Html、CSS、JavaScript开发、Jquery&bootstrap开发、前端框架VUE开发等。
阶段四：WEB框架开发
Python全栈开发与人工智能之WEB框架开发学习内容包括：Django框架基础、Django框架进阶、BBS+Blog实战项目开发、缓存和队列中间件、Flask框架学习、Tornado框架学习、Restful API等。
阶段五：爬虫开发
Python全栈开发与人工智能之爬虫开发学习内容包括：爬虫开发实战。
阶段六：全栈项目实战
Python全栈开发与人工智能之全栈项目实战学习内容包括：企业应用工具学习、CRM客户关系管理系统开发、路飞学城在线教育平台开发等。
阶段七：数据分析
Python全栈开发与人工智能之数据分析学习内容包括：金融量化分析。
阶段八：人工智能
Python全栈开发与人工智能之人工智能学习内容包括：机器学习、数据分析 、图像识别、自然语言翻译等。
阶段九：自动化运维&开发
Python全栈开发与人工智能之自动化运维&开发学习内容包括：CMDB资产管理系统开发、IT审计+主机管理系统开发、分布式主机监控系统开发等。
阶段十：高并发语言GO开发
Python全栈开发与人工智能之高并发语言GO开发学习内容包括：GO语言基础、数据类型与文件IO操作、函数和面向对象、并发编程等。
对于Python开发有兴趣的小伙伴们，不妨先从看看Python开发教程开始入门！B站上有很多的Python教学视频，从基础到高级的都有，还挺不错的，知识点讲的很细致，还有完整版的学习路线图。也可以自己去看看，下载学习试试。
10. Python能做什么，能够开发什么项目
Python是一种计算机程序设计语言。是一种面向对象的动态类型语言，最初被设计用于编写自动化脚本(shell)，随着版本的不断更新和语言新功能的添加，越来越多被用于独立的、大型项目的开发。
Python是一种解释型脚本语言，可以应用于Web 和 Internet开发、科学计算和统计、人工智能、教育、桌面界面开发、软件开发、后端开发这些领域。
Python的应用
1、系统编程
提供API（Application Programming Interface应用程序编程接口），能方便进行系统维护和管理，Linux下标志性语言之一，是很多系统管理员理想的编程工具。
2、图形处理
有PIL、Tkinter等图形库支持，能方便进行图形处理。
3、数学处理
NumPy扩展提供大量与许多标准数学库的接口。
4、文本处理
python提供的re模块能支持正则表达式，还提供SGML，XML分析模块，许多程序员利用python进行XML程序的开发。
5、数据库编程
程序员可通过遵循Python DB-API（数据库应用程序编程接口）规范的模块与Microsoft SQL Server，Oracle，Sybase，DB2，MySQL、SQLite等数据库通信。python自带有一个Gadfly模块，提供了一个完整的SQL环境。
6、网络编程
提供丰富的模块支持sockets编程，能方便快速地开发分布式应用程序。很多大规模软件开发计划例如Zope，Mnet 及BitTorrent. Google都在广泛地使用它。
7、Web编程
应用的开发语言，支持最新的XML技术。
8、多媒体应用
Python的PyOpenGL模块封装了“OpenGL应用程序编程接口”，能进行二维和三维图像处理。PyGame模块可用于编写游戏软件。
9、pymo引擎
PYMO全称为python memories off，是一款运行于Symbian S60V3,Symbian3,S60V5, Symbian3, Android系统上的AVG游戏引擎。因其基于python2.0平台开发，并且适用于创建秋之回忆（memories off）风格的AVG游戏，故命名为PYMO。
10、黑客编程
python有一个hack的库,内置了你熟悉的或不熟悉的函数，但是缺少成就感。