python分布式開發
隨著互聯網的不斷發展，關於python編程開發語言的學習已經成為大部分程序員的學習重點，下面我們就一起來了解一下，python編程中分布式和並行計算方法都有哪些。
1引言這一章中，我們跳轉到協調多個計算機和處理器的問題。
先，我們會觀察分布式系統。
它們是互相連接的獨立計算機，需要互相溝通來完成任務。
它們可能需要協作來提供服務，共享數據，或者甚至是儲存太大而不能在一台機器上裝下的數據。
我們會看到，計算機可以在分布式系統中起到不同作用，並且了解各種信息，計算機需要交換它們來共同工作。
接下來，我們會考慮並行計算。
並行計算是這樣，當一個小程序由多個處理器使用共享內存執行時，所有處理器都並行工作來使任務完成得更快。
並發(或並行)引入了新的挑戰，並且我們會開發新的機制來管理並發程序的復雜性。
2分布式系統分布式系統是自主的計算機網路，計算機互相通信來完成一個目標。
分布式系統中的計算機都是獨立的，並且沒有物理上共享的內存或處理器。
它們使用消息來和其它計算機通信，消息是網路上從一台計算機到另一台計算機傳輸的一段信息。
消息可以用於溝通許多事情：計算機可以讓其它計算機來執行一個帶有特定參數的過程，它們可以發送和接受數據包，或者發送信號讓其它計算機執行特定行為。
分布式系統中的計算機具有不同的作用。
計算機的作用取決於系統的目標，以及計算機自身的硬體和軟體屬性。
分布式系統中，有兩種主要方式來組織計算機，一種叫客戶端-服務端架構(C/S架構)，另一種叫做對等網路架構(P2P架構)。
2.1C/S系統C/S架構是一種從中心來源分發服務的方式。
只有單個服務端提供服務，多台客戶端和伺服器通信來消耗它的產出。
在這個架構中，客戶端和服務端都有不同的任務。
服務端的任務就是響應來自客戶端的服務請求，而客戶端的任務就是使用響應中提供的數據來執行一些任務。
C/S通信模型可以追溯到二十世紀七十年代Unix的引入，但這一模型由於現代萬維網(WWW)中的使用而變得具有影響力。
一個C/S交互的例子就是在線閱讀紐約時報。
當www.nytimes.com上的伺服器與瀏覽器客戶端(比如Firefox)通信時，它的任務就是發送回來紐約時報主頁的HTML。
電腦培訓http://www.kmbdqn.cn/認為這可能涉及到基於發送給伺服器的用戶賬戶信息，計算個性化的內容。
這意味著需要展示圖片，安排視覺上的內容，展示不同的顏色、字體和圖形，以及允許用戶和渲染後的頁面交互。
2. 什麼是Python全棧工程師
能一個人完個整個項目的所有開發工作，就是全棧。
這里的「棧」指的是項目的技術棧。
比如常見的做Web，那麼，
後端的資料庫；
服務端的Python；
Web服務端的nginx；
前端 的html和javascript;
以及使用的框架相關的知識，鍵資料庫，元資料庫，操作系統，Docker之類的
還有從需求分析到測試發布及運維的能力。
不同的項目對全棧的定義是不同的。
3. Python五大應用領域是什麼
一、網路爬蟲
網路爬蟲是Python比較常用的一個場景，國際上，google在前期大量地運用Python言語作為網路爬蟲的根底，帶動了整個Python言語的運用發展。
二、數據處理
Python有很齊備的生態環境。"大數據"分析中涉及到的分布式核算、數據可視化、資料庫操作等，Python中都有成熟的模塊能夠挑選完結其功能。關於Hadoop-MapRece和Spark，都能夠直接運用Python完結核算邏輯，這不管關於數據科學家仍是關於數據工程師而言都是十分便當的。
三、web開發
Python的誕生前史比Web還要早，由於Python是一種解說型的腳本言語，開發效率高，所以十分適合用來做Web開發。
Django 是 Python 編程言語驅動的一個開源模型-視圖-控制器(MVC)風格的 Web 運用程序結構。運用 Django，咱們在幾分鍾之內就能夠創建高品質、易維護、資料庫驅動的運用程序。
四、數據分析
關於數據分析師來說，不只要自己理解數據背面的含義，而且還要給更直地展現數據的含義。
Scipy是一組專門解決科學核算中各種規范問題域的包的集合。Numpy是python科學核算的根底包。Pandas處理上千萬的數據是一揮而就的工作，同時隨後咱們也將看到它比sql有更強的表達能力，能夠做很多復雜的操作，要寫的code也更少。
五、人工智慧
人工智慧是現在十分火的一個方向，AI熱潮讓Python言語的未來充滿了無限的潛力。現在釋放出來的幾個十分有影響力的AI結構，大多是Python的實現，為什麼呢?
在人工智慧大領域領域內的數據發掘、機器學習、神經網路、深度學習等方面都是主流的編程言語，得到廣泛的支持和運用。人工智慧的核心演算法大部分仍是依賴於C/C++的，由於是核算密集型，需求十分精細的優化，還需求GPU、專用硬體之類的介面，這些都只要C/C++能做到。
關於Python五大應用領域是什麼，環球青藤小編就和大家分享到這里了，學習是永無止境的，學習一項技能更是受益終身，所以，只要肯努力學，什麼時候開始都不晚。如果您還想繼續了解關於python編程的學習方法及素材等內容，可以點擊本站其他文章學習。
4. Python做大數據，都需要學習什麼，比如哪些框架，庫等！人工智慧呢請盡量詳細點！
階段一、人工智慧篇之Python核心
1、Python掃盲
2、面向對象編程基礎
3、變數和基本數據類型
4、Python機器學習類庫
5、Python控制語句與函數
6.、Python資料庫操作+正則表達式
7、Lambda表達式、裝飾器和Python模塊化開發
階段二、人工智慧篇之資料庫交互技術
1、初識MySQL資料庫
2、創建MySQL資料庫和表
3、MySQL資料庫數據管理
4、使用事務保證數據完整性
5、使用DQL命令查詢數據
6、創建和使用索引
7、MySQL資料庫備份和恢復
階段三、人工智慧篇之前端特效
1、HTML+CSS
2、Java
3、jQuery
階段四、人工智慧篇之Python高級應用
1、Python開發
2、資料庫應用程序開發
3、Python Web設計
4、存儲模型設計
5、智聯招聘爬蟲
6、附加：基礎python爬蟲庫
階段五、人工智慧篇之人工智慧機器學習篇
1、數學基礎
2、高等數學必知必會
3、Numpy前導介紹
4、Pandas前導課程
5、機器學習
階段六、人工智慧篇之人工智慧項目實戰
1、人臉性別和年齡識別原理
2、CTR廣告點擊量預測
3、DQN+遺傳演算法
4、圖像檢索系統
5、NLP閱讀理解
階段七、人工智慧篇之人工智慧項目實戰篇
1、基於Python數據分析與機器學習案例實戰教程
2、基於人工智慧與深度學習的項目實戰
3、分布式搜索引擎ElasticSearch開發
4、AI法律咨詢大數據分析與服務智能推薦項目
5、電商大數據情感分析與AI推斷實戰項目
6、AI大數據互聯網電影智能推薦
5. 學Python能做什麼 需要哪些必備技能
Python可以從業的方向有很多，每個方向的要求不同，自然所需要掌握的技能也是有差異的。
Python是一門簡單、易學並且很有前途的編程語言，很多人都對Python感興趣，但是當學完Python基礎用法之後，又會產生迷茫，尤其是自學的人員，不知道接下來的Python學習方向，以及學完之後能幹些什麼？以下是Python十大應用領域！
1. WEB開發
Python擁有很多免費數據函數庫、免費web網頁模板系統、以及與web伺服器進行交互的庫，可以實現web開發，搭建web框架，目前比較有名氣的Python web框架為Django。從事該領域應從數據、組件、安全等多領域進行學習，從底層了解其工作原理並可駕馭任何業內主流的Web框架。
2. 網路編程
網路編程是Python學習的另一方向，網路編程在生活和開發中無處不在，哪裡有通訊就有網路，它可以稱為是一切開發的「基石」。對於所有編程開發人員必須要知其然並知其所以然，所以網路部分將從協議、封包、解包等底層進行深入剖析。
3. 爬蟲開發
在爬蟲領域，Python幾乎是霸主地位，將網路一切數據作為資源，通過自動化程序進行有針對性的數據採集以及處理。從事該領域應學習爬蟲策略、高性能非同步IO、分布式爬蟲等，並針對Scrapy框架源碼進行深入剖析，從而理解其原理並實現自定義爬蟲框架。
4. 雲計算開發
Python是從事雲計算工作需要掌握的一門編程語言，目前很火的雲計算框架OpenStack就是由Python開發的，如果想要深入學習並進行二次開發，就需要具備Python的技能。
5. 人工智慧
MASA和Google早期大量使用Python，為Python積累了豐富的科學運算庫，當AI時代來臨後，Python從眾多編程語言中脫穎而出，各種人工智慧演算法都基於Python編寫，尤其PyTorch之後，Python作為AI時代頭牌語言的位置基本確定。
6. 自動化運維
Python是一門綜合性的語言，能滿足絕大部分自動化運維需求，前端和後端都可以做，從事該領域，應從設計層面、框架選擇、靈活性、擴展性、故障處理、以及如何優化等層面進行學習。
7. 金融分析
金融分析包含金融知識和Python相關模塊的學習，學習內容囊括Numpy\Pandas\Scipy數據分析模塊等，以及常見金融分析策略如「雙均線」、「周規則交易」、「羊駝策略」、「Dual Thrust 交易策略」等。
8. 科學運算
Python是一門很適合做科學計算的編程語言，97年開始，NASA就大量使用Python進行各種復雜的科學運算，隨著NumPy、SciPy、Matplotlib、Enthought librarys等眾多程序庫的開發，使得Python越來越適合做科學計算、繪制高質量的2D和3D圖像。
9. 游戲開發
在網路游戲開發中，Python也有很多應用，相比於Lua or C++，Python比Lua有更高階的抽象能力，可以用更少的代碼描述游戲業務邏輯，Python非常適合編寫1萬行以上的項目，而且能夠很好的把網游項目的規模控制在10萬行代碼以內。
10. 桌面軟體
Python在圖形界面開發上很強大，可以用tkinter/PyQT框架開發各種桌面軟體！
6. 學會Python之後更適合做哪方面的工作
下面我們來說一下Python具體的工作崗位以及其崗位要求：
Python後台開發工程師：主要是負責搭建和改進平台產品的後台，並與前端開發工程師相互配合完成整體產品的開發工作。要求工程師具備至少一門Python Web開發框架（Tornado、Django、Flask等），了解並熟悉MySQL/Redis/MongoDB。還要熟悉分布式、微服務、高性能Web服務的開發。
Python爬蟲開發工程師：爬蟲開發工程師並非我們預想的那樣，只是負責為公司爬取相對應的數據內容。爬蟲開發工程師主要負責對傳統網頁、SNS及微博等各種網站信息高效採集與正確解析，然後對用戶數據進行整理分析，參與建模的構建，總結分析不同網站、網頁的結構特點及規律，負責爬蟲架構設計和研發，參與爬蟲核心演算法和策略優化研究。需要開發工程師熟悉了解robot規則、selenium、mitmproxy、pymouse等內容。當然作為爬蟲開發工程師一定要有一定的職業情況，所有工作都需要在合理合法的需求下進行。
Python全棧開發工程師：是指可以使用Python相關工具，獨立完成網站開發，稱之為全棧開發。全棧開發工程師需要掌握非常多的技能，包括：項目管理、前後端開發、界面設計、產品設計、資料庫開發、多端產品等等。
自動化運維工程師：是在基本的運維工作的基礎上，實現運維工作的自動化，並且對自動化程序進行優化提升。需要從業者在掌握基本的運營工作的前提下，掌握Python中的IPy、Ansible、Saltstack等常用模塊。
自動化測試工程師：首要要完成測試的基本工作，包括測試計劃、測試用例、黑盒測試、性能測試等等。其次要是完成產品的自動化測試的部署以及維護工作，並且不斷嘗試新的方法，新的工具，以提高測試的效率。需要掌握Python以及selenium相關的技能。
數據分析師：指的是不同行業中，專門從事行業數據搜集、整理、分析，並依據數據做出行業研究、評估和預測的專業人員。需要從業者了解行業相關業務知識、相關管理工作、掌握足夠的數據分析方法、了解數據分析工具使用、能夠完成數據分析建模等，工作內容偏重於分析，同樣也要掌握一定的開發能力，例如R語言和Python語言。
數據分析開發工程師：根據數據分析師的建模完成數據相關的開發工作，搭建倉庫、完成數據存儲、數據處理、計算處理以及報表開發等工作。需要從業者熟練應用資料庫、數據建模開發、Python相關數據科學知識等技能。
人工智慧開發工程師：根據企業人工智慧AI相關的開發需求，完成相應產品或者功能開發。需要從業者掌握充分的數據理論基礎、Python開發基礎、機器學習理論與實踐、深度學習理論與實踐、自然語言處理等一系列相關的開發技能。
Python游戲開發工程師：主要負責游戲服務端的邏輯開發。需要從業者掌握Python各種性能優化方法、soket網路編程知識、運維相關基礎知識、以及Python相關的游戲開發庫與框架。此外還可以將Python開發相關工作按照崗位晉升分為初級Python開發工程師、中級Python開發工程師、高級Python開發工程師、項目經理、架構師、CTO等。主要是根據從業者工作年限，在某個就業方向的工作經驗以及解決問題的能力進行定位。
無論是哪個就業方向，扎實的學習好Python相關知識是重中之重，在互聯網行業，無論是大廠還是創業創新的公司，招聘人才的最核心要求是技術能力，只有自己的能力和崗位匹配的時候，才能獲得更多的工作機會。
7. 如何用 python 構建一個簡單的分布式系統
從GitHub中整理出的15個最受歡迎的Python開源框架。這些框架包括事件I/O，OLAP，Web開發，高性能網路通信，測試，爬蟲等。
Django: Python Web應用開發框架
Django 應該是最出名的Python框架，GAE甚至Erlang都有框架受它影響。Django是走大而全的方向，它最出名的是其全自動化的管理後台：只需要使用起ORM，做簡單的對象定義，它就能自動生成資料庫結構、以及全功能的管理後台。
Diesel：基於Greenlet的事件I/O框架
Diesel提供一個整潔的API來編寫網路客戶端和伺服器。支持TCP和UDP。
Flask：一個用Python編寫的輕量級Web應用框架
Flask是一個使用Python編寫的輕量級Web應用框架。基於Werkzeug WSGI工具箱和Jinja2
模板引擎。Flask也被稱為「microframework」，因為它使用簡單的核心，用extension增加其他功能。Flask沒有默認使用的數
據庫、窗體驗證工具。
Cubes：輕量級Python OLAP框架
Cubes是一個輕量級Python框架，包含OLAP、多維數據分析和瀏覽聚合數據（aggregated data）等工具。
Kartograph.py：創造矢量地圖的輕量級Python框架
Kartograph是一個Python庫，用來為ESRI生成SVG地圖。Kartograph.py目前仍處於beta階段，你可以在virtualenv環境下來測試。
Pulsar：Python的事件驅動並發框架
Pulsar是一個事件驅動的並發框架，有了pulsar，你可以寫出在不同進程或線程中運行一個或多個活動的非同步伺服器。
Web2py：全棧式Web框架
Web2py是一個為Python語言提供的全功能Web應用框架，旨在敏捷快速的開發Web應用，具有快速、安全以及可移植的資料庫驅動的應用，兼容Google App Engine。
Falcon：構建雲API和網路應用後端的高性能Python框架
Falcon是一個構建雲API的高性能Python框架，它鼓勵使用REST架構風格，盡可能以最少的力氣做最多的事情。
Dpark：Python版的Spark
DPark是Spark的Python克隆，是一個Python實現的分布式計算框架，可以非常方便地實現大規模數據處理和迭代計算。DPark由豆瓣實現，目前豆瓣內部的絕大多數數據分析都使用DPark完成，正日趨完善。
Buildbot：基於Python的持續集成測試框架
Buildbot是一個開源框架，可以自動化軟體構建、測試和發布等過程。每當代碼有改變，伺服器要求不同平台上的客戶端立即進行代碼構建和測試，收集並報告不同平台的構建和測試結果。
Zerorpc：基於ZeroMQ的高性能分布式RPC框架
Zerorpc是一個基於ZeroMQ和MessagePack開發的遠程過程調用協議（RPC）實現。和 Zerorpc 一起使用的 Service API 被稱為 zeroservice。Zerorpc 可以通過編程或命令行方式調用。
Bottle: 微型Python Web框架
Bottle是一個簡單高效的遵循WSGI的微型python Web框架。說微型，是因為它只有一個文件，除Python標准庫外，它不依賴於任何第三方模塊。
Tornado：非同步非阻塞IO的Python Web框架
Tornado的全稱是Torado Web Server，從名字上看就可知道它可以用作Web伺服器，但同時它也是一個Python Web的開發框架。最初是在FriendFeed公司的網站上使用，FaceBook收購了之後便開源了出來。
webpy: 輕量級的Python Web框架
webpy的設計理念力求精簡（Keep it simple and powerful），源碼很簡短，只提供一個框架所必須的東西，不依賴大量的第三方模塊，它沒有URL路由、沒有模板也沒有資料庫的訪問。
Scrapy：Python的爬蟲框架
Scrapy是一個使用Python編寫的，輕量級的，簡單輕巧，並且使用起來非常的方便。
8. 如何用Python寫一個分布式爬蟲
本文將會以PC端微博進行講解，因為移動端微博數據不如PC短全面，而且抓取和解析難度都會小一些。文章比較長，由於篇幅所限，文章並沒有列出所有代碼，只是講了大致流程和思路。
要抓微博數據，第一步便是模擬登陸，因為很多信息（比如用戶信息，用戶主頁微博數據翻頁等各種翻頁）都需要在登錄狀態下才能查看。關於模擬登陸進階，我寫過兩篇文章，一篇是模擬登陸微博的，是從小白的角度寫的。另外一篇是模擬登陸網路雲的，是從有一定經驗的熟手的角度寫的。讀了這兩篇文章，並且根據我寫的過程自己動手實現過的同學，應該對於模擬登陸PC端微博是沒有太大難度的。那兩篇文章沒有講如何處理驗證碼，這里我簡單說一下，做爬蟲的同學不要老想著用什麼機器學習的方法去識別復雜驗證碼，真的難度非常大，這應該也不是一個爬蟲工程師的工作重點，當然這只是我的個人建議。工程化的項目，我還是建議大家通過打碼平台來解決驗證碼的問題。我在分布式微博爬蟲中就是直接調用打碼平台的介面來做的大規模微博賬號的模擬登陸，效果還不錯，而且打碼成本很低。
說完模擬登陸（具體請參見我寫的那兩篇文章，篇幅所限，我就不過來了），我們現在正式進入微博的數據抓取。這里我會以微博用戶信息抓取為例來進行分析和講解。
關於用戶信息抓取，可能我們有兩個目的。一個是我們只想抓一些指定用戶，另外一個是我們想盡可能多的抓取更多數量的用戶的信息。我的目的假定是第二種。那麼我們該以什麼樣的策略來抓取，才能獲得盡可能多的用戶信息呢？如果我們初始用戶選擇有誤，選了一些不活躍的用戶，很可能會形成一個環，這樣就抓不了太多的數據。這里有一個很簡單的思路：我們把一些大V拿來做為種子用戶，我們先抓他們的個人信息，然後再抓大V所關注的用戶和粉絲，大V關注的用戶肯定也是類似大V的用戶，這樣的話，就不容易形成環了。
策略我們都清楚了。就該是分析和編碼了。
我們先來分析如何構造用戶信息的URL。這里我以微博名為一起神吐槽的博主為例進行分析。做爬蟲的話，一個很重要的意識就是爬蟲能抓的數據都是人能看到的數據，反過來，人能在瀏覽器上看到的數據，爬蟲幾乎都能抓。這里用的是幾乎，因為有的數據抓取難度特別。我們首先需要以正常人的流程看看怎麼獲取到用戶的信息。我們先進入該博主的主頁，如下圖
根據唯一性判斷
我們在頁面源碼中搜索，只發現一個script中有該字元串，那麼就是那段script是頁面相關信息。我們可以通過正則表達式把該script提取出來，然後把其中的html也提取出來，再保存到本地，看看信息是否全面。這里我就不截圖了。感覺還有很多要寫的，不然篇幅太長了。
另外，對於具體頁面的解析，我也不做太多的介紹了。太細的東西還是建議讀讀源碼。我只講一下，我覺得的一種處理異常的比較優雅的方式。微博爬蟲的話，主要是頁面樣式太多，如果你打算包含所有不同的用戶的模版，那麼我覺得幾乎不可能，不同用戶模版，用到的解析規則就不一樣。那麼出現解析異常如何處理？尤其是你沒有catch到的異常。很可能因為這個問題，程序就崩掉。其實對於Python這門語言來說，我們可以通過裝飾器來捕捉我們沒有考慮到的異常，比如我這個裝飾器
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
def parse_decorator(return_type):
"""
:param return_type: 用於捕捉頁面解析的異常, 0表示返回數字0, 1表示返回空字元串, 2表示返回[],3表示返回False, 4表示返回{}, 5返回None
:return: 0,'',[],False,{},None
"""
def page_parse(func):
@wraps(func)
def handle_error(*keys):
try:
return func(*keys)
except Exception as e:
parser.error(e)
if return_type == 5:
return None
elif return_type == 4:
return {}
elif return_type == 3:
return False
elif return_type == 2:
return []
elif return_type == 1:
return ''
else:
return 0
return handle_error
return page_parse
上面的代碼就是處理解析頁面發生異常的情況，我們只能在數據的准確性、全面性和程序的健壯性之間做一些取捨。用裝飾器的話，程序中不用寫太多的try語句，代碼重復率也會減少很多。
頁面的解析由於篇幅所限，我就講到這里了。沒有涉及太具體的解析，其中一個還有一個比較難的點，就是數據的全面性，讀者可以去多觀察幾個微博用戶的個人信息，就會發現有的個人信息，有的用戶有填寫，有的並沒有。解析的時候要考慮完的話，建議從自己的微博的個人信息入手，看到底有哪些可以填。這樣可以保證幾乎不會漏掉一些重要的信息。
最後，我再切合本文的標題，講如何搭建一個分布式的微博爬蟲。開發過程中，我們可以先就做單機單線程的爬蟲，然後再改成使用celery的方式。這里這樣做是為了方便開發和測試，因為你單機搭起來並且跑得通了，那麼分布式的話，就很容易改了，因為celery的API使用本來就很簡潔。
我們抓取的是用戶信息和他的關注和粉絲uid。用戶信息的話，我們一個請求大概能抓取一個用戶的信息，而粉絲和關注我們一個請求可以抓取18個左右（因為這個抓的是列表），顯然可以發現用戶信息應該多佔一些請求的資源。這時候就該介紹理論篇沒有介紹的關於celery的一個高級特性了，它叫做任務路由。直白點說，它可以規定哪個分布式節點能做哪些任務，不能做哪些任務。它的存在可以讓資源分配更加合理，分布式微博爬蟲項目初期，就沒有使用任務路由，然後抓了十多萬條關注和分析，結果發現用戶信息抓幾萬條，這就是資源分配得不合理。那麼如何進行任務路由呢？
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
# coding:utf-8
import os
from datetime import timedelta
from celery import Celery
from kombu import Exchange, Queue
from config.conf import get_broker_or_backend
from celery import platforms
# 允許celery以root身份啟動
platforms.C_FORCE_ROOT = True
worker_log_path = os.path.join(os.path.dirname(os.path.dirname(__file__))+'/logs', 'celery.log')
beat_log_path = os.path.join(os.path.dirname(os.path.dirname(__file__))+'/logs', 'beat.log')
tasks = ['tasks.login', 'tasks.user']
# include的作用就是注冊服務化函數
app = Celery('weibo_task', include=tasks, broker=get_broker_or_backend(1), backend=get_broker_or_backend(2))
app.conf.update(
CELERY_TIMEZONE='Asia/Shanghai',
CELERY_ENABLE_UTC=True,
CELERYD_LOG_FILE=worker_log_path,
CELERYBEAT_LOG_FILE=beat_log_path,
CELERY_ACCEPT_CONTENT=['json'],
CELERY_TASK_SERIALIZER='json',
CELERY_RESULT_SERIALIZER='json',
CELERY_QUEUES=(
Queue('login_queue', exchange=Exchange('login', type='direct'), routing_key='for_login'),
Queue('user_crawler', exchange=Exchange('user_info', type='direct'), routing_key='for_user_info'),
Queue('fans_followers', exchange=Exchange('fans_followers', type='direct'), routing_key='for_fans_followers'),
)
上述代碼我指定了有login_queue、user_crawler、fans_followers三個任務隊列。它們分別的作用是登錄、用戶信息抓取、粉絲和關注抓取。現在假設我有三台爬蟲伺服器A、B和C。我想讓我所有的賬號登錄任務分散到三台伺服器、讓用戶抓取在A和B上執行，讓粉絲和關注抓取在C上執行，那麼啟動A、B、C三個伺服器的celery worker的命令就分別是
Python
1
2
3
celery -A tasks.workers -Q login_queue,user_crawler worker -l info -c 1 # A伺服器和B伺服器啟動worker的命令，它們只會執行登錄和用戶信息抓取任務
celery -A tasks.workers -Q login_queue,fans_followers worker -l info -c 1 # C伺服器啟動worker的命令，它只會執行登錄、粉絲和關注抓取任務
然後我們通過命令行或者代碼（如下）就能發送所有任務給各個節點執行了
Python
1
2
3
4
5
6
7
8
9
10
11
12
13
14
15
16
17
18
19
20
21
22
23
24
25
26
27
28
29
30
31
32
33
34
35
36
37
38
39
40
41
4
9. 學習Python需要掌握哪些知識
以下是python全棧開發課程學習路線，可以按照這個課程大綱有規劃的進行學習：
階段一：Python開發基礎
Python全棧開發與人工智慧之Python開發基礎知識學習內容包括：Python基礎語法、數據類型、字元編碼、文件操作、函數、裝飾器、迭代器、內置方法、常用模塊等。
階段二：Python高級編程和資料庫開發
Python全棧開發與人工智慧之Python高級編程和資料庫開發知識學習內容包括：面向對象開發、Socket網路編程、線程、進程、隊列、IO多路模型、Mysql資料庫開發等。
階段三：前端開發
Python全棧開發與人工智慧之前端開發知識學習內容包括：Html、CSS、JavaScript開發、Jquery&bootstrap開發、前端框架VUE開發等。
階段四：WEB框架開發
Python全棧開發與人工智慧之WEB框架開發學習內容包括：Django框架基礎、Django框架進階、BBS+Blog實戰項目開發、緩存和隊列中間件、Flask框架學習、Tornado框架學習、Restful API等。
階段五：爬蟲開發
Python全棧開發與人工智慧之爬蟲開發學習內容包括：爬蟲開發實戰。
階段六：全棧項目實戰
Python全棧開發與人工智慧之全棧項目實戰學習內容包括：企業應用工具學習、CRM客戶關系管理系統開發、路飛學城在線教育平台開發等。
階段七：數據分析
Python全棧開發與人工智慧之數據分析學習內容包括：金融量化分析。
階段八：人工智慧
Python全棧開發與人工智慧之人工智慧學習內容包括：機器學習、數據分析 、圖像識別、自然語言翻譯等。
階段九：自動化運維&開發
Python全棧開發與人工智慧之自動化運維&開發學習內容包括：CMDB資產管理系統開發、IT審計+主機管理系統開發、分布式主機監控系統開發等。
階段十：高並發語言GO開發
Python全棧開發與人工智慧之高並發語言GO開發學習內容包括：GO語言基礎、數據類型與文件IO操作、函數和面向對象、並發編程等。
對於Python開發有興趣的小夥伴們，不妨先從看看Python開發教程開始入門！B站上有很多的Python教學視頻，從基礎到高級的都有，還挺不錯的，知識點講的很細致，還有完整版的學習路線圖。也可以自己去看看，下載學習試試。
10. Python能做什麼，能夠開發什麼項目
Python是一種計算機程序設計語言。是一種面向對象的動態類型語言，最初被設計用於編寫自動化腳本(shell)，隨著版本的不斷更新和語言新功能的添加，越來越多被用於獨立的、大型項目的開發。
Python是一種解釋型腳本語言，可以應用於Web 和 Internet開發、科學計算和統計、人工智慧、教育、桌面界面開發、軟體開發、後端開發這些領域。
Python的應用
1、系統編程
提供API（Application Programming Interface應用程序編程介面），能方便進行系統維護和管理，Linux下標志性語言之一，是很多系統管理員理想的編程工具。
2、圖形處理
有PIL、Tkinter等圖形庫支持，能方便進行圖形處理。
3、數學處理
NumPy擴展提供大量與許多標准數學庫的介面。
4、文本處理
python提供的re模塊能支持正則表達式，還提供SGML，XML分析模塊，許多程序員利用python進行XML程序的開發。
5、資料庫編程
程序員可通過遵循Python DB-API（資料庫應用程序編程介面）規范的模塊與Microsoft SQL Server，Oracle，Sybase，DB2，MySQL、SQLite等資料庫通信。python自帶有一個Gadfly模塊，提供了一個完整的SQL環境。
6、網路編程
提供豐富的模塊支持sockets編程，能方便快速地開發分布式應用程序。很多大規模軟體開發計劃例如Zope，Mnet 及BitTorrent. Google都在廣泛地使用它。
7、Web編程
應用的開發語言，支持最新的XML技術。
8、多媒體應用
Python的PyOpenGL模塊封裝了「OpenGL應用程序編程介面」，能進行二維和三維圖像處理。PyGame模塊可用於編寫游戲軟體。
9、pymo引擎
PYMO全稱為python memories off，是一款運行於Symbian S60V3,Symbian3,S60V5, Symbian3, Android系統上的AVG游戲引擎。因其基於python2.0平台開發，並且適用於創建秋之回憶（memories off）風格的AVG游戲，故命名為PYMO。
10、黑客編程
python有一個hack的庫,內置了你熟悉的或不熟悉的函數，但是缺少成就感。