python任務調度

❶ 如何用python簡單的設計開發非同步任務調度隊列

首先，客戶端可以直接扔任務到一個web services的介面上 –》 web api接收到任務後，會根據客戶端的ip和時間戳做task_id,返回給客戶，緊接著在redis裡面標記這任務的狀態。 格式為 func,args,kwargs,timeout=xx,queue_level=xx,interval_time=xx
主服務端:
一個線程，會不停的掃描那個redis hash表，取出任務的interval_time後，進行取模，如果匹配成功，就會塞到 redis sorted set有續集和裡面。
主線程，會不停的看看sorted set裡面，有沒有比自己實現小的任務，有的話，執行並刪除。 這里的執行是用多進程，為毛用多進程，因為線程很多時候是不好控制強制幹掉的。 每個任務都會用multiprocessing的方式去執行，去調用的時候，會多傳進一個task_id，用來把相關的進度推送到redis裡面。 另外，fork進程後，我會得到一個pid，我會把pid和timeout的信息，存放到kill_hash裡面。 然後會不間斷的查看，在指定的timeout內，這pid還在不在，如果還是存在，沒有退出的話，說明他的任務不太正常，我們就可以在main()，裡面幹掉這些任務。
所謂的優先順序就是個 High + middle +Low 的三合一鏈條而已，我每次都會堅持從高到低取任務，如果你的High級別的任務不斷的話，那麼我會一直幹不了低級別的任務了。 代碼的體現是在redis sorted set這邊，設立三個有序集合，我的worker隊列會從high開始做……
那麼如果想幹掉一個任務是如何操作的，首先我需要在 kill_hash 裡面標記任務應該趕緊幹掉，在就是在task_hash裡面把那個task_id幹掉，好讓他不會被持續的加入待執行的隊列裡面。

❷ python的map和rece和Hadoop的MapRece有什麼關系

關系就是都是基於Map-Rece的處理思想設計出來的。
從用戶角度看功能其實差不多，
Python的Map函數和Hadoop的Map階段對輸入進行逐行處理；
Python的Rece函數和Hadoop的Rece階段對輸入進行累積處理。
但是其實完整的Hadoop MapRece是Map+Shuffle+Sort+Rece過程。
其中Shuffle過程是為了讓分布式機群之間將同Key數據進行互相交換，Sort過程是根據Key對所有數據進行排序，從而才能完成類WordCount功能，而這兩步在Python裡面當然是需要用戶自己去編寫的。

❸ 大數據主要學習什麼知識

分享大數據學習路線：

第一階段為javaSE+MYsql+JDBC

主要學習一些Java語言的概念，如字元、流程式控制制、面向對象、進程線程、枚舉反射等，學習MySQL資料庫的安裝卸載及相關操作，學習JDBC的實現原理以及Linux基礎知識，是大數據剛入門階段。

第二階段為分布式理論簡介

主要講解CAP理論、數據分布方式、一致性、2PC和3PC、大數據集成架構。涉及的知識點有Consistency一致性、Availability可用性、Partition
tolerance分區容忍性、數據量分布、2PC流程、3PC流程、哈希方式、一致性哈希等。

第三階段為數據存儲與計算（離線場景）

主要講解協調服務ZK(1T)、數據存儲hdfs(2T)、數據存儲alluxio(1T)、數據採集flume、數據採集logstash、數據同步Sqoop(0.5T)、數據同步datax(0.5T)、數據同步mysql-binlog(1T)、計算模型MR與DAG(1T)、hive(5T)、Impala(1T)、任務調度Azkaban、任務調度airflow等。

第四部分為數倉建設

主要講解數倉倉庫的歷史背景、離線數倉項目-伴我汽車（5T）架構技術解析、多維數據模型處理kylin（3.5T）部署安裝、離線數倉項目-伴我汽車升級後加入kylin進行多維分析等；

第五階段為分布式計算引擎

主要講解計算引擎、scala語言、spark、數據存儲hbase、redis、ku，並通過某p2p平台項目實現spark多數據源讀寫。

第六階段為數據存儲與計算（實時場景）

主要講解數據通道Kafka、實時數倉druid、流式數據處理flink、SparkStreaming，並通過講解某交通大數讓你可以將知識點融會貫通。

第七階段為數據搜索

主要講解elasticsearch，包括全文搜索技術、ES安裝操作、index、創建索引、增刪改查、索引、映射、過濾等。

第八階段為數據治理

主要講解數據標准、數據分類、數據建模、圖存儲與查詢、元數據、血緣與數據質量、Hive Hook、Spark Listener等。

第九階段為BI系統

主要講解Superset、Graphna兩大技術，包括基本簡介、安裝、數據源創建、表操作以及數據探索分析。

第十階段為數據挖掘

主要講解機器學習中的數學體系、Spark Mlib機器學習演算法庫、Python scikit-learn機器學習演算法庫、機器學習結合大數據項目。

對大數據分析有興趣的小夥伴們，不妨先從看看大數據分析書籍開始入門！B站上有很多的大數據教學視頻，從基礎到高級的都有，還挺不錯的，知識點講的很細致，還有完整版的學習路線圖。也可以自己去看看，下載學習試試。

❹ python爬蟲用什麼框架

python爬蟲框架概述
爬蟲框架中比較好用的是 Scrapy 和PySpider。pyspider上手更簡單，操作更加簡便，因為它增加了 WEB 界面，寫爬蟲迅速，集成了phantomjs，可以用來抓取js渲染的頁面。Scrapy自定義程度高，比 PySpider更底層一些，適合學習研究，需要學習的相關知識多，不過自己拿來研究分布式和多線程等等是非常合適的。
PySpider
PySpider是binux做的一個爬蟲架構的開源化實現。主要的功能需求是：
抓取、更新調度多站點的特定的頁面
需要對頁面進行結構化信息提取
靈活可擴展，穩定可監控
pyspider的設計基礎是：以python腳本驅動的抓取環模型爬蟲
通過python腳本進行結構化信息的提取，follow鏈接調度抓取控制，實現最大的靈活性
通過web化的腳本編寫、調試環境。web展現調度狀態
抓取環模型成熟穩定，模塊間相互獨立，通過消息隊列連接，從單進程到多機分布式靈活拓展
pyspider的架構主要分為 scheler（調度器）, fetcher（抓取器）, processor（腳本執行）：
各個組件間使用消息隊列連接，除了scheler是單點的，fetcher 和 processor 都是可以多實例分布式部署的。 scheler 負責整體的調度控制
任務由 scheler 發起調度，fetcher 抓取網頁內容， processor 執行預先編寫的python腳本，輸出結果或產生新的提鏈任務（發往 scheler），形成閉環。
每個腳本可以靈活使用各種python庫對頁面進行解析，使用框架API控制下一步抓取動作，通過設置回調控制解析動作。
Scrapy
Scrapy是一個為了爬取網站數據，提取結構性數據而編寫的應用框架。 可以應用在包括數據挖掘，信息處理或存儲歷史數據等一系列的程序中。
其最初是為了頁面抓取 (更確切來說, 網路抓取 )所設計的， 也可以應用在獲取API所返回的數據(例如 Amazon Associates Web Services ) 或者通用的網路爬蟲。Scrapy用途廣泛，可以用於數據挖掘、監測和自動化測試
Scrapy主要包括了以下組件：
引擎(Scrapy): 用來處理整個系統的數據流處理, 觸發事務(框架核心)
調度器(Scheler): 用來接受引擎發過來的請求, 壓入隊列中, 並在引擎再次請求的時候返回. 可以想像成一個URL（抓取網頁的網址或者說是鏈接）的優先隊列, 由它來決定下一個要抓取的網址是什麼, 同時去除重復的網址
下載器(Downloader): 用於下載網頁內容, 並將網頁內容返回給蜘蛛(Scrapy下載器是建立在twisted這個高效的非同步模型上的)
爬蟲(Spiders): 爬蟲是主要幹活的, 用於從特定的網頁中提取自己需要的信息, 即所謂的實體(Item)。用戶也可以從中提取出鏈接,讓Scrapy繼續抓取下一個頁面
項目管道(Pipeline): 負責處理爬蟲從網頁中抽取的實體，主要的功能是持久化實體、驗證實體的有效性、清除不需要的信息。當頁面被爬蟲解析後，將被發送到項目管道，並經過幾個特定的次序處理數據。
下載器中間件(Downloader Middlewares): 位於Scrapy引擎和下載器之間的框架，主要是處理Scrapy引擎與下載器之間的請求及響應。
爬蟲中間件(Spider Middlewares): 介於Scrapy引擎和爬蟲之間的框架，主要工作是處理蜘蛛的響應輸入和請求輸出。
調度中間件(Scheler Middewares): 介於Scrapy引擎和調度之間的中間件，從Scrapy引擎發送到調度的請求和響應。
Scrapy運行流程大概如下：
首先，引擎從調度器中取出一個鏈接(URL)用於接下來的抓取
引擎把URL封裝成一個請求(Request)傳給下載器，下載器把資源下載下來，並封裝成應答包(Response)
然後，爬蟲解析Response
若是解析出實體（Item）,則交給實體管道進行進一步的處理。
若是解析出的是鏈接（URL）,則把URL交給Scheler等待抓取

❺ python常用到哪些庫

Python作為一個設計優秀的程序語言，現在已廣泛應用於各種領域，依靠其強大的第三方類庫，Python在各個領域都能發揮巨大的作用。
下面我們就來看一下python中常用到的庫：
數值計算庫：
1. NumPy
支持多維數組與矩陣運算，也針對數組運算提供大量的數學函數庫。通常與SciPy和Matplotlib一起使用，支持比Python更多種類的數值類型，其中定義的最重要的對象是稱為ndarray的n維數組類型，用於描述相同類型的元素集合，可以使用基於0的索引訪問集合中元素。
2. SciPy
在NumPy庫的基礎上增加了眾多的數學、科學及工程計算中常用的庫函數，如線性代數、常微分方程數值求解、信號處理、圖像處理、稀疏矩陣等，可進行插值處理、信號濾波，以及使用C語言加速計算。
3. Pandas
基於NumPy的一種工具，為解決數據分析任務而生。納入大量庫和一些標準的數據模型，提供高效地操作大型數據集所需的工具及大量的能快速便捷處理數據的函數和方法，為時間序列分析提供很好的支持，提供多種數據結構，如Series、Time-Series、DataFrame和Panel。
數據可視化庫：
4. Matplotlib
第一個Python可視化庫，有許多別的程序庫都是建立在其基礎上或者直接調用該庫，可以很方便地得到數據的大致信息，功能非常強大，但也非常復雜。
5. Seaborn
利用了Matplotlib，用簡潔的代碼來製作好看的圖表。與Matplotlib最大的區別為默認繪圖風格和色彩搭配都具有現代美感。
6. ggplot
基於R的一個作圖庫ggplot2，同時利用了源於《圖像語法》（The Grammar of Graphics）中的概念，允許疊加不同的圖層來完成一幅圖，並不適用於製作非常個性化的圖像，為操作的簡潔度而犧牲了圖像的復雜度。
7. Bokeh
跟ggplot一樣，Bokeh也基於《圖形語法》的概念。與ggplot不同之處為它完全基於Python而不是從R處引用。長處在於能用於製作可交互、可直接用於網路的圖表。圖表可以輸出為JSON對象、HTML文檔或者可交互的網路應用。
8. Plotly
可以通過Python notebook使用，與Bokeh一樣致力於交互圖表的製作，但提供在別的庫中幾乎沒有的幾種圖表類型，如等值線圖、樹形圖和三維圖表。
9. pygal
與Bokeh和Plotly一樣，提供可直接嵌入網路瀏覽器的可交互圖像。與其他兩者的主要區別在於可將圖表輸出為SVG格式，所有的圖表都被封裝成方法，且默認的風格也很漂亮，用幾行代碼就可以很容易地製作出漂亮的圖表。
10. geoplotlib
用於製作地圖和地理相關數據的工具箱。可用來製作多種地圖，比如等值區域圖、熱度圖、點密度圖。必須安裝Pyglet（一個面向對象編程介面）方可使用。
11. missingno
用圖像的方式快速評估數據缺失的情況，可根據數據的完整度對數據進行排序或過濾，或者根據熱度圖或樹狀圖對數據進行修正。
web開發庫：
12. Django
一個高級的Python Web框架，支持快速開發，提供從模板引擎到ORM所需的一切東西，使用該庫構建App時，必須遵循Django的方式。
13. Socket
一個套接字通訊底層庫，用於在伺服器和客戶端間建立TCP或UDP連接，通過連接發送請求與響應。
14. Flask
一個基於Werkzeug、Jinja 2的Python輕量級框架（microframework），默認配備Jinja模板引擎，也包含其他模板引擎或ORM供選擇，適合用來編寫API服務（RESTful rervices）。
15. Twisted
一個使用Python實現的基於事件驅動的網路引擎框架，建立在deferred object之上，一個通過非同步架構實現的高性能的引擎，不適用於編寫常規的Web Apps，更適用於底層網路。
資料庫管理：

16. MySQL-python
又稱MySQLdb，是Python連接MySQL最流行的一個驅動，很多框架也基於此庫進行開發。只支持Python 2.x，且安裝時有許多前置條件。由於該庫基於C語言開發，在Windows平台上的安裝非常不友好，經常出現失敗的情況，現在基本不推薦使用，取代品為衍生版本。
17. mysqlclient
完全兼容MySQLdb，同時支持Python 3.x，是Django ORM的依賴工具，可使用原生SQL來操作資料庫，安裝方式與MySQLdb一致。
18. PyMySQL
純Python實現的驅動，速度比MySQLdb慢，最大的特點為安裝方式簡潔，同時也兼容MySQL-python。
19. SQLAlchemy
一種既支持原生SQL，又支持ORM的工具。ORM是Python對象與資料庫關系表的一種映射關系，可有效提高寫代碼的速度，同時兼容多種資料庫系統，如SQLite、MySQL、PostgreSQL，代價為性能上的一些損失。
自動化運維：
20. jumpsever跳板機
一種由Python編寫的開源跳板機（堡壘機）系統，實現了跳板機的基本功能，包含認證、授權和審計，集成了Ansible、批量命令等。
支持WebTerminal Bootstrap編寫，界面美觀，自動收集硬體信息，支持錄像回放、命令搜索、實時監控、批量上傳下載等功能，基於SSH協議進行管理，客戶端無須安裝agent。主要用於解決可視化安全管理，因完全開源，容易再次開發。
21. Mage分布式監控系統
一種用Python開發的自動化監控系統，可監控常用系統服務、應用、網路設備，可在一台主機上監控多個不同服務，不同服務的監控間隔可以不同，同一個服務在不同主機上的監控間隔、報警閾值可以不同，並提供數據可視化界面。
22. Mage的CMDB
一種用Python開發的硬體管理系統，包含採集硬體數據、API、頁面管理3部分功能，主要用於自動化管理筆記本、路由器等常見設備的日常使用。由伺服器的客戶端採集硬體數據，將硬體信息發送至API，API負責將獲取的數據保存至資料庫中，後台管理程序負責對伺服器信息進行配置和展示。
23. 任務調度系統
一種由Python開發的任務調度系統，主要用於自動化地將一個服務進程分布到其他多個機器的多個進程中，一個服務進程可作為調度者依靠網路通信完成這一工作。
24. Python運維流程系統
一種使用Python語言編寫的調度和監控工作流的平台，內部用於創建、監控和調整數據管道。允許工作流開發人員輕松創建、維護和周期性地調度運行工作流，包括了如數據存儲、增長分析、Email發送、A/B測試等諸多跨多部門的用例。
GUI編程：
25. Tkinter
一個Python的標准GUI庫，可以快速地創建GUI應用程序，可以在大多數的UNIX平台下使用，同樣可以應用在Windows和Macintosh系統中，Tkinter 8.0的後續版本可以實現本地窗口風格，並良好地運行在絕大多數平台中。
26. wxPython
一款開源軟體跨平台GUI庫wxWidgets的Python封裝和Python模塊，是Python語言的一套優秀的GUI圖形庫，允許程序員很方便地創建完整的、功能健全的GUI用戶界面。
27. PyQt
一個創建GUI應用程序的工具庫，是Python編程語言和Qt的成功融合，可以運行在所有主要操作系統上，包括UNIX、Windows和Mac。PyQt採用雙許可證，開發人員可以選擇GPL和商業許可，從PyQt的版本4開始，GPL許可證可用於所有支持的平台。
28. PySide
一個跨平台的應用程式框架Qt的Python綁定版本，提供與PyQt類似的功能，並相容API，但與PyQt不同處為其使用LGPL授權。
更多Python知識請關注Python自學網。

❻ python有沒有比定時任務高級一點的調度器

supervisor ,做項目的管理和控制.
自動重啟,定時執行任務.可以自定義埠等.
是線上項目基本的標配

❼ 大數據沒有java基礎能自學嗎

一、認識大數據

大數據本質其實也是數據，不過也包括了些新的特徵，

數據來源廣;

數據格式多樣化(結構化數據、非結構化數據、Excel文件等);

數據量大(最少也是TB級別的、甚至可能是PB級別);

數據增長速度快。

而針對以上新的特徵需要考慮很多問題：

例如，數據來源廣，該如何採集匯總?採集匯總之後，又該存儲呢?數據存儲之後，該如何通過運算轉化成自己想要的結果呢?

對於這些問題，我們需要有相對應的知識解決。

二、大數據所需技能要求

Python語言：編寫一些腳本時會用到。

Scala語言：編寫Spark程序的最佳語言，當然也可以選擇用Python。

Ozzie，azkaban：定時任務調度的工具。

Hue，Zepplin：圖形化任務執行管理，結果查看工具。

Allluxio，Kylin等：通過對存儲的數據進行預處理，加快運算速度的工具。

必須掌握的技能：

Java高級(虛擬機、並發)、Linux 基本操作、hadoop(HDFS+MapRece+Yarn )、 HBase(JavaAPI操作+Phoenix )、Hive(Hql基本操作和原理理解)、 Kafka、Storm/JStorm、Scala、Python、Spark (Core+sparksql+Spark streaming ) 、輔助小工具(Sqoop/Flume/Oozie/Hue等)

所以沒有java基礎自學大數據是不太可能的。

❽ celery python 好用嗎

為什麼要使用celery
Celery是一個使用Python開發的分布式任務調度模塊，因此對於大量使用Python構建的系統，可以說是無縫銜接，使用起來很方便。Celery專注於實時處理任務，同時也支持任務的定時調度。因此適合實時非同步任務定時任務等調度場景。Celery需要依靠RabbitMQ等作為消息代理，同時也支持Redis甚至是Mysql，Mongo等，當然，官方默認推薦的是RabbitMQ。
broker的選擇
雖然官方支持的broker有很多，包括RabbitMQ，Redis甚至是資料庫，但是不推薦使用資料庫，因為資料庫需要不斷訪問磁碟，當你的任務量大了之後會造成很嚴重的性能問題，同時你的應用很可能也在使用同一個資料庫，這樣可能導致你的應用被拖垮。如果業務環境比較簡單可以選擇Redis，如果比較復雜選擇RabbitMQ，因為RabbitMQ是官方推薦的，但是比Redis操作起來又相對復雜些。我的選擇是broker用RabbitMQ，backend用Redis
希望能幫到你！

❾ Python有什麼缺點呢

1. - 運行速度慢，因為Python是解釋型語言，是一種高級語言，代碼會在執行的時候，一行一行的使用解釋器翻譯成底層代碼，翻譯成機器碼，而這個過程非常耗時，所以他運行過程中，比很多語言的代碼都慢了很多。
- 線程不能利用多CPU，這是Python最大的確定，GIL即全局解釋器鎖（Global Interpreter Lock），是計算機程序設計語言解釋器用於同步線程的工具，使得任何時刻僅有一個線程在執行，Python的線程是操作系統的原生線程。在Linux上為pthread，在Windows上為Win thread，完全由操作系統調度線程的執行。一個python解釋器進程內有一條主線程，以及多條用戶程序的執行線程。即使在多核CPU平台上，由於GIL的存在，所以禁止多線程的並行執行。
Python的優缺點可以看看傳智播客的社區，裡面很多技術老師寫的相關文章。並且有學習線路圖適合小白學習，每個板塊下面都有配套視頻。

❿ Python任務調度框架 APScheler 為何不執行

Java，是由Sun Microsystems公司於1995年5月推出的Java程序設計語言和Java平台的總稱。用Java實現的HotJava瀏覽器（支持Java applet）顯示了Java的魅力：跨