pythonazure
A. 如何在雲端伺服器運行Jupyter Notebook
墊場演出：如何在ipython Notebook里運行R？（一行命令搞定版）
從去年開始，我拋棄了mathmatica,eviews,matlab之類的商業統計和數學軟體，開始擁抱開源數據分析。這一方面是因為工作需要，想掌握一門更通用的編程語言，一方面也因為和所有中國的分析師一樣，我用的是盜版的eviews和matlab，因此是完全沒有客戶支持。為了解決日常問題而花的研究文檔和stackoverflow上的工作量，並不比用開源軟體更少。而開源的好處是，實在查不到解決方案了，至少我還可以去看源代碼，雖然看不看得懂可以再討論，但 I『d like to have the option。
大家都知道開源數據分析的兩大利器，IPython 和 R。一般來說，IPython從Python發展而來，更傾向於科學計算。互聯網數據分析更喜歡用。而R是統計學家發展出的一門語言，在金融、經濟和社會科學領域應用更廣泛。我更喜歡R的數據解構和與數學相關的syntax，在讀完R的入門教程之後，很多時候我都不需要去查文檔，猜都能猜到我想用的一些函數名稱(lag(),diff())。另一方面，我也喜歡Ipython Notebook的交互方式，在富文本的展示效果和使用體驗上，R markdown簡直就是個不成熟的玩具，更何況Python還是個更成熟的通用編程語言，除了數據以外，幾乎可以和這個世界的一切協議進行通信。之前，我一直是在用Rstudio調試R代碼，用Anaconda的IPython Notebook或者spyder調試Python代碼，有必要的話再通過Rpy2之類的介面綜合起來。
但是8月底，收到了Anaconda的一封郵件：Ipython Notebook升級到4.0，改名Jupyter。而且，可以開始用conda管理R的程序包了，Anaconda正式支持R！下載安裝Anaconda，然後一條命令：
conda create -n my-r-env -c r r-essentials
就可以創建R的虛擬環境，安裝由Anaconda維護的R發行版本r-essentials 然後在ipython Notebook裡面用R的語法調試、運行R程序！Windows,Linux,OS X全都可用！how cool is that！再見啦，rpy2。
正場：如何在雲端運行Jupyter Notebook?
成功在ipython裡面創建了R的環境之後，我又想嘗試之前的一個想法了，部署一個雲端的計算伺服器。傳統行業還沒有進入大數據時代，數據量相對較小，絕大部分運算任務都是在我的筆記本上解決。但因為開始用Python了，也開始自己寫爬蟲、甚至想做自己的雲端數據可視化方案(否則怎麼向非碼農的領導展示花了這么多時間的研究成果？代碼？）。當然，rstudio擁有rstudio server版本，也可以在雲端運行。但我覺得ipython的界面是一個更漂亮的前端頁面，支持markdown功能，可以寫入很多注釋文檔，以便非碼農使用。另一方面，ipython支持bokeh,一個html5的數據可視化方案。
google了一陣之後發現，目前網上所有在雲端安裝ipython notebook的方案都是基於ipython 2.x的。而在ipython3.0之後，原有的配置方法已經不可用，只好自己去研究文檔。經過幾個小時的試錯，終於在雲端開始跑起了。
以下是主要步驟，前提是，擁有一個虛擬機，並且有ssh賬號登陸。沒有的同學可以自己在阿里雲之類的服務商處申請，個人推薦」1元免費試用「1個月的微軟雲。一般這些主機服務商都會提供一個基本的教程，因此從設置主機直到創建賬號，ssh登陸都應該不是什麼問題。
接下來，下載miniconda，一個科學計算環境管理軟體，Anaconda的最小發型版本（假設運行的是64位Linux 虛擬機)：
wget "https://repo.continuum.io/miniconda/Miniconda-latest-Linux-x86_64.sh"
然後安裝：
sudo bash Miniconda-latest-Linux-x86_64.sh
然後通過miniconda的環境管理軟體，conda安裝必要被ipython和ipython-notebook.
conda install ipython
conda install ipython-notebook
接下來，我們需要創建一個名為nbserver的配置。
ipython profile create nbserver
這將創建一個文件夾，其中包含一些原始的配置文件。我們跳轉到這個文件夾進行一些配置
cd ~/.ipython/profile_nbserver/
由於ipython Notebook要求https連接，因此我們需要創建一個ssl證書。
openssl req -x509 -nodes -days 365 -newkey rsa:1024 -keyout mycert.pem -out mycert.pem
命令執行後根據提示輸入信息就好，當然，這個證書並未獲得認證，因此用chrome之類的瀏覽器訪問的時候會得到一些錯誤信息，這個問題我們一會兒說。接下來我們創建一個密文的密碼。
python -c "import IPython;print IPython.lib.passwd()"
運行之後進入一個創建密碼hash值的小程序，根據提示輸入你想用的安全口令：
Enter password:
Verify password:
sha1:b86e933199ad:a02e9592e59723da722.. #這是我的密碼的hash值，後段被刪除，你的密碼得到的結果應該不同
然後開始編輯配置文件，通過vi編輯文件的命令如下：
vi ipython_notebook_config.py
這個文件可能不存在，那麼通過vi創建一個，配置文件的內容如下：
c = get_config()
# 所有matplotlib的圖像都通過iline的方式顯示
c.IPKernelApp.pylab = 'inline'
# 這一行指向我們剛剛創建的ssl證書
c.NotebookApp.certfile = u'/home/azureuser/.ipython/profile_nbserver/mycert.pem'
# 給出剛剛創建的密碼的哈希值
c.NotebookApp.password = u'sha1:b86e933199ad:a02e9592e5 etc... '
c.NotebookApp.ip = '*'
# 給出運行的埠，ipython默認為8888
c.NotebookApp.port = 8888
# 禁止在運行ipython的同時彈出瀏覽器
c.NotebookApp.open_browser = False
編輯完成以後按兩次shift+z 保存退出
配置完畢以後就可以運行ipython Notebook的服務端了：
jupyter notebook --config=/home/azureuser/.ipython/profile_nbserver/ipython_notebook_config.py #給出你剛才創建的nbserver路徑，這里為微軟azure雲默認的情況
當然，微軟雲還需要配置一下伺服器端的endpoint，將雲主機的https埠(443)指向內部的8888埠。
在你的瀏覽器地址欄輸入：
https://www.youappdomain.com
這時候會遇到https提示根證書並非認證證書，不用管這個提示繼續進入，voila，你的ipython Notebook server架好啦！
輸入你剛才創建的密碼，就可以開始像在本地一樣使用了。
附註：這是我的第一篇技術博客，之前遇到各種技術問題就在網上搜，stackoverflow、quora和知乎的熱心人們分享的技術經驗都給了我很大的幫助。因為幾乎從來沒遇到過別人沒有解決過的問題，一直沒想到要寫技術分享的博客，直到這次配置Jupyter Notebook。這好像是中英文世界裡第一個在雲端配置Jupyter Notebook 4.0的教程，同時也是第一個在中文世界裡傳播r-essential這個好消息的博客文章。 let me know what you think.
B. 為什麼說Python是大數據全棧式開發語言
就像只要會javaScript就可以寫出完整的Web應用，只要會Python，就可以實現一個完整的大數據處理平台。x0dx0ax0dx0a雲基礎設施x0dx0ax0dx0a這年頭，不支持雲平台，不支持海量數據，不支持動態伸縮，根本不敢說自己是做大數據的，頂多也就敢跟人說是做商業智能（BI）。x0dx0ax0dx0a雲平台分為私有雲和公有雲。私有雲平台如日中天的 OpenStackx0dx0a x0dx0a，就是Python寫的。曾經的追趕者CloudStack，在剛推出時大肆強調自己是Java寫的，比Python有優勢。結果，搬石砸腳，2015年x0dx0a初，CloudStack的發起人Citrix宣布加入OpenStack基金會，CloudStack眼看著就要壽終正寢。x0dx0ax0dx0a如果嫌麻煩不想自己搭建私有雲，用公有雲，不論是AWS，GCE，Azure，還是阿里雲，青雲，在都提供了Python SDK，其中GCE只提供Python和JavaScript的SDK，而青雲只提供Python SDK。可見各家雲平台對Python的重視。x0dx0ax0dx0a提到基礎設施搭建，不得不提Hadoop，在今天，Hadoop因為其MapRece數據處理速度不夠快，已經不再作為大數據處理的首選，但x0dx0a是HDFS和Yarn——Hadoop的兩個組件——倒是越來越受歡迎。Hadoop的開發語言是Java，沒有官方提供Python支持，不過有很多第x0dx0a三方庫封裝了Hadoop的API介面（pydoop，hadoopy等等）。x0dx0ax0dx0aHadoop MapRece的替代者，是號稱快上100倍的 Spark ，其開發語言是Scala，但是提供了Scala，Java，Python的開發介面，想要討好那麼多用Python開發的數據科學家，不支持Python，真是說不過去。HDFS的替代品，比如GlusterFS， Ceph 等，都是直接提供Python支持。Yarn的替代者， Mesos 是C++實現，除C++外，提供了Java和Python的支持包。有個中文名字，叫做 開發自運維 。互聯網時代，只有能夠快速試驗新想法，並在第一時間，安全、可靠的交付業務價值，才能保持競爭力。DevOps推崇的自動化構建/測試/部署，以及系統度量等技術實踐，是互聯網時代必不可少的。x0dx0ax0dx0a自動化構建是因應用而易的，如果是Python應用，因為有setuptools, pip, virtualenv, tox, x0dx0aflake8等工具的存在，自動化構建非常簡單。而且，因為幾乎所有Linux系統都內置Python解釋器，所以用Python做自動化，不需要系統預x0dx0a安裝什麼軟體。x0dx0ax0dx0a自動化測試方面，基於Python的 Robot Framework 企業級應用最喜歡的自動化測試框架，而且和語言無關。Cucumber也有很多支持者，Python對應的Lettuce可以做到完全一樣的事情。 Locust 在自動化性能測試方面也開始受到越來越多的關注。x0dx0ax0dx0a自動化配置管理工具，老牌的如Chef和Puppet，是Ruby開發，目前仍保持著強勁的勢頭。不過，新生代 Ansible 和 SaltStack ——均為Python開發——因為較前兩者設計更為輕量化，受到越來越多開發這的歡迎，已經開始給前輩們製造了不少的壓力。x0dx0ax0dx0a在系統監控與度量方面，傳統的Nagios逐漸沒落，新貴如 Sensu 大受好評，雲服務形式的New Relic已經成為創業公司的標配，這些都不是直接通過Python實現的，不過Python要接入這些工具，並不困難。x0dx0ax0dx0a除了上述這些工具，基於Python，提供完整DevOps功能的PaaS平台，如 Cloudify 和 Deis ，雖未成氣候，但已經得到大量關注。x0dx0ax0dx0a網路爬蟲x0dx0ax0dx0a大數據的數據從哪裡來？除了部分企業有能力自己產生大量的數據，大部分時候，是需要靠爬蟲來抓取互聯網數據來做分析。x0dx0ax0dx0a網路爬蟲是Python的傳統強勢領域，最流行的爬蟲框架Scrapy，HTTP工具包urlib2，HTML解析工具beautifulsoup，XML解析器lxml，等等，都是能夠獨當一面的類庫。x0dx0ax0dx0a不過，網路爬蟲並不僅僅是打開網頁，解析HTML這么簡單。高效的爬蟲要能夠支持大量靈活的並發操作，常常要能夠同時幾千甚至上萬個網頁同時抓取，傳統的x0dx0a線程池方式資源浪費比較大，線程數上千之後系統資源基本上就全浪費在線程調度上了。Python由於能夠很好的支持協程（ Coroutine ）操作，基於此發展起來很多並發庫，如Gevent，Eventlet，還有Celery之類的分布式任務框架。被認為是比AMQP更高效的ZeroMQ也是最早就提供了Python版本。有了對高並發的支持，網路爬蟲才真正可以達到大數據規模。x0dx0ax0dx0a抓取下來的數據，需要做分詞處理，Python在這方面也不遜色，著名的自然語言處理程序包NLTK，還有專門做中文分詞的Jieba，都是做分詞的利器。x0dx0ax0dx0a數據處理x0dx0ax0dx0a萬事俱備，只欠東風。這東風，就是數據處理演算法。從統計理論，到數據挖掘，機器學習，再到最近幾年提出來的深度學習理論，數據科學正處於百花齊放的時代。數據科學家們都用什麼編程？x0dx0ax0dx0a如果是在理論研究領域，R語言也許是最受數據科學家歡迎的，但是R語言的問題也很明顯，因為是統計學家們創建了R語言，所以其語法略顯怪異。而且x0dx0aR語言要想實現大規模分布式系統，還需要很長一段時間的工程之路要走。所以很多公司使用R語言做原型試驗，演算法確定之後，再翻譯成工程語言。x0dx0ax0dx0aPython也是數據科學家最喜歡的語言之一。和R語言不同，Python本身就是一門工程性語言，數據科學家用Python實現的演算法，可以直x0dx0a接用在產品中，這對於大數據初創公司節省成本是非常有幫助的。正式因為數據科學家對Python和R的熱愛，Spark為了討好數據科學家，對這兩種語言x0dx0a提供了非常好的支持。x0dx0ax0dx0aPython的數據處理相關類庫非常多。高性能的科學計算類庫NumPy和SciPy，給其他高級演算法打了非常好的基礎，matploglib讓x0dx0aPython畫圖變得像Matlab一樣簡單。Scikit-learn和Milk實現了很多機器學習演算法，基於這兩個庫實現的 Pylearn2 ，是深度學習領域的重要成員。 Theano 利用GPU加速，實現了高性能數學符號計算和多維矩陣計算。當然，還有 Pandas ，一個在工程領域已經廣泛使用的大數據處理類庫，其DataFrame的設計借鑒自R語言，後來又啟發了Spark項目實現了類似機制。x0dx0ax0dx0a對了，還有 iPython ，這個工具如此有用，以至於我差點把他當成標准庫而忘了介紹。iPython是一個互動式Python運行環境，能夠實時看到每一段Python代碼的結果。默認情況下，iPython運行在命令行，可以執行 ipython notebook 在網頁中運行。用matplotlib繪制的圖可以直接嵌入式的顯示在iPython Notebook中。x0dx0a x0dx0aiPython Notebook的筆記本文件可以共享給其他人，這樣其他人就可以在自己的環境中重現你的工作成果；如果對方沒有運行環境，還可以直接轉換成HTML或者PDF。x0dx0ax0dx0a為什麼是Pythonx0dx0ax0dx0a正是因為應用開發工程師、運維工程師、數據科學家都喜歡Python，才使得Python成為大數據系統的全棧式開發語言。x0dx0ax0dx0a對於開發工程師而言，Python的優雅和簡潔無疑是最大的吸引力，在Python互動式環境中，執行 import thisx0dx0a x0dx0a，讀一讀Python之禪，你就明白Python為什麼如此吸引人。Python社區一直非常有活力，和NodeJS社區軟體包爆炸式增長不x0dx0a同，Python的軟體包增長速度一直比較穩定，同時軟體包的質量也相對較高。有很多人詬病Python對於空格的要求過於苛刻，但正是因為這個要求，才x0dx0a使得Python在做大型項目時比其他語言有優勢。OpenStack項目總共超過200萬行代碼，證明了這一點。x0dx0ax0dx0a對於運維工程師而言，Python的最大優勢在於，幾乎所有Linux發行版都內置了Python解釋器。Shell雖然功能強大，但畢竟語法不夠優雅，寫比較復雜的任務會很痛苦。用Python替代Shell，做一些復雜的任務，對運維人員來說，是一次解放。x0dx0ax0dx0a對於數據科學家而言，Python簡單又不失強大。和C/C++相比，不用做很多的底層工作，可以快速進行模型驗證；和Java相比，Python語法簡x0dx0a潔，表達能力強，同樣的工作只需要1/3代碼；和Matlab，Octave相比，Python的工程成熟度更高。不止一個編程大牛表達過，Pythonx0dx0a是最適合作為大學計算機科學編程課程使用的語言——MIT的計算機入門課程就是使用的Python——因為Python能夠讓人學到編程最重要的東西——x0dx0a如何解決問題。
C. 13個最常用的Python深度學習庫介紹
13個最常用的Python深度學習庫介紹
如果你對深度學習和卷積神經網路感興趣，但是並不知道從哪裡開始，也不知道使用哪種庫，那麼這里就為你提供了許多幫助。
在這篇文章里，我詳細解讀了9個我最喜歡的Python深度學習庫。
這個名單並不詳盡，它只是我在計算機視覺的職業生涯中使用並在某個時間段發現特別有用的一個庫的列表。
這其中的一些庫我比別人用的多很多，尤其是Keras、mxnet和sklearn-theano。
其他的一些我是間接的使用，比如Theano和TensorFlow（庫包括Keras、deepy和Blocks等）。
另外的我只是在一些特別的任務中用過（比如nolearn和他們的Deep Belief Network implementation）。
這篇文章的目的是向你介紹這些庫。我建議你認真了解這里的每一個庫，然後在某個具體工作情境中你就可以確定一個最適用的庫。
我想再次重申，這份名單並不詳盡。此外，由於我是計算機視覺研究人員並長期活躍在這個領域，對卷積神經網路（細胞神經網路）方面的庫會關注更多。
我把這個深度學習庫的列表分為三個部分。
第一部分是比較流行的庫，你可能已經很熟悉了。對於這些庫，我提供了一個通俗的、高層次的概述。然後，針對每個庫我詳細解說了我的喜歡之處和不喜歡之處，並列舉了一些適當的應用案例。
第二部分進入到我個人最喜歡的深度學習庫，也是我日常工作中使用最多的，包括：Keras、mxnet和sklearn-theano等。
最後，我對第一部分中不經常使用的庫做了一個「福利」板塊，你或許還會從中發現有用的或者是在第二板塊中我還沒有嘗試過但看起來很有趣的庫。
接下來就讓我們繼續探索。
針對初學者：
Caffe
提到「深度學習庫」就不可能不說到Caffe。事實上，自從你打開這個頁面學習深度學習庫，我就敢打保票你肯定聽說Caffe。
那麼，究竟Caffe是什麼呢？
Caffe是由Berkeley Vision and Learning Center（BVLC）建立的深度學習框架。它是模塊化的，速度極快。而且被應用於學術界和產業界的start-of-the-art應用程序中。
事實上，如果你去翻閱最新的深度學習出版物（也提供源代碼），你就很可能會在它們相關的GitHub庫中找到Caffe模型。
雖然Caffe本身並不是一個Python庫，但它提供綁定到Python上的編程語言。我們通常在新領域開拓網路的時候使用這些綁定。
我把Caffe放在這個列表的原因是它幾乎被應用在各個方面。你可以在一個空白文檔里定義你的模型架構和解決方案，建立一個JSON文件類型的.prototxt配置文件。Caffe二進制文件提取這些.prototxt文件並培訓你的網路。Caffe完成培訓之後，你可以把你的網路和經過分類的新圖像通過Caffe二進制文件，更好的就直接通過Python或MATLAB的API。
雖然我很喜歡Caffe的性能（它每天可以在K40 GPU上處理60萬張圖片），但相比之下我更喜歡Keras和mxnet。
主要的原因是，在.prototxt文件內部構建架構可能會變得相當乏味和無聊。更重要的是， Caffe不能用編程方式調整超參數！由於這兩個原因，在基於Python的API中我傾向於對允許我實現終端到終端聯播網的庫傾斜（包括交叉驗證和調整超參數）。
Theano
在最開始我想說Theano是美麗的。如果沒有Theano，我們根本不會達到現有的深度學習庫的數量（特別是在Python）。同樣的，如果沒有numpy，我們就不會有SciPy、scikit-learn和 scikit-image,，同樣可以說是關於Theano和深度學習更高級別的抽象。
非常核心的是，Theano是一個Python庫，用來定義、優化和評估涉及多維數組的數學表達式。 Theano通過與numpy的緊密集成，透明地使用GPU來完成這些工作。
雖然可以利用Theano建立深度學習網路，但我傾向於認為Theano是神經網路的基石，同樣的numpy是作為科學計算的基石。事實上，大多數我在文章中提到的庫都是圍繞著Theano，使自己變得更加便利。
不要誤會我的意思，我愛Theano，我只是不喜歡用Theano編寫代碼。
在Theano建設卷積神經網路就像只用本機Python中的numpy寫一個定製的支持向量機（SVM），當然這個對比並不是很完美。
你可以做到嗎？
當然可以。
它值得花費您的時間和精力嗎？
嗯，也許吧。這取決於你是否想擺脫低級別或你的應用是否需要。
就個人而言，我寧願使用像Keras這樣的庫，它把Theano包裝成更有人性化的API，同樣的方式，scikit-learn使機器學習演算法工作變得更加容易。
TensorFlow
與Theano類似，TensorFlow是使用數據流圖進行數值計算的開源庫（這是所有神經網路固有的特徵）。最初由谷歌的機器智能研究機構內的Google Brain Team研究人員開發，此後庫一直開源，並提供給公眾。
相比於Theano ，TensorFlow的主要優點是分布式計算，特別是在多GPU的環境中（雖然這是Theano正在攻克的項目）。
除了用TensorFlow而不是Theano替換Keras後端，對於TensorFlow庫我並沒有太多的經驗。然而在接下來的幾個月里，我希望這有所改變。
Lasagne
Lasagne是Theano中用於構建和訓練網路的輕量級庫。這里的關鍵詞是輕量級的，也就意味著它不是一個像Keras一樣圍繞著Theano的重包裝的庫。雖然這會導致你的代碼更加繁瑣，但它會把你從各種限制中解脫出來，同時還可以讓您根據Theano進行模塊化的構建。
簡而言之：Lasagne的功能是Theano的低級編程和Keras的高級抽象之間的一個折中。
我最喜歡的：
Keras
如果我必須選出一個最喜歡的深度學習Python庫，我將很難在Keras和mxnet中做出抉擇——但最後，我想我會選Keras。
說真的，Keras的好處我說都說不完。
Keras是一個最低限度的、模塊化的神經網路庫，可以使用Theano或TensorFlow作為後端。Keras最主要的用戶體驗是，從構思到產生結果將會是一個非常迅速的過程。
在Keras中架構網路設計是十分輕松自然的。它包括一些state-of-the-art中針對優化（Adam，RMSProp）、標准化（BatchNorm）和激活層（PReLU，ELU，LeakyReLU）最新的演算法。
Keras也非常注重卷積神經網路，這也是我十分需要的。無論它是有意還是無意的，我覺得從計算機視覺的角度來看這是非常有價值的。
更重要的是，你既可以輕松地構建基於序列的網路（其中輸入線性流經網路）又可以創建基於圖形的網路（輸入可以「跳過」某些層直接和後面對接）。這使得創建像GoogLeNet和SqueezeNet這樣復雜的網路結構變得容易得多。
我認為Keras唯一的問題是它不支持多GPU環境中並行地訓練網路。這可能會也可能不會成為你的大忌。
如果我想盡快地訓練網路，那麼我可能會使用mxnet。但是如果我需要調整超參數，我就會用Keras設置四個獨立的實驗（分別在我的Titan X GPUs上運行）並評估結果。
mxnet
我第二喜歡的深度學習Python庫無疑就是mxnet（重點也是訓練圖像分類網路）。雖然在mxnet中站立一個網路可能需要較多的代碼，但它會提供給你驚人數量的語言綁定（C ++、Python、R、JavaScript等）。
Mxnet庫真正出色的是分布式計算，它支持在多個CPU / GPU機訓練你的網路，甚至可以在AWS、Azure以及YARN集群。
它確實需要更多的代碼來設立一個實驗並在mxnet上運行（與Keras相比），但如果你需要跨多個GPU或系統分配訓練，我推薦mxnet。
sklearn-theano
有時候你並不需要終端到終端的培養一個卷積神經網路。相反，你需要把CNN看作一個特徵提取器。當你沒有足夠的數據來從頭培養一個完整的CNN時它就會變得特別有用。僅僅需要把你的輸入圖像放入流行的預先訓練架構，如OverFeat、AlexNet、VGGNet或GoogLeNet，然後從FC層提取特徵（或任何您要使用的層）。
總之，這就是sklearn-theano的功能所在。你不能用它從頭到尾的訓練一個模型，但它的神奇之處就是可以把網路作為特徵提取器。當需要評估一個特定的問題是否適合使用深度學習來解決時，我傾向於使用這個庫作為我的第一手判斷。
nolearn
我在PyImageSearch博客上用過幾次nolearn，主要是在我的MacBook Pro上進行一些初步的GPU實驗和在Amazon EC2 GPU實例中進行深度學習。
Keras把 Theano和TensorFlow包裝成了更具人性化的API，而nolearn也為Lasagne做了相同的事。此外，nolearn中所有的代碼都是與scikit-learn兼容的，這對我來說絕對是個超級的福利。
我個人不使用nolearn做卷積神經網路（CNNs），但你當然也可以用（我更喜歡用Keras和mxnet來做CNNs）。我主要用nolearn來製作Deep Belief Networks (DBNs)。
DIGITS
DIGITS並不是一個真正的深度學習庫（雖然它是用Python寫的）。DIGITS（深度學習GPU培訓系統）實際上是用於培訓Caffe深度學習模式的web應用程序（雖然我認為你可以破解源代碼然後使用Caffe以外其他的後端進行工作，但這聽起來就像一場噩夢）。
如果你曾經用過Caffe，那麼你就會知道通過它的終端來定義.prototxt文件、生成圖像數據、運行網路並監管你的網路訓練是相當繁瑣的。 DIGITS旨在通過讓你在瀏覽器中執行這些任務來解決這個問題。
此外，DIGITS的用戶界面非常出色，它可以為你提供有價值的統計數據和圖表作為你的模型訓練。另外，你可以通過各種輸入輕松地可視化網路中的激活層。最後，如果您想測試一個特定的圖像，您可以把圖片上傳到你的DIGITS伺服器或進入圖片的URL，然後你的Caffe模型將會自動分類圖像並把結果顯示在瀏覽器中。干凈利落！
Blocks
說實話，雖然我一直想嘗試，但截至目前我的確從來沒用過Blocks（這也是我把它包括在這個列表裡的原因）。就像許多個在這個列表中的其他庫一樣，Blocks建立在Theano之上，呈現出一個用戶友好型的API。
deepy
如果讓你猜deepy是圍繞哪個庫建立的，你會猜什麼？
沒錯，就是Theano。
我記得在前一段時間用過deepy（做了初始提交），但在接下里的大概6-8個月我都沒有碰它了。我打算在接下來的博客文章里再嘗試一下。
pylearn2
雖然我從沒有主動地使用pylearn2，但由於歷史原因，我覺得很有必要把它包括在這個列表裡。 Pylearn2不僅僅是一般的機器學習庫（地位類似於scikit-learn），也包含了深度學習演算法的實現。
對於pylearn2我最大的擔憂就是（在撰寫本文時），它沒有一個活躍的開發者。正因為如此，相比於像Keras和mxnet這樣的有積極維護的庫，推薦pylearn2我還有些猶豫。
Deeplearning4j
這本應是一個基於Python的列表，但我想我會把Deeplearning4j包括在這里，主要是出於對他們所做事跡的無比崇敬——Deeplearning4j為JVM建立了一個開源的、分布式的深度學習庫。
如果您在企業工作，你可能會有一個塞滿了用過的Hadoop和MapRece伺服器的儲存器。也許這些你還在用，也許早就不用了。
你怎樣才能把這些相同的伺服器應用到深度學習里？
事實證明是可以的——你只需要Deeplearning4j。
總計
以上就是本文關於13個最常用的Python深度學習庫介紹的全部內容
D. 如何部署企業私有雲存儲要用什麼軟體像百度網盤一樣，企業員工可以異地存數據，但數據在總部存儲。
乾脆用Windows Azure吧，它可以同時提供 Windows 和 Linux 虛擬機，支持 PHP、Node.js、Python 等大量開源工具，能夠根據實際需求瞬間部署任意數量虛擬機、用無限存儲空間，具體你可以官網看下http://www.windowsazure.cn/zh-cn/?l=zh-cn
E. 北大青鳥設計培訓：最有「錢途」的15種編程語言
如果你是一個程序員，那麼你的美好時光來了。
根據美國勞動統計局的預測，計算機方面的工作崗位將在接下來的七年時間里增長8％。
如果你很擅長於寫代碼，那麼你的薪資可以高達300美元一小時甚至更多。
想要拿到這一領域的高薪，那麼你就得掌握最需要的幾門編程語言。
下面是你需要知道的15種編程語言：最有「錢途」的15種編程語言1.JavaJava用於構建企業web應用的後端，是當今最為流行的編程語言之一。
Web開發人員可以憑借Java和基於Java的框架為各種用戶建立可擴展的Web應用程序。
Java也是為智能手機和平板電腦開發原生Android應用程序的主要語言。
2.JavaScript現在的每一個網站都使用了JavaScript。
如果你想在你的網站上創建互動環節，或者用一些流行的JavaScript框架建立用戶界面，那麼JavaScript就是首選。
3.C＃C＃是開發微軟平台和服務的主要語言。
無論你是使用Azure和.NET構建現代化的web應用，還是為Windows設備構建app，亦或是為企業創建功能強大的桌面應用，C＃都是駕馭微軟的最快方式。
想開發游戲？流行的統一游戲開發引擎也使用了C＃作為其主要的編程語言之一。
4.PHP需要構建操作數據的Web應用？那麼，PHP以及MySQL之類的資料庫，是我們必不可少的工具。
PHP活躍於大多數數據驅動的網站，並且是作為內容管理系統的基礎性技術，內容管理系統包括Wordpress，它能擴展你的網站功能，使之更為強大。
5.C++如果你需要直接連接到硬體以獲得最大的處理能力，那麼C++就是最佳選擇。
它可以用於開發功能強大的桌面軟體、硬體加速的游戲和內存密集型的app。
6.PythonWeb應用、用戶界面、數據分析、數據統計——無論是什麼問題，Python都有框架可以解決。
最近，Python已經被數據科學家當作是篩選大型數據集的一個關鍵工具。
7.C為什麼C語言至今依然這么受歡迎？原因在於體積。
C語言不但小巧、速度快，而且功能非常強大。
8.SQLSQL能讓我們用一種快速、可重復和可靠的方式找到確切的信息。
使用SQL，你就可以輕松地從大型、復雜的資料庫中查詢和提取有意義的數據。
9.Ruby想要快速創建自己的項目嗎？想要創建下一個大型web應用的思路原型嗎？那麼用Ruby（和RubyonRails）吧。
Ruby語言非常簡單易學，其功能又令人難以置信的強大。
10.Objective-C如果你有興趣做一個適用於iOS的應用程序，那麼你需要知道Objective-C。
雖然去年的炒作主要集中在蘋果的新的語言Swift上，但是Objective-C依然是構建蘋果生態系統app的基礎語言。
11.Perl雖然Perl深奧又有點凌亂，但是我們不能否認的是它是一門功能超級強大的編程語言，也是任何人網路安全武器庫的重要組成部分。
Perl被認為是任何IT專業人士的關鍵工具。
12..NET雖然其本身並不是語言，不過.NET是一個用於雲服務和應用開發的微軟平台。
得利於微軟近期的開源力度，.NET也成為了谷歌和蘋果的平台。
這樣一來，你就可以使用.NET和多種編程語言輕松構建支持多個平台的app了。
13.VisualBasicVisualBasic是.NET平台的一種關鍵語言，它既允許你構建app來支持你的業務，也可以自動化功能強大的Office應用，如Excel，還能簡化最常見的任務。
14.RR促進了大數據的革命，也是2015年凡是需要做認真數據分析的小夥伴都必須知道的編程語言。
從科學和商業再到娛樂和社交媒體，R對幾乎所有需要進行統計分析的領域都是好助手。
15.Swift誕生至今甚至還不足一年，Swift作為一種方法和手段，一種可以快速便捷地開發蘋果的Mac和iOS操作系統的方法和手段，迅速抓住了來自世界各地的眼球，大量的開發人員趨之若鶩。
java課程http://www.kmbdqn.cn/發現Swift憑借它種類繁多的功能和友好的語法，使得任何人只需要一台Mac，就可以為iOS和MacOSX打造下一個殺手級應用.
F. 如何通過 Python 使用 Azure Blob 存儲
Overview
Azure Blob storage is a service that stores unstructured data in the cloud as objects/blobs. Blob storage can store any type of text or binary data, such as a document, media file, or application installer. Blob storage is also referred to as object storage.
This article will show you how to perform common scenarios using Blob storage. The samples are written in Python and use theMicrosoft Azure Storage SDK for Python. The scenarios covered include uploading, listing, downloading, and deleting blobs.
What is Blob Storage?
Azure Blob storage is a service for storing large amounts of unstructured object data, such as text or binary data, that can be accessed from anywhere in the world via HTTP or HTTPS. You can use Blob storage to expose data publicly to the world, or to store application data privately.
Common uses of Blob storage include:
Serving images or documents directly to a browser
Storing files for distributed access
Streaming video and audio
Storing data for backup and restore, disaster recovery, and archiving
Storing data for analysis by an on-premises or Azure-hosted service
Storage Account:All access to Azure Storage is done through a storage account. This storage account can be aGeneral-purpose storage accountor aBlob storage accountwhich is specialized for storing objects/blobs. SeeAbout Azure storage accountsfor more information.
Container:A container provides a grouping of a set of blobs. All blobs must be in a container. An account can contain an unlimited number of containers. A container can store an unlimited number of blobs. Note that the container name must be lowercase.
Blob:A file of any type and size. Azure Storage offers three types of blobs: block blobs, page blobs, and append blobs.
Block blobsare ideal for storing text or binary files, such as documents and media files.Append blobsare similar to block blobs in that they are made up of blocks, but they are optimized for append operations, so they are useful for logging scenarios. A single block blob can contain up to 50,000 blocks of up to 100 MB each, for a total size of slightly more than 4.75 TB (100 MB X 50,000). A single append blob can contain up to 50,000 blocks of up to 4 MB each, for a total size of slightly more than 195 GB (4 MB X 50,000).
Page blobscan be up to 1 TB in size, and are more efficient for frequent read/write operations. Azure Virtual Machines use page blobs as OS and data disks.
For details about naming containers and blobs, seeNaming and Referencing Containers, Blobs, and Metadata.
- pip install azure-storage-blob
- from azure.storage.blob import BlockBlobService
- block_blob_service = BlockBlobService(account_name='myaccount', account_key='mykey')
Container names must start with a letter or number, and can contain only letters, numbers, and the dash (-) character.
Every dash (-) character must be immediately preceded and followed by a letter or number; consecutive dashes are not permitted in container names.
All letters in a container name must be lowercase.
Container names must be from 3 through 63 characters long.
- block_blob_service.create_container('mycontainer')
- from azure.storage.blob import PublicAccess
- block_blob_service.create_container('mycontainer', public_access=PublicAccess.Container)
- block_blob_service.set_container_acl('mycontainer', public_access=PublicAccess.Container)
- from azure.storage.blob import ContentSettings
- block_blob_service.create_blob_from_path( 'mycontainer', 'myblockblob', 'sunset.png',
- content_settings=ContentSettings(content_type='image/png')
- )
- generator = block_blob_service.list_blobs('mycontainer')for blob in generator:
- print(blob.name)
- block_blob_service.get_blob_to_path('mycontainer', 'myblockblob', 'out-sunset.png')
- block_blob_service.delete_blob('mycontainer', 'myblockblob')
- from azure.storage.blob import AppendBlobService
- append_blob_service = AppendBlobService(account_name='myaccount', account_key='mykey')# The same containers can hold all types of blobsappend_blob_service.create_container('mycontainer')# Append blobs must be created before they are appended toappend_blob_service.create_blob('mycontainer', 'myappendblob')
- append_blob_service.append_blob_from_text('mycontainer', 'myappendblob', u'Hello, world!')
- append_blob = append_blob_service.get_blob_to_text('mycontainer', 'myappendblob')
Blob service concepts
The Blob service contains the following components:
Create an Azure storage account
The easiest way to create your first Azure storage account is by using theAzure portal. To learn more, seeCreate a storage account.
You can also create an Azure storage account by usingAzure PowerShell,Azure CLI, or theStorage Resource Provider Client Library for .NET.
If you prefer not to create a storage account at this time, you can also use the Azure storage emulator to run and test your code in a local environment. For more information, seeUse the Azure Storage Emulator for Development and Testing.
Download and Install Azure Storage SDK for Python
Azure Storage SDK for Python requires Python 2.7, 3.3, 3.4, 3.5, or 3.6, and comes in 4 different packages:azure-storage-blob,azure-storage-file,azure-storage-tableandazure-storage-queue. In this tutorial we are going to useazure-storage-blobpackage.
Install via PyPi
To install via the Python Package Index (PyPI), type:
bashCopy
Note
If you are upgrading from the Azure Storage SDK for Python version 0.36 or earlier, you will first need to uninstall usingpip uninstall azure-storageas we are no longer releasing the Storage SDK for Python in a single package.
For alternative installation methods, visit theAzure Storage SDK for Python on Github.
Create a container
Based on the type of blob you would like to use, create aBlockBlobService,AppendBlobService, orPageBlobServiceobject. The following code uses aBlockBlobServiceobject. Add the following near the top of any Python file in which you wish to programmatically access Azure Block Blob Storage.
PythonCopy
The following code creates aBlockBlobServiceobject using the storage account name and account key. Replace 'myaccount' and 'mykey' with your account name and key.2
PythonCopy
Every blob in Azure storage must reside in a container. The container forms part of the blob name. For example,mycontaineris the name of the container in these sample blob URIs:2
Copy
A container name must be a valid DNS name, conforming to the following naming rules:
Important
Note that the name of a container must always be lowercase. If you include an upper-case letter in a container name, or otherwise violate the container naming rules, you may receive a 400 error (Bad Request).
In the following code example, you can use aBlockBlobServiceobject to create the container if it doesn't exist.
PythonCopy
By default, the new container is private, so you must specify your storage access key (as you did earlier) to download blobs from this container. If you want to make the blobs within the container available to everyone, you can create the container and pass the public access level using the following code.
PythonCopy
Alternatively, you can modify a container after you have created it using the following code.
PythonCopy
After this change, anyone on the Internet can see blobs in a public container, but only you can modify or delete them.
Upload a blob into a container
To create a block blob and upload data, use thecreate_blob_from_path,create_blob_from_stream,create_blob_from_bytesorcreate_blob_from_textmethods. They are high-level methods that perform the necessary chunking when the size of the data exceeds 64 MB.
create_blob_from_pathuploads the contents of a file from the specified path, andcreate_blob_from_streamuploads the contents from an already opened file/stream.create_blob_from_bytesuploads an array of bytes, andcreate_blob_from_textuploads the specified text value using the specified encoding (defaults to UTF-8).
The following example uploads the contents of thesunset.pngfile into themyblockblobblob.
PythonCopy
List the blobs in a container
To list the blobs in a container, use thelist_blobsmethod. This method returns a generator. The following code outputs thenameof each blob in a container to the console.
PythonCopy
Download blobs
To download data from a blob, useget_blob_to_path,get_blob_to_stream,get_blob_to_bytes, orget_blob_to_text. They are high-level methods that perform the necessary chunking when the size of the data exceeds 64 MB.
The following example demonstrates usingget_blob_to_pathto download the contents of themyblockblobblob and store it to theout-sunset.pngfile.2
PythonCopy
Delete a blob
Finally, to delete a blob, calldelete_blob.
PythonCopy
Writing to an append blob
An append blob is optimized for append operations, such as logging. Like a block blob, an append blob is comprised of blocks, but when you add a new block to an append blob, it is always appended to the end of the blob. You cannot update or delete an existing block in an append blob. The block IDs for an append blob are not exposed as they are for a block blob.
Each block in an append blob can be a different size, up to a maximum of 4 MB, and an append blob can include a maximum of 50,000 blocks. The maximum size of an append blob is therefore slightly more than 195 GB (4 MB X 50,000 blocks).
The example below creates a new append blob and appends some data to it, simulating a simple logging operation.
PythonCopy
G. 在Azure雲中部署支持MVC的ASP.NET程序
之前我就像某人說的那樣 I m not quite a cloud guy 但是後來看了各式各樣的演示 認識了 Cloud Project 的構成 以及 Mix 裡面某人說 It s fun! 以後 就沖著這句 It s fun 我就扔了個 Hello World 上去 感覺還不錯的 但是缺乏做點什麼的動力 後來就丟在一邊了 差不多的時間知道了 Google App Engine 但不知GAE 猴年馬月才能用 Net 技術的 我不會python/java 而且現在貌似 GAE 沒有跟 WorkerRole 相應的東西 但是好歹也用上了GAppProxy 也叫在 Google 的雲上爽了一把
這個情況下 在心愛的微軟的雲上卻只有一個 Hello World 實在太說不過去了 於是打算找一段時間 將自己認識的有能力演示出來的東西都搞到雲上去 反正現在 Azure 是免費的（希望以後的收費政策是 GAE 現在那種模式吧） 不用白不用 浪費了自己漂亮的域名多可惜啊 好 就從剛 Release 不久的 Asp Net MVC 開始
如何開始
現在的 Visual Studio Tools for Azure( CTP) 是沒有安裝所謂的 MVC WebRole 模板的 也就是在 Roles –> Add –> New Web Role Project 不能搞出一個以 MVC 結構開始的模板 只有 Default aspx nfig
顯然不夠 然後發現 Roles –> Add –> Web Role Project in solution 選項不能用 於是刪掉默認的 Web Role Project 新建一個 MVC Web Application 到解決方案 發現該選項仍然是無效的
這時候 我的做法是用 diff 工具比較 MVC 項目文件 (C# 項目就是 csproj 了) 和 Web Role 的項目文件 發現 MVC 項目文件沒有 Web 以及一些指向 Azure SDK 中一些程序集的引用 用 diff 工具很快就能補上這些東西了 重新載入修改過的 MVC 項目文件 Roles –> Add –> Web Role Project in solution 就能選上了
如果像我在開始的時候順便創建了測試項目的話 在上面這個過程可能會造成測試項目丟失對MVC項目的引用 編譯時會提示 加上即可 現在 按 F 調試 等一輪初始化過程 MVC 項目默認首頁出來了 這就完成了嗎？
AspProviders & StorageClient
是差不多了 但是在 Azure 上運行的應用程序可以有多個 Instances 的 每個 Instance 運行在不同的 Appdomain 里（瞎猜的 甚至可能在不同的虛擬機中 分布在不同的地理位置……） 反正是隔離的 那麼像登陸這類需要 Session 的操作會產生一些問題 具體什麼問題很難說 我沒試過 大概就是注冊不了啊 登陸記不住之類的 這時候發揮 Google 的長處 會有驚喜的 我找到了 篇（ ）相關的文章 原文都是英文 比較詳細 另外還有幾篇出自園友 除了關鍵的步驟 我就不重復他們的東西了
說起來慚愧 我不是讀計算機專業的 之前學過一點 Asp 沒怎麼學習過 Asp Net 因此很多東西都是不久前才知道的 例如 Asp Net 的 Provider Model 在這里 Provider Model 抽象出儲存的實現 使得 Asp Net 的各種狀態可以自由選擇儲存在不同的媒介中 而且可以通過配置文件更改 不得不說這個設計實在非常好 上面給出的第四篇相關文章就敘述了怎麼打造一個可以在 Cloud 運行的 Membership Provider
在 Azure SDK 的安裝目錄中 有一個 Samples zip 裡麵包含有微軟提供的 AspProviders 例子 該例子提供了利用 Azure Storage 作為狀態信息的儲存媒介的樣例 順便也做了使用裡面 StorageClient 樣例的例子 哈哈 在這里能發掘不少東西的 因為 StorageClient 很多公共方法沒有文檔 給 Supress 了
RTFM
AspProviders 文件夾里有一樣很重要的東西 就是 providers extended readme mht 我覺得這個文件一定要重視 如果你不打算寫自己的 Providers 的話 裡面有些代碼用紅色高亮了
可惜背景是灰色的 看完肯定報廢一隻眼睛 建議拿 Word 把那裡的背景顏色改成黃色 看起來就舒服多了
以下是我 RTFM 總結後的做法 希望對大家有用
修改 nfig 使那些 Providers 生效 大部分代碼可以從 AspProvidersDemo 中復制 其中要修改的是 appName 屬性 修改成應用的名稱 Profile 的那個 inherits 屬性刪去 否則會出現運行時錯誤
不使用readme 裡面的標准 appSettings 設置 tableServiceBaseUri 等 addtional options 因為發布到雲上就不能修改了 然而在本地調試的時候 用的是 local development storage
修改 csdef 和 cscfg 文件 本地調試時按照 相關文章 填寫 發布上傳之前 cscfg 改成
<ConfigurationSettings> <Setting name= value= YourApplicationName /> <Setting name= AccountName value= YourStorageAccountName /> <Setting name= AccountSharedKey value= YourStorageAccountPrimaryKey /> <Setting name= BlobStorageEndpoint value= /> <Setting name= QueueStorageEndpoint value= /> <Setting name= TableStorageEndpoint value= /> <Setting name= allowInsecureRemoteEndpoints value= false /> ConfigurationSettings>
這里我加上了 這條 否則用默認的 appName 有點惡心 這樣做記得在 csdef 文件上加上相應的定義 （多口一句 怎麼像 C++ 的 h 文件那樣啊 居然要自己聲明元數據……）一些已知的問題
在我給出的相關文章里有了 簡單歸納就是
注意 Request Url 的額外信息
安裝這個 HotFix（同時修復了一個 WPF 設計器的問題）
不明白為什麼要 Create Test Storage Tables 的話 請看這里
最後
可能因為Azure 還是 Preview 階段吧 這些 Providers 的配置都要靠自己RTFM 然後人工完成
lishixin/Article/program/net/201311/13896
H. 怎麼在window8下搭建Windows開發環境
開始搭建Windows8開發環境
首先登陸Windows Azure管理平台，創建新的Windows Azure Affinity Group和Storage Account，為隨後創建Windows Azure虛擬主機作準備，
1. 創建Windows Azure Affinity Group，點擊左邊的菜單「Network」選項，在頁面中選擇「Affinity Group」
點擊頁面下方的「Create」按鈕，創建新的Affinity Group，輸入唯一的Affinity Group名稱，根據自己所在國家選擇距離最近的伺服器區域，中國用戶推薦選擇「East Asia」，然後點擊完成。
2. 創建Windows Azure Storage Account， 點擊左面菜單「Storage」選項，然後點擊頁面左下的「New」按鈕，
選擇Data Services => Storage => Quick Create => 輸入自定義URL，選擇上步創建的Affinity Group，另外選中「Enable Geo-Replication」 然後點擊右下的創建帳戶按鈕。
3. 創建Windows Azure虛擬主機, 在左側菜單，選擇 「Virtual Machines」選項，默認情況下，virtual machines是空白，
點擊頁面左下方的「+New」按鈕，創建一個新的虛擬主機實例，
選擇Compute => Virtual Machine => From Gallery， 頁面將載入當前雲平台所支持的操作系統鏡像文件，
在操作系統鏡像文件列表中選擇「Windows Server 2012， October 2012」，然後點擊右下的按鈕，
在虛擬機設置選項中，填寫虛擬主機名稱，默認登陸用戶名是Administrator，設置密碼，然後在「Size」中選擇「Medium（2 cores， 3.5GB Memory）」，然後點擊右下的按鈕
為虛擬主機選擇設置Storage Account和Affinity Group，這兩項，在前文已經設置完成，直接在菜單中選擇即可，而DNS名稱需要設置唯一的名稱，隨後遠程登陸時將會使用該域名。
在點擊創建虛擬主機後，系統將進入鏡像恢復和創建系統配置步驟，該步驟完全自動操作完成，無需開發人員干預。
在Virual Machines頁面，可以查看當前主機是否已經創建完成，以及運行狀態。
當虛擬主機狀態為「Running」的時候，即可創建連接到該主機。
4. 在Windows Azure虛擬主機創建Windows 8開發環境
虛擬主機創建完成後，點擊虛擬主機名稱，即可進入系統資源詳細頁面，從中可以了解到當前系統資源使用狀況以及主機詳細信息。
在頁面下方，點擊「Connect」按鈕，會自動生成後綴名為"rdp"的文件，然後提示下載，該文件為遠程登陸文件，通過前文安裝的遠程登陸工具即可導入，運行該文件後，用戶即可登陸到Windows Azure虛擬主機。
雙擊下載的「rdp」文件，將提示連接伺服器信息，並且要求輸入用戶名和密碼，
這里用戶名密碼需要填寫前文創建的「Administrator」賬號信息。
登陸成功後，即可看到Windows Server 2012操作系統桌面，
為了方便Windows8應用開發，下面需要對操作系統進行簡單的設置，首先進入"Server Manager",
點擊右邊菜單「Manage」 => "Server Manager Properties",
在彈出窗口中選中「Do not start Server Manager automatically at logon」，這樣在每次啟動時，就不會再入Server Manager應用，節省系統資源和帶寬。
返回，Server Manager窗口，選擇右上菜單「Tools」， 然後選擇「Computer Management」選項，
點擊後，即可進入Computer Management窗口，在窗口左邊菜單中右鍵點擊「Users」目錄，然後選擇「New User...」，
在新用戶添加窗口中，添加用戶「Developer」，密碼自定義設置，該用戶將在後文作為開發賬戶使用，因為在雲平台虛擬主機中，Administrator不能直接作為開發賬戶，所以才需要創建該用戶賬戶。
創建用戶完成後，右鍵點擊「Groups」菜單，然後，右鍵點擊「Administrators」用戶組，
添加「Developer」用戶進入Administrator管理員用戶組，
完成用戶
I. 大數據分析工具有哪些
大數據分析工具有：
1、R-編程
R 編程是對所有人免費的最好的大數據分析工具之一。它是一種領先的統計編程語言，可用於統計分析、科學計算、數據可視化等。R 編程語言還可以擴展自身以執行各種大數據分析操作。
在這個強大的幫助下；語言，數據科學家可以輕松創建統計引擎，根據相關和准確的數據收集提供更好、更精確的數據洞察力。它具有類數據處理和存儲。我們還可以在 R 編程中集成其他數據分析工具。
除此之外，您還可以與任何編程語言（例如 Java、C、Python）集成，以提供更快的數據傳輸和准確的分析。R 提供了大量可用於任何數據集的繪圖和圖形。
2、Apache Hadoop
Apache Hadoop 是領先的大數據分析工具開源。它是一個軟體框架，用於在商品硬體的集群上存儲數據和運行應用程序。它是由軟體生態系統組成的領先框架。
Hadoop 使用其 Hadoop 分布式文件系統或 HDFS 和 MapRece。它被認為是大數據分析的頂級數據倉庫。它具有在數百台廉價伺服器上存儲和分發大數據集的驚人能力。
這意味著您無需任何額外費用即可執行大數據分析。您還可以根據您的要求向其添加新節點，它永遠不會讓您失望。
3、MongoDB
MongoDB 是世界領先的資料庫軟體。它基於 NoSQL 資料庫，可用於存儲比基於 RDBMS 的資料庫軟體更多的數據量。MongoDB 功能強大，是最好的大數據分析工具之一。
它使用集合和文檔，而不是使用行和列。文檔由鍵值對組成，即MongoDB 中的一個基本數據單元。文檔可以包含各種單元。但是大小、內容和欄位數量因 MongoDB 中的文檔而異。
MongoDB 最好的部分是它允許開發人員更改文檔結構。文檔結構可以基於程序員在各自的編程語言中定義的類和對象。
MongoDB 有一個內置的數據模型，使程序員能夠理想地表示層次關系來存儲數組和其他元素。
4、RapidMiner
RapidMiner 是分析師集成數據准備、機器學習、預測模型部署等的領先平台之一。它是最好的免費大數據分析工具，可用於數據分析和文本挖掘。
它是最強大的工具，具有用於分析過程設計的一流圖形用戶界面。它獨立於平台，適用於 Windows、Linux、Unix 和 macOS。它提供各種功能，例如安全控制，在可視化工作流設計器工具的幫助下減少編寫冗長代碼的需要。
它使用戶能夠採用大型數據集在 Hadoop 中進行訓練。除此之外，它還允許團隊協作、集中工作流管理、Hadoop 模擬等。
它還組裝請求並重用 Spark 容器以對流程進行智能優化。RapidMiner有五種數據分析產品，即RapidMiner Studio Auto Model、Auto Model、RapidMiner Turbo Prep、RapidMiner Server和RapidMiner Radoop。
5、Apache Spark
Apache Spark 是最好、最強大的開源大數據分析工具之一。藉助其數據處理框架，它可以處理大量數據集。通過結合或其他分布式計算工具，在多台計算機上分發數據處理任務非常容易。
它具有用於流式 SQL、機器學習和圖形處理支持的內置功能。它還使該站點成為大數據轉換的最快速和通用的生成器。我們可以在內存中以快 100 倍的速度處理數據，而在磁碟中則快 10 倍。
除此之外，它還擁有 80 個高級運算元，可以更快地構建並行應用程序。它還提供 Java 中的高級 API。該平台還提供了極大的靈活性和多功能性，因為它適用於不同的數據存儲，如 HDFS、Openstack 和 Apache Cassandra。
6、Microsoft Azure
Microsoft Azure 是領先的大數據分析工具之一。Microsoft Azure 也稱為 Windows Azure。它是 Microsoft 處理的公共雲計算平台，是提供包括計算、分析、存儲和網路在內的廣泛服務的領先平台。
Windows Azure 提供兩類標准和高級的大數據雲產品。它可以無縫處理大量數據工作負載。
除此之外，Microsoft Azure 還擁有一流的分析能力和行業領先的 SLA 以及企業級安全和監控。它也是開發人員和數據科學家的最佳和高效平台。它提供了在最先進的應用程序中很容易製作的實時數據。
無需 IT 基礎架構或虛擬伺服器進行處理。它可以輕松嵌入其他編程語言，如 JavaScript 和 C#。
7、Zoho Analytics
Zoho Analytics 是最可靠的大數據分析工具之一。它是一種 BI 工具，可以無縫地用於數據分析，並幫助我們直觀地分析數據以更好地理解原始數據。
同樣，任何其他分析工具都允許我們集成多個數據源，例如業務應用程序、資料庫軟體、雲存儲、CRM 等等。我們還可以在方便時自定義報告，因為它允許我們生成動態且高度自定義的可操作報告。
在 Zoho 分析中上傳數據也非常靈活和容易。我們還可以在其中創建自定義儀錶板，因為它易於部署和實施。世界各地的用戶廣泛使用該平台。此外，它還使我們能夠在應用程序中生成評論威脅，以促進員工和團隊之間的協作。
它是最好的大數據分析工具，與上述任何其他工具相比，它需要的知識和培訓更少。因此，它是初創企業和入門級企業的最佳選擇。
以上內容參考 網路——大數據分析
J. azure是什麼什麼公司會用到
Azure一般指Windows Azure
Windows Azure是微軟基於雲計算的操作系統，現在更名為「Microsoft Azure」，和Azure Services Platform一樣，是微軟「軟體和服務」技術的名稱。Windows Azure的主要目標是為開發者提供一個平台，幫助開發可運行在雲伺服器、數據中心、Web和PC上的應用程序。雲計算的開發者能使用微軟全球數據中心的儲存、計算能力和網路基礎服務。Azure服務平台包括了以下主要組件：Windows Azure；MicrosoftSQL資料庫服務，Microsoft .Net服務；用於分享、儲存和同步文件的Live服務；針對商業的Microsoft SharePoint和Microsoft Dynamics CRM服務。
Azure是一種靈活和支持互操作的平台，它可以被用來創建雲中運行的應用或者通過基於雲的特性來加強現有應用。它開放式的架構給開發者提供了Web應用、互聯設備的應用、個人電腦、伺服器、或者提供最優在線復雜解決方案的選擇。Windows Azure以雲技術為核心，提供了軟體+服務的計算方法。 它是Azure服務平台的基礎。Azure能夠將處於雲端的開發者個人能力，同微軟全球數據中心網路託管的服務，比如存儲、計算和網路基礎設施服務，緊密結合起來。
微軟會保證Azure服務平台自始至終的開放性和互操作性。我們確信企業的經營模式和用戶從Web獲取信息的體驗將會因此改變。最重要的是，這些技術將使我們的用戶有能力決定，是將應用程序部署在以雲計算為基礎的互聯網服務上，還是將其部署在客戶端，或者根據實際需要將二者結合起來。
時至今日，IT服務已經成為任何商業運作的必備設施。雲計算就是要將 IT 服務變得像用電一樣簡單。企業不需要擔心電力來自哪家發電站、電線如何布設。同理，在雲計算的幫助下，企業不再費心管理每台伺服器用什麼處理器、裝什麼操作系統或者資料庫。
雲計算提供商集中管理軟體和硬體。使用者能夠在任何地方隨時調用資源，用完以後及時釋放以供再分配，從而避免資源浪費，降低了 IT 運作成本。企業得以將有限的資源和人力用於拓展業務、提升核心競爭力。
根據部署模型的不同，雲計算大體可以分為以下三類：
公有雲
公有雲平台提供商通過互聯網將存儲、計算、應用等資源作為服務提供給大眾市場。企業不需要自己構建數據中心，只需要根據使用量支付開支。
如果說傳統 IT 設施是企業自己給每個部門准備一台發電機、鋪電線。公有雲就是企業從專業電力公司買電，基礎設施的建設和管理完全交給電力公司，企業用多少電付多少錢。能夠最高效、最經濟地利用資源。
私有雲
私有雲是每個企業或者組織獨立運作的雲基礎設施。私有雲建立初期需要企業投入更多資源，但更適於保存敏感數據。微軟提供了完善的私有雲解決方案，具體請看這里。
混合雲
顧名思義，混合雲就是私有雲和公有雲的組合，同時結合不同解決方案的優勢。混合雲既能提供公有雲的低成本，也能通過私有雲滿足企業對核心業務極致安全性的需求。
Windows Azure 能夠與基於 Windows Server 和 System Center 的私有雲解決搭配使用，兼顧企業的具體需求。
架構編輯
Windows Azure是專為在微軟建設的數據中心管理所有伺服器，網路以及存儲資源所開發的一種特殊版本Windows Server操作系統，它具有針對數據中心架構的自我管理（autonomous）機能，可以自動監控劃分在數據中心數個不同的分區（微軟將這些分區稱為Fault Domain）的所有伺服器與存儲資源，自動更新補丁，自動運行虛擬機部署與鏡像備份（Snapshot Backup）等能力，Windows Azure被安裝在數據中心的所有伺服器中，並且定時和中控軟體：Windows Azure Fabric Controller進行溝通，接收指令以及回傳運行狀態數據等等，系統管理人員只要通過Windows Azure Fabric Controller就能夠掌握所有伺服器的運行狀態，Fabric Controller本身是融合了很多微軟系統管理技術的總成，包含對虛擬機的管理（System Center Virtual Machine Manager），對作業環境的管理（System Center Operation Manager），以及對軟體部署的管理（System Center Configuration Manager）等，在Fabric Controller中被發揮得淋漓盡致，如此才能夠達成通過Fabric Controller來管理在數據中心中所有伺服器的能力。
Windows Azure環境除了各式不同的虛擬機外，它也為應用程序打造了分散式的巨量存儲環境（Distributed Mass Storage），也就是Windows Azure Storage Services，應用程序可以根據不同的存儲需求來選擇要使用哪一種或哪幾種存儲的方式，以保存應用程序的數據，而微軟也盡可能的提供應用程序的兼容性工具或介面，以降低應用程序移轉到Windows Azure上的負擔。
Windows Azure不但是開發給外部的雲應用程序使用的，它也作為微軟許多雲服務的基礎平台，像Windows Azure SQL Database或是Dynamic CRM Online這類的在線服務。
綜述
Windows Azure服務平台現在已經包含如下功能：網站、虛擬機、雲服務、移動應用服務、大數據支持以及媒體功能的支持。
網站
允許使用 ASP．NET、PHP 或 Node.js 構建，並使用 FTP、Git 或 TFS進行快速部署。支持 SQL Database、Caching、CDN及Storage。
Virtual Machines
在Windows Azure上您可以輕松部署並運行 Windows Server 和 Linux 虛擬機。遷移應用程序和基礎結構，而無需更改現有代碼。支持 Windows Virtual Machines、Linux Virtual Machines、Storage、Virtual Network、 Identity等功能。
Cloud Services
是Windows Azure 中的企業級雲平台，使用平台即服務 (PaaS) 環境創建高度可用的且可無限縮放的應用程序和服務。支持多層方案、自動化部署和靈活縮放。支持Cloud Services、SQL Database、Caching、Business Analytics、Service Bus、Identity。
Mobile 服務
是Windows Azure提供的移動應用程序的完整後端解決方案，加速連接的客戶端應用程序開發。在幾分鍾內並入結構化存儲、用戶身份驗證和推送通知。支持SQL Database、Mobile 服務。並可以快速生成Windows Phone、Android或者iOS應用程序項目。
大型數據處理
Windows Azure 提供的海量數據處理能力，可以從數據中獲取可執行洞察力，利用完全兼容的企業准備就緒 Hadoop 服務。PaaS 產品/服務提供了簡單的管理，並與 Active Directory 和 System Center 集成。支持Hadoop、Business Analytics、Storage、SQL Database、及在線商店 Marketplace。
Media 媒體支持
支持插入、編碼、保護、流式處理，可以在雲中創建、管理和分發媒體。此 PaaS 產品/服務提供從編碼到內容保護再到流式處理和分析支持的所有內容。支持CDN及Storage存儲。
開發步驟編輯
微軟公司的旗艦開發工具Visual Studio中有一套針對Windows Azure開發工作的工具，這一點並不讓人感到驚奇。你可以通過Visual Studio安裝Windows Azure工具；具體的安裝步驟可能因版本而有所不同。當你創建一個新項目時，你將能夠選擇一個Windows Azure項目並為你的項目添加web和worker角色。Web角色是專為運行微軟IIS實例而設計的；而worker角色則是針對禁用微軟IIS的Windows虛擬機的。一旦你已創建了你的角色，那麼你就可以添加特定應用程序的代碼了。
Visual Studio可允許你設置服務配置參數，例如實例數、虛擬機容量、是使用HTTP還是HTTPS以及診斷報告水平等。通常情況下，在啟動階段，它可以幫助用戶在本地進行應用程序代碼調試。與在Windows Azure中運行應用程序相比，在本地運行你的應用程序可能需要不同的配置設置，但Visual Studio可允許用戶使用多個配置文件。而你所需要做的，只是為每一個環境選擇一個合適的配置文件。
這個工具包還包括了Windows Azure Compute Emulator，這個工具可支持查看診斷日誌和進行存儲模擬。
如果Windows Azure工具中缺乏一個針對發布你的應用程序至雲計算的過程簡化功能，那麼這樣的一個工具將是不完整的。這個發布應用程序至雲計算的功能可允許你指定一個配置與環境（如生產）以及一些先進的功能，例如啟用剖析和IntelliTrace，後者是一個收集與程序運行相關詳細事件信息的調試工具，它可允許開發人員查看程序在執行過程中發生的狀態變化。
當開發和部署代碼時，Visual Studio的Windows Azure工具是比較有用的。除此之外，用戶應當注意這些代碼是專為雲計算環境而設計的，尤其是為一個分布式環境設計的。以下的小貼士可有助於防止出現將導致糟糕性能、漫長調試以及運行時分析的潛在問題。
專為雲計算而設計的分布式應用程序（或者其它的網路應用程序）的一個基本原則就是，不要在網路伺服器上存儲應用程序的狀態信息。確保在網路伺服器層不保存狀態信息可實現更具靈活性的應用程序。你可以在一定數量的伺服器前部署一個負載平衡器而無需中斷應用程序的運行。如果你計劃充分利用Windows Azure能夠改變所部屬伺服器數量的功能，那麼這一點是特別重要的。這一配置對於打補丁升級也是有所幫助的。我們可以在其它伺服器繼續運行時為一台伺服器打補丁升級，這樣一來就能夠確保你的應用程序的可用性。
即便是在分布式應用程序的應用中，也有可能存在嚴重影響性能的瓶頸問題。例如，你的應用程序的多個實例有可能會同時向資料庫發出查詢請求。如果所有的調用請求是同步進行的，那麼就有可能消耗完一台伺服器中的所有可用線程。C#和VB兩種編程語言都支持非同步調用，這一功能可以有助於減少出現阻塞資源風險的可能性。
為最佳性能進行規劃
在雲計算中維持足夠性能表現的關鍵就是，一方面擴大你運行的伺服器數量，一方面分割你的數據和工作負載。諸如無狀態會話的設計功能就能夠幫助實現數據與工作負載的分割和運行伺服器數量的擴容。完全杜絕（或者至少最大限度地減少）跨多個工作負載地使用全局數據結構將有助於降低在你的工作流程中出現瓶頸問題的風險。
如果你將把一個SQL伺服器應用程序遷往Windows Azure，那麼你就應當評估如何最好地利用不同雲計算存儲類型的優勢。例如，在你的SQL伺服器資料庫中存儲二進制大對象（BLOB）數據結構可能是有意義的，而在Windows Azure雲計算中，BLOB存儲可以降低存儲成本且無需對代碼進行顯著修改。如果你使用的是高度非歸一化的數據模型，且未利用SQL伺服器的關系型運行的優勢（例如連接和過濾），那麼表存儲有可能是你為你的應用程序選擇的一個更經濟的方法。
選擇理由
Windows Azure 是微軟研發的公有雲計算平台。該平台可供企業在互聯網上運行應用，並可進行擴展。通過Windows Azure，企業能夠在多個數據中心快速開發、部署、管理應用程序 。
Windows Azure 提供了企業級服務等級協議（SLA）保證，並且可以輕松在位於不同城市的數據中心實現萬無一失的異地多點備份，為企業應用提供了可靠的保障。
獨到之處
可靠
Windows Azure 的平台設計完全消除單點故障可能，並提供企業級的服務等級協議（SLA）。它可以輕松實現異地多點備份，帶來萬無一失的防災備份能力，讓用戶專心開發和運行應用，而不是擔心基礎設施。2010 年 2 月正式商用以來，WindowsAzure 已經成為波音、寶馬等大量跨國公司的選擇。
靈活
Windows Azure 同時提供 Windows 和 Linux 虛擬機，支持 PHP、Node.js、Python 等大量開源工具。它提供了極大的彈性，能夠根據實際需求瞬間部署任意數量虛擬機、調用無限存儲空間。Windows Azure 訂價靈活，並支持按使用量支付，幫助用戶以最低成本將新服務上線而後再按需擴張。
價值
WindowsAzure 提供了業界頂尖的雲計算技術，它的雲存儲技術性能、擴展性和穩定性這三項關鍵指標均在 Nasuni 的權威測試中拔得頭籌。Windows Azure 能夠與企業現有本地 IT 設施混合使用，為存儲、管理、虛擬化、身份識別、開發提供了從本地到雲端的整合式體驗。
+功能
基礎設施服務
根據公司具體需求構建基礎設施幾分鍾內完成 Windows Server 或 Linux 虛擬機部署。無需更改代碼即可將公司應用程序和基礎設施遷移至雲端。
功能：Windows 虛擬機、Linux 虛擬機、存儲、虛擬網路、身份標識
雲服務
打造企業級雲平台在平台即服務(PaaS) 環境下開發可無限擴容的應用程序和服務。支持多層方案、自動化部署和彈性擴容。
功能：雲服務、SQL 資料庫、緩存、服務匯流排、身份標識
存儲
滿足數據需求的最優解決方案從 SQL 資料庫到 BLOB 存儲再到表格（Table），滿足存儲相關的任何需求。
功能：存儲、SQL資料庫
SQL 資料庫
全能的關系型資料庫服務使用熟悉的工具和功能強大的 SQL Server 技術快速創建、擴展應用程序並將其延伸至雲中。
功能：SQL資料庫
益處編輯
Azure服務平台的設計目標是用來幫開發者更容易地創建web和互聯設備的應用程序。它提供了最大限度的靈活性、選擇和使用現有技術連接用戶和客戶的控制。
利於開發者過渡到雲計算
世界上數以百萬計的開發者使用.NET Framework和Visual Studio開發環境。利用Visual Studio相同的環境創建可以編寫、測試和部署的雲計算應用。
快速獲得結果
應用程序可以通過點擊一個按鈕就部署到Azure服務平台，變更相當簡單，不需要停工修正，是個試驗新想法的理想平台。
想像並創建新的用戶體驗
Azure服務平台可以讓你創建Web、手機、使用雲計算的復雜應用。與 Live Services連接可以訪問4億Live用戶，新的使用新方式與用戶交流的機會。
基於標準的兼容性
為了可以和第三方服務交互,服務平台支持工業標准協議，包括HTTP、REST、SOAP、 RSS和 AtomPub.你可以方便地集成基於多種技術或者多平台的應用。
優勢編輯
數據和服務的安全性
保護客戶數據，服務隱私和信息安全是我們的頭等大事。我們將使用在服務企業客戶，提供在線服務方面的數十年的經驗應用於 Windows Azure 平台。數據完全由客戶自主控制。中國地區 WindowsAzure 服務存儲的所有數據都將被加密，並且只有客戶才有密鑰。
開源軟體支持
Windows Azure 支持大量開源應用程序、框架和語言，並且數量仍在不斷增加，這要歸功於微軟與開源社區的協作。我們清楚開發人員希望使用最適合自身經驗、技能和應用程序需求的工具，而我們的目標就是讓開發人員能夠隨意選擇自己需要的工具。
融合本地 IT 設施和公有雲
Windows Azure 是最適合混合 IT 環境的公有雲平台。它為企業提供了從本地到雲端的整合式體驗，覆蓋包括存儲、管理、虛擬化、身份識別、開發在內的方方面面，幫助您輕松將公有雲融入自己的 IT 資產組合。
網路訪問性能保證
Windows Azure 在中國運行於北部和東部兩個主要城市的數據中心，將幫助客戶解決異地災備問題。數據中心將有多家主流運營商接入，以此提高網路服務性能。
SDK開發工具編輯
Azure服務平台使開發者能夠在原有的技能、工具和技術(如微軟的.NET Framework，Visual Studio等)的基礎上，進一步提高應用程序開發的靈活性和有效性。開發者也可以選
Windows Azure
Windows Azure
擇其他的商業或者開源的開發工具或技術，然後通過Azure服務平台提供的通用Internet標准，比如HTTP、REST、WS-*和AtomPub來進行操作。 微軟為我們提供了雲計算服務Azure相關的開發工具包，包括以下三個組成部分:
(1)Complete offline development environment, including computation and storage services
(2)Complete command-line SDK tools and samples
(3)Visual Studio add-in that enables local debugging
Windows Azure SDK應運而生,對微軟雲計算感興趣的程序員們可以適當關注. 微軟的SDK(軟體開發工具包)工具包運用Java和Ruby語言。這個工具包可使Java和Ruby開發者依託Azure平台應用.NET服務。不過，到目前為止，該工具包只允許Java和Ruby開發者在微軟數據中心編寫服務程序。官方下載地址：Windows Azure Software Development KIT (January 2009 CTP)
獲入華牌照編輯
11月1日，微軟宣布與國內互聯網基礎設施服務提供商世紀互聯達成合作，實現微軟企業級雲服務——Office 365和Windows Azure在中國的落地。根據雙方簽訂的協議，微軟將向世紀互聯授權技術，由後者運營這兩項服務。
通過這種模式，微軟終於實現旗下公有雲計算平台Windows Azure在中國的落地。這將掀開外資企業進軍中國雲計算市場的序幕，但並不會對國內雲計算廠商造成太大沖擊。 [5]
2013年6月6日 世紀互聯提供的Windows Azure 中國版本正式啟動測試。
案例
PPTV亞洲電視網
快速提供覆蓋北美、東南亞和歐洲市場的電視雲服務，節省上百萬美元前期 IT 設施投入。
背景
PPTV是華人市場影響力最大的網路視頻媒體之一，在全球范圍擁有超過 3 億觀眾，擁有豐富的視頻直播經驗和技術積累。過去幾年陸續有海外運營商和電視台聯系 PPTV，希望 PPTV 幫助提供網路電視解決方案。PPTV 調研後意識到這是一個用戶規模上億的潛在市場，於兩年前開始籌備基於雲的亞洲電視網（ATN）。
PPTV 系統希望通過亞洲電視網為世界各地內容提供商提供一套低門檻的付費電視雲平台，讓他們將內容上傳到 ATN平台，並授權給其它國家/地區的服務運營商使用。
但這么做並不容易，由於視頻服務對網速的要求很高，該平台必須在不同地區提供網速以保證觀眾觀看體驗。傳統的做法是在每個海外市場建設數據中心。這么做成本不菲，而且會拖慢業務拓展速度。
解決方案
PPTV 決定與微軟公司合作，利用 Windows Azure 公有雲平台的海外數據中心網路將亞洲電視網帶向全球市場。雙方在 2012 年 7 月正式簽訂合作協議。
亞洲電視網的整個開發過程全部在 Windows Azure 雲端完成。其視頻點播、分發平台的技術基本沿用 PPTV 自己在國內的私有雲平台PPCloud。這個平台擁有一套P2P+CDN的內容分發系統，在視頻處理上有自己的編碼、轉碼方式，支持多碼率的流媒體。
Windows Azure 平台合作夥伴雲角（Yungoal）幫助 PPTV 將PPCloud的核心技術遷移至 Windows Azure 雲平台。客戶上傳的視頻內容通過 Blob 存儲進行保存，並由 Windows Azure 在全球的 CDN 網路將內容送達離觀眾最近的節點，確保視頻播放速度。