spark推薦演算法
⑴ 推薦系統UserCF和ItemCF
UserCF（User Collaboration Filter），又稱 基於用戶的協同過濾演算法。
協同過濾：就是指眾多的用戶可以齊心協力，通過不斷地和網站互動，使 自己的推薦列表能夠不斷過濾掉自己不感興趣的物品，從而越來越滿足自己的需求。
而基於用戶是指通過分析用戶對商品的行為（如瀏覽、收藏、加入購物車、購買……）計算出哪些用戶是興趣相似的，然後把興趣相似的用戶所關注的商品相互推薦。
舉個例子：
由上表可以看出用戶A和用戶C比較相似，所以把用戶A感興趣的商品4推薦給用戶C。
步驟一般分為兩步：
再舉個詳細點的例子：
假設我們這么一些數據(用戶(字母) 商品(數字)_行為，)：
我們可以給不同的行為賦予不同的評分（假設瀏覽1分、收藏3分、加入購物車5分、購買10分），得到以下數據：
這樣看著比較累，而且也不方便計算，可以把它轉換為矩陣形式,稱之為 評分矩陣 ：
計算相似度
計算相似度的方式有很多，如餘弦相似度、切比雪夫距離、歐里幾得距離、曼哈頓距離、傑卡德距離、皮爾森系數……計算相似度的方式不同計算出來的相似度也不同。
這里只介紹餘弦相似度，其他的請自行網路。
假設有二維向量a,b如下圖所示
則他們的餘弦相似度為
推廣到多維向量a(a1,a2,a3,a4……)，b(b1,b2,b3,b4……)
有了公式就能計算出用戶相似度了：
推薦列表 = 相似度矩陣 X 評分矩陣
由於用戶已經對推薦列表中的一些商品有過行為，所以還要把這些商品給濾除掉
得到最終的推薦列表，其數值代表的意義是用戶對商品的感興趣程度：
ItemCF（Item Collaboration Filter），又稱 基於商品(物品)的協同過濾演算法。
其原理與UserCF類似，是基於用戶對商品的偏好找到相似的商品，然後推薦相似的商品品給他。
計算過程也非常相似，區別在於計算時把UserCF的 評分矩陣轉置 ，再計算商品與商品之間的相似度得到 商品之間的相似度矩陣 。
最後的 推薦列表 = 商品之間的相似度矩陣 X 評分矩陣轉置
對於電子商務，用戶數量一般大大超過商品數量，此時Item CF的計算復雜度較低。
比如在購書網站上，當你看一本書的時候，推薦引擎會給你推薦相關的書籍，這個推薦的重要性進進超過了網站首頁對該用戶的綜合推薦。可以看到，在這種情況下，Item CF 的推薦成為了引導用戶瀏覽的重要手段。基於物品的協同過濾演算法，是目前電子商務採用最廣泛的推薦演算法。
在非社交網路的網站中，內容內在的聯系是很重要的推薦原則，它比基於相似用戶的推薦原則更加有效。在社交網路站點中，User CF 是一個更好錯的選擇，User CF 加上社會網路信息，可以增加用戶對推薦解釋的信服程度。
推薦多樣性和精度，各有千秋。
參考：
Spark基於用戶的協同過濾演算法 https://www.toutiao.com/a6498952374487368205/?tt_from=mobile_qq&utm_campaign=client_share&app=news_article&utm_source=mobile_qq&iid=15393016323&utm_medium=toutiao_android
推薦系統_itemCF和userCF
http://blog.csdn.net/u011263983/article/details/51498458
⑵ spark和hadoop的區別
直接比較Hadoop和Spark有難度，因為它們處理的許多任務都一樣，但是在一些方面又並不相互重疊。
比如說，Spark沒有文件管理功能，因而必須依賴Hadoop分布式文件系統(HDFS)或另外某種解決方案。
Hadoop框架的主要模塊包括如下：
Hadoop Common
Hadoop分布式文件系統(HDFS)
Hadoop YARN
Hadoop MapRece
分區列表
計算每個分片的函數
依賴其他RDD的項目列表
面向鍵值RDD的分區程序(比如說RDD是散列分區)，這是可選屬性
計算每個分片的首選位置的列表(比如HDFS文件的數據塊位置)，這是可選屬性
雖然上述四個模塊構成了Hadoop的核心，不過還有其他幾個模塊。這些模塊包括：Ambari、Avro、Cassandra、Hive、 Pig、Oozie、Flume和Sqoop，它們進一步增強和擴展了Hadoop的功能。
Spark確實速度很快(最多比Hadoop MapRece快100倍)。Spark還可以執行批量處理，然而它真正擅長的是處理流工作負載、互動式查詢和機器學習。
相比MapRece基於磁碟的批量處理引擎，Spark賴以成名之處是其數據實時處理功能。Spark與Hadoop及其模塊兼容。實際上，在Hadoop的項目頁面上，Spark就被列為是一個模塊。
Spark有自己的頁面，因為雖然它可以通過YARN(另一種資源協調者)在Hadoop集群中運行，但是它也有一種獨立模式。它可以作為 Hadoop模塊來運行，也可以作為獨立解決方案來運行。
MapRece和Spark的主要區別在於，MapRece使用持久存儲，而Spark使用彈性分布式數據集(RDDS)。
性能
Spark之所以如此快速，原因在於它在內存中處理一切數據。沒錯，它還可以使用磁碟來處理未全部裝入到內存中的數據。
Spark的內存處理為來自多個來源的數據提供了近乎實時分析的功能：營銷活動、機器學習、物聯網感測器、日誌監控、安全分析和社交媒體網站。另 外，MapRece使用批量處理，其實從來就不是為驚人的速度設計的。它的初衷是不斷收集來自網站的信息，不需要這些數據具有實時性或近乎實時性。
易用性
支持Scala(原生語言)、Java、Python和Spark SQL。Spark SQL非常類似於SQL 92，所以幾乎不需要經歷一番學習，馬上可以上手。
Spark還有一種交互模式，那樣開發人員和用戶都可以獲得查詢和其他操作的即時反饋。MapRece沒有交互模式，不過有了Hive和Pig等附加模塊，採用者使用MapRece來得容易一點。
成本
「Spark已證明在數據多達PB的情況下也輕松自如。它被用於在數量只有十分之一的機器上，對100TB數據進行排序的速度比Hadoop MapRece快3倍。」這一成績讓Spark成為2014年Daytona GraySort基準。
兼容性
MapRece和Spark相互兼容;MapRece通過JDBC和ODC兼容諸多數據源、文件格式和商業智能工具，Spark具有與MapRece同樣的兼容性。
數據處理
MapRece是一種批量處理引擎。MapRece以順序步驟來操作，先從集群讀取數據，然後對數據執行操作，將結果寫回到集群，從集群讀 取更新後的數據，執行下一個數據操作，將那些結果寫回到結果，依次類推。Spark執行類似的操作，不過是在內存中一步執行。它從集群讀取數據後，對數據 執行操作，然後寫回到集群。
Spark還包括自己的圖形計算庫GraphX。GraphX讓用戶可以查看與圖形和集合同樣的數據。用戶還可以使用彈性分布式數據集(RDD)，改變和聯合圖形，容錯部分作了討論。
容錯
至於容錯，MapRece和Spark從兩個不同的方向來解決問題。MapRece使用TaskTracker節點，它為 JobTracker節點提供了心跳(heartbeat)。如果沒有心跳，那麼JobTracker節點重新調度所有將執行的操作和正在進行的操作，交 給另一個TaskTracker節點。這種方法在提供容錯性方面很有效，可是會大大延長某些操作(即便只有一個故障)的完成時間。
Spark使用彈性分布式數據集(RDD)，它們是容錯集合，裡面的數據元素可執行並行操作。RDD可以引用外部存儲系統中的數據集，比如共享式文件系統、HDFS、HBase，或者提供Hadoop InputFormat的任何數據源。Spark可以用Hadoop支持的任何存儲源創建RDD，包括本地文件系統，或前面所列的其中一種文件系統。
RDD擁有五個主要屬性：
RDD可能具有持久性，以便將數據集緩存在內存中。這樣一來，以後的操作大大加快，最多達10倍。Spark的緩存具有容錯性，原因在於如果RDD的任何分區丟失，就會使用原始轉換，自動重新計算。
可擴展性
按照定義，MapRece和Spark都可以使用HDFS來擴展。那麼，Hadoop集群能變得多大呢?
據稱雅虎有一套42000個節點組成的Hadoop集群，可以說擴展無極限。最大的已知Spark集群是8000個節點，不過隨著大數據增多，預計集群規模也會隨之變大，以便繼續滿足吞吐量方面的預期。
安全
Hadoop支持Kerberos身份驗證，這管理起來有麻煩。然而，第三方廠商讓企業組織能夠充分利用活動目錄Kerberos和LDAP用於身份驗證。同樣那些第三方廠商還為傳輸中數據和靜態數據提供數據加密。
Hadoop分布式文件系統支持訪問控制列表(ACL)和傳統的文件許可權模式。Hadoop為任務提交中的用戶控制提供了服務級授權(Service Level Authorization)，這確保客戶擁有正確的許可權。
Spark的安全性弱一點，目前只支持通過共享密鑰(密碼驗證)的身份驗證。Spark在安全方面帶來的好處是，如果你在HDFS上運行Spark，它可以使用HDFS ACL和文件級許可權。此外，Spark可以在YARN上運行，因而能夠使用Kerberos身份驗證。
總結
Spark與MapRece是一種相互共生的關系。Hadoop提供了Spark所沒有的功能特性，比如分布式文件系統，而Spark 為需要它的那些數據集提供了實時內存處理。完美的大數據場景正是設計人員當初預想的那樣：讓Hadoop和Spark在同一個團隊裡面協同運行。
⑶ 有什麼關於 Spark 的書推薦
《大數據Spark企業級實戰》本書共包括14章，每章的主要內容如下。
第一章回答了為什麼大型數據處理平台都要選擇SPARK
。為什麼spark如此之快?星火的理論基礎是什麼?spark如何使用專門的技術堆棧來解決大規模數據處理的需要?第二章回答了如何從頭構建Hadoop集群的問題。
如何構建基於Hadoop集群的星火集群?如何測試火星的質量?
附錄從spark的角度解釋了Scala，並詳細解釋了Scala函數編程和面向對象編程。
⑷ 《Spark大數據分析實戰》epub下載在線閱讀全文，求百度網盤雲資源
《Spark大數據分析實戰》（高彥傑/倪亞宇）電子書網盤下載免費在線閱讀
鏈接: https://pan..com/s/1MyKNRhDaWb9FMUYESLDIcw
書名:Spark大數據分析實戰
豆瓣評分:5.2
作者:高彥傑/倪亞宇
出版社:機械工業出版社
出版年:2016-1-1
頁數:213
內容簡介
本書一共11章：其中第1～3章，主要介紹了Spark的基本概念、編程模型、開發與部署的方法；第4～11章，詳細詳解了熱點新聞分析系統、基於雲平台的日誌數據分析、情感分析系統、搜索引擎鏈接分析系統等的應用與演算法等核心知識點。
作者簡介
高彥傑，畢業於*國人民大學，就職於微軟亞洲研究院。開源技術愛好者，對spark及其他開源大數據系統與技術有較為深入的認識和研究，實踐經驗豐富。較早接觸並使用spark，對spark應用開發、spark系統的運維和測試比較熟悉．深度閱讀了spark的源代碼，了解spark的運行機制，擅長spark的查詢優化。
曾著有暢銷書《spark大數據處理：技術、應用與性能優化》。
倪亞宇，清華大學自動化系在讀博士研究生，曾於微軟亞洲研究院、IBM研究院實習。對大規模的推薦系統和機器學習演算法有較為深入的研究和豐富的實踐經驗。
⑸ 在大數據學習中Hadoop和Spark哪個更好就業
大數據的hadoop和spark都是大數據開發所用到的一種開發軟體工具，合格的大數據開發工程師需要掌握的技能很多，具體崗位（大數據開發，大數據分析，數據產品經理等）要求的重點不同。如需大數據培訓推薦選擇【達內教育】。
Hadoop與Spark都是大數據計算框架，但是兩者各有自己的優勢，Spark與Hadoop的區別主要有以下幾點：
1、編程方式
Hadoop的MapRece在計算數據時，計算過程必須要轉化為Map和Rece兩個過程，從而難以描述復雜的數據處理過程；而Spark的計算模型不局限於Map和Rece操作，還提供了多種數據集的操作類型，編程模型比MapRece更加靈活。
2、數據存儲
Hadoop的MapRece進行計算時，每次產生的中間結果都是存儲在本地磁碟中；而Spark在計算時產生的中間結果存儲在內存中。
3、數據處理
Hadoop在每次執行數據處理時，都需要從磁碟中載入數據，導致磁碟的I/O開銷較大；而Spark在執行數據處理時，只需要將數據載入到內存中，之後直接在內存中載入中間結果數據集即可，減少了磁碟的1O開銷等。感興趣的話點擊此處，免費學習一下
想了解更多有關大數據的相關信息，推薦咨詢【達內教育】。該機構是引領行業的職業教育公司，致力於面向IT互聯網行業培養人才，達內大型T專場招聘會每年定期舉行，為學員搭建快捷高效的雙選綠色通道，在提升學員的面試能力、積累面試經驗同時也幫助不同技術方向的達內學員快速就業。達內IT培訓機構,試聽名額限時搶購。
⑹ Storm與Spark，Hadoop相比是否有優勢
Storm優勢就在於Storm是實時的連續性的分布式的計算框架,一旦運行起來,除非你將它殺掉,否則它一直處理計算或等待計算的狀態.Spark和hadoop都做不到.
當然它們各自都有其應用場景,各有各的優勢.可以配合使用.
下面我轉一份別人的資料,講的很清楚.
Storm與Spark、Hadoop這三種框架，各有各的優點，每個框架都有自己的最佳應用場景。
所以，在不同的應用場景下，應該選擇不同的框架。
Storm是最佳的流式計算框架，Storm由Java和Clojure寫成，Storm的優點是全內存計算，所以它的定位是分布式實時計算系統，按照Storm作者的說法，Storm對於實時計算的意義類似於Hadoop對於批處理的意義。
Storm的適用場景：
1）流數據處理
Storm可以用來處理源源不斷流進來的消息，處理之後將結果寫入到某個存儲中去。
2）分布式RPC。由於Storm的處理組件是分布式的，而且處理延遲極低，所以可以作為一個通用的分布式RPC框架來使用。
SparkSpark是一個基於內存計算的開源集群計算系統，目的是更快速的進行數據分析。Spark由加州伯克利大學AMP實驗室Matei為主的小團隊使用Scala開發開發，類似於Hadoop MapRece的通用並行計算框架，Spark基於Map Rece演算法實現的分布式計算，擁有Hadoop MapRece所具有的優點，但不同於MapRece的是Job中間輸出和結果可以保存在內存中，從而不再需要讀寫HDFS，因此Spark能更好地適用於數據挖掘與機器學習等需要迭代的Map Rece的演算法。
Spark的適用場景：
1）多次操作特定數據集的應用場合
Spark是基於內存的迭代計算框架，適用於需要多次操作特定數據集的應用場合。需要反復操作的次數越多，所需讀取的數據量越大，受益越大，數據量小但是計算密集度較大的場合，受益就相對較小。
2）粗粒度更新狀態的應用
由於RDD的特性，Spark不適用那種非同步細粒度更新狀態的應用，例如Web服務的存儲或者是增量的Web爬蟲和索引。就是對於那種增量修改的應用模型不適合。
總的來說Spark的適用面比較廣泛且比較通用。
Hadoop是實現了MapRece的思想，將數據切片計算來處理大量的離線數據數據。Hadoop處理的數據必須是已經存放在HDFS上或者類似HBase的資料庫中，所以Hadoop實現的時候是通過移動計算到這些存放數據的機器上來提高效率。
Hadoop的適用場景：
1）海量數據的離線分析處理
2）大規模Web信息搜索
3）數據密集型並行計算
簡單來說：
Hadoop適合於離線的批量數據處理適用於對實時性要求極低的場景
Storm適合於實時流數據處理，實時性方面做得極好
Spark是內存分布式計算框架，試圖吞並Hadoop的Map-Rece批處理框架和Storm的流處理框架，但是Spark已經做得很不錯了，批處理方面性能優於Map-Rece，但是流處理目前還是弱於Storm，產品仍在改進之中
⑺ 《Spark機器學習》pdf下載在線閱讀全文，求百度網盤雲資源
《Spark機器學習》網路網盤pdf最新全集下載:
鏈接: https://pan..com/s/1kiagkVpdB5pvRoSyg-VOOg
簡介：《Spark機器學習》每章都設計了案例研究，以機器學習演算法為主線，結合實例探討了Spark 的實際應用。書中沒有讓人抓狂的數據公式，而是從准備和正確認識數據開始講起，全面涵蓋了推薦系統、回歸、聚類、降維等經典的機器學習演算法及其實際應用。
⑻ Spark核心-RDD
RDD是Spark中的數據抽象，全稱 彈性分布式數據集（Resilient Distributed Datasets） 。RDD可以理解為將一個大的數據集合以分布式的形式保存在集群伺服器的內存中。RDD是一個容錯的、並行的數據結構，可以讓用戶顯式地將數據存儲到磁碟和內存中，並能控制數據的分區。
RDD是Spark的核心，也是整個Spark的架構基礎。
RDD的特點：
RDD的5個主要屬性：
可以通過兩種方式創建RDD：
轉換操作指的是在原RDD實例上進行計算，然後創建一個新的RDD實例。
RDD中的所有的轉換操作都是 惰性 的，在執行RDD的轉換操作的時候，並不會直接計算結果，而是記住這些應用到基礎數據集上的轉換動作，只有行動操作時，這些轉換才會真正的去執行。這樣設計的好處是更加有效率的運行。
行動操作指的是向驅動器程序返回結果或把結果寫入外部系統的操作。
Spark在調用RDD的行動操作的時候，會觸發Spark中的連鎖反應。當調用的行動操作的時候，Spark會嘗試創建作為調用者的RDD。如果這個RDD是從文件中創建的，那麼Spark會在worker節點上讀取文件至內存中。如果這個RDD是通過其他RDD的轉換得到的，Spark會嘗試創建其父RDD。這個過程會一直持續下去，直到Spark找到根RDD。然後Spark就會真正執行這些生成RDD所必須的轉換計算。最後完成行動操作，將結果返回給驅動程序或者寫入外部存儲。
Spark速度非常快的原因之一，就是在不同操作中在內存中持久化一個數據集。當持久化一個RDD後，每一個節點都將把計算的分片結果保存在內存中，並在對此數據集進行的其他動作中重用。這使得後續的動作變得更加迅速。緩存是Spark構建迭代演算法和快速互動式查詢的關鍵。所以我們在開發過程中，對經常使用的RDD要進行緩存操作，以提升程序運行效率。
RDD緩存的方法
RDD類提供了兩種緩存方法：
cache方法其實是將RDD存儲在集群中Worker的內存中。
persist是一個通用的cache方法。它可以將RDD存儲在內存中或硬碟上或者二者皆有。
緩存的容錯
緩存是有可能丟失（如機器宕機），或者存儲於內存的數據由於內存不足而被刪除。RDD的緩存的容錯機制保證了即使緩存丟失也能保證計算的正確執行。通過基於RDD的一系列的轉換，丟失的數據會被重新計算。因為RDD的各個Partition是相對獨立的，所以在重新計算的時候只需要計算丟失部分Partition即可，不需要重新計算全部的Partition。因此，在一個緩存RDD的節點出現故障的時候，Spark會在另外的節點上自動重新創建出現故障的節點中存儲的分區。
RDD的緩存能夠在第一次計算完成後，將計算結果保存到內存、本地文件系統或者Tachyon中。通過緩存，Spark避免了RDD上的重復計算，能夠極大地提升計算速度。但是，如果緩存丟失了，則需要重新計算。如果計算特別復雜或者計算特別耗時，那麼緩存丟失對於整個Job的影響是不容忽視的。為了避免緩存丟失重新計算帶來的開銷，所以Spark引入了檢查點（checkpoint）機制。
緩存是在計算結束後，直接將計算結果通過用戶定義的存儲級別寫入不同的介質。而檢查點不同，它是在計算完成後，重新建立一個Job來計算。所以為了避免重復計算，推薦先將RDD緩存，這樣在進行檢查點操作時就可以快速完成。
Spark會根據用戶提交的計算邏輯中的RDD的轉換和動作來生動RDD之間的依賴關系，同時這個計算鏈也就生成了邏輯上的DAG。
RDD之間的依賴關系包括：
Spark中的依賴關系主要體現為兩種形式：