分布式圖片伺服器搭建

① hadoop課程設計

1. 大數據專業課程有哪些

首先我們要了解java語言和linux操作系統，這兩個是學習大數據的基礎，學習的順序不分前後。
Java ：只要了解一些基礎即可，做大數據不需要很深的Java 技術，學java SE 就相當於有學習大數據。基礎
Linux：因為大數據相關軟體都是在Linux上運行的，所以Linux要學習的扎實一些，學好Linux對你快速掌握大數據相關技術會有很大的幫助，能讓你更好的理解hadoop、hive、hbase、spark等大數據軟體的運行環境和網路環境配置，能少踩很多坑，學會shell就能看懂腳本這樣能更容易理解和配置大數據集群。還能讓你對以後新出的大數據技術學習起來更快。
好說完基礎了，再說說還需要學習哪些大數據技術，可以按我寫的順序學下去。
Hadoop：這是現在流行的大數據處理平台幾乎已經成為大數據的代名詞，所以這個是必學的。Hadoop裡麵包括幾個組件HDFS、MapRece和YARN，HDFS是存儲數據的地方就像我們電腦的硬碟一樣文件都存儲在這個上面，MapRece是對數據進行處理計算的，它有個特點就是不管多大的數據只要給它時間它就能把數據跑完，但是時間可能不是很快所以它叫數據的批處理。
記住學到這里可以作為你學大數據的一個節點。
Zookeeper：這是個萬金油，安裝Hadoop的HA的時候就會用到它，以後的Hbase也會用到它。它一般用來存放一些相互協作的信息，這些信息比較小一般不會超過1M，都是使用它的軟體對它有依賴，對於我們個人來講只需要把它安裝正確，讓它正常的run起來就可以了。
Mysql：我們學習完大數據的處理了，接下來學習學習小數據的處理工具mysql資料庫，因為一會裝hive的時候要用到，mysql需要掌握到什麼層度那?你能在Linux上把它安裝好，運行起來，會配置簡單的許可權，修改root的密碼，創建資料庫。這里主要的是學習SQL的語法，因為hive的語法和這個非常相似。
Sqoop：這個是用於把Mysql里的數據導入到Hadoop里的。當然你也可以不用這個，直接把Mysql數據表導出成文件再放到HDFS上也是一樣的，當然生產環境中使用要注意Mysql的壓力。
Hive：這個東西對於會SQL語法的來說就是神器，它能讓你處理大數據變的很簡單，不會再費勁的編寫MapRece程序。有的人說Pig那?它和Pig差不多掌握一個就可以了。
Oozie：既然學會Hive了，我相信你一定需要這個東西，它可以幫你管理你的Hive或者MapRece、Spark腳本，還能檢查你的程序是否執行正確，出錯了給你發報警並能幫你重試程序，最重要的是還能幫你配置任務的依賴關系。我相信你一定會喜歡上它的，不然你看著那一大堆腳本，和密密麻麻的crond是不是有種想屎的感覺。
Hbase：這是Hadoop生態體系中的NOSQL資料庫，他的數據是按照key和value的形式存儲的並且key是唯一的，所以它能用來做數據的排重，它與MYSQL相比能存儲的數據量大很多。所以他常被用於大數據處理完成之後的存儲目的地。
Kafka：這是個比較好用的隊列工具，隊列是干嗎的?排隊買票你知道不?數據多了同樣也需要排隊處理，這樣與你協作的其它同學不會叫起來，你干嗎給我這么多的數據(比如好幾百G的文件)我怎麼處理得過來，你別怪他因為他不是搞大數據的，你可以跟他講我把數據放在隊列里你使用的時候一個個拿，這樣他就不在抱怨了馬上灰流流的去優化他的程序去了，因為處理不過來就是他的事情。而不是你給的問題。當然我們也可以利用這個工具來做線上實時數據的入庫或入HDFS，這時你可以與一個叫Flume的工具配合使用，它是專門用來提供對數據進行簡單處理，並寫到各種數據接受方(比如Kafka)的。
Spark：它是用來彌補基於MapRece處理數據速度上的缺點，它的特點是把數據裝載到內存中計算而不是去讀慢的要死進化還特別慢的硬碟。特別適合做迭代運算，所以演算法流們特別稀飯它。它是用scala編寫的。Java語言或者Scala都可以操作它，因為它們都是用JVM的。

2. hadoop視頻教程下載

其實這個課程講的「微博」項目是《HBase in action》中的例子。其中的源代碼都放在 github 上面。

3. 請問哪位有《深入淺出Hadoop實戰開發》的視頻教程

Hadoop是什麼，為什麼要學習Hadoop?

Hadoop是一個分布式系統基礎架構，由Apache基金會開發。用戶可以在不了解分布式底層細節的情況下，開發分布式程序。充分利用集群的威力高速運算和存儲。Hadoop實現了一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。HDFS有著高容錯性的特點，並且設計用來部署在低廉的（low-cost）硬體上。而且它提供高傳輸率（high throughput）來訪問應用程序的數據，適合那些有著超大數據集（large data set）的應用程序。HDFS放寬了（relax）POSIX的要求（requirements）這樣可以流的形式訪問（streaming access）文件系統中的數據。
Hadoop 是一個能夠對大量數據進行分布式處理的軟體框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是可靠的，因為它假設計算元素和存儲會失敗，因此它維護多個工作數據副本，確保能夠針對失敗的節點重新分布處理。Hadoop 是高效的，因為它以並行的方式工作，通過並行處理加快處理速度。Hadoop 還是可伸縮的，能夠處理 PB 級數據。此外，Hadoop 依賴於社區伺服器，因此它的成本比較低，任何人都可以使用。
Hadoop帶有用Java 語言編寫的框架，因此運行在 Linux 生產平台上是非常理想的。本課程的講解是採用linux平台進行模擬講解，完全基於真實場景進行模擬現實

亮點一:技術點全面,體系完善
本課程在兼顧Hadoop課程知識體系完善的前提下，把實際開發中應用最多、最深、最實用的技術抽取出來，通過本課程，你將達到技術的新高點，進入雲計算的美好世界。在技術方面你將徹底掌握基本的Hadoop集群；Hadoop HDFS原理；Hadoop HDFS基本的命令；Namenode的工作機制；HDFS基本配置管理；MapRece原理； HBase的系統架構；HBase的表結構；HBase如何使用MapRece；MapRece高級編程；split的實現詳解；Hive入門；Hive結合MapRece；Hadoop的集群安裝等眾多知識點。

亮點二:基礎+實戰=應用,兼顧學與練
課程每階段都安排了實戰應用項目,以此方便學生能更快的掌握知識點的應用，如在第一階段,課程結合HDFS應用,講解了圖片伺服器的設計、以及如何利用Java API去對HDFS操作、在第二階段;課程結合HBase實現微博項目的各種功能，使學員可以活學活用。在第三階段:HBase和MapRece結合時下了實現話單查詢與統計系統，在第四階段，Hive實戰部分，通過實戰數據統計系統，使學員在最短的時間內掌握Hive的高級應用。

亮點三:講師豐富的電信集團雲平台運作經驗
講師robby擁有豐富的電信集團工作經驗，目前負責雲平台的各方面工作，並擁有多年的企業內部培訓經驗。講課內容完全貼近企業需求，絕不紙上談兵。

更多技術亮點參考課程大綱:（本大綱以章節形式命名要為防止某些章節1章節內容超過1課時)

第1章節:
> Hadoop背景
> HDFS設計目標
> HDFS不適合的場景
> HDFS架構詳盡分析
> MapRece的基本原理

第2章節
> Hadoop的版本介紹
> 安裝單機版Hadoop
> 安裝Hadoop集群

第3章節
> HDFS命令行基本操作
> Namenode的工作機制
> HDFS基本配置管理

第4章節
> HDFS應用實戰：圖片伺服器(1) - 系統設計
> 應用的環境搭建 php + bootstrap + java
> 使用Hadoop Java API實現向HDFS寫入文件

第5章節
> HDFS應用實戰：圖片伺服器(2)
> 使用Hadoop Java API實現讀取HDFS中的文件
> 使用Hadoop Java API實現獲取HDFS目錄列表
> 使用Hadoop Java API實現刪除HDFS中的文件

第6章節
> MapRece的基本原理
> MapRece的運行過程
> 搭建MapRece的java開發環境
> 使用MapRece的java介面實現WordCount

第7章節
> WordCount運算過程分析
> MapRece的biner
> 使用MapRece實現數據去重
> 使用MapRece實現數據排序
> 使用MapRece實現數據平均成績計算

第8章節
> HBase詳細介紹
> HBase的系統架構
> HBase的表結構，RowKey，列族和時間戳
> HBase中的Master，Region以及Region Server

第9章節
> 使用HBase實現微博應用（1）
> 用戶注冊，登陸和注銷的設計
> 搭建環境 struts2 + jsp + bootstrap + jquery + HBase Java API
> HBase和用戶相關的表結構設計
> 用戶注冊的實現

第10章節
> 使用HBase實現微博應用（2）
> 使用session實現用戶登錄和注銷
> 「關注"功能的設計
> 「關注"功能的表結構設計
> 「關注"功能的實現

第11章節
> 使用HBase實現微博應用（3）
> 「發微博"功能的設計
> 「發微博"功能的表結構設計
> 「發微博"功能的實現
> 展現整個應用的運行

第12章節
> HBase與MapRece介紹
> HBase如何使用MapRece

第13章節
> HBase應用實戰：話單查詢與統計（1）
> 應用的整體設計
> 開發環境搭建
> 表結構設計

第14章節
> HBase應用實戰：話單查詢與統計（2）
> 話單入庫單設計與實現
> 話單查詢的設計與實現

第15章節
> HBase應用實戰：話單查詢與統計（3）
> 統計功能設計
> 統計功能實現

第16章節
> 深入MapRece（1）
> split的實現詳解
> 自定義輸入的實現
> 實例講解

第17章節
> 深入MapRece（2）
> Rece的partition
> 實例講解

第18章節
> Hive入門
> 安裝Hive
> 使用Hive向HDFS存入結構化數據
> Hive的基本使用

第19章節
> 使用MySql作為Hive的元資料庫
> Hive結合MapRece

第20章節
> Hive應用實戰:數據統計（1）
> 應用設計，表結構設計

第21章節
> Hive應用實戰：數據統計（2）
> 數據錄入與統計的實現

4. 哪個課程題庫有hadoop的題

這是在一個平衡Hadoop集群中，為數據節點/任務追蹤器提供的規格：
在一個磁碟陣列中要有12到24個1~4TB硬碟
2個頻率為2~2.5GHz的四核、六核或八核CPU
64~512GB的內存
有保障的千兆或萬兆乙太網（存儲密度越大，需要的網路吞吐量越高）
名位元組點角色負責協調集群上的數據存儲，作業追蹤器協調數據處理（備用的名位元組點不應與集群中的名位元組點共存，並且運行在與之相同的硬體環境上。）。Cloudera客戶購買在RAID1或10配置上有足夠功率和級磁碟數的商用機器來運行名位元組點和作業追蹤器。

NameNode也會直接需要與群集中的數據塊的數量成比列的RAM。一個好的但不精確的規則是對於存儲在分布式文件系統裡面的每一個1百萬的數據塊，分配1GB的NameNode內存。於在一個群集裡面的100個DataNodes而言，NameNode上的64GB的RAM提供了足夠的空間來保證群集的增長。我們也把HA同時配置在NameNode和JobTracker上，
這里就是為NameNode／JobTracker／Standby NameNode節點群的技術細節。驅動器的數量或多或少，將取決於冗餘數量的需要。
4–6 1TB 硬碟驅動器 採用 一個 JBOD 配置 (1個用於OS, 2個用於文件系統映像[RAID 1], 1個用於Apache ZooKeeper, 1個用於Journal節點)
2 4-/16-/8-核心 CPUs, 至少運行於 2-2.5GHz
64-128GB 隨機存儲器
Bonded Gigabit 乙太網卡 or 10Gigabit 乙太網卡
記住, 在思想上，Hadoop 體系設計為用於一種並行環境。

5. 大數據的課程都有哪些

大數據本身屬於交叉學科，涵蓋計算機、統計學、數學三個學科的專業知識。所以大數據的課程內容，基本上也是圍繞著三個學科展開的。
數理統計方面：數學分析、統計學習、高等代數、離散數學、概率與統計等課程是基本配置。
計算機專業課程：數據結構、數據科學、程序設計、演算法分析與設計、數據計算智能、資料庫系統、計算機系統基礎、並行體系結構與編程、非結構化大數據分析等，也是必備課程。
而想要真正找到工作的話，大數據主流技術框架，也要去補充起來，這才是找工作當中能夠獲得競爭力的加分項。

6. hadoop 集群教程

要教程？不明白你這個啥意思

7. 有哪些好的hadoop學習資料

1."Hadoop.Operations.pdf.zip"//vdisk.weibo/s/vDOQs6xMAQH62
2."Hadoop權威指南(中文版)(帶書簽).pdf"Hadoop權威指南(中文版)(帶書簽).pdf
3."[Hadoop權威指南(第2版)].pdf"[Hadoop權威指南(第2版)].pdf
4."hadoop權威指南第3版2012.rar"hadoop權威指南第3版2012.rar

5.《Hadoop技術內幕：深入解析HadoopCommon和HDFS.pdf"《Hadoop技術內幕：深入解析Hadoop Common和HDFS.pdf
6."Hadoop技術內幕：深入解析MapRece架構設計與實現原理.pdf"Hadoop技術內幕：深入解析MapRece架構設計與實現原理.pdf

7."Hadoop實戰.pdf"Hadoop實戰.pdf
8."Hadoop實戰-陸嘉恆(高清完整版).pdf"Hadoop實戰-陸嘉恆(高清完整版).pdf
9."Hadoop實戰(第2版).pdf"Hadoop實戰(第2版).pdf
10."HadoopinAction.pdf"Hadoop in Action.pdf

11"Hadoop in practice.pdf"Hadoop in practice.pdf
12"HadoopThe.Definitive.Guide,3Ed.pdf"Hadoop The.Definitive.Guide,3Ed.pdf
13."O'Reilly.Hadoop.The.Definitive.Guide.3rd.Edition.May.2012.pdf"O'Reilly.Hadoop.The.Definitive.Guide.3rd.Edition.May.2012.pdf

14."hadoop入門實戰手冊.pdf"hadoop入門實戰手冊.pdf
15."Hadoop入門手冊.chm"Hadoop入門手冊.chm

16."windows下配置cygwin、hadoop等並運行maprece及maprece程序講解.doc"windows下配置cygwin、hadoop等並運行maprece及maprece程序講解.doc
17"在Windows上安裝Hadoop教程.pdf"在Windows上安裝Hadoop教程.pdf

18."Hadoop源代碼分析(完整版).pdf"Hadoop源代碼分析(完整版).pdf
19."hadoop-api.CHM"hadoop-api.CHM

20."HBase-Hadoop@小米.pptx" HBase-Hadoop@小米.pptx
21."但彬-Hadoop平台的大數據整合.pdf"但彬-Hadoop平台的大數據整合.pdf

22."QCon2013-羅李-Hadoop在阿里.pdf"QCon2013-羅李
23."網路hadoop計算技術發展.pdf"網路hadoop計算技術發展.pdf
24."QCon-吳威-基於Hadoop的海量數據平台.pdf"QCon-吳威-基於Hadoop的海量數據平台.pdf
25."8步安裝好你的hadoop.docx"8步安裝好你的hadoop.docx
26."hadoop運維經驗分享.ppsx"hadoop運維經驗分享.ppsx

27."PPT集萃：20位Hadoop專家分享大數據技術工具與最佳實踐.rar"PPT集萃：20位Hadoop專家分享大數據技術工具與最佳實踐.rar
28."Hadoop2.0基本架構和發展趨勢.pdf"Hadoop 2.0基本架構和發展趨勢.pdf
29."Hadoop與大數據技術大會PPT資料.rar"Hadoop與大數據技術大會PPT資料.rar
30."Hadoop2011雲計算大會.rar"Hadoop2011雲計算大會.rar

② 二問：把網站圖片放到其他伺服器，做分布式部署，對SEO有影響嗎

一般不這樣做，你可以都使用aaa.com，圖片用img.aaa.com，js一般不會太多，不需要單獨域名，都放在aaa.com下，不會有跨域名的問題。
對SEO，沒什麼影響。

③ 分布式電商項目最少用多少台伺服器

做電商網站的伺服器需要企業級高性能的機型。商城網站因為屬於在線交易類型的性質，所以在線人數較多，安全性、穩定性、速度都有要求的。

而且分布式要求使用負載均衡、CDN加速、對象存儲等多種不同技術合並使用。

這類網站一般圖片都比較多且大尺寸。伺服器建議用 2核4G內存了。

帶寬也用3M以上，1M帶寬這樣的訪問會打開慢的。

看需求了，要看網站的規模，網站的日均流量等等來選擇的，如果是前期的小站，或者流量不會集中很高的企業站，就不需要很高配置的伺服器了，一般1核2g 1m的就夠用

首先得弄明白自己用伺服器用來干什麼放網站、應用運行或者是用來搭建放游戲等，都有一個自己的用途，弄明白用伺服器是用來幹嘛的，就可以很明確的知道自己需要的是哪種類型的伺服器

嘗試根據下面四個問題來評估自己的需求：

1. 伺服器運行什麼應用？

2. 需要支持多少用戶訪問？

3. 需要多大空間來存儲數據？

4. 我的業務有多重要？

從你的需求來看，國內選擇那幾個比較大的商家合適，至於名字和具體配置選擇也是一門學問，老魏會幫助你提供參考意見。

電商
網站的伺服器需要企業級高性能的機型。商城網站因為屬於在線交易類型的性質，所以在線人數較多，安全性、穩定性、速度都有要求的。

這類網站一般圖片都比較多且大尺寸。伺服器建議用 2核4G內存了。

帶寬也用3M以上，1M帶寬這樣的訪問會打開慢的。

看需求了，要看網站的規模，網站的日均流量等等來選擇的，如果是前期的小站，或者流量不會集中很高的企業站，就不需要很高配置的伺服器了，一般1核2g 1m的就夠用

首先得弄明白自己用伺服器用來干什麼放網站、應用運行或者是用來搭建放游戲等，都有一個自己的用途，弄明白用伺服器是用來幹嘛的，就可以很明確的知道自己需要的是哪種類型的伺服器

嘗試根據下面四個問題來評估自己的需求：

1. 伺服器運行什麼應用？

2. 需要支持多少用戶訪問？

3. 需要多大空間來存儲數據？

4. 我的業務有多重要？

從你的需求來看，國內選擇那幾個比較大的商家合適，至於名字和具體配置選擇也是一門學問，老魏會幫助你提供參考意見。

④ 分布式怎麼做

保證要參加渲染的電腦都裝有相同版本的3dsmax軟體和vray渲染器，並保證每台電腦軟體安裝盤符和目錄都一樣。（如果vray版本不一樣，不同電腦渲染的圖片效果有差別，動畫會嚴重閃爍）
保證所有電腦在區域網內網路連接通暢，最好都設置成固定IP.
將要分布式渲染的3DSMAX場景所涉及所有外部文件的讀取路徑都設置為已共享的網路路徑，（包括貼圖、代理文件、光域網文件、光子圖文件、點緩存文件、rpc文件，渲染文件輸出路徑等）。
把要參加分布式渲染的其他電腦的分布渲染伺服器打開:進入該電腦的3DSMAX安裝根目錄，點擊運行"vrayspawner.exe"文件，即可打開該電腦的分布渲染伺服器程序，讓該電腦能參與分布式渲染。
打開主控電腦（即操作編輯3DSMAX場景的那台電腦）渲染設置面板,將默認渲染器設置為vray渲染器。
進入渲染設置面板的"setting"模塊，點開"system"卷積菜單。
在"system"卷積菜單里找到"Distrbuted rendering" ,並勾選它。
左鍵點擊"Distrbuted rendering"後方的"Setting..."按鈕，進入分布式渲染伺服器管理菜單。
在分布式渲染伺服器管理菜單里，點擊"Add server"按鈕，會彈出Add render server菜單，在該菜單的"Server："輸入框，輸入其他已運行vrayspawner.exe文件的電腦的IP地址或電腦名，再點"OK"鍵,就可將區域網電腦連入主控電腦的分布式渲染管理中，一同渲染同一場景。
依次添加區域網內其他所以渲染電腦完畢後，點分布式渲染伺服器管理菜單的"OK"鍵。就完成了分布式渲染的設置工作。
切換到渲染設置窗口的公用模塊，點渲染按鈕就可開始分布式渲染。你就會看到渲染窗口裡，所有區域網里參與分布式渲染的所有電腦的CPU的每個線程，都在同時渲染同一幀畫面。（滿屏的cpu名稱，飛速渲染，令人激動）
MAYA也支持vray分布式渲染，方法大同小異。

⑤ 入門、快速搭建Docker分布式項目環境

1.什麼是Docker

借用下網上傳統虛擬機與Docker的對比圖片。

傳統虛擬化應用程序中，不僅包含應用程序和必要的二進制文件庫，還包含一個完整的操作系統。

而Docker容器僅包含應用程序和相關依賴項，在主機的操作系統用戶空間中作為一個獨立進程運行，與其他容器共享內核，從而實現了虛擬機的資源隔離和分配，具有更高的可移植性和效率提高。

2.為什麼使用Docker

1.更快速的交付和部署

開發者可以使用一個標準的鏡像來構建一套開發容器，開發完成之後，運維人員可以直接 使用這個容器來部署代碼。

2.高效部署和擴容

Docker 容器幾乎可以在任意的平台上運行，包括物理機、虛擬機、公有雲、私有雲、個人電腦、伺服器等。

3.更高的資源利用率

Docker 對系統資源的利用率很高，一台主機上可以同時運行數千個 Docker 容器。容器除了運行其中應用外，基本不消耗額外的系統資源，使得應用的性能很高，同時系統的開銷盡量小。傳統虛擬機方式運行 10 個不同的應用就要起 10 個虛擬機，而Docker 只需要啟動 10 個隔離的應用即可。

4.更簡單的管理

使用 Docker，只需要小小的修改，就可以替代以往大量的更新工作。所有的修改都以增量的方式被分發和更新，從而實現自動化並且高效的管理。

3.Docker的工作原理和概念

自己製作鏡像然後上傳倉庫或使用倉庫已有的鏡像文件拉取到容器中部署。

為了方便Docker的說明，本次例子使用虛擬機安裝CentOS 7來演示。CentOS 7的安裝請等查看下篇文章或自行網路。

1.安裝之前的准備工作

按照順序，執行如下操作

1、安裝必要的一些系統工具

2、添加軟體源信息

3、更新並安裝Docker-CE

安裝准備工作

2.開啟Docker服務

運行docker version 如果出現以下情況，說明當前用戶沒有 root相關操作許可權

無root許可權

解決思路

先查看有多少鏡像

運行docker run hello-world 測試命令，如果出現下方紅框內消息，證明安裝成功

3.查看docker基本信息和版本

1.構建Nginx基礎鏡像

查詢nginx鏡像

鏡像拉取

查看對外的訪問路徑

怎麼才能訪問剛才啟用的nginx

nginx頁面內容

我們可以進入容器，看下這個容器是什麼樣子

查看nginx在哪個位置

我們發現盡管啟動了nginx，但是在外部還是不能訪問，這是因為docker具有隔離機制，要不然怎麼叫做容器化部署呢

Docker內nginx埠

對Nginx進行外網埠映射；

2.構建Tomcat基礎鏡像

打開容器後，默認安裝目錄在 /usr/local/

3.創建自己的專屬鏡像

用Dockerfile來製作鏡像

創建一個新的鏡像，並起名字為nywlw

查看新的鏡像

運行自己創建的容器

4.刪除容器實例

5.刪除鏡像

每天發布更多新鮮有含量的技術文章、總有一款適合你。

⑥ 基於mogileFS搭建分布式文件系統--海量小文件的存儲利器

1.簡介

分布式文件系統（Distributed File System）是指文件系統管理的物理存儲資源不一定直接連接在本地節點上，而是通過計算機網路與節點相連。分布式文件系統的設計基於客戶機/伺服器模式。一個典型的網路可能包括多個供多用戶訪問的伺服器。另外，對等特性允許一些系統扮演客戶機和伺服器的雙重角色。例如，用戶可以「發表」一個允許其他客戶機訪問的目錄，一旦被訪問，這個目錄對客戶機來說就像使用本地驅動器一樣。

當下我們處在一個互聯網飛速發展的信息 社會 ，在海量並發連接的驅動下每天所產生的數據量必然以幾何方式增長，隨著信息連接方式日益多樣化，數據存儲的結構也隨著發生了變化。在這樣的壓力下使得人們不得不重新審視大量數據的存儲所帶來的挑戰，例如：數據採集、數據存儲、數據搜索、數據共享、數據傳輸、數據分析、數據可視化等一系列問題。

傳統存儲在面對海量數據存儲表現出的力不從心已經是不爭的事實，例如：縱向擴展受陣列空間限制、橫向擴展受交換設備限制、節點受文件系統限制。

然而分布式存儲的出現在一定程度上有效的緩解了這一問題，之所以稱之為緩解是因為分布式存儲在面對海量數據存儲時也並非十全十美毫無壓力，依然存在的難點與挑戰例如：節點間通信、數據存儲、數據空間平衡、容錯、文件系統支持等一系列問題仍處在不斷摸索和完善中。

2.分布式文件系統的一些解決方案

Google Filesystem適合存儲海量大個文件，元數據存儲與內存中

HDFS（Hadoop Filesystem）GFS的山寨版，適合存儲大量大個文件

TFS（Taobao Filesystem）淘寶的文件系統，在名稱節點上將元數據存儲與關系資料庫中，文件數量不在受限於名稱節點的內容空間，可以存儲海量小文件LustreOracle開發的企業級分布式系統，較重量級MooseFS基於FUSE的格式，可以進行掛載使用MogileFS

擅長存儲海量的小數據，元數據存儲與關系型資料庫中

1.簡介

MogileFS是一個開源的分布式文件系統，用於組建分布式文件集群，由LiveJournal旗下DangaInteractive公司開發，Danga團隊開發了包括 Memcached、MogileFS、Perlbal等不錯的開源項目：(註：Perlbal是一個強大的Perl寫的反向代理伺服器)。MogileFS是一個開源的分布式文件系統。

目前使用 MogileFS 的公司非常多,比如國外的一些公司,日本前幾名的公司基本都在使用這個.

國內所知道的使用 MogileFS 的公司有圖片託管網站 yupoo又拍,digg, 土豆, 豆瓣,1 號店, 大眾點評,搜狗,安居客等等網站.基本很多網站容量，圖片都超過 30T 以上。

2.MogileFS特性

1) 應用層提供服務，不需要使用核心組件

2）無單點失敗，主要有三個組件組成，分為tracker（跟蹤節點）、mogstore（存儲節點）、database（資料庫節點）

3）自動復制文件，復制文件的最小單位不是文件，而是class

4）傳輸中立，無特殊協議，可以通過NFS或HTTP實現通信

5）簡單的命名空間：沒有目錄，直接存在與存儲空間上，通過域來實現

6）不用共享任何數據

3.MogileFS的組成

1）Tracker--跟蹤器，調度器

MogileFS的核心，是一個調度器，mogilefsd進程就是trackers進程程序,trackers的主要職責有：刪除數據、復制數據、監控、查詢等等.這個是基於事件的( event-based ) 父進程/消息匯流排來管理所有來之於客戶端應用的交互(requesting operations to be performed), 包括將請求負載平衡到多個"query workers"中,然後讓 mogilefs的子進程去處理.

mogadm,mogtool的所有操作都要跟trackers打交道,Client的一些操作也需要定義好trackers,因此最好同時運行多個trackers來做負載均衡.trackers也可以只運行在一台機器上，使用負載均衡時可以使用搞一些簡單的負載均衡解決方案，如haproxy，lvs，nginx等，

tarcker的配置文件為/etc/mogilefs/mogilefsd.conf，監聽在TCP的7001埠

2）Database--資料庫部分

主要用來存儲mogilefs的元數據，所有的元數據都存儲在資料庫中，因此，這個數據相當重要，如果資料庫掛掉，所有的數據都不能用於訪問，因此，建議應該對資料庫做高可用

3）mogstored--存儲節點

數據存儲的位置，通常是一個HTTP（webDAV）伺服器，用來做數據的創建、刪除、獲取，任何 WebDAV 伺服器都可以, 不過推薦使用 mogstored . mogilefsd可以配置到兩個機器上使用不同埠… mogstored 來進行所有的 DAV 操作和流量,IO監測, 並且你自己選擇的HTTP伺服器(默認為 perlbal)用來做 GET 操作給客戶端提供文件.

典型的應用是一個掛載點有一個大容量的SATA磁碟. 只要配置完配置文件後mogstored程序的啟動將會使本機成為一個存儲節點.當然還需要mogadm這個工具增加這台機器到Cluster中.

配置文件為/etc/mogilefs/mogstored.conf，監聽在TCP的7500埠

4.基本工作流程

應用程序請求打開一個文件 (通過RPC 通知到 tracker, 找到一個可用的機器). 做一個 「create_open」 請求.

tracker 做一些負載均衡(load balancing)處理，決定應該去哪兒，然後給應用程序一些可能用的位置。

應用程序寫到其中的一個位置去 (如果寫失敗，他會重新嘗試並寫到另外一個位置去）.

應用程序 (client) 通過」create_close」 告訴tracker文件寫到哪裡去了.

tracker 將該名稱和域命的名空間關聯 (通過資料庫來做的)

tracker, 在後台, 開始復制文件，知道他滿足該文件類別設定的復制規則

然後,應用程序通過 「get_paths」 請求 domain+key (key == 「filename」) 文件, tracker基於每一位置的I/O繁忙情況回復(在內部經過 database/memcache/etc 等的一些抉擇處理), 該文件可用的完整 URLs地址列表.

應用程序然後按順序嘗試這些URL地址. (tracker』持續監測主機和設備的狀態，因此不會返回死連接,默認情況下他對返回列表中的第一個元素做雙重檢查，除非你不要他這么做..)

1.拓撲圖

說明：1.用戶通過URL訪問前端的nginx

2.nginx根據特定的挑選演算法，挑選出後端一台tracker來響應nginx請求

3.tracker通過查找database資料庫，獲取到要訪問的URL的值，並返回給nginx

4.nginx通過返回的值及某種挑選演算法挑選一台mogstored發起請求

5.mogstored將結果返回給nginx

6.nginx構建響應報文返回給客戶端

2.ip規劃

角色運行軟體ip地址反向代理nginx192.168.1.201存儲節點與調度節點1

mogilefs192.168.1.202存儲節點與調度節點2

mogilefs192.168.1.203資料庫節點

MariaDB192.168.1.204

3.資料庫的安裝操作並為授權

關於資料庫的編譯安裝，請參照本人相關博文http://wangfeng7399.blog.51cto.com/3518031/1393146，本處將不再累贅，本處使用的為yum源的安裝方式安裝mysql

4.安裝mogilefs. 安裝mogilefs，可以使用yum安裝，也可以使用編譯安裝，本處通過yum安裝

5.初始化資料庫

可以看到在資料庫中創建了一些表

6.修改配置文件，啟動服務

7.配置mogilefs

添加存儲主機

添加存儲設備

添加域

添加class

8.配置192.168.1.203的mogilefs 。切記不要初始化資料庫，配置應該與192.168.1.202一樣

9.嘗試上傳數據，獲取數據，客戶端讀取數據

上傳數據，在任何一個節點上傳都可以

獲取數據

客戶端查看數據

我們可以通過任何一個節點查看到數據

要想nginx能夠實現對後端trucker的反向代理，必須結合第三方模塊來實現

1.編譯安裝nginx

2.准備啟動腳本

3.nginx與mofilefs互聯

查看效果

5.配置後端truckers的集群

查看效果

大功告成了，後續思路，前段的nginx和資料庫都存在單點故障，可以實現高可用集群

⑦ 把網站圖片放到其他伺服器，做分布式部署，對SEO有影響嗎

你好現在的好多大型網站，為了用戶體驗都是這么部署的，只要是你放頁面的伺服器做好優化就可以了，當然如果域名不一樣的話你發布的文章帶有圖片他會收錄另一個域名地址的，相對流量會減少，再有就是你的網站訪問量很大也不必在乎這點流量吧，做好靜態優化即可
不明白請留言