分布式文件存儲fastdfs

A. fastdfs 和hdfs的區別

主要是定位和應用場合不一樣。
hadoop的文件系統HDFS主要解決並行計算中分布式存儲數據的問題。其單個數據文件通常很大，採用了分塊（切分）存儲的方式；
FastDFS主要用於大中網站，為文件上傳和下載提供在線服務。所以在負載均衡、動態擴容等方面都支持得比較好，FastDFS不會對文件進行分快（切分）存儲。

B. fastdfs在windows系統怎麼安裝配置

1、截止2015年8月10日，fastdfs最新版本5.05，還沒有在windows系統下安裝的fastdfs。
2、當然windows雖然不能安裝fastdfs伺服器軟體，但在windows中可以使用C#等介面訪問linux下的fastdfs。
3、windows server 2008自帶DFS，類似fastdfs，也是一種分布式文件系統，可以與Linux共同承擔DFS伺服器的作用，是不得不在windows使用DFS的一個選擇。

C. fastdfs能存儲什麼東西

FastDFS是一個開源的輕量級分布式文件系統，它對文件進行管理，功能包括：文件存儲、文件同步、文件訪問（文件上傳、文件下載）等，解決了大容量存儲和負載均衡的問題。特別適合以文件為載體的在線服務，如相冊網站、視頻網站等等。

D. 各位使用的分布式文件存儲，有哪些產品使用體驗更好一些

我覺得XSKY星辰天合的XGFS文件存儲軟體不錯，這個軟體只需要三個全快閃記憶體元數據高可用節點，就可以高效保存和處理 100 億文件規模的數據。可以靈活擴展，滿足公司不斷增長的業務對性能和容量的需求。

E. fastdfs 用什麼語言研發

FastDFS 是一個 C 語言實現的開源輕量級分布式文件系統,作者余慶(happyfish100),支持 Linux、FreeBSD、AID 等 Unix 系統,解決了大數據存儲和讀寫負載均衡等問題,適合存儲 4KB~500MB 之間的小文件,如圖片網站、短視頻網站、文檔、app 下載站等,UC、京東、支付寶、迅雷、酷狗等都有使用,其中 UC 基於 FastDFS 向用戶提供網盤、廣告和應用下載的業務的存儲服務 FastDFS 與 MogileFS、HDFS、TFS 等都不是系統級的分布式文件系統,而是應用級的分布式文件存儲服務。

F. 可以靈活擴容的分布式文件存儲軟體有嗎

XSKY 星辰天合的XEDP平台擴展彈性就很高的，在我們使用中發現，它可以實現從單資源池數台到數百台的不停機水平擴展。

G. fastdfs對特大文件支持得如何

回復 2# happy_fish100 我這里的虛擬機鏡像不是塊設備，也是以普通文件的方式存在於文件系統上。 只不過文件都比較大，幾十G到幾百G不等，因為fastdfs是不分片的，不知道Fastdfs對特大的文件支持得如何？

H. fastdfs獲取文件大小為0怎麼回事

FastDFS是一個應用級分布式文件存儲服務，其採用中心型結構（類似GFS、HDFS、TFS等），主要用於大中型網站存儲資源文件。FastDFS具有輕量級，支持高並發放訪問，負載均衡，可擴展等優點。而FastDFS最大的亮點就是對小文件的存儲性能較好，這主要來自於其文件名策略。
1.小文件存儲性能優化
小文件的性能瓶頸主要來自於對元數據伺服器（如FastDFS中的TrackerServer或TFS中的NameServer）的訪問，因為當文件本身大小很小時，元數據存儲所佔空間與文件內容存儲所佔空間的比例就變得較大，訪問元數據所消耗資源與訪問文件內容所消耗資源的比例也變得較大。因此，通常對小文件存儲的優化方法主要有兩大類思路：一是減少訪問元數據的次數，比如Cache預取；二是減少元數據所佔的存儲空間，比如FastDFS使用的文件名策略。
2. FastDFS文件名策略
FastDFS中的文件名是在向StorageServer存儲文件時由系統指定的，文件名中包含了VolumeID和FileID。也就是說，當客戶要讀取某個文件時，通過在客戶端對文件名進行解析，就可以知道該文件存儲在哪個Volume上和它在StorageServer中的FileID。但是此時用戶還不能讀取文件，因為他不知道Volume內各個StorageServer的ip地址，也不知道應該從Volume內的哪個StorageServer中讀取。所以用戶需手持欲訪問的文件的VolumeID向TrackerServer詢問，TrackerServe會均衡當前各StorageServer的IO負載狀況，返回一個最佳的StorageServer的ip地址。最後用戶與該StorageServer連接，出示欲訪問文件的FileID，StorageServer上會維持一個FileID對應偏移量的表，從而得到欲訪問文件的偏移量。
可見，FastDFS的文件名策略將文件存儲位置信息隱含在文件名中，從而減少了元數據量，達到了優化小文件存儲性能的作用。

I. 文件Fastcompre是什麼

首先簡單了解一下基礎概念，FastDFS是一個開源的輕量級分布式文件系統，由跟蹤伺服器（tracker server）、存儲伺服器（storage server）和客戶端（client）三個部分組成，主要解決了海量數據存儲問題，特別適合以中小文件（建議范圍：4KB < file_size <500MB）為載體的在線服務。FastDFS的系統結構圖如下：

如上圖，FastDFS的兩個核心概念分別是：

• Tracker（跟蹤器）

• Storage（存儲節點）

Tracker主要做調度工作，相當於mvc中的controller的角色，在訪問上起負載均衡的作用。跟蹤器和存儲節點都可以由一台或多台伺服器構成，跟蹤器和存儲節點中的伺服器均可以隨時增加或下線而不會影響線上服務，其中跟蹤器中的所有伺服器都是對等的，可以根據伺服器的壓力情況隨時增加或減少。Tracker負責管理所有的Storage和group，每個storage在啟動後會連接Tracker，告知自己所屬的group等信息，並保持周期性的心跳，tracker根據storage的心跳信息，建立group==>[storage server list]的映射表，Tracker需要管理的元信息很少，會全部存儲在內存中；另外tracker上的元信息都是由storage匯報的信息生成的，本身不需要持久化任何數據，這樣使得tracker非常容易擴展，直接增加tracker機器即可擴展為tracker cluster來服務，cluster里每個tracker之間是完全對等的，所有的tracker都接受stroage的心跳信息，生成元數據信息來提供讀寫服務。

Storage採用了分卷[Volume]（或分組[group]）的組織方式，存儲系統由一個或多個組組成，組與組之間的文件是相互獨立的，所有組的文件容量累加就是整個存儲系統中的文件容量。一個卷[Volume]（組[group]）可以由一台或多台存儲伺服器組成，一個組中的存儲伺服器中的文件都是相同的，組中的多台存儲伺服器起到了冗餘備份和負載均衡的作用，數據互為備份，存儲空間以group內容量最小的storage為准，所以建議group內的多個storage盡量配置相同，以免造成存儲空間的浪費。更多原理性的內容可以參考這篇blog，介紹的很詳細：分布式文件系統FastDFS設計原理
接下來就具體看一下FastDFS的整個下載安裝過程~

J. linux下常用的分布式文件系統有哪些

常見的分布式文件系統有，GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自適用於不同的領域。它們都不是系統級的分布式文件系統，而是應用級的分布式文件存儲服務。
GFS（Google File System）
--------------------------------------
Google公司為了滿足本公司需求而開發的基於Linux的專有分布式文件系統。。盡管Google公布了該系統的一些技術細節，但Google並沒有將該系統的軟體部分作為開源軟體發布。
下面分布式文件系統都是類 GFS的產品。

HDFS
--------------------------------------
Hadoop 實現了一個分布式文件系統（Hadoop Distributed File System），簡稱HDFS。 Hadoop是Apache Lucene創始人Doug Cutting開發的使用廣泛的文本搜索庫。它起源於Apache Nutch，後者是一個開源的網路搜索引擎，本身也是Luene項目的一部分。Aapche Hadoop架構是MapRece演算法的一種開源應用，是Google開創其帝國的重要基石。

Ceph
---------------------------------------
是加州大學聖克魯茲分校的Sage weil攻讀博士時開發的分布式文件系統。並使用Ceph完成了他的論文。
說 ceph 性能最高，C++編寫的代碼，支持Fuse，並且沒有單點故障依賴， 於是下載安裝， 由於 ceph 使用 btrfs 文件系統， 而btrfs 文件系統需要 Linux 2.6.34 以上的內核才支持。
可是ceph太不成熟了，它基於的btrfs本身就不成熟，它的官方網站上也明確指出不要把ceph用在生產環境中。

Lustre
---------------------------------------
Lustre是一個大規模的、安全可靠的，具備高可用性的集群文件系統，它是由SUN公司開發和維護的。
該項目主要的目的就是開發下一代的集群文件系統，可以支持超過10000個節點，數以PB的數據量存儲系統。
目前Lustre已經運用在一些領域，例如HP SFS產品等。