分布式文件存储fastdfs

A. fastdfs 和hdfs的区别

主要是定位和应用场合不一样。
hadoop的文件系统HDFS主要解决并行计算中分布式存储数据的问题。其单个数据文件通常很大，采用了分块（切分）存储的方式；
FastDFS主要用于大中网站，为文件上传和下载提供在线服务。所以在负载均衡、动态扩容等方面都支持得比较好，FastDFS不会对文件进行分快（切分）存储。

B. fastdfs在windows系统怎么安装配置

1、截止2015年8月10日，fastdfs最新版本5.05，还没有在windows系统下安装的fastdfs。
2、当然windows虽然不能安装fastdfs服务器软件，但在windows中可以使用C#等接口访问linux下的fastdfs。
3、windows server 2008自带DFS，类似fastdfs，也是一种分布式文件系统，可以与Linux共同承担DFS服务器的作用，是不得不在windows使用DFS的一个选择。

C. fastdfs能存储什么东西

FastDFS是一个开源的轻量级分布式文件系统，它对文件进行管理，功能包括：文件存储、文件同步、文件访问（文件上传、文件下载）等，解决了大容量存储和负载均衡的问题。特别适合以文件为载体的在线服务，如相册网站、视频网站等等。

D. 各位使用的分布式文件存储，有哪些产品使用体验更好一些

我觉得XSKY星辰天合的XGFS文件存储软件不错，这个软件只需要三个全闪存元数据高可用节点，就可以高效保存和处理 100 亿文件规模的数据。可以灵活扩展，满足公司不断增长的业务对性能和容量的需求。

E. fastdfs 用什么语言研发

FastDFS 是一个 C 语言实现的开源轻量级分布式文件系统,作者余庆(happyfish100),支持 Linux、FreeBSD、AID 等 Unix 系统,解决了大数据存储和读写负载均衡等问题,适合存储 4KB~500MB 之间的小文件,如图片网站、短视频网站、文档、app 下载站等,UC、京东、支付宝、迅雷、酷狗等都有使用,其中 UC 基于 FastDFS 向用户提供网盘、广告和应用下载的业务的存储服务 FastDFS 与 MogileFS、HDFS、TFS 等都不是系统级的分布式文件系统,而是应用级的分布式文件存储服务。

F. 可以灵活扩容的分布式文件存储软件有吗

XSKY 星辰天合的XEDP平台扩展弹性就很高的，在我们使用中发现，它可以实现从单资源池数台到数百台的不停机水平扩展。

G. fastdfs对特大文件支持得如何

回复 2# happy_fish100 我这里的虚拟机镜像不是块设备，也是以普通文件的方式存在于文件系统上。 只不过文件都比较大，几十G到几百G不等，因为fastdfs是不分片的，不知道Fastdfs对特大的文件支持得如何？

H. fastdfs获取文件大小为0怎么回事

FastDFS是一个应用级分布式文件存储服务，其采用中心型结构（类似GFS、HDFS、TFS等），主要用于大中型网站存储资源文件。FastDFS具有轻量级，支持高并发放访问，负载均衡，可扩展等优点。而FastDFS最大的亮点就是对小文件的存储性能较好，这主要来自于其文件名策略。
1.小文件存储性能优化
小文件的性能瓶颈主要来自于对元数据服务器（如FastDFS中的TrackerServer或TFS中的NameServer）的访问，因为当文件本身大小很小时，元数据存储所占空间与文件内容存储所占空间的比例就变得较大，访问元数据所消耗资源与访问文件内容所消耗资源的比例也变得较大。因此，通常对小文件存储的优化方法主要有两大类思路：一是减少访问元数据的次数，比如Cache预取；二是减少元数据所占的存储空间，比如FastDFS使用的文件名策略。
2. FastDFS文件名策略
FastDFS中的文件名是在向StorageServer存储文件时由系统指定的，文件名中包含了VolumeID和FileID。也就是说，当客户要读取某个文件时，通过在客户端对文件名进行解析，就可以知道该文件存储在哪个Volume上和它在StorageServer中的FileID。但是此时用户还不能读取文件，因为他不知道Volume内各个StorageServer的ip地址，也不知道应该从Volume内的哪个StorageServer中读取。所以用户需手持欲访问的文件的VolumeID向TrackerServer询问，TrackerServe会均衡当前各StorageServer的IO负载状况，返回一个最佳的StorageServer的ip地址。最后用户与该StorageServer连接，出示欲访问文件的FileID，StorageServer上会维持一个FileID对应偏移量的表，从而得到欲访问文件的偏移量。
可见，FastDFS的文件名策略将文件存储位置信息隐含在文件名中，从而减少了元数据量，达到了优化小文件存储性能的作用。

I. 文件Fastcompre是什么

首先简单了解一下基础概念，FastDFS是一个开源的轻量级分布式文件系统，由跟踪服务器（tracker server）、存储服务器（storage server）和客户端（client）三个部分组成，主要解决了海量数据存储问题，特别适合以中小文件（建议范围：4KB < file_size <500MB）为载体的在线服务。FastDFS的系统结构图如下：

如上图，FastDFS的两个核心概念分别是：

• Tracker（跟踪器）

• Storage（存储节点）

Tracker主要做调度工作，相当于mvc中的controller的角色，在访问上起负载均衡的作用。跟踪器和存储节点都可以由一台或多台服务器构成，跟踪器和存储节点中的服务器均可以随时增加或下线而不会影响线上服务，其中跟踪器中的所有服务器都是对等的，可以根据服务器的压力情况随时增加或减少。Tracker负责管理所有的Storage和group，每个storage在启动后会连接Tracker，告知自己所属的group等信息，并保持周期性的心跳，tracker根据storage的心跳信息，建立group==>[storage server list]的映射表，Tracker需要管理的元信息很少，会全部存储在内存中；另外tracker上的元信息都是由storage汇报的信息生成的，本身不需要持久化任何数据，这样使得tracker非常容易扩展，直接增加tracker机器即可扩展为tracker cluster来服务，cluster里每个tracker之间是完全对等的，所有的tracker都接受stroage的心跳信息，生成元数据信息来提供读写服务。

Storage采用了分卷[Volume]（或分组[group]）的组织方式，存储系统由一个或多个组组成，组与组之间的文件是相互独立的，所有组的文件容量累加就是整个存储系统中的文件容量。一个卷[Volume]（组[group]）可以由一台或多台存储服务器组成，一个组中的存储服务器中的文件都是相同的，组中的多台存储服务器起到了冗余备份和负载均衡的作用，数据互为备份，存储空间以group内容量最小的storage为准，所以建议group内的多个storage尽量配置相同，以免造成存储空间的浪费。更多原理性的内容可以参考这篇blog，介绍的很详细：分布式文件系统FastDFS设计原理
接下来就具体看一下FastDFS的整个下载安装过程~

J. linux下常用的分布式文件系统有哪些

常见的分布式文件系统有，GFS、HDFS、Lustre 、Ceph 、GridFS 、mogileFS、TFS、FastDFS等。各自适用于不同的领域。它们都不是系统级的分布式文件系统，而是应用级的分布式文件存储服务。
GFS（Google File System）
--------------------------------------
Google公司为了满足本公司需求而开发的基于Linux的专有分布式文件系统。。尽管Google公布了该系统的一些技术细节，但Google并没有将该系统的软件部分作为开源软件发布。
下面分布式文件系统都是类 GFS的产品。

HDFS
--------------------------------------
Hadoop 实现了一个分布式文件系统（Hadoop Distributed File System），简称HDFS。 Hadoop是Apache Lucene创始人Doug Cutting开发的使用广泛的文本搜索库。它起源于Apache Nutch，后者是一个开源的网络搜索引擎，本身也是Luene项目的一部分。Aapche Hadoop架构是MapRece算法的一种开源应用，是Google开创其帝国的重要基石。

Ceph
---------------------------------------
是加州大学圣克鲁兹分校的Sage weil攻读博士时开发的分布式文件系统。并使用Ceph完成了他的论文。
说 ceph 性能最高，C++编写的代码，支持Fuse，并且没有单点故障依赖， 于是下载安装， 由于 ceph 使用 btrfs 文件系统， 而btrfs 文件系统需要 Linux 2.6.34 以上的内核才支持。
可是ceph太不成熟了，它基于的btrfs本身就不成熟，它的官方网站上也明确指出不要把ceph用在生产环境中。

Lustre
---------------------------------------
Lustre是一个大规模的、安全可靠的，具备高可用性的集群文件系统，它是由SUN公司开发和维护的。
该项目主要的目的就是开发下一代的集群文件系统，可以支持超过10000个节点，数以PB的数据量存储系统。
目前Lustre已经运用在一些领域，例如HP SFS产品等。