ceph分布式存储实战pdf
‘壹’ CentOS 7部署 Ceph分布式存储架构
随着OpenStack日渐成为开源云计算的标准软件栈，Ceph也已经成为OpenStack的首选后端存储。Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。
Ceph是一个开源的分布式文件系统。因为它还支持块存储、对象存储，所以很自然的被用做云计算框架openstack或cloudstack整个存储后端。当然也可以单独作为存储，例如部署一套集群作为对象存储、SAN存储、NAS存储等。
前三台服务器增加一块硬盘/dev/sdb实验, 创建目录并挂载到/var/local/osd{1,2,3};
规范系统主机名添加hosts文件实现集群主机名与主机名之间相互能够解析（host 文件添加主机名不要使用fqdn方式）可用 hostnamectl set-hostname [name] 设置分别打开各节点的 /etc/hosts 文件，加入这四个节点ip与名称的对应关系:
在管理节点使用ssh-keygen 生成ssh keys 发布到各节点
第一步：增加 yum配置文件(各个节点都需要增加yum源) vim /etc/yum.repos.d/ceph.repo
或阿里的ceph源
复制配置文件到其它节点和客户端
在ceph1更新软件源并安装ceph-deploy 管理工具
配置文件的默认副本数从3改成2，这样只有两个osd也能达到 active+clean 状态，添加行 osd_pool_default_size = 2
(如果网络源安装失败，手工安装epel-release 然后安装yum –yinstall cep-release再yum –y install ceph ceph-radosgw)
错误参考： https://blog.csdn.net/yenai2008/article/details/72457463
添加osd节点 (所有osd节点执行)
我们实验准备时已经创建目录/var/local/osd{id}
（用ceph-deploy把配置文件和admin密钥拷贝到所有节点，这样每次执行Ceph命令行时就无需指定monitor地址和ceph.client.admin.keyring了）
以上基本上完成了ceph存储集群的搭建。
其中： <pg_num> = 128 ,
关于创建存储池
确定 pg_num 取值是强制性的，因为不能自动计算。下面是几个常用的值：
随着 OSD 数量的增加，正确的 pg_num 取值变得更加重要，因为它显着地影响着集群的行为、以及出错时的数据持久性（即灾难性事件导致数据丢失的概率）。
创建好存储池后，你就可以用 fs new 命令创建文件系统了
ceph fs new <fs_name> cephfs_metadata cephfs_data
其中： <fs_name> = cephfs 可自定义
在这里想起没在/etc/fstab配置ceph1、ceph2、ceph3的sdb自动挂载。
ceph在开源社区还是比较热门的，但是更多的是应用于云计算的后端存储。所以大多数在生产环境中使用ceph的公司都会有专门的团队对ceph进行二次开发，ceph的运维难度也比较大。但是经过合理的优化之后，ceph的性能和稳定性都是值得期待的。
清理机器上的ceph相关配置
可以参考内容： http://blog.51cto.com/12270625/1887648
‘贰’ 谁有《大规模分布式存储系统：原理解析与架构实战-杨传辉》电子书百度网盘资源下载
大规模分布式存储系统：原理解析与架构实战-杨传辉链接：https://pan..com/s/1RANVCdsTdhC0FoR_aOJRlw
‘叁’ 《大规模分布式存储系统原理解析与架构实战》epub下载在线阅读，求百度网盘云资源
《大规模分布式存储系统》（杨传辉）电子书网盘下载免费在线阅读
链接：https://pan..com/s/1CG8nBAVixYg53OHREZc_3g
书名：大规模分布式存储系统
作者：杨传辉
豆瓣评分：7.8
出版社：机械工业出版社
出版年份：2013-9-1
页数：293
内容简介：
《大规模分布式存储系统：原理解析与架构实战》是分布式系统领域的经典着作，由阿里巴巴高级技术专家“阿里日照”（OceanBase核心开发人员）撰写，阳振坤、章文嵩、杨卫华、汪源、余锋（褚霸）、赖春波等来自阿里、新浪、网易和网络的资深技术专家联袂推荐。理论方面，不仅讲解了大规模分布式存储系统的核心技术和基本原理，而且对谷歌、亚马逊、微软和阿里巴巴等国际型大互联网公司的大规模分布式存储系统进行了分析；实战方面，首先通过对阿里巴巴的分布式数据库OceanBase的实现细节的深入剖析完整地展示了大规模分布式存储系统的架构与设计过程，然后讲解了大规模分布式存储技术在云计算和大数据领域的实践与应用。
《大规模分布式存储系统：原理解析与架构实战》内容分为四个部分：基础篇——分布式存储系统的基础知识，包含单机存储系统的知识，如数据模型、事务与并发控制、故障恢复、存储引擎、压缩/解压缩等；分布式系统的数据分布、复制、一致性、容错、可扩展性等。范型篇——介绍谷歌、亚马逊、微软、阿里巴巴等着名互联网公司的大规模分布式存储系统架构，涉及分布式文件系统、分布式键值系统、分布式表格系统以及分布式数据库技术等。实践篇——以阿里巴巴的分布式数据库OceanBase为例，详细介绍分布式数据库内部实现，以及实践过程中的经验。专题篇——介绍分布式系统的主要应用：云存储和大数据，这些是近年来的热门领域，本书介绍了云存储平台、技术与安全，以及大数据的概念、流式计算、实时分析等。
作者简介：
杨传辉，阿里巴巴高级技术专家，花名日照，OceanBase核心开发人员，对分布式系统的理论和工程实践有深刻理解。曾在网络作为核心成员参与类MapRece系统、类Bigtable系统和网络分布式消息队列等底层基础设施架构工作。热衷于分布式存储和计算系统设计，乐于分享，有技术博客NosqlNotes。
‘肆’ k8s分布式存储-Ceph
RADOS
Librados
Crush
Pool
PG
Object
Pool、PG和OSD的关系
OSD
块存储（ RBD )
文件存储（ CephFS )
对象存储（ Object )
关闭防火墙
关闭selinux
关闭 swap
根据规划设置主机名
添加 hosts
设置文件描述符
时间同步
配置 SSH 免交互认证
1、创建rbd使用的pool
2、指定存储池使用存储类型
3、创建一个块设备
3、查看块设备
1、禁用当前系统内核不支持的feature
2、映射（任意节点操作）
3、格式化块设备
4、mount到本地
5、取消块设备和内核映射
6、删除RBD块设备
1、拷贝配置文件和秘钥
2、安装 Ceph 客户端
3、剩余操作就与本地挂载操作一样了
1、创建快照
2、列出创建的快照
3、还原快照
4、重新映射并挂载验证
5、删除快照
1、创建一个块设备
2、创建快照
3、设置快照处于被保护状态
4、通过快照克隆一个新块设备
5、将克隆的快照独立于父设备
挂载本地目录
fuse方式挂载
**全部统一命名空间到 ceph-csi **
k8s节点安装 Ceph 客户端
csi-config-map.yaml
storageclass
secret
启动验证
rbd-pod-test.yaml
测试
**全部统一命名空间到 ceph-csi **
k8s节点安装 Ceph 客户端
csi-config-map
storageclass
secret
启动验证
ceph-cephfs-test
测试
‘伍’ 如何基于Ceph构建高性能块存储服务
Ceph是一个分布式存储系统，支持对象文件快接口，设计目标是:
• 所有组件横向扩展
• 没有单点故障
• 可以在普通厂商硬件使用
• 所有机制都能自我管理
• 开源
分布式存储的应用场景相对于其存储接口，现在流行分为三种:
1.对象存储: 也就是通常意义的键值存储，其接口就是简单的GET,PUT，DEL和其他扩展，如七牛、又拍，Swift，S3等。
2.块存储: 这种接口通常以QEMUDriver或者KernelMole的方式存在，这种接口需要实现Linux的Block Device的接口或者QEMU提供的Block Driver接口，如Sheepdog，AWS的EBS，青云的云硬盘和阿里云的盘古系统，还有Ceph的RDB(RDB是Ceph面向块存储的接口)。
3、文件存储: 通常意义是支持POSIX接口，它跟传统的文件系统如Ext4是一个类型的，但区别在于分布式存储提供了并行化的能力，如Ceph的CephFS(CephFS是Ceph面向文件存储的接口)，但是有时候又会把GFS，HDFS这种非POSIX接口的类文件存储接口归入此类。
提到存储的种类就不得不提到另外一个话题：存储不能做统一化吗？因为必须要有多个不同的软件栈去管理不同的存储设备：SSD，SATA等。
Ceph就此提出了不同观点，RADOS提供了基础的存储设备的管理、数据控制流访问的管理，提供的是一个可靠持久的数据存储平台，基于其上，我们可以实现多个不同的接口户来实现面向不同需求的对接，比如对象存储我们有一个单独的库实现去满足不同的存储需要，比如我们块存储是通过RDP来实现。
统一存储并不意味着所有存储都的同一个接口，同一个实现，同一个软件栈，它其实只是使用了同一个设备管理的生命周期和数据访问的有效控制，它提供了一个相对合理，非常适合运维的，利于成本，利于软件可靠性控制的的机制去保证我们的存储的可靠。
举一个例子，大部分存储厂商甚至网络厂商都有一个自己的核心软件栈，如文件系内核。基于其上演化出各种不同的产品线。如果厂商要追求各个产品线的极致是不是就应该每个产品完全独立来追求极致，但事实上一个核心的底层技术栈需要高质量的代码、完备的测试和长期的使用。在Ceph这里，一个分布式系统的并发IO、分布式恢复、数据端到端校验等等关键实现是唯一实现，成熟的系统系统在这些实现上需要经过一定量级和时间的考验，这才是Ceph所谓的统一存储，而不是其他的接口堆叠式开发。
【Ceph和其他开源分布式存储、其他商用存储的区别之处在哪？】
众所周知，很多传统厂商如日立、富士通等存储大厂也采用了Ceph作为它们存储硬件的载体，Ceph能提供企业级的存储服务一定有它的优势，才能让传统的存储厂商弃而采用开源的存储方案。
1、中心化系统我们认为它在数据控制系统方面做的较好，在迁移运维方面提供较好的实现，但却有元数据的瓶颈。在访问数据时需要经过元数据服务器的查询再去寻找相应的数据服务器会在大规模扩展时遇到性能瓶颈问题。
2、全分布式系统虽然提供较好的数据访问能力，能高效处理客户端的LO请求，但是却没有提供一个非常好的数据控制的实现，比如故障处理能力不足，数据恢复的困难，如果跳出中心化的元数据存储系统它没办法做到强一致性的数据恢复。
弹性的数据分布策略和物理拓扑输入实现了高可用性和高持久性，Ceph的高性能重构还体现在利用CRush算法对数进行约束，避免数据分布到所有的集群的一个节点上，利用Ceph设计并提供的一个由CRush算法来支持一个高自由化的存储集群的设计，实现高可靠性，高持久性，高性能。
‘陆’ 求 分布式对象存储 原理 架构及Go语言实现 pdf
分布式存储架构由三个部分组成：客户端、元数据服务器和数据服务器。客户端负责发送读写请求，缓存文件元数据和文件数据。元数据服务器负责管理元数据和处理客户端的请求，是整个系统的核心组件。数据服务器负责存放文件数据，保证数据的可用性和完整性。该架构的好处是性能和容量能够同时拓展，系统规模具有很强的伸缩性。
对象存储最常用的方案，就是多台服务器内置大容量硬盘，再装上对象存储软件，然后再额外搞几台服务作为管理节点，安装上对象存储管理软件。管理节点可以管理其他服务器对外提供读写访问功能。
之所以出现了对象存储这种东西，是为了克服块存储与文件存储各自的缺点，发扬它俩各自的优点。简单来说块存储读写快，不利于共享，文件存储读写慢，利于共享。能否弄一个读写快，利 于共享的出来呢。于是就有了对象存储。