存储池计算

‘壹’ 什么是集群存储

云存储是在云计算(cloud computing)概念上延伸和发展出来的一个新的概念，是指通过集
群应用、网格技术或分布式文机房集中监控系统件系统等功能，将网络中大量各种不同类
型的存储设备通过应用软件集合起来协同工作，共同对外提供数据存储和业务访问功能的
一个系统。当云计算系统运算和处理的核心是大量数据的存储和管理时，云计算系统中就
需要配置大量的存储设备，那么云计算系统就转变成为一个云存储系统，所以云存储是一
个以数据存储和管理为核心的云计算系统。他们基于虚拟化技术和集群架构，具有强大的
横向扩展能力。云存储设备横向扩展的方式让存储系统具有了无限扩展的能力，它能够实
现控制器与硬盘的同时扩展，也就是性能与容量可以同时实现线性扩展。

集群存储是通过将数据分布到集群中各节点的存储方式，提供单一的使用接口与界面，使
用户可以方便地对所有数据进行统一使用与管理。集群中所有磁盘设备整合到单一的共享
存储池中提供给前端的应用服务器，极大提高了磁盘利用率，可以为非结构化数据提供具
备极高IO带宽和灵活可扩展性的存储解决方案。

‘贰’ 请问数据结构单链表中的存储池概念表示什么意思

什么是数据、数据对象、数据元素、数据结构、数据的逻辑结构与物理结构、逻辑结构与物理结构间的关系。
2、面向对象概念：理解什么是数据类型、抽象数据类型、数据抽象和信息隐蔽原则。了解什么是面向对象。由于目前关于这个问题有许多说法，我们采用了一种最流行的说法，即Coad与Yourdon 给出的定义：面向对象 = 对象 + 类 + 继承 + 通信。
要点：
·抽象数据类型的封装性
·面向对象系统结构的稳定性
·面向对象方法着眼点在于应用问题所涉及的对象
3、数据结构的抽象层次：理解用对象类表示的各种数据结构
4、算法与算法分析：理解算法的定义、算法的特性、算法的时间代价、算法的空间代价。
要点：·算法与程序的不同之处需要从算法的特性来解释
·算法的正确性是最主要的要求
·算法的可读性是必须考虑的
·程序的程序步数的计算与算法的事前估计
·程序的时间代价是指算法的渐进时间复杂性度量

第二章 数组
1、作为抽象数据类型的数组：数组的定义、数组的按行顺序存储与按列顺序存储
要点：
·数组元素的存放地址计算
2、顺序表：顺序表的定义、搜索、插入与删除
要点：
·顺序表搜索算法、平均比较次数的计算
·插入与删除算法、平均移动次数的计算
3、多项式：多项式的定义
4、字符串：字符串的定义及其操作的实现
要点：
·串重载操作的定义与实现

第三章 链接表
1、单链表：单链表定义、相应操作的实现、单链表的游标类。
要点：
·单链表的两种定义方式（复合方式与嵌套方式）
·单链表的搜索算法与插入、删除算法
·单链表的递归与迭代算法
2、循环链表：单链表与循环链表的异同
3、双向链表：双向链表的搜索、插入与删除算法、链表带表头结点的优点
4、多项式的链接表示

第四章 栈与队列
1、栈：栈的特性、栈的基本运算
要点：
·栈的数组实现、栈的链表实现
·栈满及栈空条件、抽象数据类型中的先决条件与后置条件
2、栈的应用：用后缀表示计算表达式，中缀表示改后缀表示
3、队列：队列的特性、队列的基本运算
要点：
·队列的数组实现：循环队列中队头与队尾指针的表示，队满及队空条件
·队列的链表实现：链式队列中的队头与队尾指针的表示、
4、双向队列：双向队列的插入与删除算法
5、优先级队列：优先级队列的插入与删除算法

第五章 递归与广义表
1、递归：递归的定义、递归的数据结构、递归问题用递归过程求解
要点：·链表是递归的数据结构，可用递归过程求解有关链表的问题
2、递归实现时栈的应用
要点：·递归的分层（树形）表示：递归树
·递归深度（递归树的深度）与递归工作栈的关系
·单向递归与尾递归的迭代实现
3、广义表：广义表定义、广义表长度、广义表深度、广义表表头、广义表表尾
要点：
·用图形表示广义表的存储结构
·广义表的递归算法

第六章 树与森林
1、树：树的定义、树的基本运算
要点：
·树的分层定义是递归的
·树中结点个数与高度的关系
2、二叉树：二叉树定义、二叉树的基本运算
要点：
·二叉树性质、二叉树中结点个数与高度的关系、不同种类的二叉树棵数
·完全二叉树的顺序存储、完全二叉树的双亲、子女和兄弟的位置
·二叉树的前序·中序·后序·层次遍历
·前序
·中序
·后序的线索化二叉树、前驱与后继的查找方法
3、霍夫曼树：霍夫曼树的构造方法、霍夫曼编码、带权路径长度的计算
4、树的存储：树的广义表表示、树的双亲表示、树与二叉树的对应关系、树的先根·中根·后根·层次遍历。
5、堆：堆的定义、堆的插入与删除算法
要点：
·形成堆时用到的向下调整算法及形成堆时比较次数的上界估计
·堆插入时用到的向上调整算法

第七章 集合与搜索
1、集合的概念：集合的基本运算、集合的存储表示
要点：
·用位数组表示集合时集合基本运算的实现
·用有序链表表示集合时集合基本运算的实现
2、并查集：并查集定义、并查集的三种基本运算的实现
3、基本搜索方法
要点：
·对一般表的顺序搜索算法（包括有监视哨和没有监视哨）
·对有序顺序表的顺序搜索算法、用判定树（即扩充二叉搜索树）描述搜索，以及平均搜索长度（成功与不成功）的计算。
·对有序顺序表的折半搜索算法、用判定树（即扩充二叉搜索树）描述搜索，以及平均搜索长度（成功与不成功）的计算。
4、二叉搜索树：
要点：
·动态搜索树与静态搜索树的特性
·二叉搜索树的定义、二叉搜索树上的搜索算法、二叉搜索树搜索时的平均搜索长度（成功与不成功）的计算。
·AVL树结点上的平衡因子、AVL树的平衡旋转方法
·高度为h的AVL树上的最少结点个数与最多结点个数
· AVL树的搜索方法、插入与删除方法

第八章 图
1、图：图的定义与图的存储表示
要点：
·邻接矩阵表示（通常是稀疏矩阵）
·邻接表与逆邻接表表示
·邻接多重表(十字链表)表示
2、深度优先遍历与广度优先遍历
要点：
·生成树与生成树林的定义
·深度优先搜索是个递归的过程，而广度优先搜索是个非递归的过程
·为防止重复访问已经访问过的顶点，需要设置一个访问标志数组visited
3、图的连通性
要点：
·深度优先搜索可以遍历一个连通分量上的所有顶点
·对非连通图进行遍历，可以建立一个生成森林
·对强连通图进行遍历，可能建立一个生成森林
·关节点的计算和以最少的边构成重连通图
4、最小生成树
要点：
·对于连通网络、可用不会构成环路的权值最小的n-1条边构成最小生成树
·会画出用Kruskal算法及Prim算法构造最小生成树的过程
5、单源最短路径
要点：
·采用逐步求解的方式求某一顶点到其他顶点的最短路径
·要求每条边的权值必须大于零
6、活动网络
要点：
·拓扑排序、关键路径、关键活动、AOE网
·拓扑排序将一个偏序图转化为一个全序图。
·为实现拓扑排序，要建立一个栈，将所有入度为零的顶点进栈
·关键路径的计算

第九章 排序
1、基本概念：关键码、初始关键码排列、关键码比较次数、数据移动次数、稳定性、附加存储、内部排序、外部排序
2、插入排序：
要点：
·当待排序的关键码序列已经基本有序时，用直接插入排序最快
3、选择排序：
要点：
·用直接选择排序在一个待排序区间中选出最小的数据时，与区间第一个数据对调，而不是顺次后移。这导致方法不稳定。
·当在n个数据（n很大）中选出最小的5 ~ 8个数据时，锦标赛排序最快
·锦标赛排序的算法中将待排序的数据个数n补足到2的k次幂2k-1<n≤2k
·在堆排序中将待排序的数据组织成完全二叉树的顺序存储。
4、交换排序：
要点：
·快速排序是一个递归的排序方法
·当待排序关键码序列已经基本有序时，快速排序显着变慢。
5、二路归并排序：
要点：
·归并排序可以递归执行
·归并排序需要较多的附加存储。可以采用一种"推拉法"（参见教科书上习题）实现归并排序，算法的时间复杂度为O (n)、空间复杂度为O(1)
·归并排序对待排序关键码的初始排列不敏感，排序速度较稳定
6、外排序
要点：
·多路平衡归并排序的过程、I/O缓冲区个数的配置
·外排序的时间分析、利用败者树进行多路平衡归并
·利用置换选择方法生成不等长的初始归并段
·最佳归并树的构造及WPL的计算

第十章 索引与散列
1、线性索引：
要点：
·密集索引、稀疏索引、索引表计算
·基于属性查找建立倒排索引、单元式倒排表
2、动态搜索树
要点：
·平衡的m路搜索树的定义、搜索算法
·B树的定义、B树与平衡的m路搜索树的关系
·B树的插入（包括结点分裂）、删除（包括结点调整与合并）方法
·B树中结点个数与高度的关系
·B+树的定义、搜索、插入与删除的方法
3、散列表
要点：
·散列函数的比较
·装填因子 a 与平均搜索长度的关系，平均搜索长度与表长m及表中已有数据对象个数n的关系
·解决地址冲突的（闭散列）线性探查法的运用，平均探查次数的计算
·线性探查法的删除问题、散列表类的设计中必须为各地址设置三个状态
·线性探查法中的聚集问题
·解决地址冲突的（闭散列）双散列法的运用，平均探查次数的计算
·双散列法中再散列函数的设计要求与表长m互质，为此m设计为质数较宜
·解决地址冲突的（闭散列）二次散列法的运用，平均探查次数的计算
·注意：二次散列法中装填因子 a 与表长m的设置
·解决地址冲突的（开散列）链地址法的运用，平均探查次数的计算

‘叁’ Open Stack的原理和概念架构是什么

Open Stack的概念架构：应用开发者（AppDev），应用运维者（DevOps），云操作者（CloudOps），应用所有者（AppOwner）要与云进行交互。展示层（Presentation）：应用开发者与computerapi（计算接口），imageapi（映像接口）进行交互，运维者与计算接口，映像接口，Userdashboard（仪表盘）进行交互处理信息⌄ 应用拥有者通过顾客门户UI平台管理，提供一个web管理页面，与底层交互。逻辑控制层：包括部署（Orchestration），scheling（调度），政策（Policy）、Imageregistry（映像注册层），Logging（日志）为私有云服务提供逻辑控制服务。管理层：企业云服务平台运维者通过admin Api（管理员接口），Monitoring（监控），在一些成熟的架构中还具有标准和配置管理等支持服务。Accrets国际是一家主营私有云托管服务、云迁移服务、云架构部署服务的信息科技服务型公司，拥有超过百年的累积IT设计、方案实施、运营服务管理经验。

‘肆’ 云服务存储数据具体是存在哪里

云存储的本身目的就是为用户消除存储服务器的概念，而是给用户提供了一个“无限大”的存储池，只要感觉到自己能在这个存储池中像操作自己的本地存储服务器一样就可以了。就比如一般用户使用自来水不用关心自来水是如果在水厂七层过滤并沉淀存放的。

当然云存储的背后有大量的存储服务器和计算服务器为用户提供存储和计算服务，他们通过分布式存储系统统一在一起，通过虚拟化技术（实际上就是提供统一的接口，屏蔽复杂的后端）为用户提供类似于上面所谈的“存储池”。

你谈到访问多个虚拟服务器，如果只是存储的话，你看不到多个虚拟的存储器，你看到的只是一个“存储池”，比如网络云、金山云。只有在使用计算功能时，你才看到云计算厂商为你虚拟出来的多个服务器，有可能这些服务器背后还是使用一个“存储池”

‘伍’ 群晖储存池最大

最高支持192TB的容量
群晖新款NAS存储方面，配备16个3.5寸(兼容2.5寸)硬盘托架，最高支持192TB容量，通过连接RX1217(RP)后，存储容量可以进一步扩大到336TB。此外，新款NAS可提供超过1400MB/s的连续读取读取和26K的随机写入IOPS。
在群晖不同机型中有些叫法不同，还有磁盘群组、RAID Group等叫法，这里统一用官网教程中的名称：存储池。为了让群晖能够安全的存储更多数据，一般会插入多个硬盘，那怎样管理好这些硬盘呢？群晖系统通过RAID等技术，将多个硬盘合并为一个“逻辑硬盘”，这个就是“存储池”。平时对这个“硬盘”的操作与单个硬盘一样，如需要存储数据，就从这个“硬盘”中分出空间。

‘陆’ IBM存储器中的池和卷是什么概念

物理卷(Physical Volume, PV)：LVM是操作系统识别到的物理磁盘(或者RAID提交的逻辑磁盘LUN)改了个叫法，叫物理卷， 物理卷可以是一个磁盘，也可以是磁盘中的一个分区。它为LVM提供了存储介质。
• 逻辑卷组(Logical Volume Group, LVG)：多个PV可以被逻辑的放到一个VG中，逻辑卷组是一个虚拟的打存储空间，逻辑上是连续的，它可以由多块PV组成，此时VG会将所有PV首尾相连，组成一个逻辑上连续编址的大存储池，这就是VG。在一个VG上可以创建多个逻辑卷(LV)。
• 物理区块(Physical Partion)：它是在逻辑上再将一个VG分割成连续的小块（注意，是逻辑上的分割，而不是物理上） ，也就是说LVM会记录每个PP的大小(具体有几个扇区组成啊)，还会记录PP的序号偏移。这样就相当于在VG这个大池中顺序切割，比如我们假设一个PP的大小是4MB，那么由之前的知识知道一个扇区是512B,所以4MB/512B =8192 个扇区。  如果PV是实际的一块物理磁盘，那么这些扇区就是连续的。如果PV本身是经过RAID控制器虚拟化形成的虚拟盘（LUN），那么这些扇区可能位于若干条带中：也就是说这8192个扇区物理上不一定连续。

‘柒’ CentOS 7部署 Ceph分布式存储架构

随着OpenStack日渐成为开源云计算的标准软件栈，Ceph也已经成为OpenStack的首选后端存储。Ceph是一种为优秀的性能、可靠性和可扩展性而设计的统一的、分布式文件系统。

Ceph是一个开源的分布式文件系统。因为它还支持块存储、对象存储，所以很自然的被用做云计算框架openstack或cloudstack整个存储后端。当然也可以单独作为存储，例如部署一套集群作为对象存储、SAN存储、NAS存储等。

前三台服务器增加一块硬盘/dev/sdb实验, 创建目录并挂载到/var/local/osd{1,2,3};

规范系统主机名添加hosts文件实现集群主机名与主机名之间相互能够解析（host 文件添加主机名不要使用fqdn方式）可用 hostnamectl set-hostname [name] 设置分别打开各节点的 /etc/hosts 文件，加入这四个节点ip与名称的对应关系:

在管理节点使用ssh-keygen 生成ssh keys 发布到各节点

第一步：增加 yum配置文件(各个节点都需要增加yum源) vim /etc/yum.repos.d/ceph.repo

或阿里的ceph源

复制配置文件到其它节点和客户端

在ceph1更新软件源并安装ceph-deploy 管理工具

配置文件的默认副本数从3改成2，这样只有两个osd也能达到 active+clean 状态，添加行 osd_pool_default_size = 2

(如果网络源安装失败，手工安装epel-release 然后安装yum –yinstall cep-release再yum –y install ceph ceph-radosgw)
错误参考： https://blog.csdn.net/yenai2008/article/details/72457463

添加osd节点 (所有osd节点执行)
我们实验准备时已经创建目录/var/local/osd{id}

（用ceph-deploy把配置文件和admin密钥拷贝到所有节点，这样每次执行Ceph命令行时就无需指定monitor地址和ceph.client.admin.keyring了）

以上基本上完成了ceph存储集群的搭建。

其中： <pg_num> = 128 ,
关于创建存储池
确定 pg_num 取值是强制性的，因为不能自动计算。下面是几个常用的值：

随着 OSD 数量的增加，正确的 pg_num 取值变得更加重要，因为它显着地影响着集群的行为、以及出错时的数据持久性（即灾难性事件导致数据丢失的概率）。

创建好存储池后，你就可以用 fs new 命令创建文件系统了
ceph fs new <fs_name> cephfs_metadata cephfs_data
其中： <fs_name> = cephfs 可自定义

在这里想起没在/etc/fstab配置ceph1、ceph2、ceph3的sdb自动挂载。

ceph在开源社区还是比较热门的，但是更多的是应用于云计算的后端存储。所以大多数在生产环境中使用ceph的公司都会有专门的团队对ceph进行二次开发，ceph的运维难度也比较大。但是经过合理的优化之后，ceph的性能和稳定性都是值得期待的。

清理机器上的ceph相关配置

可以参考内容： http://blog.51cto.com/12270625/1887648