DC存儲集群

㈠ HBase存儲架構

上圖是HBase的存儲架構圖。

由上圖可以知道，客戶端是通過Zookeeper找到HMaster，然後再與具體的Hregionserver進行溝通讀寫數據的。

具體到物理實現，細節包括以下這些：

首先要清楚HBase在hdfs中的存儲路徑，以及各個目錄的作用。在hbase-site.xml 文件中，配置項 <name> hbase.rootdir</name> 默認 「/hbase」，就是hbase在hdfs中的存儲根路徑。以下是hbase0.96版本的個路徑作用。1.0以後的版本請參考這里: https://blog.bcmeng.com/post/hbase-hdfs.html

1、 /hbase/.archive
HBase 在做 Split或者 compact 操作完成之後，會將 HFile 移到.archive 目錄中，然後將之前的 hfile 刪除掉，該目錄由 HMaster 上的一個定時任務定期去清理。

2、 /hbase/.corrupt
存儲HBase損壞的日誌文件，一般都是為空的。

3、 /hbase/.hbck
HBase 運維過程中偶爾會遇到元數據不一致的情況，這時候會用到提供的 hbck 工具去修復，修復過程中會使用該目錄作為臨時過度緩沖。

4、 /hbase/logs
HBase 是支持 WAL（Write Ahead Log） 的，HBase 會在第一次啟動之初會給每一台 RegionServer 在.log 下創建一個目錄，若客戶端如果開啟WAL 模式，會先將數據寫入一份到.log 下，當 RegionServer crash 或者目錄達到一定大小，會開啟 replay 模式，類似 MySQL 的 binlog。

5、 /hbase/oldlogs
當.logs 文件夾中的 HLog 沒用之後會 move 到.oldlogs 中，HMaster 會定期去清理。

6、 /hbase/.snapshot
hbase若開啟了 snapshot 功能之後，對某一個用戶表建立一個 snapshot 之後，snapshot 都存儲在該目錄下，如對表test 做了一個 名為sp_test 的snapshot，就會在/hbase/.snapshot/目錄下創建一個sp_test 文件夾，snapshot 之後的所有寫入都是記錄在這個 snapshot 之上。

7、 /hbase/.tmp
當對表做創建或者刪除操作的時候，會將表move 到該 tmp 目錄下，然後再去做處理操作。

8、 /hbase/hbase.id
它是一個文件，存儲集群唯一的 cluster id 號，是一個 uuid。

9、 /hbase/hbase.version
同樣也是一個文件，存儲集群的版本號，貌似是加密的，看不到，只能通過web-ui 才能正確顯示出來

10、 -ROOT-
該表是一張的HBase表，只是它存儲的是.META.表的信息。通過HFile文件的解析腳本 hbase org.apache.hadoop.hbase.io.hfile.HFile -e -p -f 可以查看其存儲的內容，如下所示：

以上可以看出，-ROOT-表記錄的.META.表的所在機器是dchbase2，與web界面看到的一致：

11、 .META.
通過以上表能找到.META.表的信息，該表也是一張hbase表，通過以上命令，解析其中一個region：

以上可以看出，adt_app_channel表的數據記錄在dchbase3這台reginserver上，也與界面一致，如果有多個region，則會在表名後面加上rowkey的范圍：

通過以上描述，只要找到-ROOT-表的信息，就能根據rowkey找到對應的數據，那-ROOT-在哪裡找呢？從本文一開始的圖中可以知道，就是在zookeeper中找的。進入zookeeper命令行界面：

可以看出-ROOT-表存儲在 dchbase3 機器中，對應界面如下：

以上就是HBase客戶端根據指定的rowkey從zookeeper開始找到對應的數據的過程。

那在Region下HBase是如何存儲數據的呢？

以下就具體操作一張表，查詢對應的HFile文件，看HBase的數據存儲過程。

在HBase創建一張表 test7，並插入一些數據，如下命令：

查看wal日誌，通過 hbase org.apache.hadoop.hbase.regionserver.wal.HLog --mp -p 命令可以解析HLog文件，內容如下：

查看HFile文件，內容如下：

由此可見，HFile文件就是存儲HBase的KV對，其中Key的各個欄位包含了的信息如下：

由於hbase把cf和column都存儲在HFile中，所以在設計的時候，這兩個欄位應該盡量短，以減少存儲空間。

但刪除一條記錄的時候，HBase會怎麼操作呢？執行以下命令：

刪除了rowkey為200的記錄，查看hdfs，原來的HFile並沒有改變，而是生成了一個新的HFile，內容如下：

所以在HBase中，刪除一條記錄並不是修改HFile裡面的內容，而是寫新的文件，待HBase做合並的時候，把這些文件合並成一個HFile，用時間比較新的文件覆蓋舊的文件。HBase這樣做的根本原因是，HDFS不支持修改文件。

㈡ 什麼是DC模式DC是什麼意思 什麼是DC模式DC具體是什麼意思

1、什麼是DC模式DC是什麼意思：DC全稱為DigitalCinema，即數字電影。

2、數字電影是指在電影的拍攝、後期加工以及發行放映等環節，部分或全部以數字處理技術代替傳統光學化學或物理處理技術，用數字化介質代替膠片的電影。相比傳統的膠片電影，數字電影的優勢主要體現在節約了電影製作費用，革新了製作方式，提高了製作水準。

3、通過高清攝像技術，實現了與高清時代的接軌； 數字介質存儲，永遠保持質量穩定，不會出現任何磨損、老化等現象，更不會出現抖動和閃爍； 傳送發行不需要洗映膠片，發行成本大大降低，傳輸過程中不會出現質量損失； 而如果使用了衛星同步技術，還可附加如直播重大文體活動、遠程教育培訓等等，這一點是膠片電影所無法企及的。

㈢ 什麼是DC

在鋼琴中間，DC代表重頭來一次

㈣ 數據中心DC、POD、AZ、Tenant、VPC概念理解

DC：(Data Center)數據中心， 是一個物理上的概念 ，指一個物理空間（比如機房）里伺服器、網路、存儲等設備的集合，實現信息的集中處理、存儲、傳輸、交換和管理。

POD：（Point of Delivery）分發點，為了便於資源的池化，將一個物理上的DC劃分成一個或多個物理分區，每個物理分區稱為一個POD，所以 POD也是一個物理上的概念 。POD是DC的基本部署單元，一台物理設備只能屬於一個POD。

AZ：（Available Zone）可用域，是一個 邏輯上的概念 ， 故障的隔離域 。一個AZ可能包含多個DC，一個DC也可以設置多個AZ。

Tenant：租戶，由系統管理員創建和分配，租戶是一個VDC（虛擬DC，一個組織可使用的資源的集合，資源包括：計算、存儲、網路資源）的實際擁有者和管理者，不同的VDC對應不同的租戶。

VPC：（virtual private cloud）虛擬私有雲，基於物理網路抽象出來的邏輯的網元，並根據業務編排邏輯網元，從而形成一個虛擬的網路， 不同的VPC邏輯上隔離，但共享物理網路，從而實現物理網路資源池化後的共享問題 。

㈤ windows server 故障轉移集群什麼純軟體數據共享

在過去，使用新的伺服器操作系統升級Windows故障轉移集群是一項很困難的任務。不過微軟花了相當多的努力讓升級這個過程更簡單。在我解釋這個過程是如何工作之前，我要先聲明，這篇文章僅僅是從操作系統的角度來討論故障轉移集群。對於應用來說可能還需要額外的操作來保證升級成功，同樣升級過程中不會涉及硬體的升級，所以如果你需要對硬體進行升級的話，那麼整個過程還需要一些額外步驟。

微軟支持從Windows Server 2012 R2到Windows Server 2016的階梯式升級，這種階梯式的OS升級和階梯式的補丁安裝是類似的。在階梯式補安裝作中，補丁會在集群保持在線的情況逐個被安裝。

微軟將集群升級的過程設計得很安全。直到你到達升級過程的最後一步之前，你都可以中斷你的升級並且將系統還原到初始狀態。

對集群和作業進行備份

將Windows Server 2012 R2升級到Windows Server 2016的第一個步是對集群和集群化的作業進行備份。雖然升級的過程已經足夠安全，但是也會有很小的機會出現升級過程的失敗，如果出錯了，你會希望已經做了相關備份。

當備份完成後，選擇一個你需要升級的節點，並將在這個節點上運行的所有作業遷移到其他的集群節點中去。一旦這個節點不再承載任何任務了，就可以將這個節點從這個集群中移除出去了。在這個時候，這個節點就成為了一個單獨的伺服器而不是一個集群節點。

當這個節點從集群中移除後，就可以安裝Windows Server 2016了。在微軟提前發布的文檔中提到過——但目前還沒有被確認——安裝的過程是不能進行原機擴充的。文檔表明了伺服器系統的磁碟會被重新格式化，新的操作系統會重新進行安裝。當安裝結束之後，還需要進行一系列任務來為加入集群做准備。這些任務包括配置網路連接，配置到集群共享存儲的連接，安裝故障轉移特性和安裝必要的基礎軟體，例如備份代理或防病毒軟體。

在某種程度上來說，升級是可以撤銷的

到了這個時候，這個集群節點應該可以投入使用了。但在生產環境中，你可能還需要安裝例如Hyper-V或者SQL Server之類的應用。你會需要用到Add-ClusterNode cmdlet將這個升級後的節點添加到集群中去。這樣這個故障轉移集群會工作在混合模式，因為這個集群包含了Windows Server 2012 R2節點和Windows Server 2016節點。

㈥ dc伺服器是什麼意思

dc伺服器就是域控制伺服器。

DC是Domain Controller的縮寫，即域控制器；Domain Controller是一台計算機，實現用戶、計算機、目錄的統一管理。

域控制器存儲著目錄數據並管理用戶域的交互關系，其中包括用戶登錄過程、身份驗證和目錄搜索等。一個域可以有多個域控制器。為了獲得高可用性和容錯能力，規模較小的域只需兩個域控制器，一個實際使用，另一個用於容錯性檢査；規模較大的域可以使用多個域控制器。

組成

域控制器中包含了這個域的用戶賬戶、密碼和屬於這個域的電腦等信息構成的資料庫。當電腦連入網路時，域控制器首先要鑒別這台電腦是否是屬於這個域，用戶使用的登錄賬號是否存在、密碼是否正確。如果以上信息不正確，域控制器就拒絕該用戶從這台電腦登錄。

不能登錄，用戶就不能訪問伺服器上有許可權保護的資源，只能以對等網用戶的方式訪問Windows共享的資源，這樣就一定程度上保護了網路上的資源。

㈦ Ceph 架構與原理

Ceph 是一個開源項目，它提供軟體定義的、統一的存儲解決方案 。Ceph 是一個具有高性能、高度可伸縮性、可大規模擴展並且無單點故障的分布式存儲系統 。
Ceph 是軟體定義存儲解決方案
Ceph 是統一存儲解決方案
Ceph 是雲存儲解決方案

高可用性

高擴展性

特性豐富

Ceph獨一無二地統一的系統提供了對象存儲、塊存儲和文件存儲功能。Ceph存儲集群由幾個不同的軟體守護進程組成（比較重要的兩個是MON和OSD），每個守護進程負責Ceph的一個獨特功能並將值添加到相應的組件中。

RADOS是CEPH存儲系統的核心,也稱為Ceph 存儲集群。Ceph的數據訪問方法(如RBD,CephFS,RADOSGW，librados)的所有操作都是在RADOS層之上構建的。當Ceph 集群接收到來自客戶端的請求時,CRUSH演算法首先計算出存儲位置,最後將這些對象存儲在OSD中,當配置的復制數大於1時,RADOS負責的形式將數據分發到集群內的所有節點,最後將這些對象存儲在OSD中。當配置的復制數大於1時,RADOS負責數據的可靠性,它復制對象，創建副本並將它們存儲在不同的故障區域中。
RADOS包含兩個核心組件: OSD和MON

OSD 是Ceph 存儲集群中最重要的一個基礎組件，他負責將實際的數據以對象的形式存儲在每一個集群節點的物理磁碟中。對於任何讀寫操作，客戶端首先向MON請求集群MAP，然後客戶端舊可以直接和OSD進行I/O操作。
一個Ceph 集群包含多個OSD。一個典型的Ceph集群方案會為集群節點上的每個物理磁碟創建一個ODS守護進程,這個是推薦的做法。OSD上的每個對象都有一個主副本和幾個輔副本,輔副本分散在其他OSD。一個OSD對於一些對象是主副本，同時對於其他對象可能是輔副本，存放輔副本的OSD主副本OSD控制,如果主副本OSD異常(或者對應的磁碟故障),輔副本OSD可以成為主副本OSD。
OSD是有一個已經存在的Linux文件系統的物理磁碟驅動器和OSD服務組成。Ceph 推薦OSD使用的文件系統是XFS。OSD的所有寫都是先存到日誌,再到存儲.

MON 負責監控整個集群的健康狀況。它以守護進程的形式存在,一個MON為每一個組件維護一個獨立的MAP,如OSD，MON,PG,CRUSH 和MDS map。這些map 統稱為集群的MAP。MON 不為客戶端存儲和提供數據,它為客戶端以及集群內其他節點提供更新集群MAP的服務。客戶端和集群內其他節點定期與MON確認自己持有的是否是集群最新的MAP.一個Ceph集群通常包含多個MON節點,但是同一時間只有一個MON。

librados是一個本地的C語言庫，通過它應用程序可以直接和RADOS通信，提高性能

Ceph 塊存儲，簡稱 RBD，是基於 librados 之上的塊存儲服務介面。RBD 的驅動程序已經被集成到 Linux 內核（2.6.39 或更高版本）中，也已經被 QEMU/KVM Hypervisor 支持，它們都能夠無縫地訪問 Ceph 塊設備。Linux 內核 RBD（KRBD）通過 librados 映射 Ceph 塊設備，然後 RADOS 將 Ceph 塊設備的數據對象以分布式的方式存儲在集群節點中

RGW，Ceph對象網關，也稱做RADOS網關，它是一個代理，可以將HTTP請求轉換為RADOS，也可以把RADOS轉換為HTTP請求，從而提供restful介面，兼容S3和Swift。Ceph對象網關使用Ceph對象網關守護進程(RGW)與librgw、librados交互。Ceph對象網關支持三類介面：S3、Swift、管理API（通過restful介面管理Ceph集群）。RGW有自己的用戶管理體系

Ceph 元數據伺服器服務進程，簡稱 MDS。只有在啟用了 Ceph 文件存儲（CephFS）的集群中才需要啟用 MDS，它負責跟蹤文件層次結構，存儲和管理 CephFS 的元數據。MDS 的元數據也是以 Obejct 的形式存儲在 OSD 上。除此之外，MDS 提供了一個帶智能緩存層的共享型連續文件系統，可以大大減少 OSD 讀寫操作頻率。

CephFS在RADOS層之上提供了一個兼容POSIX的文件系統。它使用MDS作為守護進程，負責管理其元數據並將它和其他數據分開。CephFS使用cephfuse模塊（FUSE）擴展其在用戶空間文件系統方面的支持（就是將CephFS掛載到客戶端機器上）。它還允許直接與應用程序交互，使用libcephfs庫直接訪問RADOS集群。

Ceph管理器軟體，可以收集整個集群的所有狀態。有儀錶板插件

一個對象通常包含綁定在一起的數據和元數據，並且用一個全局唯一的標識符標識。這個唯一的標識符確保在整個存儲集群中沒有其他對象使用相同的對象ID，保證對象唯一性。基於文件的存儲中，文件大小是有限制的，與此不同的是，對象的大小是可以隨著大小可變的元數據而變得很大。對象不使用一個目錄層次結構或樹結構來存儲，相反，它存儲在一個包含數十億對象且沒有任何復雜性的線性地址空間中。對象可以存儲在本地，也可以存放在地理上分開的線性地址空間中，也就是說，在一個連續的存儲空間中。任何應用程序都可以基於對象ID通過調用restful API從對象中獲取數據。這個URL可以以同樣的方式工作在網際網路上，一個對象ID作為一個唯一的指針指向對象。這些對象都以復制的方式存儲在OSD中，因為能提供高可用性。

對於Ceph集群的一次讀寫操作，客戶端首先聯系MON獲取一個集群map副本，然後使用對象和池名/ID將數據轉換為對象。接著將對象和PG數一起經過散列來生成其在Ceph池中最終存放的那一個PG。然後前面計算好的PG經過CRUSH查找來確定存儲或獲取數據所需的主OSD的位置。得到准確的OSD ID之後，客戶端直接聯系這個OSD來存取數據。所有這些計算操作都由客戶端來執行，因此它不會影響Ceph集群的性能。一旦數據被寫入主OSD，主OSD所在節點將執行CRUSH查找輔助PG和OSD的位置來實現數據復制，進而實現高可用。
  簡單地說，首先基於池ID將對象名和集群PG數應用散列函數得到一個PG ID，然後，針對這個PG ID執行CRUSH查找得到主OSD和輔助OSD，最後寫入數據。

PG是一組對象地邏輯集合，通過復制它到不同的OSD上來提供存儲系統的可靠性。根據Ceph池的復制級別，每個PG的數據會被復制並分發到Ceph集群的多個OSD上。可以將PG看成一個邏輯容器，這個容器包含多個對象，同時這個邏輯容器被映射到多個OSD。
  計算正確的PG數對一個Ceph存儲集群來說是至關重要的一步。PG數計算公式如下

Ceph池是一個用來存儲對象的邏輯分區，每個池都包含一定數量的PG，進而實現把一定數量的對象映射到集群內部不同OSD上的目的。每一個池都是交叉分布在集群所有節點上的，這樣就能提供足夠的彈性。池可以通過創建需要的副本數來保障數據的高可用性。
  Ceph的池還支持快照功能，我們可以使用ceph osd pool mksnap命令來給特定的池製作快照。此外，Ceph池還允許我們為對象設置所有者和訪問許可權。

數據管理始於客戶端向Ceph池中寫數據。一旦客戶端准備寫數據到Ceph池中，數據首先寫入基於池副本數的主OSD中。主OSD再復制相同的數據到每個輔助OSD中，並等待它們確認寫入完成。只要輔助OSD完成數據寫入，就會發送一個應答信號給主OSD。最後主OSD再返回一個應答信號給客戶端，以確認完成整個寫入操作。

㈧ 什麼是集群存儲

雲存儲是在雲計算(cloud computing)概念上延伸和發展出來的一個新的概念，是指通過集
群應用、網格技術或分布式文機房集中監控系統件系統等功能，將網路中大量各種不同類
型的存儲設備通過應用軟體集合起來協同工作，共同對外提供數據存儲和業務訪問功能的
一個系統。當雲計算系統運算和處理的核心是大量數據的存儲和管理時，雲計算系統中就
需要配置大量的存儲設備，那麼雲計算系統就轉變成為一個雲存儲系統，所以雲存儲是一
個以數據存儲和管理為核心的雲計算系統。他們基於虛擬化技術和集群架構，具有強大的
橫向擴展能力。雲存儲設備橫向擴展的方式讓存儲系統具有了無限擴展的能力，它能夠實
現控制器與硬碟的同時擴展，也就是性能與容量可以同時實現線性擴展。

集群存儲是通過將數據分布到集群中各節點的存儲方式，提供單一的使用介面與界面，使
用戶可以方便地對所有數據進行統一使用與管理。集群中所有磁碟設備整合到單一的共享
存儲池中提供給前端的應用伺服器，極大提高了磁碟利用率，可以為非結構化數據提供具
備極高IO帶寬和靈活可擴展性的存儲解決方案。