hbase源码下载
A. 求《HBase权威指南5中文版》全文免费下载百度网盘资源,谢谢~
《HBase权威指南5中文版》网络网盘pdf最新全集下载:
链接: https://pan..com/s/1akGkc0w946hLEfysNa9iVQ
简介：探讨了如何通过使用与HBase高度集成的Hadoop将HBase的可伸缩性变得简单；把大型数据集分布到相对廉价的商业服务器集群中；使用本地java客户端，或者通过提供了REST、Avro和Thrift应用编程接口的网关服务器来访问HBase；了解HBase架构的细节，包括存储格式、预写日志、后台进程等；在HBase中集成MapRece框架；了解如何调节集群、设计模式、拷贝表、导入批量数据和删除节点等。
B. 【HBase】HBase 自动拆分和预分区
[TOC]
HBase 中，表会被划分为1...n 个 Region，被托管在 RegionServer 中。
Region 二个重要的属性：StartKey 与 EndKey 表示这个 Region 维护的 RowKey 范围，当读/写数据时，如果 RowKey 落在某个 start-end key 范围内，那么就会定位到目标region并且读/写到相关的数据。
默认，HBase 在创建表的时候，会自动为表分配一个 Region，正处于混沌时期，start-end key 无边界，所有 RowKey 都往这个 Region里分配。
当数据越来越多，Region 的 size 越来越大时，达到默认的阈值时（根据不同的拆分策略有不同的阈值），HBase 中该 Region 将会进行 split，会找到一个 MidKey 将 Region 一分为二，成为 2 个 Region。而 MidKey 则为这二个 Region 的临界，左为 N 无下界，右为 M 无上界。< MidKey 被分配到 N 区，> MidKey 则会被分配到 M 区。
随着数据量进一步扩大，分裂的两个 Region 达到临界后将重复前面的过程，分裂出更多的 Region。
Region 的分割操作是不可见的，Master 不会参与其中。RegionServer 拆分 Region的步骤是：先将该 Region 下线，然后拆分，将其子 Region 加入到 META 元信息中，再将他们加入到原本的 RegionServer 中，最后汇报 Master。
执行 split 的线程是 CompactSplitThread。
在 2.0.5 版本中，HBase 提供了 7 种自动拆分策略：
他们之间的继承关系如下：
有三种配置方法：
0.94.0 之前的默认拆分策略，这种策略非常简单，只要 Region 中的任何一个 StoreFile 的大小达到了 hbase.hregion.max.filesize 所定义的大小 ，就进行拆分。
1）相关参数：
hbase.hregion.max.filesize
2）部分源码 ：
拆分的阈值大小可在创建表的时候设置，如果没有设置，就取 hbase.hregion.max.filesize 这个配置定义的值，如果这个配置也没有定义，取默认值 10G。
3）拆分效果：
经过这种策略的拆分后，Region 的大小是均匀的，例如一个 10G 的Region，拆分为两个 Region 后，这两个新的 Region 的大小是相差不大的，理想状态是每个都是5G。
**ConstantSizeRegionSplitPolicy **切分策略对于大表和小表没有明显的区分，阈值（hbase.hregion.max.filesize）：
4）创建表时配置：
该策略继承自 ConstantSizeRegionSplitPolicy，是 0.94.0 到 2.0.0 版本的默认策略，其 优化了原来 ConstantSizeRegionSplitPolicy 只是单一按照 Region 文件大小的拆分策略，增加了对当前表的分片数作为判断因子 。当Region中某个 Store Size 达到 sizeToCheck 阀值时进行拆分，sizeToCheck 计算如下：
如果表的分片数为 0 或者大于 100，则切分大小还是以设置的单一 Region 文件大小为标准。如果分片数在 1~99 之间，则由 min(单一 Region 大小， Region 增加策略的初始化大小 * 当前 Table Region 数的3次方) 决定 。
Region 增加策略的初始化大小计算如下：
1）相关参数：
hbase.hregion.max.filesize
hbase.increasing.policy.initial.size
hbase.hregion.memstore.flush.size
2）部分源码：
在默认情况，使用 策略拆分 Region 的过程是:
3）拆分效果：
和 ConstantSizeRegionSplitPolicy 一样，也是均匀拆分。
不同的是， 切分策略弥补了ConstantSizeRegionSplitPolicy 的短板，能够自适应大表和小表，并且在大集群条件下对于很多大表来说表现很优秀。
但并不完美，这种策略下很多小表会在大集群中产生大量小 Region，分散在整个集群中。而且在发生 Region 迁移时也可能会触发 Region 分裂。
4）创建表时配置：
2.0 版本默认切分策略。SteppingSplitPolicy 是 的子类，其对 Region 拆分文件大小做了优化，如果只有1个 Region 的情况下，那第1次的拆分就是 256M，后续则按配置的拆分文件大小（10G）做为拆分标准。
1）相关参数：
同 。
2）全部源码：
它的源码只有一个方法，优化了 getSizeToCheck 方法，其他都是继承 自 类。
3）拆分效果：
在 策略中，针对大表的拆分表现很不错，但是针对小表会产生过多的 Region，SteppingSplitPolicy 则将小表的 Region 控制在一个合理的范围，对大表的拆分也不影响。
4）创建表时配置：
KeyPrefixRegionSplitPolicy 是 的子类，该策略除了具备其父类自动调整 Region 拆分阈值大小、适应大小表的特点外，增加了对拆分点(splitPoint，拆分点就是 Region 被拆分处的 RowKey)的定义，可以保证有相同前缀的 RowKey不会被拆分到两个不同的 Region 里面。
1）相关参数：
在 的配置之上增加了一个参数。
KeyPrefixRegionSplitPolicy.prefix_length
2）部分源码：
先从父类获取拆分点，如果设置了 prefixLength > 0，就从父类拆分点中截取需要的前缀作为新的拆分点返回。
3）拆分效果：
KeyPrefixRegionSplitPolicy （SteppingSplitPolicy、、BusyRegionSplitPolicy (HBase-2.x Only)）按照 RowKey 的前缀去拆分 Region，但是什么时候拆分，原 Region 容量的最大值是多少还是需要使用 的方法去计算 。
如果所有数据都只有一两个前缀，那么采用默认的策略较好。 如果前缀划分的比较细，查询就比较容易发生跨 Region 查询的情况，此时采用KeyPrefixRegionSplitPolicy 较好。
所以这个策略适用的场景是：
4）创建表时配置：
继承自 ，也是根据 RowKey 前缀来进行拆分的。不同就是：KeyPrefixRegionSplitPolicy 是根据 RowKey 的固定前几位字符来进行判断，而 是根据分隔符来判断的。
1）相关参数：
在 的配置之上增加了一个参数。
.delimiter
2）部分源码：
先找到分隔符下标位置，然后从父类的拆分点截取出来。
3）拆分效果：
根据 RowKey 中指定分隔字符做为拆分，显得更加灵活，如 RowKey 的值为“userid_eventtype_eventid”，userId 不是定长的，则 可以取 RowKey 值中从左往右且第一个分隔字符串之前的字符做为拆分串，在该示例中就是“userid”。
4）创建表时配置：
之前的策略都未考虑 Region 热点问题，考虑某些 Region 可能被频繁访问，负荷很大，BusyRegionSplitPolicy 策略同样继承自 ，但主要针对 Region 问题，是在 2.x 中新增加的拆分策略。
1）相关参数：
在 的配置之上增加了如下参数：
hbase.busy.policy.blockedRequests
hbase.busy.policy.minAge
hbase.busy.policy.aggWindow
2）部分源码：
在判断是否需要进行拆分的时候，先调用父类的 shouldSplit 方法检验，如果需要则直接返回 true，否则需要判断当前时间是否比开始时间大于 minAge 值，如果是的，则计算请求阻塞率 blockedReqRate，如果阻塞率大于设定的阈值，则进行拆分。
阻塞率的计算如下：
主要的计算逻辑是：请求的被阻塞率(aggBlockedRate) = curTime - prevTime 时间内新增的阻塞请求 / 这段时间的总请求。
3）拆分效果：
如果系统常常会出现热点 Region，又对性能有很高的追求，那么这种策略可能会比较适合。
它会通过拆分热点 Region 来缓解热点 Region 的压力，但是根据热点来拆分Region 也会带来很多不确定性因素，因为不能确定下一个被拆分的 Region 是哪个。
4）创建表时配置：
DisabledRegionSplitPolicy 就是不使用 Region 拆分策略，将所有的数据都写到同一个 Region 中。
1）全部源码：
源码很简单，就是直接返回 false。
2）拆分效果：
这个策略极少使用。
即使在建表的时候合理的进行了预拆分，还没有写入的数据的时候就已经手动分好了 Region，但是随着数据的持续写入，我预先分好的 Region 的大小也会达到阈值，那时候还是要依靠 HBase 的自动拆分策略去拆分 Region。
但这种策略也有它的用途：
假如有一批静态数据，一次存入以后不会再加入新数据，且这批数据主要是用于查询，为了性能好一些，可以先进行预分区后，各个 Region 数据量相差不多，然后设置拆分策略为禁止拆分，最后导入数据即可。
3）创建表时配置：
已经有自动分区了，为什么还需要预分区？
HBase 在创建表的时候，会自动为表分配一个Region，当一个 Region 达到拆分条件时（shouldSplit 为 true），HBase 中该 Region 将会进行 split，分裂为2个 Region，以此类推。表在进行 split 的时候，会耗费很多的资源，有大量的 io 操作，频繁的分区对 HBase 的性能有很大的影响。
所以，HBase 提供了预分区功能，让用户可以在创建表的时候对表按照一定的规则分区。
假设初始 10 个 Region，那么导入大量数据的时候，就会均衡到 10 个 Region 里面，显然比初始 1 个 Region 要好很多， 合理的预分区可以减少 Region 热点问题，提升写数据的性能和速度，而且也能减少后续的 split 操作 。
首先要明白数据的 RowKey 是如何分布的，然后根据 RowKey 的特点规划要分成多少 Region，每个 Region 的 startKey 和 endKey 是多少，接着就可以预分区了。
比如，RowKey 的前几位字符串都是从 0001~0010 的数字，这样可以分成10个Region：
第一行为第一个 Region 的 stopKey。为什么后面会跟着一个"|"，是因为在ASCII码中，"|"的值是124，大于所有的数字和字母等符号。
shell中建分区表
也可以通过指定 SPLITS_FILE 的值指定分区文件，从文件中读取分区值，文件格式如上述例子所示：
预分区后，可以从 HBase ui 页面观察到：
HBase API 建预分区表
为防止热点问题，同时避免 Region Split 后，部分 Region 不再写数据或者很少写数据。也为了得到更好的并行性，希望有好的 load blance，让每个节点提供的请求处理都是均等的，并且 Region 不要经常 split，因为 split 会使 server 有一段时间的停顿，随机散列加上预分区是比较好的解决方式。
预分区一开始就预建好了一部分 Region，这些 Region 都维护着自已的 start-end keys，再配合上随机散列，写数据能均等地命中这些预建的 Region，就能通过良好的负载，提升并行，大大地提高了性能。
hash + 预分区
在 RowKey 的前面拼接通过 hash 生成的随机字符串，可以生成范围比较随机的 RowKey，可以比较均衡分散到不同的 Region 中，那么就可以解决写热点问题。
假设 RowKey 原本是自增长的 long 型，可以将 RowKey 先进行 hash，加上本身 id ，组成rowkey，这样就生成比较随机的 RowKey 。
那么对于这种方式的 RowKey 设计，如何去进行预分区？
partition + 预分区
partition 顾名思义就是分区式，这种分区有点类似于 maprece 中的 partitioner，将区域用长整数作为分区号，每个 Region 管理着相应的区域数据，在 RowKey 生成时，将 id 取模后，然后拼上 id 整体作为 RowKey 。
1. HBase Region 自动拆分策略
2. hbase预分区
C. 如何搭建Hbase源码阅读环境，并能进行编译运行
hbase源码导入eclipse分三步：
1.svn下载源码
2.mvn package -Dmaven.test.skip.exec=true编译源码
3.导入eclipse，可以用插件，用mvn eclipse:eclipse生成eclipse文件，导入eclipse。
D. 如何使用Maven构建《hadoop权威指南3》随书的源码包
《hadoop：the definitive guide 3th》中的例子默认提供了一种编译和构建jar包方法——maven，如果没有maven你会发现编译测试随书的源码会非常的麻烦（至少在命令行下），当然你也可以使用eclipse导入随书的源码再自己一个个的添加依赖性jar包（恐怕也不太容易）。不过还好有非常好的开源的软件项目管理工具来帮助我们做这些无关于程序本身设计与架构的琐碎的工作，那就是maven！
如果你对maven还不太了解，可以参看这里。
《hadoop：the definitive guide 3th》的源码包可以从github中下载到，如下图所示：
下面我们就可以切换到本书的源文件包的根目录下使用maven来构建本书的jar包了：
% mvn package -DskipTests -Dhadoop.version=1.0.4
执行过这条命令后就是很长时间的等待，maven会到他的中央仓库和apache的仓库中下载所需要的jar包和pom.xml文件（这个过程可能要持续大约一个小时，要确保你的电脑已经连上网络，下载完成后在~/.m2/repository文件夹中——也即本地仓库——可以看到已经下载下来的jar包和pom文件），然后再逐个构建根目录下pom.xml中配置的moles，等所有的工作做完就可以看到已经打包的各个jar包，从而可以很方便的在命令行使用hadoop命令测试书中的代码了。
E. 如何使用Maven构建《hadoop权威指南3》随书的源码包
执行完上述步骤后，输入hbase命令出现如下界面，就说明已经安装成功了（别忘了执行". ~/.bashrc"使配置的环境变量生效）：
下面我们就可以切换到本书的源文件包的根目录下使用maven来构建本书的jar包了：
% mvn package -DskipTests -Dhadoop.version=1.0.4
执行过这条命令后就是很长时间的等待，maven会到他的中央仓库和apache的仓库中下载所需要的jar包和pom.xml文件（这个过程可能要持续大约一个小时，要确保你的电脑已经连上网络，下载完成后在~/.m2/repository文件夹中——也即本地仓库——可以看到已经下载下来的jar包和pom文件），然后再逐个构建根目录下pom.xml中配置的moles，等所有的工作做完就可以看到已经打包的各个jar包，从而可以很方便的在命令行使用hadoop命令测试书中的代码了
F. 如何在windows平台上用Eclipse调试运行HBase
1. 下载和安装cygwin
2. 下载新的Zookeeper包和HBase包，我这里ZooKeeper版本为3.3.1，HBase版本为0.20.4
3. 把利用它们的源码包在Eclipse下生成2个独立的Project,注意：zookeeper工程，你要把那个conf目录加入到工程的src中去
4. 修改zookeeper工程下的conf目录中的zoo.cfg文件，例子如下：
# The number of milliseconds of each tick
tickTime=5000
# the directory where the snapshot is stored.
dataDir=D:/zookeeper-3.3.1/data
# the port at which the clients will connect
clientPort=2181
就是给zookeeper指定文件存放的地方以及端口
5.启动zookeeper
在Eclipse中新建一个Run config， main class为：org.apache.zookeeper.server.quorum.QuorumPeerMain
启动的程序参数为：D:/workspace/zookeeper3.3.1/conf/zoo.cfg（这个上面我们改动的东东啦，当然你可能不是这个路径）
启动的虚拟机参数为：
-Dzookeeper.log.dir=D:/workspace/zookeeper3.3.1/log
-Dzookeeper.root.logger=INFO,CONSOLE
如图所示：
好了，这样就可以在Eclipse中把ZooKeeper启动起来了。
6 修改HBase project中的一个类
org.apache.hadoop.hbase.LocalHBaseCluster
找到它的main函数，把main函数改成下
public static void main(String[] args) throws IOException {
HBaseConfiguration conf = new HBaseConfiguration();
conf.set("hbase.zookeeper.quorum", "localhost");
conf.set("hbase.zookeeper.property.clientPort", "2181");
LocalHBaseCluster cluster = new LocalHBaseCluster(conf,1);
cluster.startup();
}
注意红色那行： LocalHBaseCluster cluster = new LocalHBaseCluster(conf,1); 构造函数中的1是代表Region server的个数，在这里我只想起一个region server.
7 修改HBase的配置文件
在HBase project下的src中你可以看到hbase-default.xml和hbase-site.xml两个文件，你改哪个都可以。
G. 如何在windows平台上用Eclipse调试运行HBase
1. 下载和安装cygwin
2. 下载新的Zookeeper包和HBase包，我这里ZooKeeper版本为3.3.1，HBase版本为0.20.4
3. 把利用它们的源码包在Eclipse下生成2个独立的Project,注意：zookeeper工程，你要把那个conf目录加入到工程的src中去
4. 修改zookeeper工程下的conf目录中的zoo.cfg文件，例子如下：
# The number of milliseconds of each tick
tickTime=5000
# the directory where the snapshot is stored.
dataDir=D:/zookeeper-3.3.1/data
# the port at which the clients will connect
clientPort=2181
就是给zookeeper指定文件存放的地方以及端口
5.启动zookeeper
在Eclipse中新建一个Run config， main class为：org.apache.zookeeper.server.quorum.QuorumPeerMain
启动的程序参数为：D:/workspace/zookeeper3.3.1/conf/zoo.cfg（这个上面我们改动的东东啦，当然你可能不是这个路径）
启动的虚拟机参数为：
-Dzookeeper.log.dir=D:/workspace/zookeeper3.3.1/log
-Dzookeeper.root.logger=INFO,CONSOLE
H. Hbase源代码不开放
不开放。Hbase源代码是进行过加密设置的，没有进行对外开放，是为了更好的做好保密工作，有非常重要的信息技术类文件，各部门领导员工都非常重视。
I. hbase源码怎么导入eclipse
如何使用Eclipse导入并运行源码(
网上关于Eclipse配置和开发入门程序的文章很多，可是要么很粗浅，要么很高深，却很少看到讲解如何把别人的源码导入到自己的Eclipse环境中编译运行的描述。做为初学者，能够学习网上一些优秀源码是提高的必由之路，可是Eclipse却不象VC和Delphi那样容易上手，对于很多初学者来说，它似乎还是太难了点。在找不到很好的关于Eclipse入门教程的情况下，为了能运行网上下载的Java源码，我颇费了一些时间寻找如何正确的导入源码并运行的方法，不敢独美，特贡献出来与初学者共享。
运行环境：
Java EE 5.0
Eclipse 3.1 中文版
源代码用例（都是Java Application）：
仿真Windows记事本
连连看
上述的两个源代码在赛迪网上可以找到。关于JDK的配置、安装和Eclipse的安装本文不再赘述，读者可以很容易地找到相关的资料。本文只讲使用Eclipse来导入源代码的方法。
首先确保你的工作空间已经创建好，在我的机器上工作空间所在的目录是“e:/workspace”。源代码存放路径假设为“我的文档/cai/Java/一个仿windows的记事本”和“我的文档/cai/Java/连连看/kyodai”。
下面开始介绍导入源码的方法。
◎选择菜单“文件/新建/项目”，选择“Java项目”，弹出“创建Java项目”对话框。
◎在“创建Java项目”中输入“项目名”，项目名可以为任意名字，不必和main类的名字一样。这里假设为“Notepad”。
在“内容”中有两个单选按钮，视你的需要来使用。其中“在工作空间中创建新项目”会在你的工作空间中创建一个新目录，目录名与项目名一致；“从现有资源创建项目”可以在源码所在目录中直接编译运行，生成的class文件也会存放在源码目录中。
下面先讲“在工作空间中创建新项目”的方法。
◎在“内容”中单选“在工作空间中创建新项目”，点击“完成”按钮。此时在e:/workspace下生成Notepad目录。
◎下面需要导入源码到工作空间去。选择菜单“文件/导入”，选择“文件系统”。弹出“文件系统”对话框。
◎在“从目录”中选择源码存放目录“我的文档/cai/Java/一个仿windows的记事本”，勾选上所有的.java源码，其他的垃圾不要选上。下面又有两个选择：对话框下方有两个选项，若选择“创建完整的文件夹结构”，就会按源码所存放的路径完整地在工作空间中创建目录，创建完毕会由于main方法类的路径不对而在包资源管理器内的图标上显示叉叉，无法编译成功；若选择“只创建选择的文件夹”，则会在工作空间创建的目录下导入所有的文件而不会保留原目录，此时可以编译成功。
◎若选择“创建完整的文件夹结构”，导入完成后，选择菜单“项目/属性/Java构建路径/源代码”，点击“添加文件夹”，把子目录逐级点开，直到源代码所在这级目录为止，勾选上该目录。弹出的提示对话框点击确定即可。注意上级目录不要勾选，否则会报错。这样这种方法导入的源码也可以编译运行了。
◎注意若源代码中含有子目录，在main程序中会有import ...的语句，此时要注意import后面的目录级别，在选择Java构建路径时要勾选上import指明的上级目录名。例如，连连看代码中有子目录topbar，在main程序中有import kyodai.topbar语句，那么就要勾选到“我的文档/cai/Java/连连看/”这级目录，而非源码所在的“我的文档/cai/Java/连连看/kyodai”目录。
◎在连连看源码中，作者已经把所有源码都打包成了一个Jar，此时只需要添加该Jar包而不需要导入其他源码就可以运行了（但不能调试，因为Jar包中不含源码）。方法是创建完新项目后，选择菜单“项目/属性/Java构建路径”，点击“库”页，点击“添加外部JAR”按钮，选择源码自带的Jar包即可运行。
下面介绍“从现有资源创建项目”的方法。
◎在“创建Java项目”对话框中，点击“下一步”按钮，弹出“Java设置”对话框。
◎在“Java设置”对话框中选择“库”页，选择“添加JAR”，若找不到随源码提供的Jar包，就选择“添加外部JAR”。一般如果Jar存放的目录正确，在“添加JAR”中是可以找到该条目的。双击出现的Jar包即可添加进去。若不需要额外的库支持，则点击“完成”。
这样，用上面两种方法创建的项目就可以编译运行了。下面就介绍运行的方法。
◎选择菜单“Run/运行”，弹出“创建、管理和运行配置”对话框。
◎根据源码的种类在左边的列表中进行选择。我们用的两个例子都是Java应用程序，所以双击“Java应用程序”，在对话框右边可以输入运行的配置。
◎如果新建了项目还没有运行过，那么右边的“项目”栏缺省值即为刚创建的项目。在“名称”栏中输入运行配置的名称，建议与项目名称一致（也可以不一致），不能与其他的运行配置重名。
◎点击“Main类”栏右方的“搜索”按钮，一般只有一个main类，在弹出的对话框中双击下面那个栏目的main类即可。如果需要以其他的main方法做为程序入口，可以勾选上“Main类”栏下方的两个复选框，选择其他的入口。
◎如果需要增加特殊的环境变量，例如有的源码可能需要添加classpath环境变量，则可以在“环境”页中添加。
◎运行配置中的内容也会同样反映在调试配置中，运行和调试使用相同的配置。
创建了一堆新项目后，包资源管理器中会有一堆乱七八糟项目，有些是你需要的，有些是早已废弃不用的，你可以删除那些不用的项目，方法是右键点击该项目，选择“删除”。这里要提醒读者一下的是，删除对话框有两个选项，问你是否删除该项目目录下的内容，缺省是“不删除内容”，如果选择删除，那么那个目录就整个被删除掉了，如果你这个目录下的东西还有用，那你只好哭了。
删除掉没用的项目后，运行/调试对话框中多余的配置也可以删除，方法是右键点击不用的配置名，选择删除。
好了，这是我初学Eclipse的一些心得，希望能对广大想要使用Eclipse又担心它烦琐的初学者有些帮助。
J. hbase 源码 什么语言开发的
是用java开发的，hbase包含两个核心服务，一个是HMaster，一个是HRegionServer，在hbase部署的服务器上调用jps命令能查看到这两个进程。