好程序员大数据培训：Hbase的体系结构

　　Hbase的服务器体系结构遵从简单的主从服务器架构，HRegion Server群和Hbase Master服务器构成。Hbase Master服务器负责管理所有的HRegion Server，而Hbase 中所有的服务器都是通过ZooKeeper来进行协调，并处理Hbase 服务器运行期间可能遇到的错误。Hbase Master本身并不存储Hbase 中的任何数据，Hbase 逻辑上的表可能会被划分成多个Region，然后存储到HRegion Server群中。Hbase Master Server中存储的是从数据到HRegion Server的映射。因此，Hbase体系结构如图所示:

　　(Hbase 的体系结构)

　　(1).Client

　　Client包括Hbase shell 和java API.管理类操作，Client与HMaster进行RPC;对于数据读写类操作，Client与HRegionServer进行RPC。

　　(2).Zookeeper

　　Zookeeper避免了HMaster的单点问题，Zookeeper Quorum中除了存储了-ROOT-表的地址和HMaster的地址，HRegionServer也会把自己以Ephemeral方式注册到Zookeeper中，使得HMaster可以随时感知到各个HRegionServer的健康状态。

　　(3).Hmaster

　　集群的老大，负责管理HRegionServer,告诉HRegionServer去维护哪些region,主要作用有以下四点：

　　管理用户对Table的增、删、改、查操作;

　　管理HRegion Server的负载均衡，调整Region分布;

　　在Region Split后，负责新Region的分配;

　　在HRegion Server停机后，负责失效HRegion Server上的Regions迁移。

　　(4).Region

　　 当表的大小超过设置值的时候(默认值是10G)，Hbase 会自动地将表划分为不同的区域，每个区域包含所有行的一个子集region。一个Region会保存一个表里面某段连续的数据，从开始主键到结束主键，一张完整的表格是保存在多个Region上面的。

　　对用户来说，每个表是一堆数据的集合，靠主键来区分。从物理上来说，一张表被拆分成了多块，每一块就是一个Region。我们用表名+开始/结束主键，来区分每一个Region。

　　(5).HRegion Server

　　HRegion Server主要负责响应用户的读写请求，内部管理了一系列HRegion对象，每个HRegion对应了Table中的一个Region，Region中由多个Store组成。每个Store对应了Table中的一个列族的存储，Store存储是Hbase 存储的核心了，其中由两部分组成，一部分是MemStore，一部分是StoreFiles。MemStore是Sorted Memory Buffer，用户写入的数据首先会放入MemStore，当MemStore满了以后会Flush成一个StoreFile(底层实现是HFile)。

　　(6).ROOT表和META表

　　所有Region的元数据信息被存在meta表中，随着region不断分裂增多，meta表变大，也会分裂出属于meta表的region，meta表的region元数据信息保存在root表中，并且root表不再split,*终由zookeeper记录root表的位置。

　　(7).Hlog

　　每个HRegion Server中都有一个HLog对象，HLog是一个实现Write Ahead Log的类，在每次用户操作写入MemStore的同时，也会写一份数据到HLog文件中(HLog文件格式见后续)，HLog文件定期会滚动出新的，并删除旧的文件(已持久化到StoreFile中的数据)。当HRegion Server意外终止后，HMaster会通过Zookeeper感知到，HMaster首先会处理遗留的 HLog文件，将其中不同Region的Log数据进行拆分，分别放到相应region的目录下，然后再将失效的region重新分配，领取到这些region的HRegion Server在Load Region的过程中，会发现有历史HLog需要处理，因此会Replay HLog中的数据到MemStore中，然后flush到StoreFiles，完成数据恢复。