Hbase是Hadoop的一个存储组件可以提供低推迟的读写操作,它一般构建在HDFS之上,可以解决海量的数据。Hbase有个很好的特性是可以自动分片,也就是意味着当表的数据量变得很大的时候,系统可以自动的分配这些数据。
Region与Region Server
Hbase的基本存储单位是Region,Region是表数据的子集,多个Region的数据集合可以组成一张完成的表数据。Region本质上存储的少量排好序的,连续的行数据。最初的时候一张表只有一个Region,当Region变得非常大的时候,Region就会从中间分裂成两个基本等大的Region。
image-20190309213627971
在Hbase中,slave也被称作RegionServer,每个RegionServer负责管理少量Region,同时一个Region只能属于一个RegionServer。
Region分配
一个RegionServer可以服务一个或者多个Region,每个Region在Region Server启动的时候被分配。Master可以决定将少量Region从一个RegionServer中移动到令一个RegionServer里面,以便更好的负载均衡。当某个RegionServer故障的时候,Master也可以将它的Region分配给其余的RegionServer。
Region与RegionServer之间的映射关系存储在Zookeeper中的META表中,通过读取META表,你即可以知道那个Region可以负责解决你的rowkey操作,其实这也代表着在HBase读写操作的时候是不用经过Master节点的,你可以之间联络RegionServer。
如图,在用户端进行scan的时候,它可以之间联络多个RegionServer解决当前的操作。
image-20190309214611246
Meta表是用来跟踪Region的,它包含服务器的名称,Region的名称,表名,还有Region的startkey。通过startkey的范围,用户端即可以定位到当前的key要去哪一个Region了。
用户端在请求过META表之后,一般会将表缓存起来,防止每次操作都去获取。在Region进行分裂的时候,用户端去RegionServer操作Region的时候回返回异常,而后用户端会重新获取最新的META表信息。
用户端API
Hbase的Java用户端API有两个主要的接口:
- HBaseAdmin: 创立,修改,删除,升级表,可以在集群中分配和不分配Region,合并Region,刷新操作等,主要与Master节点打交道。
- HTable:用户端用来与具体某个表的数据打交道,获取,升级,删除,添加表的数据,主要与Region Server用来打交道。
最后
通过上面详情,可以知道HBase尽管是Master/Slave架构的,但是并不是每次操作都经过Master的,读写数据的时候HBase只要要直接联络RegionServer就可。这也是HBase可以“无限扩容”的起因。在吞吐量不够的时候,通过添加RegionServer节点,可以添加吞吐量。