Hbase扩容原理

作者 : 开心源码 本文共1311个字,预计阅读时间需要4分钟 发布时间: 2022-05-12 共255人阅读

Hbase是Hadoop的一个存储组件可以提供低推迟的读写操作,它一般构建在HDFS之上,可以解决海量的数据。Hbase有个很好的特性是可以自动分片,也就是意味着当表的数据量变得很大的时候,系统可以自动的分配这些数据。

Region与Region Server

Hbase的基本存储单位是Region,Region是表数据的子集,多个Region的数据集合可以组成一张完成的表数据。Region本质上存储的少量排好序的,连续的行数据。最初的时候一张表只有一个Region,当Region变得非常大的时候,Region就会从中间分裂成两个基本等大的Region。

image-20190309213627971

在Hbase中,slave也被称作RegionServer,每个RegionServer负责管理少量Region,同时一个Region只能属于一个RegionServer。

Region分配

一个RegionServer可以服务一个或者多个Region,每个Region在Region Server启动的时候被分配。Master可以决定将少量Region从一个RegionServer中移动到令一个RegionServer里面,以便更好的负载均衡。当某个RegionServer故障的时候,Master也可以将它的Region分配给其余的RegionServer。

Region与RegionServer之间的映射关系存储在Zookeeper中的META表中,通过读取META表,你即可以知道那个Region可以负责解决你的rowkey操作,其实这也代表着在HBase读写操作的时候是不用经过Master节点的,你可以之间联络RegionServer。

如图,在用户端进行scan的时候,它可以之间联络多个RegionServer解决当前的操作。

image-20190309214611246

Meta表是用来跟踪Region的,它包含服务器的名称,Region的名称,表名,还有Region的startkey。通过startkey的范围,用户端即可以定位到当前的key要去哪一个Region了。

用户端在请求过META表之后,一般会将表缓存起来,防止每次操作都去获取。在Region进行分裂的时候,用户端去RegionServer操作Region的时候回返回异常,而后用户端会重新获取最新的META表信息。

用户端API

Hbase的Java用户端API有两个主要的接口:

  • HBaseAdmin: 创立,修改,删除,升级表,可以在集群中分配和不分配Region,合并Region,刷新操作等,主要与Master节点打交道。
  • HTable:用户端用来与具体某个表的数据打交道,获取,升级,删除,添加表的数据,主要与Region Server用来打交道。

最后

通过上面详情,可以知道HBase尽管是Master/Slave架构的,但是并不是每次操作都经过Master的,读写数据的时候HBase只要要直接联络RegionServer就可。这也是HBase可以“无限扩容”的起因。在吞吐量不够的时候,通过添加RegionServer节点,可以添加吞吐量。

说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » Hbase扩容原理

发表回复