如何在单节点 Ceph 中配置多数据副本

作者 : 开心源码 本文共3193个字,预计阅读时间需要8分钟 发布时间: 2022-05-11 共108人阅读

crush.png

在服务器资源不足,或者者测试环境下,Ceph 通常只有一个节点,就算有多个服务器组成集群,往往存储服务器也往往只有一台,Ceph 的默认配置下,只可以设置单数据备份,也就是说数据只存了一份,假如磁盘坏了,数据就丢了。尽管测试环境数据没那么重要,总保不齐就会有关键数据放在上面,所以还是要想办法在资源有限的条件下实现数据的高可使用,另外这也是一个很好的进一步了解 Ceph 概念的好机会,接下来就让我们来看看是如何实现的吧。

1. CRUSH map 规则详情

为了把这件事说清楚,我们需要理解 CRUSH map 少量具体规则,所以先来看一下默认的 CRUSH map。

$ cat crush-map-decompiled...# bucketshost rbd-osd1 {    id -3       # do not change unnecessarily    id -4 class hdd     # do not change unnecessarily    # weight 130.992    alg straw2    hash 0  # rjenkins1    item osd.0 weight 5.458    item osd.1 weight 5.458    item osd.2 weight 5.458    item osd.3 weight 5.458    item osd.4 weight 5.458    item osd.5 weight 5.458    item osd.6 weight 5.458    item osd.7 weight 5.458    item osd.8 weight 5.458    item osd.9 weight 5.458    item osd.10 weight 5.458    item osd.11 weight 5.458    item osd.12 weight 5.458    item osd.13 weight 5.458    item osd.14 weight 5.458    item osd.15 weight 5.458    item osd.16 weight 5.458    item osd.17 weight 5.458    item osd.18 weight 5.458    item osd.19 weight 5.458    item osd.20 weight 5.458    item osd.21 weight 5.458    item osd.22 weight 5.458    item osd.23 weight 5.458}root default {    id -1       # do not change unnecessarily    id -2 class hdd     # do not change unnecessarily    # weight 130.992    alg straw2    hash 0  # rjenkins1    item rbd-osd1 weight 130.992}# rulesrule replicated_rule {    id 0    type replicated    min_size 1    max_size 10    step take default    step chooseleaf firstn 0 type host    step emit}

我们能看到,Ceph 集群中只有一台存储服务器:rbd-osd1,上面有 24 块硬盘。
要实现单存储上多备份,关键就在这行配置上:step chooseleaf firstn 0 type host
这句话的意思是,从选定的 bucket(也就是 host rbd-osd1)中,获取默认个(也就是 osd_pool_default_size 个,这是在 /etc/ceph/ceph.conf 中配置的)叶子节点(也就是 rbd-osd1 中包含的那 24 个 item),叶子节点的类型为 host。
默认配置出问题的地方就是在叶子节点的类型上,osd_pool_default_size 默认值是三,也就是说,需要找三个 host 类型的 bucket,host 对应的就是存储服务器,我们现在只有一个,当然不满足需求了。从 ceph 的状态上也可以看出来,所有的 OSD 都由于 OSD 数量不足,处于 active+undersized 状态。

$ ceph -s...  data:    pools:   1 pools, 64 pgs    objects: 0 objects, 0 bytes    usage:   25001 MB used, 130 TB / 130 TB avail    pgs:     64 active+undersized

2. 修改 CRUSH map

理解到问题所在,接下来就动手修改吧,CRUSH map 支持两种修改方式,一种是命令行,优点是单条命令很简单,缺点是不够直观;第二种是手动修改配置文件,优点是所见即所得,缺点是麻烦一点,需要先导出,解码,修改,最后再编码,导入。这里由于修改的内容颇为具体,所以采使用第二种方法。

先将 CRUSH map 导出到文件 crush-map 中。

$ ceph osd getcrushmap -o crush-map

而后解码,并输出到文件 crush-map-decompiled 中。

$ crushtool -d crush-map -o crush-map-decompiled

修改 crush-map-decompiled,将 type 改为 osd,就可

$ cat crush-map-decompiled...# rulesrule replicated_rule {    id 0    type replicated    min_size 1    max_size 10    step take default    step chooseleaf firstn 0 type osd    step emit}

将改好的文件编码到文件 crush-map 中。

$ crushtool -c crush-map-decompiled -o crush-map

最后导入。

$ ceph osd setcrushmap -o crush-map

3. 修改 /etc/ceph/ceph.conf

不过事情没有那么简单,还需要配合 ceph.conf 的修改才行,我们要修改 osd_crush_chooseleaf_type
这个参数每个取值的意义在 Ceph 的官方文档中,有明确的说明,0 是给单节点的 ceph 集群用的,而 1 是默认值,所以我们需要修改。

#Choose a reasonable crush leaf type.#0 for a 1-node cluster.#1 for a multi node cluster in a single rack#2 for a multi node, multi chassis cluster with multiple hosts in a chassis#3 for a multi node cluster with hosts across racks, etc.osd crush chooseleaf type = {n}

集群是用 ceph-deploy 来部署的,所以需要修改 ceph-deploy 目录下的文件,而后推送到 ceph 集群中的服务器中:

$ cat ceph.conf...osd_crush_chooseleaf_type = 0...$ ceph-deploy --overwrite-conf config push rbd-master1 rbd-osd1

4. 动态修改 ceph 配置

至此问题还是没有完全处理,起因是配置文件的变动需要,进程的重启才可以生效,不重启有没有办法让改动生效呢?有的,需要用的 ceph daemon 命令。

sudo ceph daemon mon.rbd-master1 config set osd_pool_default_size 0

5. 参考文档

  • MANUALLY EDITING A CRUSH MAP
  • POOL, PG AND CRUSH CONFIG REFERENCE
  • Another method to dynamically change a Ceph configuration
  • Bug 1492248 – Need Better Error Message when OSD count is less than osd_pool_default_size
  • CONFIGURING CEPH
  • CRUSH MAPS
  • COMMON SETTINGS
  • [ceph-users] CRUSH rule for 3 replicas across 2 hosts

说明
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » 如何在单节点 Ceph 中配置多数据副本

发表回复