OpenStack(Pike)连接 Ceph RBD
0. 环境信息
请注意,本文档假设 Ceph 和 OpenStack 环境已经可用,在此基础上,配置 OpenStack 使用 Ceph RBD 作为镜像和卷的后台存储。
Ceph + OpenStack
软件版本
- OpenStack 版本: Pike release
- Ceph 版本:12.2.7 luminous
- 虚拟机系统:Ubuntu 16.04
虚拟机信息:
- 一共用到六台虚拟机,三台用作 OpenStack 的控制节点,三台用作 OpenStack 的计算节点。
- 六台虚拟机信息:
- hostname:controller-1,IP:10.0.0.1
- hostname:controller-2,IP:10.0.0.2
- hostname:controller-3,IP:10.0.0.3
- hostname:compute-1,IP:10.0.0.4
- hostname:compute-2,IP:10.0.0.5
- hostname:compute-3,IP:10.0.0.6
1. 更新内核
要更新内核的起因是 Ubuntu 16.04 使用的内核版本是 4.4,而 ceph RBD image 默认打开的功能包括:layering, exclusive-lock, object-map, fast-diff, deep-flatten,除了 layering,其余 linux kernel 4.4 均不支持,但也不是必需通过更新内核来处理该问题,也可以修改 RBD 参数 rbd_default_features,关闭不支持的特性来处理:sudo ceph daemon mon.<monitor-hostname> config set rbd_default_features 1 (该命令需要在 Ceph 的控制节点上执行)
接下来讲一下更新 Linux kernel 的方法,Linux kernel 一律可用版本的下载地址为:
http://kernel.ubuntu.com/~kernel-ppa/mainline/
本文选用了 4.15 最新的分支:v4.15.18,需要下载两个文件:
- linux-headers-4.15.18-041518_4.15.18-041518.201804190330_all.deb
- linux-image-4.15.18-041518-generic_4.15.18-041518.201804190330_amd64.deb
$ wget http://kernel.ubuntu.com/~kernel-ppa/mainline/v4.15.18/linux-headers-4.15.18-041518_4.15.18-041518.201804190330_all.deb$ wget http://kernel.ubuntu.com/~kernel-ppa/mainline/v4.15.18/linux-image-4.15.18-041518-generic_4.15.18-041518.201804190330_amd64.deb$ sudo dpkg -i linux-headers-4.15.18-041518_4.15.18-041518.201804190330_all.deb$ sudo dpkg -i linux-image-4.15.18-041518-generic_4.15.18-041518.201804190330_amd64.deb安装完成后需要重启服务器才能生效
$ sudo reboot重新启动后查询 kernel 版本,新安装的 kernel 已经生效
$ sudo uname -r 4.15.18-041518-generic2. Ceph 的准备工作
首先要为 glance 和 cinder 先创立好 pool,后面的数字是 pool 中包含的 pg 数量,pg 数量可以根据需求修改,大的准则是里面存储的数据越多,pg 数量也要越大。
$ ceph osd pool create volumes 128$ ceph osd pool create images 128$ ceph osd pool create backups 128$ ceph osd pool create vms 128而后初始化 pool,将其应用类型设置为 RBD:
$ rbd pool init volumes$ rbd pool init images$ rbd pool init backups$ rbd pool init vms接下来为 glance 和 cinder 生成连接 ceph 所用的 密钥:
$ ceph auth get-or-create client.glance mon 'profile rbd' osd 'profile rbd pool=images'$ ceph auth get-or-create client.cinder mon 'profile rbd' osd 'profile rbd pool=volumes, profile rbd pool=vms, profile rbd-read-only pool=images'$ ceph auth get-or-create client.cinder-backup mon 'profile rbd' osd 'profile rbd pool=backups'最后一律六台 OpenStack 服务器都需要 ceph 的配置文件,需要注意,下面这条命令需要在 OpenStack 服务器上需要能够无需密码就可以 sudo 权限执行命令,假如不满足这个条件的话,手动 ssh 登录,再填内容吧。
$ ssh {your-openstack-server} sudo tee /etc/ceph/ceph.conf </etc/ceph/ceph.conf3. Glance
首先在安装 glance-api 的 OpenStack 服务器上安装 RBD python 用户端:
$ sudo apt-get install python-rbdGlance 要连接 Ceph 就需要 Ceph 的密钥,所以 keyring 文件也必不可少,并且需要修改文件的 owner 改为 glance。
$ ceph auth get-or-create client.glance | ssh {your-glance-api-server} sudo tee /etc/ceph/ceph.client.glance.keyring$ ssh {your-glance-api-server} sudo chown glance:glance /etc/ceph/ceph.client.glance.keyringCeph 相关的配置已经准备就绪了,接下来需要修改 glance 的配置文件。
$ sudo vim /etc/glance/glance-api.conf[DEFAULT]show_image_direct_url = Truehw_scsi_model=virtio-scsihw_disk_bus=scsihw_qemu_guest_agent=yesos_require_quiesce=yes......[glance_store]stores = rbddefault_store = rbdrbd_store_pool = imagesrbd_store_user = glancerbd_store_ceph_conf = /etc/ceph/ceph.confrbd_store_chunk_size = 8[paste_deploy]flavor = keystone修改完成后,重启 glance-api 服务就完成了镜像相关的配置。
$ sudo service openstack-glance-api restart4. 计算节点
一律三台 compute 节点,都需要安装 ceph-common,另外要注意,ceph 要指定版本,下面命令里的头两句就是通过环境变量指定安装 luminous 版本。
$ CEPH_DEPLOY_REPO_URL=http://mirrors.163.com/ceph/debian-luminous$ CEPH_DEPLOY_GPG_URL=http://mirrors.163.com/ceph/keys/release.asc$ sudo apt update$ sudo apt-get install ceph-common接下来由于 libvirt 需要连接 RBD 来挂载远程块存储,所以 libvirt 需要 RBD 的密钥,具体做法如下,
# 在 Ceph 节点上执行,并将输出结果写入到计算节点的任意目录下的 client.cinder.key 文件中,作为暂存。$ ceph auth get-key client.cinder | ssh {your-compute-node} tee client.cinder.key# 产生 UUID$ uuidgen457eb676-33da-42ec-9a8c-9293d545c337# 生成 libvert 注入文件$ cat > secret.xml <<EOF<secret ephemeral='no' private='no'> <uuid>457eb676-33da-42ec-9a8c-9293d545c337</uuid> <usage type='ceph'> <name>client.cinder secret</name> </usage></secret>EOF# 注入 secret.xml 文件$ sudo virsh secret-define --file secret.xmlSecret 457eb676-33da-42ec-9a8c-9293d545c337 created# 关联注入的 secret 和 ceph 密钥,并删除暂存的 client.cinder.key 文件。$ sudo virsh secret-set-value --secret 457eb676-33da-42ec-9a8c-9293d545c337 --base64 $(cat client.cinder.key) && rm client.cinder.key secret.xml修改 /etc/ceph/ceph.conf 文件:
$ vim /etc/ceph/ceph.conf...[client] rbd cache = true rbd cache writethrough until flush = true admin socket = /var/run/ceph/guests/$cluster-$type.$id.$pid.$cctid.asok log file = /var/log/qemu/qemu-guest-$pid.log rbd concurrent management ops = 20创立虚拟机挂载磁盘的日志输出目录,并修改权限。
$ sudo mkdir -p /var/run/ceph/guests/ /var/log/qemu/$ sudo chown libvirt-qemu:kvm /var/run/ceph/guests /var/log/qemu/重启 nova compute 服务。
$ sudo systemctl restart openstack-nova-compute5. Cinder
最后完成块存储的配置,首先也要和计算节点一样,在所有运行 cinder 的节点上安装 ceph-common,在本文中就是一律三台 controller 节点。
$ CEPH_DEPLOY_REPO_URL=http://mirrors.163.com/ceph/debian-luminous$ CEPH_DEPLOY_GPG_URL=http://mirrors.163.com/ceph/keys/release.asc$ sudo apt update$ sudo apt-get install ceph-common修改 cinder 配置文件:
rbd_user 要使用之前在 Ceph 上创立的账户,rbd_secret_uuid 要使用之前在 libvirt 中增加的 secret 的 UUID。
$ vim /etc/cinder/cinder.conf [DEFAULT]...enabled_backends = cephglance_api_version = 2...[ceph]volume_driver = cinder.volume.drivers.rbd.RBDDrivervolume_backend_name = cephrbd_pool = volumesrbd_ceph_conf = /etc/ceph/ceph.confrbd_flatten_volume_from_snapshot = falserbd_max_clone_depth = 5rbd_store_chunk_size = 4rados_connect_timeout = -1rbd_user = cinderrbd_secret_uuid = 457eb676-33da-42ec-9a8c-9293d545c337一律搞好后,重启 cinder 相关服务。
$ sudo service openstack-cinder-volume restart$ sudo service openstack-cinder-backup restart6. 参考文档
- BLOCK DEVICES AND OPENSTACK
- Ubuntu 16.04 Linux系统内核更新方法
- OpenStack: Compute service
1. 本站所有资源来源于用户上传和网络,如有侵权请邮件联系站长!
2. 分享目的仅供大家学习和交流,您必须在下载后24小时内删除!
3. 不得使用于非法商业用途,不得违反国家法律。否则后果自负!
4. 本站提供的源码、模板、插件等等其他资源,都不包含技术服务请大家谅解!
5. 如有链接无法下载、失效或广告,请联系管理员处理!
6. 本站资源售价只是摆设,本站源码仅提供给会员学习使用!
7. 如遇到加密压缩包,请使用360解压,如遇到无法解压的请联系管理员
开心源码网 » OpenStack(Pike)连接 Ceph RBD