CEPH 集群入门笔记-CentOS7快速部署Nautilus

主机规划

主机	集群内网IP	角色
管理主机	192.168.52.1
CEPH01	192.168.52.11	osd、mon、mgr
CEPH02	192.168.52.12	osd、mon
CEPH03	192.168.52.13	osd、mon

3台CentOS8，2核心，1G内存，20G系统盘，20G OSD，精简置备，安装CEPH Nautilus。

跑在i7 8550u 16G 1T pm961上。

虚拟机双网卡，一个桥接到外网，一个连接到192.168.52.0/24的集群内网。

关于版本选择可以参考CEPH踩坑笔记

安装过程

准备工作

略过系统安装，安装时关闭了kdump节约内存，最小安装。

配置网卡到集群内网略过。

epel和remi源

yum install -y epel-release

根据自己网络情况替换源

安装一大堆常用工具，ntp和ntpdate是用于同步时间，ceph对节点时间差要求高

yum update -y && yum install -y bash-completion open-vm-tools vim htop nload lrzsz ntp ntpdate

修改/etc/hosts，方便集群之间访问

cat <<EOF>> /etc/hosts
192.168.52.11 CEPH01

192.168.52.12 CEPH02

192.168.52.13 CEPH03
EOF

新建cephdeploy

useradd -d /home/cephdeploy -m cephdeploy

passwd cephdeploy

授予sudo权限

echo "cephdeploy ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cephdeploy

chmod 0440 /etc/sudoers.d/cephdeploy

对每个节点完成上述操作后回到主节点

登陆cephuser生成公钥并复制到其他节点

ssh-keygen

ssh-copy-id [email protected]

ssh-copy-id [email protected]

ssh-copy-id [email protected]

防火墙（待补充）

mon需要tcp 3300（v2）和6780（v1）

sudo firewall-cmd --zone=public --add-service=ceph-mon --permanent
sudo firewall-cmd --zone=public --add-service=ceph --permanent
sudo firewall-cmd --reload

#mon需要6789端口
#osd需要6800:7300
#RGW需要7480

开始部署

回到root操作

添加ceph源，已替换成tuna镜像

cat << EOF > /etc/yum.repos.d/ceph.repo

[ceph]

name=Ceph packages

baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-nautilus/el7/noarch/

enabled=1

gpgcheck=1

type=rpm-md

gpgkey=https://mirrors.tuna.tsinghua.edu.cn/ceph/keys/release.asc
EOF

yum install -y ceph-deploy python-setuptools

登陆cephdeploy用户

建立cephdeploy文件夹用于保存自动生成的配置文件

mkdir ~/cephdeploy && cd ~/cephdeploy

创建集群

ceph-deploy new CEPH01 CEPH02 CEPH03 #这一步会创建配置文件，这几个节点将会是mon ceph-deploy install --repo-url https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-nautilus/el7/ --gpg-url https://mirrors.tuna.tsinghua.edu.cn/ceph/keys/release.asc CEPH01 CEPH02 CEPH03 #在每个节点上部署ceph软件包，可以自己替换源

ceph-deploy mon create-initial

#初始化mon并收集集群密钥

添加MGR

ceph-deploy mgr create CEPH01

添加OSD

ceph-deploy osd create --data /dev/sdb CEPH01 ceph-deploy osd create --data /dev/sdb CEPH02

ceph-deploy osd create --data /dev/sdb CEPH03

结束部署

复制配置文件和管理密钥到节点，便于以后ceph命令的使用

ceph-deploy admin CEPH01

回到root执行ceph -s，可以看到集群状态

神楽坂ニャン