CEPH 集群入门笔记-CentOS7快速部署Nautilus

主机规划

根据上篇 CEPH 集群入门笔记-基础 制定规划

主机集群内网IP角色
管理主机192.168.52.1 
CEPH01192.168.52.11osd、mon、mgr
CEPH02192.168.52.12osd、mon
CEPH03192.168.52.13osd、mon

3台CentOS8,2核心,1G内存,20G系统盘,20G OSD,精简置备,安装CEPH Nautilus。

跑在i7 8550u 16G 1T pm961上。

虚拟机双网卡,一个桥接到外网,一个连接到192.168.52.0/24的集群内网。

关于版本选择可以参考CEPH踩坑笔记

安装过程

准备工作

略过系统安装,安装时关闭了kdump节约内存,最小安装。

配置网卡到集群内网略过。

epel和remi源

yum install -y epel-release

根据自己网络情况替换源

安装一大堆常用工具,ntp和ntpdate是用于同步时间,ceph对节点时间差要求高

yum update -y && yum install -y bash-completion open-vm-tools vim htop nload lrzsz ntp ntpdate

修改/etc/hosts,方便集群之间访问

cat <<EOF>> /etc/hosts

192.168.52.11 CEPH01
192.168.52.12 CEPH02
192.168.52.13 CEPH03

EOF

新建cephdeploy

useradd -d /home/cephdeploy -m cephdeploy
passwd cephdeploy

授予sudo权限

echo "cephdeploy ALL = (root) NOPASSWD:ALL" | sudo tee /etc/sudoers.d/cephdeploy
chmod 0440 /etc/sudoers.d/cephdeploy

对每个节点完成上述操作后回到主节点

登陆cephuser生成公钥并复制到其他节点

ssh-keygen
ssh-copy-id [email protected]
ssh-copy-id [email protected]
ssh-copy-id [email protected]

防火墙(待补充)

mon需要tcp 3300(v2)和6780(v1)

sudo firewall-cmd --zone=public --add-service=ceph-mon --permanent

sudo firewall-cmd --zone=public --add-service=ceph --permanent

sudo firewall-cmd --reload

#mon需要6789端口
#osd需要6800:7300
#RGW需要7480

开始部署

回到root操作

添加ceph源,已替换成tuna镜像

cat << EOF > /etc/yum.repos.d/ceph.repo
[ceph]
name=Ceph packages
baseurl=https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-nautilus/el7/noarch/
enabled=1
gpgcheck=1
type=rpm-md
gpgkey=https://mirrors.tuna.tsinghua.edu.cn/ceph/keys/release.asc

EOF

yum install -y ceph-deploy python-setuptools

登陆cephdeploy用户

建立cephdeploy文件夹用于保存自动生成的配置文件

mkdir ~/cephdeploy && cd ~/cephdeploy

创建集群

ceph-deploy new CEPH01 CEPH02 CEPH03    #这一步会创建配置文件,这几个节点将会是mon

ceph-deploy install --repo-url https://mirrors.tuna.tsinghua.edu.cn/ceph/rpm-nautilus/el7/ --gpg-url https://mirrors.tuna.tsinghua.edu.cn/ceph/keys/release.asc CEPH01 CEPH02 CEPH03    #在每个节点上部署ceph软件包,可以自己替换源

ceph-deploy mon create-initial

    #初始化mon并收集集群密钥

添加MGR

ceph-deploy mgr create CEPH01

添加OSD

ceph-deploy osd create --data /dev/sdb CEPH01

ceph-deploy osd create --data /dev/sdb CEPH02

ceph-deploy osd create --data /dev/sdb CEPH03

结束部署

复制配置文件和管理密钥到节点,便于以后ceph命令的使用

ceph-deploy admin CEPH01

回到root执行ceph -s,可以看到集群状态

 

0 条评论
    发表一条评论