分布式存储ceph部署篇

1、安装完操作系统

镜像：
centos7.6
 
镜像下载地址：
链接: https://pan.baidu.com/s/1IuJ5mL5H__4M8U-TlGaxkg 提取码: 56c7

				

					
				
				

					
				
				

					
				
				

					
				
			

2、配置完硬件

如果用的是真机部署线上环境

• 硬件配置请参考egon老师的附件：《附件1：DELL服务器配置》
• ceph安装配置介绍与优化见：《附件2：ceph安装配置介绍与主机优化》

如果用的是虚拟机实验来进行测试，本机至少16G内存

admin节点：1.5G内存 2块网卡
mon01：   1.5G内存 2块网卡
mon02：   1.5G内存 2块网卡
mon03：   1.5G内存 2块网卡
 
osd01 2G内存 3块网卡  3块机械盘 3块固态盘
osd02 2G内存 3块网卡  3块机械盘 3块固态盘
osd03 2G内存 3块网卡  3块机械盘 3块固态盘

				

					
				
				

					
				
				

					
				
				

					
				
			

虚拟机实验环境请注意：

• 1、除了osd节点外，其他节点的硬盘盘不要挂太多，否则cpu占用过多导致虚拟机启动不了，因为都是虚拟出来的
• 2、虚拟磁盘空间为20G即可
• 3、把虚拟机无关的硬件都删掉，比如usb、声卡、打印机等

3、网络规划

主机	管理网络	public网络	cluster网络
admin	192.168.70.3	1.1.1.3/24	无
mon01	192.168.70.4	1.1.1.4/24	无
mon02	192.168.70.5	1.1.1.5/24	无
mon03	192.168.70.6	1.1.1.6/24	无
osd01	192.168.70.7	1.1.1.7/24	2.2.2.7/24
osd02	192.168.70.8	1.1.1.8/24	2.2.2.8/24
osd03	192.168.70.9	1.1.1.9/24	2.2.2.9/24

注意：

• 若是生产环境，上述ip必须设置成固定ip
• 注意关闭NetworkManager

systemctl stop NetworkManager
systemctl disable NetworkManager

				

					
				
				

					
				
				

					
				
				

					
				
			

4、每台机器均关闭selinux与防火墙

sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/sysconfig/selinux
sed -i 's/SELINUX=enforcing/SELINUX=disabled/' /etc/selinux/config
setenforce 0
systemctl stop firewalld.service
systemctl disable firewalld.service

				

					
				
				

					
				
				

					
				
				

					
				
			

5、每台主机规范主机名

# 注意主机名会影响后续的部署，一定要配置对，依次在每台机器上运行即可
hostnamectl set-hostname admin
hostnamectl set-hostname mon01
hostnamectl set-hostname mon02
hostnamectl set-hostname mon03
hostnamectl set-hostname osd01
hostnamectl set-hostname osd02
hostnamectl set-hostname osd03

				

					
				
				

					
				
				

					
				
				

					
				
			

6、每台主机均开启yum缓存

sed -ri '2c cachedir=/soft' /etc/yum.conf
sed -ri '3c keepcache=1' /etc/yum.conf 
mkdir /soft

				

					
				
				

					
				
				

					
				
				

					
				
			

注意注意注意：yum clean all会将缓存文件夹内缓存的rpm包都清理掉，需要特别注意的是

• 1、如果你打算采集rpm包，然后制作成自己的yum源，安装过程中不要手贱执行yum clean all
• 2、ceph-deploy在安装时会执行yum clean all命令，然后再按照，所以请在ceph-deploy install前将一些缓存的包备份好

Ps：关闭yum自动更新

默认不会安装yum-con，我们也无需关闭yum自动更新
但如果你自己安装了：yum install yum-cron -y，则会默认开启yum更新，请记得关闭
# cat s/etc/yum/yum-cron.conf
update_messages = no
download_updates = no

				

					
				
				

					
				
				

					
				
				

					
				
			

7、每台机器升级操作系统并安装依赖包

如果采用的不是官网源，而是自定义的yum源，那么

下述命令中就不需要执行yum install epel-release -y安装epel源了，切记

yum install epel-release -y && yum update -y && yum upgrade -y && reboot

				

					
				
				

					
				
				

					
				
				

					
				
			

升级后需要重启计算机才能加载新内核，注意，一定要重启计算机

# 升级前
系统：CentOS Linux release 7.6.1810 (Core) 
内核：3.10.0-957.el7.x86_64  
 
# reboot 重启后
系统：CentOS Linux release 7.9.2009 (Core)
内核：3.10.0-1160.24.1.el7.x86_64  # 升级后

				

					
				
				

					
				
				

					
				
				

					
				
			

8、每台机器均安装常用软件

yum -y install python-setuptools python-pip gcc gcc-c++ autoconf libjpeg libjpeg-devel libpng libpng-devel freetype freetype-devel libxml2 libxml2-devel \
zlib zlib-devel glibc glibc-devel glib2 glib2-devel bzip2 bzip2-devel zip unzip ncurses ncurses-devel curl curl-devel e2fsprogs \
e2fsprogs-devel krb5-devel libidn libidn-devel openssl openssh openssl-devel nss_ldap openldap openldap-devel openldap-clients \
openldap-servers libxslt-devel libevent-devel ntp libtool-ltdl bison libtool vim-enhanced python wget lsof iptraf strace lrzsz \
kernel-devel kernel-headers pam-devel tcl tk cmake ncurses-devel bison setuptool popt-devel net-snmp screen perl-devel \
pcre-devel net-snmp screen tcpdump rsync sysstat man iptables sudo libconfig git  bind-utils \
tmux elinks numactl iftop bwm-ng net-tools expect

				

					
				
				

					
				
				

					
				
				

					
				
			

9、每台机器均配置ceph源

如果用的是自己的yum源，则无需下述操作