分布式存储ceph之crush规则配置

一 命令生成osd树形结构

# 创建数据中心：datacenter0
ceph osd crush add-bucket datacenter0 datacenter

# 创建机房：room0 
ceph osd crush add-bucket room0 room

# 创建机架：rack0、rack1、rack2
ceph osd crush add-bucket rack0 rack
ceph osd crush add-bucket rack1 rack
ceph osd crush add-bucket rack2 rack

# 把机房room0移动到数据中心datacenter0下
ceph osd crush move room0 datacenter=datacenter0

# 把机架rack0、rack1、rack2移动到机房room0下
ceph osd crush move rack0 room=room0
ceph osd crush move rack1 room=room0
ceph osd crush move rack2 room=room0

# 把主机osd01移动到：datacenter0/room0/rack0下
ceph osd crush move osd01 datacenter=datacenter0 room=room0 rack=rack0

# 把主机osd02移动到：datacenter0/room0/rack1下
ceph osd crush move osd02 datacenter=datacenter0 room=room0 rack=rack1

# 把主机osd03移动到：datacenter0/room0/rack2下
ceph osd crush move osd03 datacenter=datacenter0 room=room0 rack=rack2

查看

[root@admin ~]# ceph osd tree
ID  CLASS WEIGHT  TYPE NAME              STATUS REWEIGHT PRI-AFF 
 -9       0.17537 datacenter datacenter0                         
-10       0.17537     room room0                                 
-11       0.05846         rack rack0                             
 -3       0.05846             host osd01                         
  0   hdd 0.01949                 osd.0      up  1.00000 1.00000 
  1   hdd 0.01949                 osd.1      up  1.00000 1.00000 
  2   hdd 0.01949                 osd.2      up  1.00000 1.00000 
-12       0.05846         rack rack1                             
 -5       0.05846             host osd02                         
  3   hdd 0.01949                 osd.3      up  1.00000 1.00000 
  4   hdd 0.01949                 osd.4      up  1.00000 1.00000 
  5   hdd 0.01949                 osd.5      up  1.00000 1.00000 
-13       0.05846         rack rack2                             
 -7       0.05846             host osd03                         
  6   hdd 0.01949                 osd.6      up  1.00000 1.00000 
  7   hdd 0.01949                 osd.7      up  1.00000 1.00000 
  8   hdd 0.01949                 osd.8      up  1.00000 1.00000 
 -1             0 root default  

二 crushmap信息介绍

我们可以通过命令导出集群当前的crushmap信息

# 把二进制格式的crush map导出到test.bin文件中
ceph osd getcrushmap -o test.bin

# 用 crushtool 工具把 test.bin 里的二进制数据转换成文本形式保存到 test.txt 文档里。
crushtool -d test.bin -o test.txt

crushmap配置中最核心的当属rule了，crush rule决定了三点重要事项：

• 1、从OSDMap中的哪个节点开始查找
• 2、使用那个节点作为故障隔离域
• 3、定位副本的搜索模式（广度优先 or 深度优先）。

# rules
rule egon_ruleset                       #规则集的命名，创建pool时可以指定rule集
{
id 1                                            #rules集的编号，顺序编即可
type replicated                                #定义pool类型为replicated(还有esurecode模式)
min_size 1                                     #pool中最小指定的副本数量不能小1\

max_size 10                                    #pool中最大指定的副本数量不能大于10    

step take default                              #定义pg查找副本的入口点

step chooseleaf  firstn  0  type  host         #选叶子节点、深度优先、隔离host

step emit                                      #结束

}

总结

pg 选择osd的过程，首先要知道在rules中 指明从osdmap中哪个节点开始查找，入口点默认为default也就是root节点，
然后隔离域为host节点(也就是同一个host下面不能选择两个子节点)。由default到3个host的选择过程，
这里由default根据节点的bucket类型选择下一个子节点，由子节点再根据本身的类型继续选择，直到选择到host，然后在host下选择一个osd。

三 修改 crushmap 信息