分布式存储ceph创建rgw接口

一 对象存储概述

​ 对象存储（Object Storage）是无层次结构的数据存储方法，对象存储中每一条数据都作为单独的对象存储，拥有唯一的地址来识别数据对象，通常用于云计算环境中

​ 不同于其他数据存储方法，基于对象的存储不使用目录树

​ 1、数据作为单独的对象进行存储

​ 2、数据并不放置在目录层次结构中，而是存在于平面地址空间内的同一级别

​ 3、应用通过唯一地址来识别每个单独的数据对象

​ 4、每个对象可包含有助于检索的元数据

​ 5、对象存储中的对象通常不需要再修改，如果需要修改只能下载下来修改再重新上传，无法直接修改

​ 6、专为使用API在应用级别（而非用户级别）进行访问而设计

二 对象存储基础概念呢

虽然在设计与实现上有所区别，但大多数对象存储系统对外呈现的核心资源类型大同小异

• Amazon S3：提供了

  1、用户（User）

  2、存储桶（Bucket）

  3、对象（Object）

  三者的关系是：

  I、User将Object存储到存储系统上的Bucket

  II、存储桶属于某个用户并可以容纳对象，一个存储桶用于存储多个对象

  III、 同一个用户可以拥有多个存储桶，不同用户允许使用相同名称的bucket，因此user名称即可做为bucket的名称空间

• OpenStack Swift：提供了user、container和object分别对应于用户、存储桶和对象，不过它还额外为user提供了父级组件account，用于表示一个项目或租户，因此一个account中可包含一到多个user，它们可共享使用同一组container，并为container提供名称空间

• RadosGW：提供了user、subuser、bucket和object，其中的user对应于S3的user，而subuser则对应于Swift的user，不过user和subuser都不支持为bucket提供名称空间，因此，不同用户的存储桶也不允许同名；不过，自Jewel版本起，RadosGW引入了tenant（租户）用于为user和bucket提供名称空间，但它是个可选组件

• Jewel版本之前，radosgw的所有user位于同一名称空间，它要求所有user的ID必须惟一，并且即便是不同user的bucket也不允许使用相同的bucket ID

​ 大多数对象存储的核心资源类型大同小异，如亚马逊S3、OpenStack Swift与RadosGW。这其中S3与Swift互不兼容，而RadosGW兼容S3与Swift。RadosGW为了兼容S3与Swift，Ceph在RadosGW集群的基础上提供了RGW（RadosGateWay）数据抽象层和管理层，它可以原生兼容S3和Swift的API。

​ S3和Swift它们可基于http或https完成数据交换，由RadosGW内建的Civeweb提供服务，它还可以支持主流的Web服务器程序以代理的形式接收用户请求，再转发至RadosGW进程，这些代理服务器包括nginx、haproxy等。

​ RGW的功能依赖于对象网关守护进程实现，负责向客户端提供REST API接口。出于冗余负载均衡的需求，一个Ceph集群上通常不止一个RadosGW守护进程。在云计算机环境中还会在多个Ceph集群中定义出多个Zone，这些Zone之间通过同步实现冗余功能,在本地环境中通常不需要Zone。

三 创建radosgw接口

如果需要使用到类似S3或者Swift接口时候才需要部署/创建radosgw接口，RadosGW通常作为对象存储（Object Storage）使用，类于阿里云OSS。

1、创建rgw守护进程，可以创建在集群任何节点

cd /etc/ceph
ceph-deploy rgw create mon02

				

					
				
				

					
				
				

					
				
				

					
				
			

注意：生产环境下此进程一般需要高可用，我们将在本章最后介绍

创建成功后默认情况下会自动创建一系列用于rgw的存储池，如

ceph osd pool ls
 
# 结果
...
rgw.root 
default.rgw.control        #控制器信息
default.rgw.meta           #记录元数据
default.rgw.log            #日志信息
default.rgw.buckets.index  #为rgw的bucket信息
default.rqw.buckets.data   #是实际存储的数据信息
 
# ps: 如果制定为crush rule，记得修改
ceph osd pool set .rgw.root crush_rule egon_rule
ceph osd pool set default.rgw.control crush_rule egon_rule
ceph osd pool set default.rgw.meta crush_rule egon_rule
ceph osd pool set default.rgw.log crush_rule egon_rule

				

					
				
				

					
				
				

					
				
				

					
				
			

2、默认情况下rgw监听7480号端口，在创建完成后日志有会显示。这时候访问该节点的rgw端口(也可以在 浏览器访问)

[root@admin ceph]# curl mon02:7480
<?xml version="1.0" encoding="UTF-8"?>
<ListAllMyBucketsResult xmlns="http://s3.amazonaws.com/doc/2006-03-01/">
    <Owner>
        <ID>anonymous</ID>
        <DisplayName></DisplayName>
    </Owner>
    <Buckets></Buckets>
</ListAllMyBucketsResult>
[root@admin ceph]# 
 
[root@admin ceph]# ceph -s
  cluster:
    id:     b465edcc-31f5-4235-86b1-e4d092a5145a
    health: HEALTH_OK
 
  services:
    mon: 3 daemons, quorum mon01,mon02,mon03
    mgr: mon01(active)
    mds: cephfs-1/1/1 up  {0=mon02=up:active}, 2 up:standby
    osd: 13 osds: 13 up, 13 in
    rgw: 1 daemon active  # 一个rgw处于活跃状态
 
  data:
    pools:   9 pools, 412 pgs
    objects: 290 objects, 5.30MiB
    usage:   13.9GiB used, 256GiB / 270GiB avail
    pgs:     412 active+clean
 
[root@admin ceph]# 

				

					
				
				

					
				
				

					
				
				

					
				
			

四 关于Civeweb

4.1 服务管理

# 我们在mon02节点部署的rgw，所以我们先登录到该节点
ssh root@mon02
 
# 然后执行
systemctl restart ceph-radosgw.target
netstat -an |grep 7480

				

					
				
				

					
				
				

					
				
				

					
				
			

4.2 更改监听端口

RadosGW守护进程内部就由Civeweb实现，通过对Civeweb的配置可以完成对RadosGW的基本管理。

Civeweb默认监听在7480端口并提供http协议，如果需要修改配置需要编辑ceph.conf配置文件，在管理节点编辑ceph.conf，新增如下配置。

[client.rgw.mon02]
rgw_host = mon02
rgw_frontends = "civetweb port=8080 num_threads=500 request_timeout_ms=60000"

				

					
				
				

					
				
				

					
				
				

					
				
			

解释如下

• RadosGW也作为一个客户端，所以配置项应该为[client.rgw.mon02]，其中client代表客户端配置，RadosGW客户端配置，而最后mon02代表对某一个节点的RadosGW配置。

  • rgw_host：对应的RadosGW名称或者IP地址。

  • rgw_frontends：这里配置监听的端口，是否使用https，以及一些选项信息。

  切记：在 rgw_frontends 键值对里的 port=<port-number> 之中不要加空格。

常用的rgw_frontends配置选项有。

• num_threads：最大并发连接数，默认为50，根据需求调整，通常在生产集群环境中此值应该更大。
• request_timeout_ms：发送与接收超时时长，以ms为单位，默认为30000。
• access_log_file：访问日志路径，默认为空。
• error_log_file：错误日志路径，默认为空。

注意：ceph.conf配置文件一般应该修改管理节点的配置文件，然后由管理节点统一推送到指定的节点。也可以直接修改对应的节点的文件，无论以何种方式修改完成后都需要重启对应的RadosGW服务。通过管理节推送配置文件的命令如下。

cd /etc/ceph
 
ceph-deploy --overwrite-conf config push mon02
 
ssh root@mon02
 
systemctl restart ceph-radosgw.target
 
netstat -an |grep 8080

				

					
				
				

					
				
				

					
				
				

					
				
			

• –overwrite-conf：表示强制覆盖，如果修改了管理节点的ceph.conf配置文件后，这样管理节点与被推送的节点的配置文件不一致，这时候如果确认没有问题就需要强制覆盖。

4.3 HTTPS配置