CephRGW中Pool的作用是什么

本篇文章給大家分享的是有關(guān)Ceph RGW中Pool的作用是什么，小編覺得挺實(shí)用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

發(fā)展壯大離不開廣大客戶長期以來的信賴與支持，我們將始終秉承“誠信為本、服務(wù)至上”的服務(wù)理念，堅(jiān)持“二合一”的優(yōu)良服務(wù)模式，真誠服務(wù)每家企業(yè)，認(rèn)真做好每個(gè)細(xì)節(jié)，不斷完善自我，成就企業(yè)，實(shí)現(xiàn)共贏。行業(yè)涉及成都衛(wèi)生間隔斷等，在重慶網(wǎng)站建設(shè)、全網(wǎng)整合營銷推廣、WAP手機(jī)網(wǎng)站、VI設(shè)計(jì)、軟件開發(fā)等項(xiàng)目上具有豐富的設(shè)計(jì)經(jīng)驗(yàn)。

Ceph RGW中各Pool的作用

1.引言

在使用Ceph的radosgw服務(wù)時(shí)，會(huì)通過create pool命令創(chuàng)建一系列的pool，服務(wù)于radosgw.我想在本文中分析出各個(gè)pool的作用。

2.pool信息羅列

POOLS:
NAME                              ID     USED       %USED     MAX AVAIL     OBJECTS   
.rgw.root                         18       4375         0        19575G             7 
.rgw                              19       8559         0        13050G            43 
.rgw.control                      20          0         0        19575G             9 
.rgw.gc                           21          0         0        19575G            76 
.rgw.buckets                      22          0         0        19575G             0 
.rgw.buckets.index                23          0         0        25849G          2048 
.log                              24          0         0        19575G           180 
.intent-log                       25          0         0        19575G             0 
.usage                            26          0         0        19575G             0 
.users                            27         74         0        19575G             6 
.users.email                      28          0         0        19575G             0 
.users.swift                      29         52         0        13050G             4 
.users.uid                        30       2847         0        19575G            12

上文羅列了所有默認(rèn)的rgw工作所需要的pool信息，我在此處說明各自功用。

3.region及zone信息管理

在.rgw.root中，存放的是集群命名空間信息。我使用默認(rèn)配置。應(yīng)用上可以配置集群的region, zone信息，并使用radosgw-agent實(shí)現(xiàn)region中zone之間的信息同步。這是頂層的劃分。

[root@ceph5 ~]# rados -p .rgw.root ls
zone_info.main
region_map
default.region
region_info.default
zone_info.default
region_info.

可以通過如下命令獲取region,zone信息，也可以編輯配置文件，重新設(shè)置。

radosgw-admin region get >> region.conf.json
radosgw-admin zone get >> zone.conf.json
radosgw-admin region set << region.conf.json
radosgw-admin zone set << zone.conf.json

一般使用無需修改，系統(tǒng)會(huì)有默認(rèn)設(shè)置。只要在為用戶設(shè)置獨(dú)立的placement策略的時(shí)候需要修改。

4.用戶管理

創(chuàng)建S3用戶后才可以進(jìn)行數(shù)據(jù)讀寫。通過radosgw-admin user create命令指定用戶名及用戶ID，生成accesskey, secretkey, 借助這兩個(gè)key,和radosgw建立連接，執(zhí)行創(chuàng)建、刪除bucket, 上傳下載刪除對象等操作。

在.users.uid中可以看到創(chuàng)建用戶時(shí)的指定uid信息，在.users中可以看到用戶的accesskey信息。.users.email中應(yīng)該是用戶的email信息，但是我在創(chuàng)建用戶時(shí)沒有指定，所以內(nèi)容為空。

[root@ceph5 ~]# rados -p .users.uid ls
app
app-download
[root@ceph5 ~]# rados -p .users ls
5HJ1G*****84FKIQY15W
CE4R2*****AZWHS2MRQ5
[root@ceph5 ~]# rados -p .users.email  ls

5.BUCKET管理

在.rgw中，通過命令可以看到BUCKET名稱及其編號(hào)

[root@ceph5 ~]#rados -p .rgw ls
down-update.app.com
.bucket.meta.down-update.app.com:default.8172.22
.bucket.meta.down.app.com:default.8157.4
down.app.com

6.BUCKET實(shí)際數(shù)據(jù)存儲(chǔ)

在我對用戶信息進(jìn)行個(gè)性化配置時(shí)，配置了某個(gè)用戶的數(shù)據(jù)使用哪個(gè)index pool 和data pool。在我的集群中有如下兩個(gè)pool

.rgw.buckets.app.download           17     1890G      1.69        30956G      802808 
.rgw.buckets.app.download.index     18         0         0        22283G          40

這兩個(gè)POOL是我為了某個(gè)特定業(yè)務(wù)專門創(chuàng)建出來，分別用于存放BUCKET index信息以及BUCKET data信息。那這里面放了哪些BUCKET，這個(gè)信息可以從.rgw中看出一些端倪。

6.1 INDEX信息

我對INDEX POOL中的object信息做了一個(gè)整理，可以發(fā)現(xiàn)，每個(gè)都是8個(gè)一組，原因是在設(shè)置INDEX的shard num為8，所以每一個(gè)BUCKET的INDEX對應(yīng)8個(gè)dir。

.dir.default.8871.2.0
.dir.default.8871.2.1
.dir.default.8871.2.2
.dir.default.8871.2.3
.dir.default.8871.2.4
.dir.default.8871.2.5
.dir.default.8871.2.6
.dir.default.8871.2.7

.dir.default.8172.22.0
.dir.default.8172.22.1
.dir.default.8172.22.2
.dir.default.8172.22.3
.dir.default.8172.22.4
.dir.default.8172.22.5
.dir.default.8172.22.6
.dir.default.8172.22.7

.dir.default.8157.4.0
.dir.default.8157.4.1
.dir.default.8157.4.2
.dir.default.8157.4.3
.dir.default.8157.4.4
.dir.default.8157.4.5
.dir.default.8157.4.6
.dir.default.8157.4.7

.dir.default.8865.1.0
.dir.default.8865.1.1
.dir.default.8865.1.2
.dir.default.8865.1.3
.dir.default.8865.1.4
.dir.default.8865.1.5
.dir.default.8865.1.6
.dir.default.8865.1.7

這個(gè)地方要研究的是，每個(gè)dir對象，對應(yīng)的是哪一個(gè)BUCKET。在上文中我們在.rgw中看到如下信息

.bucket.meta.down-update.app.com:default.8172.22
.bucket.meta.down.app.com:default.8157.4

BUCKET:down-update.app.com 對應(yīng)的編號(hào)為 default.8172.22 bUCKET:down.app.com對應(yīng)編號(hào)是：default.8157.4

通過這個(gè)，我們就可以將BUCKET信息和INDEX中的dir信息關(guān)聯(lián)起來。

下面我要研究的是，INDEX信息里面究竟放的是什么

rados -p .rgw.buckets.app.download.index listomapvals

其中存放的都是這些信息
cf/ts/tcls_verify/600/rez/UI/Achieve/Mark/23x26/S_COMBAT_Base_11_4.tga
value: (258 bytes) :
0000 : 08 03 fc 00 00 00 46 00 00 00 63 66 2f 74 73 2f : ......F...cf/ts/
0010 : 74 63 6c 73 5f 76 65 72 69 66 79 2f 36 30 30 2f : tcls_verify/600/
0020 : 72 65 7a 2f 55 49 2f 41 63 68 69 65 76 65 2f 4d : rez/UI/Achieve/M
0030 : 61 72 6b 2f 32 33 78 32 36 2f 53 5f 43 4f 4d 42 : ark/23x26/S_COMB
0040 : 41 54 5f 42 61 73 65 5f 31 31 5f 34 2e 74 67 61 : AT_Base_11_4.tga
0050 : da 01 00 00 00 00 00 00 01 04 03 69 00 00 00 01 : ...........i....
0060 : 89 06 00 00 00 00 00 00 f3 ec 52 57 00 00 00 00 : ..........RW....
0070 : 20 00 00 00 32 37 38 30 36 62 33 61 65 65 38 61 :  ...27806b3aee8a
0080 : 39 37 33 62 37 38 34 61 30 64 36 35 66 65 32 39 : 973b784a0d65fe29
0090 : 37 61 63 38 10 00 00 00 74 65 6e 63 65 6e 74 2d : 7ac8....tencent-
00a0 : 64 6f 77 6e 6c 6f 61 64 10 00 00 00 74 65 6e 63 : download....tenc
00b0 : 65 6e 74 2d 64 6f 77 6e 6c 6f 61 64 00 00 00 00 : ent-download....
00c0 : 89 06 00 00 00 00 00 00 00 00 00 00 00 00 00 00 : ................
00d0 : 01 01 04 00 00 00 11 82 da 01 82 9c 35 13 00 00 : ............5...
00e0 : 00 64 65 66 61 75 6c 74 2e 38 31 36 30 2e 31 35 : .default.8160.15
00f0 : 33 33 36 31 00 00 00 00 00 00 00 00 00 00 00 00 : 3361............
0100 : 00 00                                           : ..

這些二進(jìn)制對應(yīng)的信息其實(shí)是這樣的格式。包含了文件的KEY,owner, owner_display_name, size, time, etag等內(nèi)容。

#radosgw-admin bucket list --bucket=down.app.com  
{
        "name": "cf\/full\/CrossFire_OBV231_Full.exe",
        "instance": "",
        "namespace": "",
        "owner": "app-download",
        "owner_display_name": "app-download",
        "size": 1564956326,
        "mtime": "2016-06-04 17:31:01.000000Z",
        "etag": "f71cd24f5ca7d661a4c44faed925fa80-100",
        "content_type": "",
        "tag": "default.8193.647053",
        "flags": 0
    }

6.2 數(shù)據(jù)信息

.rgw.buckets.zj.app中存放的是實(shí)際數(shù)據(jù)，通過ls命令可以看到對象的oid信息，通過這些OID以及CRUSHMAP算法，可定位到對象所在的物理位置。從而進(jìn)行文件讀寫。部分示例信息從中可以看到所屬BUCKET的編號(hào)信息（default.8154.4）即OID信息。

[root@ceph5 ~]# rados -p .rgw.buckets.app.download ls | grep CrossFire_OBV354_Full.exe
default.8157.4__shadow_cf/full/CrossFire_OBV354_Full.exe.2~4VZa_ly8gX76_AMjDB2UCXC_0FpFG8r.96_2
default.8157.4__shadow_cf/full/CrossFire_OBV354_Full.exe.2~4VZa_ly8gX76_AMjDB2UCXC_0FpFG8r.145_3
.....

7.集群資源使用情況

集群使用情況氛圍兩種，一種是集群整體使用情況，一種是單個(gè)BUCKET的使用情況。整體使用情況可以通過ceph df命令看到各POOL的使用情況。但是單個(gè)BUCKET的使用情況要用如下命令其中包含了BUCKET的使用統(tǒng)計(jì)情況以及對象數(shù)量。這些信息就是存放在.usage pool中。

[root@ceph5 ]# radosgw-admin bucket stats --bucket=down.app.com

 "usage": {
        "rgw.main": {
            "size_kb": 1837686079,
            "size_kb_actual": 1838258768,
            "num_objects": 262774
        },
        "rgw.multimeta": {
            "size_kb": 0,
            "size_kb_actual": 0,
            "num_objects": 13
        }
    },

8 .資源刪除

在我們刪除文件時(shí)，并不是立刻刪除文件，而是先標(biāo)記文件刪除，根據(jù)配置文件的設(shè)置參數(shù)，進(jìn)行異步刪除，在.rgw.gc中記錄的就是文件的待刪除任務(wù)。關(guān)于Ceph中的任務(wù)刪除詳細(xì)信息，可以參考Ceph radosgw gc 的處理過程

以上就是Ceph RGW中Pool的作用是什么，小編相信有部分知識(shí)點(diǎn)可能是我們?nèi)粘９ぷ鲿?huì)見到或用到的。希望你能通過這篇文章學(xué)到更多知識(shí)。更多詳情敬請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

分享標(biāo)題：CephRGW中Pool的作用是什么
文章地址：http://muchs.cn/article42/piddhc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供小程序開發(fā)、定制網(wǎng)站、網(wǎng)站營銷、手機(jī)網(wǎng)站建設(shè)、外貿(mào)網(wǎng)站建設(shè)、網(wǎng)站改版

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容