ProxmoxVE之5.3集群安裝及使用ceph-創(chuàng)新互聯(lián)

興文網(wǎng)站建設(shè)公司創(chuàng)新互聯(lián),興文網(wǎng)站設(shè)計(jì)制作，有大型網(wǎng)站制作公司豐富經(jīng)驗(yàn)。已為興文超過千家提供企業(yè)網(wǎng)站建設(shè)服務(wù)。企業(yè)網(wǎng)站搭建\外貿(mào)營銷網(wǎng)站建設(shè)要多少錢，請找那個售后服務(wù)好的興文做網(wǎng)站的公司定做！

 

 上面左邊是我的個人微信，如需進(jìn)一步溝通，請加微信。  右邊是我的公眾號“Openstack私有云”，如有興趣，請關(guān)注。

PromixVE 系列文章：

• proxmox-私有云的另一個選擇

• proxmox 之 與openstack的比較

• ProxmoxVE 之集群安裝(V5.2)

• ProxmoxVE（V5.2） 之 使用外部ceph存儲（luminous）

• ProxmoxVE 之 5.3集群安裝及使用ceph

• ProxmoxVE 之 創(chuàng)建centos7基礎(chǔ)鏡像模板

• ProxmoxVE 之 創(chuàng)建win10基礎(chǔ)鏡像模板

• ProxmoxVE 之 V2V遷移（vmware->PVE）

• ProxmoxVE 之 安裝oracle12C rac集群

• ProxmoxVE 之 安裝oracle12C 數(shù)據(jù)庫（CDB和PDB）

• ProxmoxVE 之 oracle12C 多CDB和PDB

    PVE5.3版本對于磁盤的管理，包括對分布式存儲ceph的支持據(jù)說都更加友好了。前期對5.2版本測試的時候，有些未盡事宜，比如直接通過pve自身的管理程序pveceph部署ceph存儲，而不是使用外部ceph，現(xiàn)在手頭剛好也有相應(yīng)的實(shí)驗(yàn)資源，花一些時間對5.3版本重新做一次集群實(shí)驗(yàn)，使用pve自帶的ceph部署工具進(jìn)行部署。

    具體安裝步驟就不詳細(xì)寫了，參考“ProxmoxVE 之集群安裝(V5.2)” 的安裝步驟。

    采用硬件配置：在物理機(jī)pve環(huán)境上面，創(chuàng)建3個虛擬機(jī)，3vcpu/12G內(nèi)存/4塊硬盤/2塊網(wǎng)卡 ，其中硬盤方面1塊硬盤為系統(tǒng)盤32G，2塊32G的ceph盤，1塊32G的lvm盤，網(wǎng)卡方面1塊網(wǎng)卡同時給集群和虛擬機(jī)使用（192.168.1.0/24網(wǎng)段），1塊網(wǎng)卡作為ceph存儲網(wǎng)絡(luò)（192.168.170.0/24網(wǎng)段）使用。

    重要！??！更改軟件源，默認(rèn)是訂閱版，如果不做修改，在使用pveceph init進(jìn)行ceph初始化安裝的時候會將整個環(huán)境破壞，切記！更改為非訂閱版，如下：

將/etc/apt/sources.list.d/pve-enterprise.list  文件內(nèi)的唯一一條記錄注釋掉： #deb https://enterprise.proxmox.com/debian/pve stretch pve-enterprise wget -q -O- 'http://download.proxmox.com/debian/pve/dists/stretch/proxmox-ve-release-5.x.gpg' | apt-key add - echo "deb http://download.proxmox.com/debian/pve stretch pve-no-subscription" > /etc/apt/sources.list.d/pve-no-subscription.list apt update && apt dist-upgrade

    安裝ntp。ceph集群對時間同步的要求很高，需要安裝ntp服務(wù)：

    apt-get install ntp -y

    安裝完成之后會自動啟動并同步debian的時間服務(wù)器，注意，是聯(lián)網(wǎng)的情況下，如果不連接外網(wǎng)，需要設(shè)定內(nèi)網(wǎng)的ntp服務(wù)，這里不贅述。

    消除“No valid subscription”提示的方法參考下面的網(wǎng)址：

    https://johnscs.com/remove-proxmox51-subscription-notice/

    即，ssh登錄服務(wù)器后執(zhí)行下面的指令：

    sed -i.bak "s/data.status !== 'Active'/false/g" /usr/share/javascript/proxmox-widget-toolkit/proxmoxlib.js && systemctl restart pveproxy.service

    創(chuàng)建完集群后，如下圖：

    接下來配置ceph存儲：

     參考官網(wǎng)這個網(wǎng)址：

    https://www.proxmox.com/en/training/video-tutorials/item/install-ceph-server-on-proxmox-ve

    這是一個詳細(xì)的視頻教程，基本的設(shè)計(jì)思路和我這個環(huán)境差不多，都是3個節(jié)點(diǎn)，只有網(wǎng)絡(luò)是真正的3個網(wǎng)絡(luò)，我是因?yàn)闂l件限制，將集群管理和虛擬機(jī)業(yè)務(wù)網(wǎng)絡(luò)合二為一了，其他的都差不多。

  1、首先在每一個節(jié)點(diǎn)安裝ceph軟件包：

    pveceph install --version luminous

    注意，官網(wǎng)視頻里面用的jewel版本，我們安裝的pve版本是5.3對應(yīng)的ceph版本已經(jīng)是luminous版本了。

  2、初始化ceph存儲網(wǎng)絡(luò)：

    pveceph init --network 192.168.170.0/24

    3、創(chuàng)建mon

    pveceph createmon

    在pve2和pve3上面登錄web界面創(chuàng)建mon：

    4、創(chuàng)建OSD：

sdb和sdc兩塊磁盤加入到osd ，同樣的，對pve2和pve3做同樣的操作，完成后如下：

    5、創(chuàng)建pools ，pool的名稱是ceph-vm，根據(jù)自己需要取，size=3表示正常的副本數(shù)，min size=2表示最少的數(shù)據(jù)副本數(shù)，pg_num=128表示邏輯存儲單元數(shù)未128，具體設(shè)置的策略請參考ceph相關(guān)文檔：

另外再創(chuàng)建一個測試的存儲池test。創(chuàng)建完成后，可以通過web界面看到ceph的整體狀態(tài)如下：

可以使用test測試存儲池做一個寫測試：

root@pve1:~# rados -p test bench 10 write --no-cleanup hints = 1 Maintaining 16 concurrent writes of 4194304 bytes to objects of size 4194304 for up to 10 seconds or 0 objects Object prefix: benchmark_data_pve1_78670   sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)     0       0         0         0         0         0           -           0     1      16        23         7   28.0015        28     0.98669    0.886351     2      16        36        20   39.9226        52     1.98944     1.22191     3      16        43        27   35.9512        28     0.57703     1.17363     4      16        54        38   37.9597        44     1.64156     1.29788     5      16        60        44   35.1689        24     2.00744     1.37846     6      16        68        52   34.6399        32      2.2513     1.50074     7      16        72        56   31.9779        16      2.1816     1.56136     8      16        79        63   31.4803        28     2.38234     1.70338     9      16        87        71   31.5374        32     1.63451      1.8151    10      16        95        79   31.5831        32     2.82273     1.86001    11       8        95        87   31.6205        32     1.66285     1.84418 Total time run:         11.064831 Total writes made:      95 Write size:             4194304 Object size:            4194304 Bandwidth (MB/sec):     34.343 Stddev Bandwidth:       9.54225 Max bandwidth (MB/sec): 52 Min bandwidth (MB/sec): 16 Average IOPS:           8 Stddev IOPS:            2 Max IOPS:               13 Min IOPS:               4 Average Latency(s):     1.85056 Stddev Latency(s):      0.714602 Max latency(s):         3.46178 Min latency(s):         0.57703 root@pve1:~#

    由于我使用的是7200轉(zhuǎn)的磁盤做的pve虛擬機(jī)，掛載7200轉(zhuǎn)的磁盤做的虛擬磁盤，表現(xiàn)不佳。正式生產(chǎn)環(huán)境，如果是SSD盤，帶寬可以達(dá)到400M，IOPS可以達(dá)到100多。
下面是讀測試：

root@pve1:~# rados -p test bench 10 seq hints = 1   sec Cur ops   started  finished  avg MB/s  cur MB/s last lat(s)  avg lat(s)     0       0         0         0         0         0           -           0     1      16        61        45   179.942       180    0.509001    0.276338     2      14        95        81   161.953       144    0.565471    0.309453 Total time run:       2.127305 Total reads made:     95 Read size:            4194304 Object size:          4194304 Bandwidth (MB/sec):   178.63 Average IOPS:         44 Stddev IOPS:          6 Max IOPS:             45 Min IOPS:             36 Average Latency(s):   0.350031 Max latency(s):       0.844504 Min latency(s):       0.0595479 root@pve1:~#

    讀測試的帶寬以及IOPS要比寫高很多。同樣，由于是測試環(huán)境，性能表現(xiàn)欠佳。如果是SSD盤，可以達(dá)到2.5G帶寬，600 IOPS ，那也是相當(dāng)不錯的。

    6、創(chuàng)建RBD存儲池：

 

   

接下來，使用這個RBD存儲池創(chuàng)建一個centos7虛擬機(jī)：

創(chuàng)建完成start，提示kvm虛擬化設(shè)置不支持，原因是我們使用的kvm虛擬機(jī)進(jìn)行測試，kvm虛擬機(jī)里面再嵌套創(chuàng)建kvm虛擬機(jī)：

解決辦法，先把該pve節(jié)點(diǎn)所有的虛擬機(jī)都關(guān)閉，在ProxmoxVE物理機(jī)上（注意，不是上面3個pve1/pve2/pve3）執(zhí)行下面的命令：

root@pve:~# modprobe -r kvm_intel 注意，如果提示...busy ，說明還有虛擬機(jī)在使用，需要先把該pve節(jié)點(diǎn)所有的虛擬機(jī)都關(guān)閉。 root@pve:~# modprobe kvm_intel nested=1 root@pve:~# cat /sys/module/kvm_intel/parameters/nested Y root@pve:~# echo "options kvm_intel nested=1" >> /etc/modprobe.d/modprobe.conf root@pve:~# qm showcmd 111 /usr/bin/kvm -id 111 -name pve-1 -chardev 'socket,id=qmp,path=/var/run/qemu-server/111.qmp,server,nowait' -mon 'chardev=qmp,mode=control' -pidfile /var/run/qemu-server/111.pid -daemonize -smbios 'type=1,uuid=d9eb0729-f0ee-4176-836d-308b70d13754' -smp '3,sockets=1,cores=3,maxcpus=3' -nodefaults -boot 'menu=on,strict=on,reboot-timeout=1000,splash=/usr/share/qemu-server/bootsplash.jpg' -vga std -vnc unix:/var/run/qemu-server/111.vnc,x509,password -cpu kvm64,+lahf_lm,+sep,+kvm_pv_unhalt,+kvm_pv_eoi,enforce -m 12000 -device 'pci-bridge,id=pci.1,chassis_nr=1,bus=pci.0,addr=0x1e' -device 'pci-bridge,id=pci.2,chassis_nr=2,bus=pci.0,addr=0x1f' -device 'piix3-usb-uhci,id=uhci,bus=pci.0,addr=0x1.0x2' -device 'usb-tablet,id=tablet,bus=uhci.0,port=1' -device 'virtio-balloon-pci,id=balloon0,bus=pci.0,addr=0x3' -iscsi 'initiator-name=iqn.1993-08.org.debian:01:b48afece2d1' -drive 'file=/var/lib/vz/template/iso/proxmox-ve_5.2-1.iso,if=none,id=drive-ide2,media=cdrom,aio=threads' -device 'ide-cd,bus=ide.1,unit=0,drive=drive-ide2,id=ide2,bootindex=200' -device 'virtio-scsi-pci,id=scsihw0,bus=pci.0,addr=0x5' -drive 'file=/dev/pvevg2/vm-111-disk-7,if=none,id=drive-scsi0,format=raw,cache=none,aio=native,detect-zeroes=on' -device 'scsi-hd,bus=scsihw0.0,channel=0,scsi-id=0,lun=0,drive=drive-scsi0,id=scsi0,bootindex=100' -drive 'file=/dev/pvevg2/vm-111-disk-2,if=none,id=drive-scsi1,format=raw,cache=none,aio=native,detect-zeroes=on' -device 'scsi-hd,bus=scsihw0.0,channel=0,scsi-id=0,lun=1,drive=drive-scsi1,id=scsi1' -drive 'file=/dev/pvevg2/vm-111-disk-3,if=none,id=drive-scsi2,format=raw,cache=none,aio=native,detect-zeroes=on' -device 'scsi-hd,bus=scsihw0.0,channel=0,scsi-id=0,lun=2,drive=drive-scsi2,id=scsi2' -drive 'file=/dev/pvevg2/vm-111-disk-6,if=none,id=drive-scsi3,format=raw,cache=none,aio=native,detect-zeroes=on' -device 'scsi-hd,bus=scsihw0.0,channel=0,scsi-id=0,lun=3,drive=drive-scsi3,id=scsi3' -netdev 'type=tap,id=net0,ifname=tap111i0,script=/var/lib/qemu-server/pve-bridge,downscript=/var/lib/qemu-server/pve-bridgedown,vhost=on' -device 'virtio-net-pci,mac=76:60:17:9D:6A:FF,netdev=net0,bus=pci.0,addr=0x12,id=net0,bootindex=300' -netdev 'type=tap,id=net1,ifname=tap111i1,script=/var/lib/qemu-server/pve-bridge,downscript=/var/lib/qemu-server/pve-bridgedown,vhost=on' -device 'virtio-net-pci,mac=6A:93:EB:0E:A8:84,netdev=net1,bus=pci.0,addr=0x13,id=net1,bootindex=301' 找到“-cpu kvm64,+lahf_lm,+sep,+kvm_pv_unhalt,+kvm_pv_eoi,enforce”這部分，在enforce前面加“+vmx，”參數(shù)如下： -cpu kvm64,+lahf_lm,+sep,+kvm_pv_unhalt,+kvm_pv_eoi,+vmx,enforce 然后執(zhí)行：qm stop 111 停止虛擬機(jī)后，再執(zhí)行上面修改后的命令。 虛擬機(jī)啟動后，ssh進(jìn)入，執(zhí)行 grep vmx /proc/cpuinfo 查看是不是有輸出，如下： root@pve-1:~# grep vmx /proc/cpuinfo  flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx lm constant_tsc nopl xtopology cpuid pni vmx cx16 x2apic hypervisor lahf_lm cpuid_fault pti tpr_shadow vnmi flexpriority ept vpid flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx lm constant_tsc nopl xtopology cpuid pni vmx cx16 x2apic hypervisor lahf_lm cpuid_fault pti tpr_shadow vnmi flexpriority ept vpid flags: fpu vme de pse tsc msr pae mce cx8 apic sep mtrr pge mca cmov pat pse36 clflush mmx fxsr sse sse2 ht syscall nx lm constant_tsc nopl xtopology cpuid pni vmx cx16 x2apic hypervisor lahf_lm cpuid_fault pti tpr_shadow vnmi flexpriority ept vpid 表示已經(jīng)支持虛擬嵌套。

再重新啟動上面創(chuàng)建的虛擬機(jī)，成功！

測試成功！

總結(jié)：

    ProxmoxVE確實(shí)使用太方便了，對于稍顯復(fù)雜的ceph分布式存儲，已經(jīng)做到了方便實(shí)施的極限，只需要簡單幾條初始化的指令，后面全部通過web管理界面進(jìn)行配置和部署，方便至極，更棒的是，web管理界面還可以實(shí)時看到ceph存儲的各種狀態(tài)，相當(dāng)于完全把ceph存儲的管理融合進(jìn)了PVE的統(tǒng)一管理。

    但是使用ceph的前提是，必須對ceph分布式存儲本身的一些概念弄清楚，比如ceph 的存儲規(guī)則，pg的概念，bucket的概念，ceph自身的功能組件mon、osd、pool的概念等等，建議如果對這些概念不熟悉，先通讀一遍ceph社區(qū)官網(wǎng)的文檔，然后動手搭建ceph存儲試驗(yàn)。熟悉ceph之后，回過頭來再使用pve自帶的ceph管理功能就顯得非常簡單了。

    通過上面的實(shí)驗(yàn)，也可以看到ProxmoxVE可以做到在自己的平臺上快速搭建環(huán)境嵌套虛擬化，可以方便廣大的PVE愛好者快速的熟悉PVE 的使用。通過我個人的經(jīng)歷，openstack的試驗(yàn)過程和復(fù)雜度，比PVE要高出好多倍，openstack如果要做一個完整的試驗(yàn)下來，熟練的情況下，如果要5天，那么，PVE的試驗(yàn)，同樣是基礎(chǔ)虛擬化功能的條件下，可能只要1天甚至半天就能完成。

    

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)cdcxhl.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點(diǎn)與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

當(dāng)前名稱：ProxmoxVE之5.3集群安裝及使用ceph-創(chuàng)新互聯(lián)
網(wǎng)址分享：http://www.muchs.cn/article20/dssdco.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供云服務(wù)器、域名注冊、品牌網(wǎng)站制作、網(wǎng)站內(nèi)鏈、網(wǎng)站維護(hù)、服務(wù)器托管

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)