掃盲系列-大數(shù)據(jù)平臺多租戶方案設計-創(chuàng)新互聯(lián)

什么是多租戶？

堅守“ 做人真誠 · 做事靠譜 · 口碑至上 · 高效敬業(yè) ”的價值觀，專業(yè)網(wǎng)站建設服務10余年為成都成都OPP膠袋小微創(chuàng)業(yè)公司專業(yè)提供成都定制網(wǎng)頁設計營銷網(wǎng)站建設商城網(wǎng)站建設手機網(wǎng)站建設小程序網(wǎng)站建設網(wǎng)站改版，從內(nèi)容策劃、視覺設計、底層架構(gòu)、網(wǎng)頁布局、功能開發(fā)迭代于一體的高端網(wǎng)站建設服務。

多租戶是一種軟件架構(gòu)模式，通俗來講，就是構(gòu)建一套應用來服務多個用戶，但又能確保一定的隔離性。區(qū)別于用戶的概念，用戶是資源的使用者，而租戶一般對應一個組織或一類用戶。通常數(shù)據(jù)權(quán)限、計算資源與租戶直接綁定，而租戶與用戶又存在一定的映射關(guān)系，這樣，用戶就可以訪問該租戶所具備的資源。

為什么需要多租戶？
多租戶管理的優(yōu)點在于降低了信息化建設和管理的成本，尤其是在大數(shù)據(jù)領(lǐng)域，隨著數(shù)據(jù)量快速增長，數(shù)據(jù)集中化程度越來越高，企業(yè)內(nèi)部對算力的需求也逐步增大，大量業(yè)務應用構(gòu)建在統(tǒng)一的大數(shù)據(jù)平臺之上，對資源的控制、對權(quán)限的控制也越來越越嚴格，各子公司、各部門、各業(yè)務線既有共享資源的需求、又希望通過一定的數(shù)據(jù)隔離和資源隔離技術(shù)來解決安全性和資源搶占的問題，所以多租戶管理在大數(shù)據(jù)技術(shù)方案中已經(jīng)變成了一個必選方案。

大數(shù)據(jù)的多租戶管的是什么？

大數(shù)據(jù)的技術(shù)組件眾多，但無外乎可以分為數(shù)據(jù)存儲型的、數(shù)據(jù)查詢型的、數(shù)據(jù)計算型的。所以多租戶管理就是針對這些核心組件的權(quán)限、資源和配額進行管理。存儲型的，主要就是分布式存儲系統(tǒng)HDFS，配額和目錄權(quán)限管理；數(shù)據(jù)查詢型的，主要是hbase、hive，庫、表、字段相關(guān)的scheme權(quán)限管理，以及相應的增刪改查權(quán)限；以及計算型的，主要是yarn，管理cpu和內(nèi)存；

常見的大數(shù)據(jù)多租戶方案設計

由于開源大數(shù)據(jù)技術(shù)的復雜性，每個組件的數(shù)據(jù)隔離、資源配額控制都大不相同，所以也就沒有統(tǒng)一的產(chǎn)品或技術(shù)能完成多租戶的管理，現(xiàn)在比較常用的是通過多套技術(shù)組合來實現(xiàn)。先看下常見需求：假設一個公司有一個大數(shù)據(jù)平臺P，上面有兩個部門A、B，兩個部門都希望有獨享的計算資源，做到互不影響。又希望數(shù)據(jù)存儲和查詢做到隔離，避免數(shù)據(jù)泄露。從使用者角度講，能滿足他們的隔離性需求即可，這里面就包括數(shù)據(jù)的隔離性和資源的隔離性。但從提供者角度，也就是平臺，還要考慮安全客戶端的認證鑒權(quán)、統(tǒng)一用戶中心管理、統(tǒng)一權(quán)限管理、用戶操作審計等等一系列的管理方案，同時還要考慮資源的超賣問題（畢竟業(yè)務申請的資源都會虛高，所以適當?shù)某u是不影響的）。這里邊涉及到的技術(shù)體系就包括Kerberos（統(tǒng)一認證）、Ranger權(quán)限管理（CDH提供的是Sentry）、Ldap（身份信息管理）、Yarn的隊列機制等等

從平臺層面，

第一步：先規(guī)劃YARN的隊列劃分，可以考慮一個租戶一個隊列，通過給隊列劃分配額來控制隊列資源，根據(jù)業(yè)務使用模式配置是否搶占。

第二步：編寫ldif文件，將組織信息、用戶信息等初始化到ldap內(nèi)，相當于創(chuàng)建一個租戶，ldap實現(xiàn)了身份信息管理。

第三步：kerberos會同步ldap內(nèi)的用戶，并針對每個租戶生成一個票據(jù)，可以理解為令牌文件，用戶只有在安全客戶端上用這個令牌做認證，才能執(zhí)行后續(xù)的平臺操作。

第四步：在ranger中配置權(quán)限策略，ranger很強大， 可以通過plugin的方式適配幾乎所有的核心大數(shù)據(jù)組件，來完成大數(shù)據(jù)組件的權(quán)限管理。ranger會從ldap同步身份信息（需要修改配置），將租戶的身份信息與權(quán)限信息做關(guān)聯(lián)，就完成了權(quán)限的管理。這里就包括yarn的隊列權(quán)限、hive的庫表字段權(quán)限、hbase的schema權(quán)限等等。

第五步：ranger還提供了審計功能，可以對提交到大數(shù)據(jù)平臺的操作，包括hive的訪問、hbase的訪問、hdfs目錄的訪問等等做檢索。記錄的信息包括：時間、發(fā)起請求的主機IP、租戶信息（ldap內(nèi)的身份信息）、執(zhí)行的操作（SQL或其他執(zhí)行命令）、是否成功等信息。

從用戶使用層面，只需要登錄到主機上，將令牌做一個kinit，然后訪問大數(shù)據(jù)平臺資源，包括提交任務到隊列、訪問hive表。而不需要關(guān)心底層的細節(jié)，就已經(jīng)實現(xiàn)了資源隔離和數(shù)據(jù)安全隔離。

你是否還在尋找穩(wěn)定的海外服務器提供商？創(chuàng)新互聯(lián)www.cdcxhl.cn海外機房具備T級流量清洗系統(tǒng)配攻擊溯源，準確流量調(diào)度確保服務器高可用性，企業(yè)級服務器適合批量采購，新人活動首月15元起，快前往官網(wǎng)查看詳情吧

文章名稱：掃盲系列-大數(shù)據(jù)平臺多租戶方案設計-創(chuàng)新互聯(lián)
標題鏈接：http://muchs.cn/article40/eiseo.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站建設、定制網(wǎng)站、面包屑導航、網(wǎng)站建設、標簽優(yōu)化、網(wǎng)站營銷

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)