HadoopSentry怎么使用

這篇文章主要介紹“Hadoop Sentry怎么使用”，在日常操作中，相信很多人在Hadoop Sentry怎么使用問(wèn)題上存在疑惑，小編查閱了各式資料，整理出簡(jiǎn)單好用的操作方法，希望對(duì)大家解答”Hadoop Sentry怎么使用”的疑惑有所幫助！接下來(lái)，請(qǐng)跟著小編一起來(lái)學(xué)習(xí)吧！

從策劃到設(shè)計(jì)制作，每一步都追求做到細(xì)膩，制作可持續(xù)發(fā)展的企業(yè)網(wǎng)站。為客戶(hù)提供網(wǎng)站設(shè)計(jì)、成都網(wǎng)站建設(shè)、網(wǎng)站策劃、網(wǎng)頁(yè)設(shè)計(jì)、域名申請(qǐng)、網(wǎng)頁(yè)空間、網(wǎng)絡(luò)營(yíng)銷(xiāo)、VI設(shè)計(jì)、 網(wǎng)站改版、漏洞修補(bǔ)等服務(wù)。為客戶(hù)提供更好的一站式互聯(lián)網(wǎng)解決方案,以客戶(hù)的口碑塑造優(yōu)易品牌,攜手廣大客戶(hù),共同發(fā)展進(jìn)步。

什么是Sentry？

         Sentry 是Cloudera 公司發(fā)布的一個(gè)Hadoop開(kāi)源組件，它提供細(xì)粒度基于角色的安全控制

Sentry下的數(shù)據(jù)訪問(wèn)和授權(quán)

        通過(guò)引進(jìn)Sentry，Hadoop目前可在以下方面滿(mǎn)足企業(yè)和政府用戶(hù)的RBAC（role-based acess control）需求：

安全授權(quán)：Sentry可以控制數(shù)據(jù)訪問(wèn)，并對(duì)已通過(guò)驗(yàn)證的用戶(hù)提供數(shù)據(jù)訪問(wèn)特權(quán)。

細(xì)粒度訪問(wèn)控制：Sentry支持細(xì)粒度的Hadoop數(shù)據(jù)和元數(shù)據(jù)訪問(wèn)控制。在Hive和Impala中Sentry的最初發(fā)行版本中，Sentry在服務(wù)器、數(shù)據(jù)庫(kù)、表和視圖范圍提供了不同特權(quán)級(jí)別的訪問(wèn)控制，包括查找、插入等——允許管理員使用視圖限制對(duì)行或列的訪問(wèn)。管理員也可以通過(guò)Sentry和帶選擇語(yǔ)句的視圖或UDF，根據(jù)需要在文件內(nèi)屏蔽數(shù)據(jù)。

基于角色的管理：Sentry通過(guò)基于角色的授權(quán)簡(jiǎn)化了管理，你可以輕易將訪問(wèn)同一數(shù)據(jù)集的不同特權(quán)級(jí)別授予多個(gè)組。例如，對(duì)于某特定數(shù)據(jù)集，你可以分配給反欺詐小組查看所有列的特權(quán)，給分析師查看非敏感或非PII（personally identifiable information）列的權(quán)限，給數(shù)據(jù)接收流插入新數(shù)據(jù)到HDFS的權(quán)限。

多租戶(hù)管理：Sentry允許為委派給不同管理員的不同數(shù)據(jù)集設(shè)置權(quán)限。在Hive/Impala的情況下，Sentry可以在數(shù)據(jù)庫(kù)/schema級(jí)別進(jìn)行權(quán)限管理。

統(tǒng)一平臺(tái)：Sentry為確保數(shù)據(jù)安全，提供了一個(gè)統(tǒng)一平臺(tái)，使用現(xiàn)有的Hadoop Kerberos實(shí)現(xiàn)安全認(rèn)證。同時(shí)，通過(guò)Hive或Impala訪問(wèn)數(shù)據(jù)時(shí)可以使用同樣的Sentry協(xié)議。未來(lái)，Sentry協(xié)議會(huì)被擴(kuò)展到其它組件。

Sentry 架構(gòu)

 

       圖為Sentry的基本架構(gòu)，目前Sentry支持 Hive(憑借HiveServer2的基于thrift 的RPC 接口) 和Impala 。但是Sentry 具有高度模塊化和可擴(kuò)展的機(jī)制，它可以擴(kuò)展到其它基于Hadoop的應(yīng)用中去。Sentry 的授權(quán)核心層主要分兩部分，結(jié)合層(Hive bindings and Impala bindings)和 核心授權(quán)提供者(Policy engine and Policy abstractions )。結(jié)合層提供一個(gè)可插拔的接口，實(shí)現(xiàn)與協(xié)議引擎的對(duì)話 。Policy engine 與bingdings 合作，對(duì)訪問(wèn)請(qǐng)求進(jìn)行評(píng)估檢驗(yàn)，如果允許訪問(wèn)，通過(guò) Policy abstractions 來(lái)訪問(wèn)底層數(shù)據(jù)。

目前已經(jīng)實(shí)現(xiàn)了基于文件的提供者，可以理解具體協(xié)議文件格式。協(xié)議文件可被存儲(chǔ)在本地文件系統(tǒng)或HDFS中，以便復(fù)制和審計(jì)。

Sentry在Hive 中的使用方法

        CDH 4.4 以上版本Impala 1.1以上版本可以使用Sentry

注意：如果集群環(huán)境中Hive 和Impala 都存在， Sentry 生效的時(shí)候，必須保證 Hive 和Impala 都生效。

在Hive 中配置Sentry 要保證以下條件：

1.  Hive warehouse 路徑 (/user/hive/warehouse 或者是配置的hive.metastore.warehouse.dir 的路徑) 用戶(hù)和用戶(hù)組必須是Hive

2.  warehouse 權(quán)限所有者必須滿(mǎn)足

770 on the directory itself (for example, /user/hive/warehouse)

770 on all subdirectories (for example, /user/hive/warehouse/mysubdir)

All files and directories should be owned by hive:hive

例如

$ sudo -u hdfs hdfs dfs -chmod -R 770 /user/hive/warehouse
$ sudo -u hdfs hdfs dfs -chown -R hive:hive /user/hive/warehouse

Sentry 使用 Policy file 定義對(duì)Hive 訪問(wèn)權(quán)限的控制，創(chuàng)建 Policy file sentry-provider.ini 作為HDFS文件。

需要注意的是 這個(gè)文件用戶(hù)和用戶(hù)組必須為hive 權(quán)限為 640。

默認(rèn)路徑為  /user/hive/sentry

 Policy file 例子：

Global policy file:

[groups]
admin_group = admin_role
dep1_admin = uri_role

[roles]
admin_role = server=server1
uri_role = hdfs:///ha-nn-uri/data

[databases]
db1 = hdfs://ha-nn-uri/user/hive/sentry/db1.ini

Per db policy file: (at hdfs://ha-nn-uri/user/hive/sentry/db1.ini):

[groups]
dep1_admin = db1_admin_role
dep1_analyst = db1_read_role

[roles]
db1_admin_role = server=server1->db=db1
db1_read_role = server=server1->db=db1->table=*->action=select

groups 選項(xiàng)匹配用戶(hù)和角色；

roles 選項(xiàng)匹配角色和權(quán)限；

databases 是可選的， 提供數(shù)據(jù)庫(kù)和per-database policy file 文件的匹配。

到此，關(guān)于“Hadoop Sentry怎么使用”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實(shí)踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識(shí)，請(qǐng)繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會(huì)繼續(xù)努力為大家?guī)?lái)更多實(shí)用的文章！

網(wǎng)站名稱(chēng)：HadoopSentry怎么使用
本文路徑：http://muchs.cn/article8/jpijop.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)頁(yè)設(shè)計(jì)公司、定制網(wǎng)站、微信公眾號(hào)、網(wǎng)站排名、手機(jī)網(wǎng)站建設(shè)、軟件開(kāi)發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)