hive的配置以及元數(shù)據(jù)庫表描述

本篇內(nèi)容主要講解“hive的配置以及元數(shù)據(jù)庫表描述”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“hive的配置以及元數(shù)據(jù)庫表描述”吧!

創(chuàng)新互聯(lián)專業(yè)為企業(yè)提供江西網(wǎng)站建設、江西做網(wǎng)站、江西網(wǎng)站設計、江西網(wǎng)站制作等企業(yè)網(wǎng)站建設、網(wǎng)頁設計與制作、江西企業(yè)網(wǎng)站模板建站服務，10余年江西做網(wǎng)站經(jīng)驗，不只是建網(wǎng)站，更提供有價值的思路和整體網(wǎng)絡服務。

一、hive配置

有關hive的配置都在hive-site.xml文件中。

屬性	描述	默認值
hive.metastore.warehouse.dir	指定hive表在hdfs上的存儲路徑	/user/hive/warehouse
javax.jdo.option.ConnectionURL	配置元數(shù)據(jù)的連接URL
javax.jdo.option.ConnectionUserName	元數(shù)據(jù)庫連接用戶名
javax.jdo.option.ConnectionPassword	元數(shù)據(jù)庫連接密碼

 比如如下的配置：

<property>
  <name>javax.jdo.option.ConnectionURL</name>
  <value>jdbc:MySQL://m000:3306/hive</value>
  <description>JDBC connect string for a JDBC metastore</description>
</property>
 
<property>
  <name>javax.jdo.option.ConnectionUserName</name>
  <value>hiveuser</value>
  <description>username to use against metastore database</description>
</property>
 
<property>
  <name>javax.jdo.option.ConnectionPassword</name>
  <value>hiveuser</value>
  <description>password to use against metastore database</description>
</property>

在hive中，默認情況下新建的數(shù)據(jù)庫以及表都位于HDFS的hive.metastore.warehouse.dir路徑下。如下圖分別顯示了數(shù)據(jù)庫，表，以及表文件在HDFS上的文件路徑 

根據(jù)javax.jdo.option.ConnectionURL中設置的數(shù)據(jù)庫，以及用戶名和密碼，hive就可以寫入和讀取其元數(shù)據(jù)信息。 
　　連接元數(shù)據(jù)庫除了配置URL，username，password之外，還有一種間接的方式。可以在hive客戶端A上用hive --service metastore啟動一個metastore服務，然后在另外一個hive客戶端B的hive-site.xml文件中配置hive.metastore.uris=thrift://A:9083也可以訪問到元數(shù)據(jù)信息(9083端口為默認，可使用-p參數(shù)手動指定)。

二、元數(shù)據(jù)庫表描述

這一節(jié)描述hive元數(shù)據(jù)庫中比較重要的一些表的作用，隨著后續(xù)對hive的使用逐漸補充更多的內(nèi)容。 
mysql元數(shù)據(jù)庫hive中的表：

表名	作用
BUCKETING_COLS	存儲bucket字段信息，通過SD_ID與其他表關聯(lián)
CDS	一個字段CD_ID，與SDS表關聯(lián)
COLUMNS_V2	存儲字段信息，通過CD_ID與其他表關聯(lián)
DATABASE_PARAMS	空
DBS	存儲hive的database信息
DELETEME1410257703262	空
FUNCS	空
FUNC_RU	空
GLOBAL_PRIVS	全局變量，與表無關
IDXS	空
INDEX_PARAMS	空
PARTITIONS	分區(qū)記錄，SD_ID, TBL_ID關聯(lián)
PARTITION_KEYS	存儲分區(qū)字段，TBL_ID關聯(lián)
PARTITION_KEY_VALS	分區(qū)的值，通過PART_ID關聯(lián)。與PARTITION_KEYS共用同一個字段INTEGER_IDX來標示不同的分區(qū)字段。
PARTITION_PARAMS	存儲某分區(qū)相關信息，包括文件數(shù)，文件大小，記錄條數(shù)等。通過PART_ID關聯(lián)
PART_COL_PRIVS	空
PART_COL_STATS	空
PART_PRIVS	空
ROLES	角色表，和GLOBAL_PRIVS配合，與表無關
SDS	存儲輸入輸出format等信息，包括表的format和分區(qū)的format。關聯(lián)字段CD_ID,SERDE_ID
SD_PARAMS	空
SEQUENCE_TABLE	存儲sqeuence相關信息，與表無關
SERDES	存儲序列化反序列化使用的類
SERDE_PARAMS	序列化反序列化相關信息，通過SERDE_ID關聯(lián)
SKEWED_COL_NAMES	空
SKEWED_COL_VALUE_LOC_MAP	空
SKEWED_STRING_LIST	空
SKEWED_STRING_LIST_VALUES	空
SKEWED_VALUES	空
SORT_COLS	排序字段，通過SD_ID關聯(lián)
TABLE_PARAMS	表相關信息，是否外部表，通過TBL_ID關聯(lián)
TAB_COL_STATS	空
TBLS	存儲表信息，關聯(lián)字段DB_ID,SD_ID,
TBL_COL_PRIVS	空
TBL_PRIVS	表賦權限相關信息，通過TBL_ID關聯(lián)
VERSION	版本
VERSION_copy	版本，通過VER_ID關聯(lián)

這里補充介紹hive的一個工具腳本metatool。如果需要大量修改元數(shù)據(jù)庫中的相關記錄，可以具體查看metatool腳本的使用方法。 
　　比如說，對一個HDFS做HA的時候，如果之前hdfs完整路徑是hdfs://m000，做完HA之后把dfs.nameservices設置為my-cluster之后，hdfs的訪問路徑就變成了hdfs://my-cluster，此時就需要對hive元數(shù)據(jù)庫中所有記錄作更新，這時可以參考下面的操作， 
使用metatool腳本，先是新路徑，然后是舊路徑 
/usr/local/bigdata/hive/bin/metatool -updateLocation hdfs://my-cluster hdfs://m00

到此，相信大家對“hive的配置以及元數(shù)據(jù)庫表描述”有了更深的了解，不妨來實際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關內(nèi)容可以進入相關頻道進行查詢，關注我們，繼續(xù)學習！

當前題目：hive的配置以及元數(shù)據(jù)庫表描述
文章位置：http://muchs.cn/article26/gppdcg.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供用戶體驗、網(wǎng)站導航、網(wǎng)站營銷、網(wǎng)站收錄、手機網(wǎng)站建設、商城網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)