hive-0.12的安裝步驟

這篇文章主要介紹“hive-0.12的安裝步驟”，在日常操作中，相信很多人在hive-0.12的安裝步驟問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”hive-0.12的安裝步驟”的疑惑有所幫助！接下來，請跟著小編一起來學(xué)習(xí)吧！

創(chuàng)新互聯(lián)公司服務(wù)項目包括達(dá)拉特網(wǎng)站建設(shè)、達(dá)拉特網(wǎng)站制作、達(dá)拉特網(wǎng)頁制作以及達(dá)拉特網(wǎng)絡(luò)營銷策劃等。多年來，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢、行業(yè)經(jīng)驗、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，達(dá)拉特網(wǎng)站推廣取得了明顯的社會效益與經(jīng)濟(jì)效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到達(dá)拉特省份的部分城市，未來相信會繼續(xù)擴大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！

 

Hive安裝部署

（安裝會有版本問題 hadoop1.0版本以上的請安裝hive-0.90測試

  hadoop2.0以上請安裝hive-0.12.0或者最新版測試）

hive-0.9.0 下載地址：http://pan.baidu.com/s/1rj6f8

hive-0.12.0下載地址：http://mirrors.hust.edu.cn/apache/hive/hive-0.12.0/

1.把hive-0.12.0.tar.gz復(fù)制到/home/hadoop

2.解壓hive-0. 12.0.tar.gz與重命名

#cd /usr/local

#tar -zxvf hive-0. 12.0.tar.gz

#mv hive-0. 12.0 hive

3.修改環(huán)境變量

修改/etc/profile文件。

#vi /etc/profile

增加

export HIVE_HOME=/hadoop/hadoop/hive

修改

exportPATH=$JAVA_HOME/bin:$PATH:$HADOOP_HOME/bin:$HIVE_HOME/bin

保存退出

#source /etc/profile

4.配置hive系統(tǒng)文件

4.1：修改conf目錄下的模板文件

l  cd  $HIVE_HOME/conf

l  mv  hive-env.sh.template  hive-env.sh

 l  mv hive-default.xml.template  hive-site.xml
  

4.2.修改$HIVE_HOME/bin的hive-config.sh，增加以下三行

export JAVA_HOME=/usr/local/jdk

export HIVE_HOME=/home/hadoop/hive

export HADOOP_HOME=/home/hadoop/hadoop2

4.3.啟動hive

啟動hive時候，記得先啟動hadoop（因為hive是操作hdfs中的數(shù)據(jù)）

jps命令查看當(dāng)前啟動的java程序

#hive

4.4.報錯—請修改hive-site.xml:（vi編輯下： /auth）

[FatalError] hive-site.xml:2002:16: The element type "value" must beterminated by the matching end-tag "</value>".

   2002  <value>auth</auth>

（在2002行第16字符那里: <value>auth</value>）

hive>show tables;

此時還報錯：

FAILED:Execution Error, return code 1 from org.apache.hadoop.hive.ql.exec.DDLTask.java.lang.RuntimeException: Unable to instantiateorg.apache.hadoop.hive.metastore.HiveMetaStoreClient

最后將hive-site.xml 里面hive.metastore.schema.verification 的值改為 false后，就沒出現(xiàn)錯誤了。

hive>create table test(idint,name string);

hive>quit;

5.驗證創(chuàng)建表是否成功

方法一：觀察：#hadoop fs -ls /user/hive

參數(shù)：hive.metastore.warehouse.dir

方法二：

http://cloud4:50070    如果配置成功，查看/user/hive就存在
 

6.Hive的metastore

l  metastore是hive元數(shù)據(jù)的集中存放地。metastore默認(rèn)使用內(nèi)嵌的derby數(shù)據(jù)庫作為存儲引擎

l  Derby引擎的缺點：一次只能打開一個會話

l  使用MySQL作為外置存儲引擎，多用戶同時訪問

所以我們通常建議使用mysql，但是需要去配置

6.1.配置MySQL的metastore

6.1.1.上傳mysql-connector-java-5.1.10.jar到$HIVE_HOME/lib

6.1.2.登錄MYSQL，創(chuàng)建數(shù)據(jù)庫hive

l  #mysql -uroot -padmin

l  mysql>create database hive;

l  mysql>GRANT all ON hive.* TO root@'%' IDENTIFIED BY 'admin';

l  mysql>flush privileges;

l mysql>set global binlog_format='MIXED';   (如果報錯就不要管)
 

6.1.3.把mysql的數(shù)據(jù)庫字符類型改為latin1（alertdatabase）

方法1:手動命令：(此處hive為數(shù)據(jù)庫名)

alter database hive character set latin1 
 

6.1.4．修改$HIVE_HOME/conf/hive-site.xml

<property>

         <name>javax.jdo.option.ConnectionURL</name>

//hadoop0那么是hive所在的機子，要么是網(wǎng)關(guān)ip  cloud4：本機；192.168.56.1網(wǎng)關(guān)ip

如果用hive的機子，也就是本機，需要在linux上安裝mysql，看下面補充msql安裝流程

不過好像如果是cloud4會show tables出錯，改為localhost就好了?。。?/p>

         <value>jdbc:mysql://hadoop0:3306/hive?createDatabaseIfNotExist=true</value>  

</property>

<property>

         <name>javax.jdo.option.ConnectionDriverName</name>

         <value>com.mysql.jdbc.Driver</value>

</property>

<property>

         <name>javax.jdo.option.ConnectionUserName</name>

         <value>root</value>

</property>

<property>

         <name>javax.jdo.option.ConnectionPassword</name>

         <value>admin</value>

</property>

7.Hive的運行模式即任務(wù)的執(zhí)行環(huán)境

1啟動hive 命令行模式：

1：直接輸入#/hive/bin/hive的執(zhí)行程序，

2：或者輸入 #hive --service cli

l  分為本地與集群兩種

我們可以通過mapred.job.tracker 來指明

設(shè)置方式：

hive > SET mapred.job.tracker=local

2.hive驗證啟動的方法

l  1、hive web界面的(端口號9999) 啟動方式

#hive --service hwi &

用于通過瀏覽器來訪問hive

http://hadoop0:9999/hwi/

l  2、hive 遠(yuǎn)程服務(wù)(端口號10000) 啟動方式

#hive --service hiveserver & 
 

8.Hive與傳統(tǒng)數(shù)據(jù)庫

9.Hive的數(shù)據(jù)類型

l  基本數(shù)據(jù)類型

tinyint/smallint/int/bigint

float/double

boolean

string

?       復(fù)雜數(shù)據(jù)類型

Array/Map/Struct

?       沒有date/datetime

10.Hive的數(shù)據(jù)存儲：特色

l Hive的數(shù)據(jù)存儲基于Hadoop HDFS

l  Hive沒有專門的數(shù)據(jù)存儲格式

l 存儲結(jié)構(gòu)主要包括：數(shù)據(jù)庫、文件、表、視圖

l  Hive默認(rèn)可以直接加載文本文件（TextFile），還支持sequence file

l  創(chuàng)建表時，指定Hive數(shù)據(jù)的列分隔符與行分隔符，Hive即可解析數(shù)據(jù)

11.Hive的數(shù)據(jù)模型-數(shù)據(jù)庫

l  類似傳統(tǒng)數(shù)據(jù)庫的DataBase

l  默認(rèn)數(shù)據(jù)庫"default">

使用#hive命令后，不使用hive>use <數(shù)據(jù)庫名>，系統(tǒng)默認(rèn)的數(shù)據(jù)庫。

可以顯式使用hive> use default;

創(chuàng)建一個新庫

hive > create database test_dw;

11.1．修改倉庫目錄：/hive/conf/hive-site.xml

warehouse是在 hive-site.xml 中由 ${hive.metastore.warehouse.dir}指定的數(shù)據(jù)倉庫的目錄

我們可以把value修改為：/hive

l  每一個 Table 在 Hive 中都有一個相應(yīng)的目錄存儲數(shù)據(jù)。例如，一個表 test，它在HDFS 中的路徑為：/ warehouse/test。

l  所有的 Table 數(shù)據(jù)（不包括 ExternalTable）都保存在這個目錄中。

l  刪除表時，元數(shù)據(jù)與數(shù)據(jù)都會被刪除

l 常用操作

l  創(chuàng)建數(shù)據(jù)文件t1.dat

l  創(chuàng)建表

l  hive>create table t1 (key string);

l  加載數(shù)據(jù)

l  hive>load data local inpath '/root/inner_table.dat' into table t1;

l  查看數(shù)據(jù)

l  select * from t1

l  select count(*) from t1

l  刪除表 drop table t1

到此，關(guān)于“hive-0.12的安裝步驟”的學(xué)習(xí)就結(jié)束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學(xué)習(xí)，快去試試吧！若想繼續(xù)學(xué)習(xí)更多相關(guān)知識，請繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>

本文題目：hive-0.12的安裝步驟
轉(zhuǎn)載來于：http://muchs.cn/article30/jpejpo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供靜態(tài)網(wǎng)站、品牌網(wǎng)站建設(shè)、小程序開發(fā)、Google、微信公眾號、外貿(mào)網(wǎng)站建設(shè)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)