這篇文章主要介紹“centos7快速配置hive的過程”,在日常操作中,相信很多人在centos7快速配置hive的過程問題上存在疑惑,小編查閱了各式資料,整理出簡單好用的操作方法,希望對大家解答”centos7快速配置hive的過程”的疑惑有所幫助!接下來,請跟著小編一起來學習吧!
成都創(chuàng)新互聯(lián)專業(yè)提供成都主機托管四川主機托管成都服務器托管四川服務器托管,支持按月付款!我們的承諾:貴族品質(zhì)、平民價格,機房位于中國電信/網(wǎng)通/移動機房,服務器托管雅安服務有保障!
### hive 配置部分
目錄規(guī)劃
/usr/lib/jvm/jdk1.8.0_65
/usr/hadoop
/usr/hive
/etc/profile
......
export JAVA_HOME=/usr/lib/jvm/jdk1.8.0_131
export JRE_HOME=${JAVA_HOME}/jre
export CLASSPATH=.:${JAVA_HOME}/lib:${JRE_HOME}/lib
export PATH=${JAVA_HOME}/bin:$PATH
export HADOOP_HOME=/usr/hadoop
export PATH=${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:$PATH
export HIVE_HOME=/usr/hive
export PATH=$HIVE_HOME/bin:$PATH
export LD_LIBRARY_PATH=$JAVA_HOME/jre/lib/amd64/server
如果沒有這個,會OGG-15050 Error loading Java VM runtime library: (2 No such file or directory)
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$JAVA_HOME/jre/lib
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$JAVA_HOME/lib
export OGG_HOME=/ogg/oggbd
# export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$ORACLE_HOME/lib
export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:$OGG_HOME:$OGG_HOME/ggjava
下載解壓
hive 下載地址: http://hive.apache.org/ --> GENERAL --> Downloads
apache-hive-2.3.0-bin.tar.gz
tar -xzf apache-hive-2.3.0-bin.tar.gz
mv apache-hive-2.3.0-bin /usr/hive
chown -R htjs:htjs /usr/hive
進入/usr/hive/conf 復制修改配置文件
配置文件
配置文件1 hive-env.sh
cp hive-env.sh.template hive-env.sh
修改HADOOP_HOME:HADOOP_HOME=/usr/hadoop
如果這里不修改,hive無法初始化元數(shù)據(jù),
報錯Error: Syntax error: Encountered "" at line 1, column 64. (state=42X01,code=30000)
配置文件2 hive-site.xml
cp hive-default.xml.template hive-site.xml
cp hive-log4j2.properties.template hive-log4j2.properties
cp hive-exec-log4j2.properties.template hive-exec-log4j2.properties
hive-site.xml 配置文件中MySQL相關(guān)部分 (這個地方在博客上顯示不全!)
javax.jdo.option.ConnectionURL
jdbc:mysql://localhost:3306/hive?createDatabaseIfNotExist=true
javax.jdo.option.ConnectionDriverName
com.mysql.jdbc.Driver
javax.jdo.option.ConnectionUserName
root
javax.jdo.option.ConnectionPassword
rootroot
hive-site.xml 配置文件中 tmpdir的替換
:%s/${system:java.io.tmpdir}/\/usr\/hive\/tmp/gc
:%s/${system:user.name}/htjs/gc
實際上是將
${system:java.io.tmpdir}/${system:user.name}
替換成
/usr/hive/tmp/htjs
如果這里不替換,會出現(xiàn)hive無法啟動錯誤 URISyntaxException
復制mysql驅(qū)動
tar -xzf mysql-connector-java-5.1.42.tar.gz
cd mysql-connector-java-5.1.42
cp mysql-connector-java-5.1.42-bin.jar /usr/hive/lib
chown -R htjs:htjs /usr/hive/lib/mysql*.jar
創(chuàng)建目錄
mkdir /usr/hive/tmp
hdfs dfs -mkdir /tmp
hdfs dfs -mkdir -p /user/hive/warehouse
hdfs dfs -chmod -R +w /tmp
hdfs dfs -chmod -R +w /user/hive
hdfs dfs -ls /user/hive
初始化schema
$ $HIVE_HOME/bin/schematool -dbType mysql -initSchema
運行hive
單機模式
$ hive
hive> CREATE TABLE pokes (foo INT, bar STRING);
hive> CREATE TABLE invites (foo INT, bar STRING) PARTITIONED BY (ds STRING);
服務器模式
$ hiveserver2
or
$ nohup /usr/hive/bin/hiveserver2 &
這時可以通過jdbc客戶端連接這個服務訪問hive,端口默認是10000,
在hive-site.xml 中可以修改 hive.server2.thrift.port 為其他端口,比如8338
使用beeline連接
$ beeline -u jdbc:hive2://node1:10000 -n"htjs"
使用-n"htjs" 選項,是為了避免權(quán)限問題。如果/user/hive/warehouse 出現(xiàn)不能寫入的問題,帶上-n
insert into pokes (foo,bar) values (1,'a');
select * from pokes;
hive 配置完畢。
到此,關(guān)于“centos7快速配置hive的過程”的學習就結(jié)束了,希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習,快去試試吧!若想繼續(xù)學習更多相關(guān)知識,請繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站,小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>
當前題目:centos7快速配置hive的過程
轉(zhuǎn)載源于:http://muchs.cn/article38/pihosp.html
成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供商城網(wǎng)站、標簽優(yōu)化、品牌網(wǎng)站制作、網(wǎng)站策劃、網(wǎng)站維護、微信小程序
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)