hadoopcdh版本安裝snappy-創(chuàng)新互聯(lián)

一.安裝 protobuf
ubuntu 系統(tǒng)
首先確保具有 gcc gcc-c++ libtool cmake 具有這些環(huán)境
1 在 /etc/ld.so.conf.d/目錄下創(chuàng)建文件 libprotobuf.conf 寫(xiě)入內(nèi)容 /usr/local/lib 否則會(huì)報(bào) error while loading shared libraries: libprotoc.so.8: cannot open shared obj
2../configure make&&make install
2.驗(yàn)證安裝完成
protoc --version
libprotoc 2.5.0

十多年的微山網(wǎng)站建設(shè)經(jīng)驗(yàn)，針對(duì)設(shè)計(jì)、前端、開(kāi)發(fā)、售后、文案、推廣等六對(duì)一服務(wù)，響應(yīng)快，48小時(shí)及時(shí)工作處理。成都營(yíng)銷(xiāo)網(wǎng)站建設(shè)的優(yōu)勢(shì)是能夠根據(jù)用戶(hù)設(shè)備顯示端的尺寸不同，自動(dòng)調(diào)整微山建站的顯示方式，使網(wǎng)站能夠適用不同顯示終端，在瀏覽器中調(diào)整網(wǎng)站的寬度，無(wú)論在任何一種瀏覽器上瀏覽網(wǎng)站，都能展現(xiàn)優(yōu)雅布局與設(shè)計(jì)，從而大程度地提升瀏覽體驗(yàn)。創(chuàng)新互聯(lián)公司從事“微山網(wǎng)站設(shè)計(jì)”,“微山網(wǎng)站推廣”以來(lái)，每個(gè)客戶(hù)項(xiàng)目都認(rèn)真落實(shí)執(zhí)行。

二.安裝 snappy 本地庫(kù)
http://www.filewatcher.com/m/snappy-1.1.1.tar.gz.1777992-0.html
下載snappy-1.1.1.tar.gz
解壓 ./configure
make&& makeInstall

檢查/usr/local/lib
libsnappy.a
libsnappy.la
libsnappy.so
libsnappy.so.1
libsnappy.so.1.2.0

三.編譯 cdh hadoop的源碼。（加入snappy支持）
下載鏈接http://archive.cloudera.com/cdh6/cdh/5/

hadoop-2.6.0-cdh6.11.0-src.tar.gz
解壓。使用maven編譯
4.檢查文件
hadoop-2.6.0-cdh6.11.0/hadoop-dist/target/hadoop-2.6.0-cdh6.11.0/lib/native
目錄下是否具有 hadoop的本地庫(kù)以及 snappy的本地庫(kù)

將此目錄下的文件拷貝到hadoop集群中的hadoop下的lib/native目錄和hbase下的lib/native/Linux-amd64-64目錄下，沒(méi)有則新建，各節(jié)點(diǎn)均需拷貝。

cp ~apk/hadoop-2.6.0-cdh6.11.0/hadoop-dist/target/hadoop-2.6.0-cdh6.11.0/lib/native/* ~/app/hadoop/lib/native/

6.將本地庫(kù)同步到其他節(jié)點(diǎn)
7.配置 hadoop的 core-site.xml
加入
<property>
<name>io.compression.codecs</name>
<value>org.apache.hadoop.io.compress.GzipCodec,org.apache.hadoop.io.compress.DefaultCodec,org.apache.hadoop.io.compress.BZip2Codec,org.apache.hadoop.io.compress.SnappyCodec</value>
</property>

配置 mapred-site.xml
加入
<property>
<name>mapreduce.map.output.compress</name>
<value>true</value>
</property>
<property>
<name>mapreduce.map.output.compress.codec</name>
<value>org.apache.hadoop.io.compress.SnappyCodec</value>
</property>
<property>
<name>mapreduce.admin.user.env</name>
<value>LD_LIBRARY_PATH=/home/hadoop/app/hadoop/lib/native</value>
</property>
配置 hbase的 hbase-site.xml
加入
<property>
<name>hbase.block.data.cachecompressed</name>
<value>true</value>
</property>

8.重啟hadoop的hdfs與yarn
9.驗(yàn)證snappy是否成功。
hadoop checknative

18/03/07 17:33:36 WARN bzip2.Bzip2Factory: Failed to load/initialize native-bzip2 library system-native, will use pure-Java version
18/03/07 17:33:36 INFO zlib.ZlibFactory: Successfully loaded & initialized native-zlib library
Native library checking:
hadoop: true /home/hadoop/app/hadoop/lib/native/libhadoop.so
zlib: true /lib/x86_64-linux-gnu/libz.so.1
snappy: true /home/hadoop/app/hadoop/lib/native/libsnappy.so.1
lz4: true revision:10301
bzip2: false
openssl: true /usr/lib/x86_64-linux-gnu/libcrypto.so

看到snappy已經(jīng)成功支持

運(yùn)行mapreduce任務(wù)
hadoop jar ~/app/hadoop/share/hadoop/mapreduce/hadoop-mapreduce-examples-2.6.0-cdh6.11.0.jar wordcount /input/gisData /output
如果正常運(yùn)行。則證明 snappy沒(méi)有問(wèn)題。如果有。
Exception in thread "main" java.lang.UnsatisfiedLinkError: org.apache.hadoop.util.NativeCodeLoader.buildSupportsSnappy()Z

請(qǐng)檢查mapred-site.xml 的本地庫(kù)配置

10 啟動(dòng)hbase.
先創(chuàng)建一張snappy的表

create 'snappyTest',{NAME=>'f',COMPRESSION => 'SNAPPY'}
descibe 'snappyTest'

TTL => 'FOREVER', COMPRESSION => 'SNAPPY', MIN_VERSIONS => '0' 看到這個(gè)snappy就可以了。

重點(diǎn)是我們要壓縮現(xiàn)有的表
可以在shell外執(zhí)行
$ echo "disable 'snappyTest2'" | hbase shell #禁用表
$ echo "desc 'snappyTest2'" | hbase shell #查看表結(jié)構(gòu)
$ echo "alter 'snappyTest2',{NAME=>'f',COMPRESSION => 'SNAPPY'} " | hbase shell #壓縮修改為snappy
$ echo "enable 'snappyTest2'" | hbase shell #使用該表
$ echo "major_compact 'snappyTest2'" | hbase shell #最好使該表的region compact一次

也可以hbase shell 進(jìn)shell手動(dòng)壓縮。壓縮后會(huì)發(fā)現(xiàn) 數(shù)據(jù)有40%左右的壓縮比

java代碼創(chuàng)建Hbase表只需要
HColumnDescriptor HColumnDesc = new HColumnDescriptor("data");
HColumnDesc.setCompressionType(Algorithm.SNAPPY);//這句是關(guān)鍵

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性?xún)r(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專(zhuān)為企業(yè)上云打造定制，能夠滿(mǎn)足用戶(hù)豐富、多元化的應(yīng)用場(chǎng)景需求。

當(dāng)前名稱(chēng)：hadoopcdh版本安裝snappy-創(chuàng)新互聯(lián)
網(wǎng)頁(yè)URL：http://www.muchs.cn/article0/dsjioo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站策劃、虛擬主機(jī)、營(yíng)銷(xiāo)型網(wǎng)站建設(shè)、全網(wǎng)營(yíng)銷(xiāo)推廣、電子商務(wù)、自適應(yīng)網(wǎng)站

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源：創(chuàng)新互聯(lián)

猜你還喜歡下面的內(nèi)容