如何理解CentOS7中安裝LZO壓縮程序

如何理解CentOS7中安裝LZO壓縮程序，針對這個問題，這篇文章詳細介紹了相對應的分析和解答，希望可以幫助更多想解決這個問題的小伙伴找到更簡單易行的方法。

我們提供的服務有：成都網站建設、網站制作、微信公眾號開發(fā)、網站優(yōu)化、網站認證、含山ssl等。為超過千家企事業(yè)單位解決了網站和推廣的問題。提供周到的售前咨詢和貼心的售后服務，是有科學管理、有技術的含山網站制作公司

一、準備工作：
yum -y install  lzo-devel  zlib-devel  gcc autoconf automake libtool

二、安裝LZO
1、解壓編譯，并安裝
cd /opt/software
wget http://www.oberhumer.com/opensource/lzo/download/lzo-2.09.tar.gz
tar -zxvf lzo-2.09.tar.gz
cd lzo-2.09
./configure -enable-shared -prefix=/usr/local/hadoop/lzo/
make && make test && make install

2、復制文件
將/usr/local/hadoop/lzo/lib/* 復制到/usr/lib/和/usr/lib64/下
cp /usr/local/hadoop/lzo/lib/* /usr/lib/
cp /usr/local/hadoop/lzo/lib/* /usr/lib64/

3、修改配置環(huán)境變量(vi ~/.bash_profile)，增加如下內容：
export PATH=/usr/local/hadoop/lzo/:$PATH

三、安裝LZOP
1、下載并解壓
cd /opt/software
wget http://www.lzop.org/download/lzop-1.04.tar.gz
tar -zxvf lzop-1.04.tar.gz

2、在編譯前需要的環(huán)境變量(~/.bash_profile)中配置如下內容：
export C_INCLUDE_PATH=/usr/local/hadoop/lzo/include/
注：如不配置變量，在編譯時會報：configure: error: LZO header files not found. Please check your installation or set the environment variable `CPPFLAGS'.

3、進入解壓后目錄，并編譯安裝
cd cd /opt/software/lzop-1.04
./configure -enable-shared -prefix=/usr/local/hadoop/lzop
make  && make install

4、將lzop復制到/usr/bin/
ln -s /usr/local/hadoop/lzop/bin/lzop /usr/bin/lzop

5、測試lzop
輸入：lzop nohup.out
產生：lzo后綴的壓縮文件： /home/hadoop/data/access_20131219.log.lzo即表示成功
注：在測試中可能遇到報錯：lzop: error while loading shared libraries: liblzo2.so.2: cannot open shared object file: No such file or directory
    解決辦法：增加環(huán)境變量(~/.bash_profile)export LD_LIBRARY_PATH=$LD_LIBRARY_PATH:/usr/lib64

四、安裝Hadoop-LZO
注：編譯時需要maven，自行配置好maven
1、下載介質：https://github.com/twitter/hadoop-lzo

2、解壓并編譯：
cd /opt/software/hadoop-lzo-release-0.4.19
mvn clean package -Dmaven.test.skip=true

3、編譯完成執(zhí)行如下命令：
tar -cBf --C target/native/Linux-amd64-64/lib . | tar -xBvf --C /app/hadoop-2.6.0-cdh6.7.0/lib/native
cp target/hadoop-lzo-0.4.19.jar /app/hadoop-2.6.0-cdh6.7.0/share/hadoop/common/

如果為集群環(huán)境，則接下來就是將/app/hadoop-2.6.0-cdh6.7.0/share/hadoop/common/hadoop-lzo-0.4.19.jar以及/app/hadoop-2.6.0-cdh6.7.0/lib/native/同步到其它所有的hadoop節(jié)點。
注意，要保證目錄/app/hadoop-2.6.0-cdh6.7.0/lib/native/下的jar包，運行hadoop的用戶都有執(zhí)行權限。

五、產生index文件
cd /app/hadoop-2.6.0-cdh6.7.0/share/hadoop/common
hadoop jar hadoop-lzo-0.4.19.jar com.hadoop.compression.lzo.LzoIndexer /user/hive/warehouse/page_views_parquet1/page_views_parquet.lzo
注：lzo文件必須在hdfs文件系統(tǒng)中。
至此完成CentOS7中安裝LZO壓縮程序

關于如何理解CentOS7中安裝LZO壓縮程序問題的解答就分享到這里了，希望以上內容可以對大家有一定的幫助，如果你還有很多疑惑沒有解開，可以關注創(chuàng)新互聯(lián)行業(yè)資訊頻道了解更多相關知識。

本文名稱：如何理解CentOS7中安裝LZO壓縮程序
瀏覽地址：http://muchs.cn/article4/jsogie.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供ChatGPT、域名注冊、微信小程序、商城網站、關鍵詞優(yōu)化、Google

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)