spark怎么連接使用hbase

本篇內(nèi)容主要講解“spark怎么連接使用hbase”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“spark怎么連接使用hbase”吧!

在成都網(wǎng)站設計、網(wǎng)站建設中從網(wǎng)站色彩、結構布局、欄目設置、關鍵詞群組等細微處著手，突出企業(yè)的產(chǎn)品/服務/品牌，幫助企業(yè)鎖定精準用戶，提高在線咨詢和轉(zhuǎn)化，使成都網(wǎng)站營銷成為有效果、有回報的無錫營銷推廣。成都創(chuàng)新互聯(lián)公司專業(yè)成都網(wǎng)站建設十余年了，客戶滿意度97.8%，歡迎成都創(chuàng)新互聯(lián)客戶聯(lián)系。

一、環(huán)境準備

    1、復制HBase目錄下的lib文件 到 spark目錄/lib/hbase。spark 依賴此lib

    清單如下：guava-12.0.1.jar            htrace-core-3.1.0-incubating.jar protobuf-java-2.5.0.jar   這三個jar加上以hbase開頭所有jar，其它就不必了。全部復制會引起報錯。

   2、修改spark配置文件（spark-env.sh），在最后面增加一行

 export SPARK_CLASSPATH=/usr/local/spark-1.5.1-bin-hadoop2.4/lib/hbase/*

   3、重啟spark 集群

二、代碼

package com.xx;

import org.apache.commons.logging.Log;
import org.apache.commons.logging.LogFactory;
import org.apache.hadoop.conf.Configuration;
import org.apache.hadoop.hbase.HBaseConfiguration;
import org.apache.hadoop.hbase.client.Result;
import org.apache.hadoop.hbase.client.Scan;
import org.apache.hadoop.hbase.io.ImmutableBytesWritable;
import org.apache.hadoop.hbase.mapreduce.TableInputFormat;
import org.apache.hadoop.hbase.protobuf.ProtobufUtil;
import org.apache.hadoop.hbase.protobuf.generated.ClientProtos;
import org.apache.hadoop.hbase.util.Base64;
import org.apache.hadoop.hbase.util.Bytes;
import org.apache.spark.SparkConf;
import org.apache.spark.api.java.JavaPairRDD;
import org.apache.spark.api.java.JavaSparkContext;

import java.io.IOException;

/**
 * spark 讀取HBase數(shù)據(jù)
 * @author Chenj
 */
public class ReadHBase {

    private static final Log LOG = LogFactory.getLog(ErrorCount.class);

    private static final String appName = "hbase test";
    private static final String master = "spark://192.168.1.21:7077";

    public static void main(String[] avgs){
        SparkConf conf = new SparkConf().
                            setAppName(appName).
                            setMaster(master).
                            setSparkHome(System.getenv("SPARK_HOME")).
                            setJars(new String[]{System.getenv("jars")});

        Configuration configuration = HBaseConfiguration.create();

        configuration.set("hbase.zookeeper.property.clientPort", "2181");  //設置zookeeper client端口
        configuration.set("hbase.zookeeper.quorum", "192.168.1.19");   // 設置zookeeper quorum
        configuration.addResource("/usr/local/hbase-1.0.1.1/conf/hbase-site.xml");  //將hbase的配置加載

        configuration.set(TableInputFormat.INPUT_TABLE, "heartSocket");
        JavaSparkContext sc = new JavaSparkContext(conf);

        Scan scan = new Scan();
        scan.addFamily(Bytes.toBytes("d"));
        scan.addColumn(Bytes.toBytes("d"), Bytes.toBytes("consumeTime"));
        try {
            ClientProtos.Scan proto = ProtobufUtil.toScan(scan);
            String scanToString = Base64.encodeBytes(proto.toByteArray());
            configuration.set(TableInputFormat.SCAN, scanToString);
        } catch (IOException e) {
            e.printStackTrace();
        }

        JavaPairRDD<ImmutableBytesWritable, Result> rdd = sc.newAPIHadoopRDD(configuration,
                TableInputFormat.class,
                ImmutableBytesWritable.class,
                Result.class);

        LOG.info("總個數(shù)為：" + rdd.count());

    }
}

3、提交運行

./spark-submit --class com.xx.ReadHBase --master spark://ser21:7077 /usr/local/spark-1.0-SNAPSHOT.jar

到此，相信大家對“spark怎么連接使用hbase”有了更深的了解，不妨來實際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關內(nèi)容可以進入相關頻道進行查詢，關注我們，繼續(xù)學習！

分享文章：spark怎么連接使用hbase
文章鏈接：http://muchs.cn/article32/jchisc.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供、虛擬主機、App開發(fā)、網(wǎng)站制作、建站公司、網(wǎng)站設計公司

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)