怎么將HDFS文件內(nèi)容數(shù)據(jù)寫入存儲(chǔ)到HBase中

這篇文章主要講解了“怎么將HDFS文件內(nèi)容數(shù)據(jù)寫入存儲(chǔ)到HBase中”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“怎么將HDFS文件內(nèi)容數(shù)據(jù)寫入存儲(chǔ)到HBase中”吧！

創(chuàng)新互聯(lián)專注為客戶提供全方位的互聯(lián)網(wǎng)綜合服務(wù)，包含不限于成都做網(wǎng)站、網(wǎng)站設(shè)計(jì)、魚臺(tái)網(wǎng)絡(luò)推廣、小程序制作、魚臺(tái)網(wǎng)絡(luò)營銷、魚臺(tái)企業(yè)策劃、魚臺(tái)品牌公關(guān)、搜索引擎seo、人物專訪、企業(yè)宣傳片、企業(yè)代運(yùn)營等，從售前售中售后，我們都將竭誠為您服務(wù)，您的肯定，是我們最大的嘉獎(jiǎng)；創(chuàng)新互聯(lián)為所有大學(xué)生創(chuàng)業(yè)者提供魚臺(tái)建站搭建服務(wù)，24小時(shí)服務(wù)熱線：13518219792，官方網(wǎng)址：muchs.cn

將HDFS文件內(nèi)容數(shù)據(jù)寫入存儲(chǔ)到HBase中：
對(duì)一些大的文件，需要存入HBase中，其思想是先把文件傳到HDFS上，利用map階段讀取<key,value>對(duì)，可在reduce把這些鍵值對(duì)上傳到HBase中。

這里已經(jīng)是固定指定HDFS中的某一文件，然后在reduce中把這些鍵值對(duì)寫入到HBase中。
 

public class HBaseAndMapReduce3 {
	
	public static void main(String[] args) throws Exception {
		System.exit(run());
	}

	public static int run() throws Exception {
		Configuration conf = new Configuration();
		conf = HBaseConfiguration.create(conf);
		conf.set("hbase.zookeeper.quorum", "192.168.226.129");

		Job job = Job.getInstance(conf, "findFriend");
		job.setJarByClass(HBaseAndMapReduce3.class);

		job.setInputFormatClass(KeyValueTextInputFormat.class);
		
		job.setMapOutputKeyClass(Text.class);
		job.setMapOutputValueClass(Text.class);

		DateFormat df = new SimpleDateFormat( "yyyyMMddHHmmssS" );
		
		FileInputFormat.addInputPath(job, new Path("hdfs://192.168.226.129:9000/hbasemapreduce1/2016051818564427/part-r-00000"));
		
		// 把數(shù)據(jù)寫入Hbase數(shù)據(jù)庫
		TableMapReduceUtil.initTableReducerJob("friend",FindFriendReducer.class, job);
		checkTable(conf);
		return job.waitForCompletion(true) ? 0 : 1;
	}

	private static void checkTable(Configuration conf) throws Exception {
		Connection con = ConnectionFactory.createConnection(conf);
		Admin admin = con.getAdmin();
		TableName tn = TableName.valueOf("friend");
		if (!admin.tableExists(tn)){
			HTableDescriptor htd = new HTableDescriptor(tn);
			HColumnDescriptor hcd = new HColumnDescriptor("person");
			htd.addFamily(hcd);
			admin.createTable(htd);
			System.out.println("表不存在，新創(chuàng)建表成功....");
		}
	}

	public static class FindFriendReducer extends
			TableReducer<Text, Text, ImmutableBytesWritable> {
		@Override
		protected void reduce(
				Text key,
				Iterable<Text> values,
				Reducer<Text, Text, ImmutableBytesWritable, Mutation>.Context context)
				throws IOException, InterruptedException {
			
			Put put = new Put(key.getBytes());
			put.addColumn(Bytes.toBytes("person"), Bytes.toBytes("nickname"),
					values.iterator().next().getBytes());
			context.write(new ImmutableBytesWritable(key.getBytes()), put);
		}
	}
}

//原數(shù)據(jù)文件中的內(nèi)容：

hadoop	Berg-OSChina,BergBerg
hbase	OSChina,BergBerg
zookeeper	OSChina,BergBerg

///將HDFS中文件內(nèi)容存入HBase中,通過客戶端全表掃描知：

hbase(main):003:0> scan 'friend'
ROW                             COLUMN+CELL                                                                              
 hadoop                         column=person:nickname, timestamp=1463748372584, value=Berg-OSChina,BergBerg             
 hbasep                         column=person:nickname, timestamp=1463748372584, value=OSChina,BergBerggBerg             
 zookeeper                      column=person:nickname, timestamp=1463748372584, value=OSChina,BergBerggBerg             
3 row(s) in 0.2850 seconds

感謝各位的閱讀，以上就是“怎么將HDFS文件內(nèi)容數(shù)據(jù)寫入存儲(chǔ)到HBase中”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對(duì)怎么將HDFS文件內(nèi)容數(shù)據(jù)寫入存儲(chǔ)到HBase中這一問題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！

當(dāng)前名稱：怎么將HDFS文件內(nèi)容數(shù)據(jù)寫入存儲(chǔ)到HBase中
標(biāo)題來源：http://muchs.cn/article12/ippjgc.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供域名注冊(cè)、服務(wù)器托管、做網(wǎng)站、定制網(wǎng)站、靜態(tài)網(wǎng)站、網(wǎng)站改版

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)

微信小程序開發(fā)