spark中使用partitioner的實例代碼

本篇內(nèi)容主要講解“spark中使用partitioner的實例代碼”，感興趣的朋友不妨來看看。本文介紹的方法操作簡單快捷，實用性強。下面就讓小編來帶大家學習“spark中使用partitioner的實例代碼”吧!

在華龍等地區(qū)，都構(gòu)建了全面的區(qū)域性戰(zhàn)略布局，加強發(fā)展的系統(tǒng)性、市場前瞻性、產(chǎn)品創(chuàng)新能力，以專注、極致的服務理念，為客戶提供成都網(wǎng)站設計、成都網(wǎng)站制作 網(wǎng)站設計制作按需定制,公司網(wǎng)站建設,企業(yè)網(wǎng)站建設,品牌網(wǎng)站設計,成都營銷網(wǎng)站建設,成都外貿(mào)網(wǎng)站制作,華龍網(wǎng)站建設費用合理。

import org.apache.spark._
import SparkContext._
import org.apache.spark.SparkConf
import java.util.Date
import java.text.SimpleDateFormat
import org.apache.hadoop.io.Text
import org.apache.hadoop.mapred.TextOutputFormat
import org.apache.spark.Partitioner


object partitioner {
 
  def main(args: Array[String]): Unit = {
        val time = new SimpleDateFormat("MMddHHmm").format(new Date());
    val sparkConf =  new SparkConf().setAppName("wordcount_"+time)
    
    sparkConf.set("mapreduce.framework.name", "yarn");
    val sc =new SparkContext(sparkConf)
    
    val textFile = sc.textFile(
        "hdfs://namenode:9000/data/mapreduce/chuping/test_in_1/new5", 1).cache()
    
    val result = textFile.flatMap (line => line.split("\t") ).
    map (word => (word,1)).reduceByKey(new testPartitioner, _+_)
    
    result.saveAsTextFile("hdfs://namenode:9000/data/zk/test/partitioner"+time)
    sc.stop()
  }
}

class testPartitioner extends Partitioner{
          val numPartitions = 3   
          def getPartition(key: Any)=1   指定到第幾個reduce
}

這里的程序只是一個測試的程序，使用的也是一個count而已，無法體現(xiàn)partitioner的實際作用，但是在實際生產(chǎn)中，partitioner的運用比比皆是

到此，相信大家對“spark中使用partitioner的實例代碼”有了更深的了解，不妨來實際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關(guān)內(nèi)容可以進入相關(guān)頻道進行查詢，關(guān)注我們，繼續(xù)學習！

網(wǎng)頁題目：spark中使用partitioner的實例代碼
文章起源：http://muchs.cn/article16/isjsdg.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站維護、網(wǎng)頁設計公司、企業(yè)網(wǎng)站制作、手機網(wǎng)站建設、面包屑導航、App設計

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)