怎么理解spark的計(jì)算器與廣播變量-創(chuàng)新互聯(lián)

這篇文章給大家介紹怎么理解spark的計(jì)算器與廣播變量，內(nèi)容非常詳細(xì)，感興趣的小伙伴們可以參考借鑒，希望對(duì)大家能有所幫助。

成都創(chuàng)新互聯(lián)主要業(yè)務(wù)有網(wǎng)站營(yíng)銷策劃、網(wǎng)站設(shè)計(jì)、網(wǎng)站制作、微信公眾號(hào)開發(fā)、小程序定制開發(fā)、H5技術(shù)、程序開發(fā)等業(yè)務(wù)。一次合作終身朋友，是我們奉行的宗旨；我們不僅僅把客戶當(dāng)客戶，還把客戶視為我們的合作伙伴，在開展業(yè)務(wù)的過程中，公司還積累了豐富的行業(yè)經(jīng)驗(yàn)、營(yíng)銷型網(wǎng)站建設(shè)資源和合作伙伴關(guān)系資源，并逐漸建立起規(guī)范的客戶服務(wù)和保障體系。 

一.計(jì)算器

1.官網(wǎng)

2.解釋

計(jì)數(shù)器只支持加，計(jì)算器字task里面

3.測(cè)試

4.結(jié)果截圖WEBUI

4.應(yīng)用場(chǎng)景

數(shù)據(jù)很多有的數(shù)據(jù)掛了，做數(shù)據(jù)質(zhì)量監(jiān)控用

二.廣播變量

1.官網(wǎng)

2.join代碼

 def commonJoin(sc:SparkContext): Unit = {
    val peopleInfo = sc.parallelize(Array(("G301","糊涂蟲"),("G302","森老"),("G303","Gordon"))).map(x=>(x._1, x))
    val peopleDetail = sc.parallelize(Array(("G301","清華大學(xué)",18))).map(x=>(x._1,x))
    // TODO... 大表關(guān)聯(lián)小表  join  key   from a join b on a.id=b.id
    peopleInfo.join(peopleDetail).map(x=>{x._1 + "," + x._2._1._2 + "," + x._2._2._2+ "," + x._2._2._3})
  }

3.結(jié)果WEBUI

4.廣播變量使用前提

廣播變量的前提條件是數(shù)據(jù)量少，一大一小，不能超過內(nèi)存
數(shù)據(jù)量大小還要看內(nèi)存，你內(nèi)存夠大就可以放
廣播變量放到內(nèi)存中

5.廣播變量的join代碼

  def broadcastJoin(sc:SparkContext): Unit = {
    val peopleInfo = sc.parallelize(Array(("G301","糊涂蟲"),("G302","森老"),("G303","Gordon"))).collectAsMap()
    val peopleDetail = sc.parallelize(Array(("G301","清華大學(xué)",18))).map(x=>(x._1, x))
    // 通過sc將變量廣播出去
    val peopleBroadcast = sc.broadcast(peopleInfo)
    // mappartition: 取出表中的一條記錄和廣播變量中的對(duì)比
    peopleDetail.mapPartitions(x=>{
      val map = peopleBroadcast.value  // 是不是就是內(nèi)存的東西
      for((key,value)<-x if (map.contains(key)))
        yield (key,map.get(key).getOrElse(""), value._2)
    }).foreach(println)
  }

6.WEBUI結(jié)果

7.兩個(gè)join對(duì)比

廣播變量的沒有了shuffer
有前提數(shù)據(jù)量不可以多
把小表廣播到內(nèi)存中，大表每個(gè)數(shù)據(jù)與其對(duì)比
有就要，沒有就不要。
廣播變量與join結(jié)合工作中常用

關(guān)于怎么理解spark的計(jì)算器與廣播變量就分享到這里了，希望以上內(nèi)容可以對(duì)大家有一定的幫助，可以學(xué)到更多知識(shí)。如果覺得文章不錯(cuò)，可以把它分享出去讓更多的人看到。

分享標(biāo)題：怎么理解spark的計(jì)算器與廣播變量-創(chuàng)新互聯(lián)
網(wǎng)頁(yè)網(wǎng)址：http://muchs.cn/article4/dpceie.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站策劃、營(yíng)銷型網(wǎng)站建設(shè)、網(wǎng)頁(yè)設(shè)計(jì)公司、軟件開發(fā)、品牌網(wǎng)站制作、ChatGPT

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)