Mapreduce程序中reduce的Iterable參數(shù)問題怎么解決

這篇文章主要講解了“Mapreduce程序中reduce的Iterable參數(shù)問題怎么解決”，文中的講解內(nèi)容簡(jiǎn)單清晰，易于學(xué)習(xí)與理解，下面請(qǐng)大家跟著小編的思路慢慢深入，一起來研究和學(xué)習(xí)“Mapreduce程序中reduce的Iterable參數(shù)問題怎么解決”吧！

創(chuàng)新互聯(lián)建站服務(wù)項(xiàng)目包括高碑店網(wǎng)站建設(shè)、高碑店網(wǎng)站制作、高碑店網(wǎng)頁(yè)制作以及高碑店網(wǎng)絡(luò)營(yíng)銷策劃等。多年來，我們專注于互聯(lián)網(wǎng)行業(yè)，利用自身積累的技術(shù)優(yōu)勢(shì)、行業(yè)經(jīng)驗(yàn)、深度合作伙伴關(guān)系等，向廣大中小型企業(yè)、政府機(jī)構(gòu)等提供互聯(lián)網(wǎng)行業(yè)的解決方案，高碑店網(wǎng)站推廣取得了明顯的社會(huì)效益與經(jīng)濟(jì)效益。目前，我們服務(wù)的客戶以成都為中心已經(jīng)輻射到高碑店省份的部分城市，未來相信會(huì)繼續(xù)擴(kuò)大服務(wù)區(qū)域并繼續(xù)獲得客戶的支持與信任！

今天在對(duì)reduce的參數(shù)Iterable進(jìn)行迭代時(shí)，發(fā)現(xiàn)一個(gè)問題，即Iterator的next()方法每次返回的是同一個(gè)對(duì)象，next()只是修改了Writable對(duì)象的值，而不是重新返回一個(gè)新的Writable對(duì)象。

使用wordcount來驗(yàn)證：

我的代碼如下：

protected void reduce(Text key, Iterable<IntWritable> values,
        Reducer<Text, IntWritable, Text, IntWritable>.Context context)
        throws IOException, InterruptedException {
    int sum = 0;

    // 保存每個(gè)IntWritable到list
    List<IntWritable> intWritables = new ArrayList<IntWritable>();

    for (IntWritable val : values) {
        intWritables.add(val);
        sum += val.get();
    }

    if(intWritables.size() > 1) {
        // 當(dāng)list size大于1時(shí)，驗(yàn)證第一個(gè)元素和第二個(gè)元素是否是同一個(gè)對(duì)象
        System.out.println("objects is same -> "
                + (intWritables.get(0) == intWritables.get(1)));
    }

    result.set(sum);
    context.write(key, result);
}

日志輸出：

objects is same -> true

這個(gè)Iterable的實(shí)現(xiàn)是org.apache.hadoop.mapreduce.task.ReduceContextImpl.ValueIterable

Iterator實(shí)現(xiàn)是org.apache.hadoop.mapreduce.task.ReduceContextImpl.ValueIterator

其中next()實(shí)現(xiàn)時(shí)，調(diào)用的是org.apache.hadoop.io.serializer.WritableSerialization的deserialize(Writable w)方法，

Writable deserialize(Writable w) IOException {
  Writable writable;
  (w == ) {
    writable 
      = (Writable) ReflectionUtils.(, getConf());
  } {
    writable = w;
  }
  writable.readFields();
  writable;
}

該方法只是調(diào)用了入?yún)的readFields方法，并沒有創(chuàng)建新對(duì)象，除非w是null

感謝各位的閱讀，以上就是“Mapreduce程序中reduce的Iterable參數(shù)問題怎么解決”的內(nèi)容了，經(jīng)過本文的學(xué)習(xí)后，相信大家對(duì)Mapreduce程序中reduce的Iterable參數(shù)問題怎么解決這一問題有了更深刻的體會(huì)，具體使用情況還需要大家實(shí)踐驗(yàn)證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關(guān)知識(shí)點(diǎn)的文章，歡迎關(guān)注！

當(dāng)前名稱：Mapreduce程序中reduce的Iterable參數(shù)問題怎么解決
網(wǎng)站URL：http://muchs.cn/article8/ishcip.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)建站、全網(wǎng)營(yíng)銷推廣、動(dòng)態(tài)網(wǎng)站、服務(wù)器托管、移動(dòng)網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)

成都網(wǎng)站建設(shè)公司