四、MapReduce中的排序

一、排序概述

1、在MapReduce的shuffle過程中執(zhí)行了三次排序，分別是：
map的溢寫階段：根據(jù)分區(qū)以及key進(jìn)行快速排序
map的合并溢寫文件：將同一個(gè)分區(qū)的多個(gè)溢寫文件進(jìn)行歸并排序，合成大的溢寫文件
reduce輸入階段：將同一分區(qū)，來自不同map task的數(shù)據(jù)文件進(jìn)行歸并排序

專注于為中小企業(yè)提供網(wǎng)站制作、成都網(wǎng)站制作服務(wù),電腦端+手機(jī)端+微信端的三站合一,更高效的管理,為中小企業(yè)平遙免費(fèi)做網(wǎng)站提供優(yōu)質(zhì)的服務(wù)。我們立足成都，凝聚了一批互聯(lián)網(wǎng)行業(yè)人才，有力地推動(dòng)了成百上千家企業(yè)的穩(wěn)健成長(zhǎng)，幫助中小企業(yè)通過網(wǎng)站建設(shè)實(shí)現(xiàn)規(guī)模擴(kuò)充和轉(zhuǎn)變。

2、在MapReduce整個(gè)過程中，默認(rèn)是會(huì)對(duì)輸出的KV對(duì)按照key進(jìn)行排序的，而且是使用快速排序。
map輸出的排序的，其實(shí)也就是上面的溢寫過程中的排序。
reduce輸出的排序，即reduce處理完數(shù)據(jù)后，MapReduce內(nèi)部會(huì)自動(dòng)對(duì)輸出的KV按照key進(jìn)行排序

以上排序都是根據(jù)KV中的Key進(jìn)行排序的。所以當(dāng)我們自定義的類作為Key時(shí)，需要實(shí)現(xiàn)WritableComparable 接口，也就是實(shí)現(xiàn)里面的 compareTo() 方法，用于排序時(shí)進(jìn)行比較。
比較規(guī)則如下：

public int compareTo(object other) {
    this>other 返回1，正序，返回 -1，逆序。
}

二、二次排序的定義

而在依據(jù)key進(jìn)行排序時(shí)，如果key是一個(gè)復(fù)合對(duì)象，即該對(duì)象中包含多個(gè)成員屬性，那么在進(jìn)行key比較時(shí)，就會(huì)涉及到多個(gè)屬性間的比較，而如果compareTo() 方法中，比較條件為兩個(gè)的話，就稱為二次排序。

三、輔助排序的定義

輔助排序也叫分組排序，是指在reduce前的group過程中根據(jù)排序規(guī)則進(jìn)行的分組，因?yàn)榉纸M的時(shí)候是需要比較KV中key是否相同，如果相同才會(huì)歸為同一個(gè)組，如果不相等，就歸為不同的組，所以就涉及到key比較方法了?？偟膩碚f其實(shí)定義key在什么情況下才相等。這個(gè)過程可以自己定義分組的方法，也就是分組排序的實(shí)現(xiàn)類。
使用方法：
1、自定義分組類，繼承 WritableComparator
2、調(diào)用父類的構(gòu)造方法，創(chuàng)建實(shí)例
3、重寫父類的 compare方法

例子：

public class OrderGroupCompartor extends WritableComparator {

    protected OrderGroupCompartor() {
        super(OrderBean.class, true);
    }

    /**
     * 以orderbean對(duì)象中的ID為分組依據(jù)。
     * 同一ID的認(rèn)為是同一個(gè)group，一個(gè)group只會(huì)調(diào)用一次reduce
     *
     * @param a  比較對(duì)象1
     * @param b  比較對(duì)象2
     * @return
     */
    @Override
    public int compare(WritableComparable a, WritableComparable b) {
        OrderBean aOrderBean = (OrderBean) a;
        OrderBean bOrderBean = (OrderBean) b;

        if (aOrderBean.getID() > bOrderBean.getID()) {
            return 1;
        } else if (aOrderBean.getID() < bOrderBean.getID()) {
            return -1;
        } else {
            return 0;
        }
    }
}

我們要注意的是，在進(jìn)行分組時(shí)，同一個(gè)分組內(nèi)的key是以第一個(gè)進(jìn)入該分區(qū)的KV對(duì)中的key為準(zhǔn)的。如：

有兩個(gè)KV對(duì)：
1、<[1,褲子]，20>
2、<[1,襪子]，21>
其中key由id和物品名稱組成的，value則是物品價(jià)格
假設(shè)分組依據(jù)是根據(jù)key中的id來分組的，那么上面兩個(gè)KV是屬于同一個(gè)group，但是實(shí)際上這兩個(gè)KV
的key是不相等的。當(dāng)1號(hào)KV先進(jìn)入該group，那么就會(huì)以1號(hào)的key作為該group的key，分組的結(jié)果為：
<[1,褲子]，[20,21]>
如果2號(hào)KV先進(jìn)入，則按照前面的規(guī)則，分組結(jié)果為：
<[1,襪子]，[20,21]>

就會(huì)有這樣的情況的發(fā)生，我們要注意利用好這點(diǎn)。

那么誰先進(jìn)入該group的呢？很簡(jiǎn)單，是按照事先排序的順序，在前面的自然先進(jìn)入。這里的排序其實(shí)就是前面reduce端的歸并排序的結(jié)果，而使用的排序依據(jù)其實(shí)就是key的包裝類中compareTo方法，屬于普通排序里面的東西。

編寫好自定義的分組排序類之后，需要在job中指定好自定義的分組類：

job.setGroupingComparatorClass(OrderGroupCompartor.class);

四、排序?qū)嵗?/h2>

普通排序請(qǐng)看 “MapReduce-統(tǒng)計(jì)手機(jī)號(hào)流量”
二次排序和輔助排序請(qǐng)看 “MapReduce--獲取價(jià)格最高的商品”

本文標(biāo)題：四、MapReduce中的排序
URL標(biāo)題：http://muchs.cn/article42/pgojec.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供品牌網(wǎng)站設(shè)計(jì)、外貿(mào)建站、虛擬主機(jī)、品牌網(wǎng)站建設(shè)、全網(wǎng)營(yíng)銷推廣、做網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)