shuffle和mapshuffle有什么區(qū)別

這篇文章將為大家詳細(xì)講解有關(guān)shuffle和map shuffle有什么區(qū)別，小編覺得挺實用的，因此分享給大家做個參考，希望大家閱讀完這篇文章后可以有所收獲。

為企業(yè)提供成都網(wǎng)站設(shè)計、成都網(wǎng)站制作、外貿(mào)網(wǎng)站建設(shè)、網(wǎng)站優(yōu)化、成都全網(wǎng)營銷推廣、競價托管、品牌運(yùn)營等營銷獲客服務(wù)。創(chuàng)新互聯(lián)建站擁有網(wǎng)絡(luò)營銷運(yùn)營團(tuán)隊，以豐富的互聯(lián)網(wǎng)營銷經(jīng)驗助力企業(yè)精準(zhǔn)獲客，真正落地解決中小企業(yè)營銷獲客難題，做到“讓獲客更簡單”。自創(chuàng)立至今，成功用技術(shù)實力解決了企業(yè)“網(wǎng)站建設(shè)、網(wǎng)絡(luò)品牌塑造、網(wǎng)絡(luò)營銷”三大難題，同時降低了營銷成本，提高了有效客戶轉(zhuǎn)化率，獲得了眾多企業(yè)客戶的高度認(rèn)可！

普通shuffle結(jié)構(gòu)圖：

• 不同表由不同的map完成，shuffle把條件相等的key分發(fā)到reduce task上去執(zhí)行

• join等于是在reduce階段完成

缺點：
成本高且效率慢，所有的數(shù)據(jù)都需要shuffle去完成

map shuffle結(jié)構(gòu)圖：

• mapjoin: join是發(fā)生在map階段，無shuffle

• mapjoin使用前提：大表 join 小表(小表有大小限制 maximum；hive元數(shù)據(jù)判斷大小表)

• 本地的map task讀取小表的數(shù)據(jù)生成HashTable File,然后upload到分布式緩存里.

• 完成本地map task小表后，啟動Mapjoin task作業(yè)讀取大表數(shù)據(jù)，每條數(shù)據(jù)和緩存里數(shù)據(jù)進(jìn)行匹配

關(guān)于“shuffle和map shuffle有什么區(qū)別”這篇文章就分享到這里了，希望以上內(nèi)容可以對大家有一定的幫助，使各位可以學(xué)到更多知識，如果覺得文章不錯，請把它分享出去讓更多的人看到。

分享標(biāo)題：shuffle和mapshuffle有什么區(qū)別
網(wǎng)站URL：http://muchs.cn/article46/jcpehg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站改版、網(wǎng)站設(shè)計、網(wǎng)站建設(shè)、App開發(fā)、域名注冊、網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)