MapReduce工作機(jī)制相關(guān)知識(shí)點(diǎn)有哪些

本篇內(nèi)容主要講解“MapReduce工作機(jī)制相關(guān)知識(shí)點(diǎn)有哪些”，感興趣的朋友不妨來(lái)看看。本文介紹的方法操作簡(jiǎn)單快捷，實(shí)用性強(qiáng)。下面就讓小編來(lái)帶大家學(xué)習(xí)“MapReduce工作機(jī)制相關(guān)知識(shí)點(diǎn)有哪些”吧!

創(chuàng)新互聯(lián)專注于企業(yè)成都全網(wǎng)營(yíng)銷、網(wǎng)站重做改版、合水網(wǎng)站定制設(shè)計(jì)、自適應(yīng)品牌網(wǎng)站建設(shè)、H5場(chǎng)景定制、商城系統(tǒng)網(wǎng)站開發(fā)、集團(tuán)公司官網(wǎng)建設(shè)、外貿(mào)營(yíng)銷網(wǎng)站建設(shè)、高端網(wǎng)站制作、響應(yīng)式網(wǎng)頁(yè)設(shè)計(jì)等建站業(yè)務(wù)，價(jià)格優(yōu)惠性價(jià)比高，為合水等各大城市提供網(wǎng)站開發(fā)制作服務(wù)。

作業(yè)的提交

可以只用一行代碼來(lái)運(yùn)行一個(gè)MapReduce作業(yè)：

    JobClient.runJob(conf)。

作業(yè)的調(diào)度

Hadoop作業(yè)調(diào)度演進(jìn)

1、早期版本的Hadoop使用FIFO調(diào)度算法來(lái)運(yùn)行作業(yè)

早期版本的Hadoop使用一種非常簡(jiǎn)單的方法來(lái)調(diào)度用戶的作業(yè)：

按照作業(yè)提交的順序，使用FIFO（先進(jìn)先出）調(diào)度算法來(lái)運(yùn)行作業(yè)。

2、隨后，通過設(shè)置mapred.job.priority或JobClient的setJobPriority（）方法來(lái)設(shè)置優(yōu)先級(jí)

3、Hadoop的調(diào)度器種類

在Hadoop中，MapReduce的調(diào)度器可以選擇。

1）、默認(rèn)的調(diào)度器是原始的基于隊(duì)列的FIFO調(diào)度器。

2）、Fair Scheduler 公平調(diào)度器

3）、Capacity Scheduler

MapReduce的工作機(jī)制相關(guān)知識(shí)點(diǎn)：

1、通過調(diào)用什么代碼運(yùn)行一個(gè)MapReduce作業(yè)？

   JobClient.runJob(conf);

2、hadoop運(yùn)行作業(yè)的整個(gè)過程圖解

MapReduce工作機(jī)制相關(guān)知識(shí)點(diǎn)有哪些

3、hadoop運(yùn)行作業(yè)的整個(gè)過程包含幾個(gè)獨(dú)立的實(shí)體？

它包含以下4個(gè)獨(dú)立的實(shí)體：

    1）、客戶端：提交MapReduce作業(yè)。

    2）、jobtracker：協(xié)調(diào)作業(yè)的運(yùn)行。

    jobtracker是一個(gè)Java應(yīng)用程序，它的主類是JobTracker。

    3）、tasktracker：運(yùn)行作業(yè)劃分后的任務(wù)。

    tasktracker是一個(gè)Java應(yīng)用程序，它的主類是TaskTracker。

    4）、分布式文件系統(tǒng)（一般為HDFS）

    用來(lái)在其他實(shí)體間共享作業(yè)文件。

到此，相信大家對(duì)“MapReduce工作機(jī)制相關(guān)知識(shí)點(diǎn)有哪些”有了更深的了解，不妨來(lái)實(shí)際操作一番吧！這里是創(chuàng)新互聯(lián)網(wǎng)站，更多相關(guān)內(nèi)容可以進(jìn)入相關(guān)頻道進(jìn)行查詢，關(guān)注我們，繼續(xù)學(xué)習(xí)！

當(dāng)前名稱：MapReduce工作機(jī)制相關(guān)知識(shí)點(diǎn)有哪些
文章來(lái)源：http://muchs.cn/article16/pihhgg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)頁(yè)設(shè)計(jì)公司、動(dòng)態(tài)網(wǎng)站、云服務(wù)器、網(wǎng)站建設(shè)、電子商務(wù)、定制網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)

成都網(wǎng)站建設(shè)