頂級(jí)Hadoop管理員面試問(wèn)題與回答

互聯(lián)網(wǎng)IDC圈4月8日?qǐng)?bào)道，在2010年，沒(méi)有人知道什么是Hadoop，但是今天，房間里的大象這個(gè)標(biāo)志已經(jīng)成為了大數(shù)據(jù)的寵兒。根據(jù)Wikibon, Hadoop市場(chǎng)在2012年，供應(yīng)商的收入已經(jīng)有256美元，預(yù)計(jì)2017年底增加到17億、程序員、架構(gòu)師、系統(tǒng)管理員和數(shù)據(jù)倉(cāng)庫(kù)員都在千方百計(jì)地學(xué)習(xí)存儲(chǔ)和處理大數(shù)據(jù)集的Hadoop。開(kāi)始一個(gè)Hadoop管理員面試將會(huì)成為一個(gè)單調(diào)枯燥的工作，如果你沒(méi)有花足夠的時(shí)間來(lái)準(zhǔn)備。

創(chuàng)新互聯(lián)主營(yíng)峨山縣網(wǎng)站建設(shè)的網(wǎng)絡(luò)公司,主營(yíng)網(wǎng)站建設(shè)方案,成都APP應(yīng)用開(kāi)發(fā),峨山縣h5微信小程序定制開(kāi)發(fā)搭建,峨山縣網(wǎng)站營(yíng)銷推廣歡迎峨山縣等地區(qū)企業(yè)咨詢

專業(yè)人士正在嘗試為hadoop開(kāi)發(fā)者和管理者工作，不僅僅是要努力準(zhǔn)備hadoop管理者的面試題。當(dāng)人們處在hadoop開(kāi)發(fā)者的位置，可以自由的準(zhǔn)備與管理相關(guān)的hadoop面試問(wèn)題，這對(duì)于那些正在準(zhǔn)備進(jìn)入hadoop管理者的角色的人們是很重要的，獲得hadoop管理者面試問(wèn)題的細(xì)節(jié)。在我之前的TOP100的帖子里的面試問(wèn)題及答案和TOP50的Hadoop的面試問(wèn)題，我們列出了所有可能對(duì)Hadoop開(kāi)發(fā)面試者問(wèn)的問(wèn)題。本文列舉了頂級(jí)Hadoop管理員的面試問(wèn)題及答案，這些問(wèn)題和答案在hadoop管理工作面試時(shí)很可能會(huì)被問(wèn)到的。

計(jì)算機(jī)研究發(fā)現(xiàn)Hadoop的技能差距是整個(gè)大數(shù)據(jù)范圍內(nèi)大的。在大數(shù)據(jù)的空間里，Hadoop被各行業(yè)應(yīng)用，Hadoop管理的重要性是不容忽視的。無(wú)數(shù)的行業(yè)招聘Hadoop管理人員，確保他們的大數(shù)據(jù)系統(tǒng)可以在最復(fù)雜和動(dòng)態(tài)的環(huán)境下被選中。從金融業(yè)到政府部門(mén)，各行業(yè)招聘hadoop管理人員來(lái)管理他們的大數(shù)據(jù)平臺(tái)。Hadoop管理專業(yè)人才的需求量正不斷上升，以滿足專業(yè)人才的缺乏。

如何準(zhǔn)備一個(gè)Hadoop管理者面試?

Hadoop管理員面試，圍繞Hadoop軟件安裝，配置和維護(hù)，測(cè)試一個(gè)考生的知識(shí)范圍，一個(gè)Hadoop管理員需要基于利益相關(guān)者的需求研究實(shí)現(xiàn)特定的平臺(tái)大數(shù)據(jù)解決方案。這是一個(gè)面試者為Hadoop管理員面試所必要的，精通大型數(shù)據(jù)管理的概念。為了證明自己是一位合格的Hadoop管理員的候選人，確保對(duì)于處理Hadoop項(xiàng)目的知識(shí)和管理能力，展示特定領(lǐng)域的興趣和專業(yè)知識(shí)，具有多任務(wù)處理能力和領(lǐng)導(dǎo)能力。

如果你已經(jīng)申請(qǐng)了Hadoop的管理員工作，那么它值得你花一些時(shí)間去回顧這些列在下面的面試問(wèn)題，當(dāng)你準(zhǔn)備面試時(shí)——

Hadoop管理員面試問(wèn)題與回答

1、 解釋不同的配置文件以及它們位于何處

配置文件位于conf子目錄。Hadoop有3個(gè)不同的配置文件，hdfs-site.xml, core-site.xml 和 mapred-site.xml。

2、 要求運(yùn)行Hadoop集群的進(jìn)程是什么

Namenode，DataNode，TaskTracker和JobTracker

3、 你將如何重新啟動(dòng)節(jié)點(diǎn)?

最簡(jiǎn)單的做法是運(yùn)行停止運(yùn)行命令shell腳本，即點(diǎn)擊stop-all.sh。一旦這樣做了，重啟NameNode點(diǎn)擊start-all.sh。

4、 解釋在Hadoop上的不同的調(diào)度程序。

FIFO調(diào)度——調(diào)度系統(tǒng)中不考慮系統(tǒng)中的異質(zhì)性，但命令工作是基于排隊(duì)達(dá)到的時(shí)間。

COSHH——這個(gè)計(jì)劃考慮工作量，調(diào)度決策的聚類和用戶異質(zhì)性。

公平分享——Hadoop調(diào)度為每個(gè)用戶定義。這個(gè)地方包含一個(gè)資源地圖以及減少資源上的狹縫。每個(gè)用戶都可以使用自己的資源去執(zhí)行這個(gè)作業(yè)。

5、 列出幾個(gè)用于執(zhí)行復(fù)制操作的Hadoop命令

fs –put

fs –copyToLocal

fs –copyFromLocal

6、 什么是指揮用的JPS?

JPS命令用于驗(yàn)證程序，這種程序運(yùn)行Hadoop集群是否工作。它命令顯示輸出者的NameNode的現(xiàn)狀，Secondary NameNode, DataNode, TaskTracker 和 JobTracker。

7、 當(dāng)Hadoop部署生產(chǎn)環(huán)境時(shí)，什么重要的硬件因素應(yīng)該考慮?

基于應(yīng)用程序的工作服務(wù)和管理服務(wù)之間的內(nèi)存系統(tǒng)的內(nèi)存需求會(huì)有所不同。

操作系統(tǒng)——一個(gè)64位操作系統(tǒng)，避免了任何限制，可用于在工作節(jié)點(diǎn)上的內(nèi)存量。

存儲(chǔ)——最好是通過(guò)移動(dòng)計(jì)算活動(dòng)數(shù)據(jù)實(shí)現(xiàn)可擴(kuò)展性和高性能的Hadoop平臺(tái)設(shè)計(jì)。

容量——大形的因子磁盤(pán)(3.5”)磁盤(pán)的成本比較低，相比比較小的形式因素磁盤(pán)允許存儲(chǔ)更多內(nèi)容。

網(wǎng)絡(luò)——兩個(gè)TOR網(wǎng)絡(luò)交換機(jī)提供了較好的冗余。

計(jì)算能力可以在Hadoop集群的Mapreduce槽可用的數(shù)量節(jié)點(diǎn)決定。

8、 有多少節(jié)點(diǎn)可以運(yùn)行在一個(gè)單一的Hadoop集群?

只有一個(gè)

9、 當(dāng)Hadoop集群上的節(jié)點(diǎn)下來(lái)會(huì)發(fā)生什么呢?

文件系統(tǒng)脫機(jī)時(shí)，Namenode下來(lái)了。

10、 什么是hadoop-env.sh下的文件和在文件應(yīng)設(shè)置為Hadoop的工作上的變量?

這個(gè)文件提供hadoop的運(yùn)行環(huán)境，包括以下variables-hadoop_classpath，java_home和hadoop_log_dir。java_home變量應(yīng)為Hadoop運(yùn)行。

11)除了利用JPS的命令還有任何其他什么方法，你可以檢查是否它是工作。

使用命令/ etc / init.d/hadoop-0.20-namenode狀態(tài)。

12)在一個(gè)MapReduce系統(tǒng)，如果HDFS塊大小為64 MB，有3個(gè)文件的大小127mb，64K和65mb與fileinputformat。在這種情況下，有多少輸入將很可能是由Hadoop框架組成。

2個(gè)分別為127 MB和65 MB的文件或者一個(gè)是64KB的文件。

13)該命令是檢驗(yàn)HDFS是否被破壞?

hadoop fsck(文件系統(tǒng)檢查)命令用于檢查丟失塊。

14)列出了一些使用Hadoop生態(tài)系統(tǒng)的案例

文本挖掘，圖分析，語(yǔ)義分析，情感分析，推薦系統(tǒng)。

15)你怎樣讓一個(gè)Hadoop不工作

Hadoop的工作–清除工作ID。

16)我想看到所有的工作在Hadoop集群上運(yùn)行。你該怎么做?

使用命令–Hadoop作業(yè)–列表，給出了在Hadoop集群上運(yùn)行的工作列表。

17)是否可以在多個(gè)集群中復(fù)制文件?如果是，你怎么能做到這一項(xiàng)呢?

是的，它可能的復(fù)制文件到多個(gè)Hadoop集群，這可以使用分布式復(fù)制實(shí)現(xiàn)。distcp命令用于內(nèi)部或跨集群復(fù)制。

18)什么是最好的運(yùn)行Hadoop操作系統(tǒng)?

Ubuntu和Linux是選的運(yùn)行Hadoop的操作系統(tǒng)。雖然Windows操作系統(tǒng)也可以用來(lái)運(yùn)行Hadoop的但它會(huì)導(dǎo)致一些問(wèn)題，所以并不推薦。

19)運(yùn)行Hadoop的網(wǎng)絡(luò)要求是什么?

SSH是需要運(yùn)行啟動(dòng)服務(wù)器進(jìn)程從屬節(jié)點(diǎn)。

一個(gè)密碼需要更少的SSH在主人，機(jī)器，和所有的苦工之間的連接。

20)將mapred.output.compress屬性設(shè)置為true，以確保所有的輸出文件壓縮在高效的空間使用Hadoop集群上。在特定情況下，如果群集用戶不需要對(duì)工作進(jìn)行壓縮數(shù)據(jù)。你建議他做什么?

如果用戶不想壓縮數(shù)據(jù)的一個(gè)特定的工作就應(yīng)該創(chuàng)建自己的配置文件并且設(shè)置mapred.output.compress屬性為false。這個(gè)配置文件之后作為一個(gè)資源加載到相關(guān)工作。

21)什么是實(shí)施一次最佳實(shí)踐的NameNode?

它始終是在一個(gè)單獨(dú)的獨(dú)立的機(jī)器更好地部署第二個(gè)Namenode。當(dāng)次級(jí)節(jié)點(diǎn)部署在一個(gè)單獨(dú)的機(jī)器不受主節(jié)點(diǎn)干擾的操作。

22)應(yīng)該多長(zhǎng)時(shí)間給NameNode重新格式化嗎?

Namenode不能格式化。這樣做會(huì)導(dǎo)致數(shù)據(jù)完全的丟失。NameNode是一次格式化開(kāi)始之后，它創(chuàng)造了整個(gè)文件系統(tǒng)的元數(shù)據(jù)和命名空間ID目錄結(jié)構(gòu)。

23)如果Hadoop產(chǎn)生了100個(gè)任務(wù)工作，并且其中一個(gè)任務(wù)失敗。Hadoop該怎么做呢?

任務(wù)將再次開(kāi)始一個(gè)新的TaskTracker，并且默認(rèn)設(shè)置逾期不超過(guò)4次，(默認(rèn)值是可以改變的)，工作將會(huì)失敗。

24)你如何添加和刪除節(jié)點(diǎn)的Hadoop集群?

在HDFS集群中添加新節(jié)點(diǎn)，主機(jī)名應(yīng)該被添加到文件然后在DataNode和TaskTracker開(kāi)始在新的節(jié)點(diǎn)。

刪除或退役從HDFS集群的節(jié)點(diǎn)，主機(jī)名應(yīng)該是從slaves–refreshnodes刪除文件執(zhí)行。

25)您增加復(fù)制級(jí)別，但注意到該數(shù)據(jù)已復(fù)制。什么原因?qū)е洛e(cuò)誤?

其實(shí)沒(méi)有任何錯(cuò)誤，如果有大量的數(shù)據(jù)，因?yàn)閿?shù)據(jù)復(fù)制通常需要在時(shí)間的基礎(chǔ)上的數(shù)據(jù)大小作為集群進(jìn)行數(shù)據(jù)復(fù)制，它可能需要幾個(gè)小時(shí)。

Hadoop管理面試題

1、當(dāng)你第一次Hadoop集群?jiǎn)?dòng)安裝過(guò)程，你會(huì)怎樣設(shè)置安裝程序?

2、你將如何安裝新組件或添加到現(xiàn)有的Hadoop集群服務(wù)?

3、如果Hive的元數(shù)據(jù)服務(wù)在下降，那么將對(duì)Hadoop集群有什么影響?

4、當(dāng)你建立一個(gè)Hadoop集群，你將如何決集群的大小?

5、你怎么在同一集群運(yùn)行Hadoop和實(shí)時(shí)進(jìn)程?

6、如果你得到一個(gè)拒絕連接的案例-當(dāng)?shù)卿浀揭慌_(tái)機(jī)器上的集群，可能是什么原因?你將如何解決這個(gè)問(wèn)題?

7、你如何識(shí)別和解決長(zhǎng)期運(yùn)行的工作?

8、你怎么決定一個(gè)NameNode和Hadoop服務(wù)的堆內(nèi)存的限制?

9、如果Hadoop服務(wù)在Hadoop集群上運(yùn)行緩慢，什么是它的根源，你將如何鑒別呢?

10、有多少數(shù)據(jù)節(jié)點(diǎn)可以運(yùn)行在一個(gè)單一的Hadoop集群?

11、在Hadoop2.0和Hadoop 1.0配置

12、在高可用性的情況下，如果連接待機(jī)和活躍節(jié)點(diǎn)丟失。這種Hadoop集群將如何影響?

13、ZooKeeper服務(wù)在Hadoop 2和Hadoop1所需的最小數(shù)目是多少?

14、如果一個(gè)Hadoop集群的一些機(jī)器硬件質(zhì)量很低。如何影響集群的性能和整體性能?

15、如何確定一個(gè)特定的節(jié)點(diǎn)，節(jié)點(diǎn)是死的嗎?

16、解釋“黑名單節(jié)點(diǎn)”和“死區(qū)節(jié)點(diǎn)”之間的區(qū)別。

17、你怎么增加NameNode的內(nèi)存?

18、在Hadoop的調(diào)度配置能力。

19、重新啟動(dòng)后的集群之后，如果MapReduce之前的工作現(xiàn)在沒(méi)有實(shí)現(xiàn)，當(dāng)重新開(kāi)始的時(shí)候可能會(huì)出什么錯(cuò)誤?

20、說(shuō)明添加和刪除一個(gè)節(jié)點(diǎn)的Hadoop集群的步驟。

21、在一個(gè)大且繁忙的Hadoop集群，如何識(shí)別長(zhǎng)期運(yùn)行的工作?

22、當(dāng)Namenode關(guān)閉時(shí)，JobTracker做什么?

23、當(dāng)手動(dòng)配置Hadoop，這屬性文件的修改應(yīng)配置槽?

24、如何將新用戶添加到集群中?

25、推測(cè)執(zhí)行的優(yōu)勢(shì)是什么?在什么情況下，推測(cè)執(zhí)行可能不會(huì)是有益的?

開(kāi)放的Hadoop管理員面試題

這些面試題是以個(gè)案為基礎(chǔ)的，根據(jù)——你在哪里申請(qǐng)這個(gè)Hadoop管理員角色，你在這個(gè)角色是否有一些經(jīng)驗(yàn) 。請(qǐng)?jiān)谙旅娴脑u(píng)論中分享你的Hadoop管理員面試經(jīng)驗(yàn)。

1、你目前的Hadoop工作符合你目前的項(xiàng)目角色和責(zé)任描述嗎?

2、哪些工具用在你的項(xiàng)目監(jiān)測(cè)的hadoop集群和節(jié)點(diǎn)?

3、你認(rèn)為在一個(gè)集群中會(huì)出現(xiàn)多少個(gè)節(jié)點(diǎn)?

4、你在任何組織中致力于go-live工程嗎?

5、哪一種MapReduce版本適合配置你的Hadoop集群?

6、說(shuō)明在公司任何明顯的Hadoop案例情況，有助于大限度地提高其盈利能力?

7、你怎么從無(wú)到有建立Hadoop集群?

8、你遵從什么標(biāo)準(zhǔn)程序部署Hadoop?

9、你將如何管理一個(gè)Hadoop系統(tǒng)?

10、你會(huì)更喜歡使用哪種工具監(jiān)控Hadoop和HBase的集群?

上面的列表只是對(duì)Hadoop管理員的不同類型的面試問(wèn)題的概述。然而，Hadoop管理員面試問(wèn)題基于你的工作經(jīng)驗(yàn)，來(lái)自的業(yè)務(wù)領(lǐng)域的不同而完全不同。你是否擔(dān)心沒(méi)有經(jīng)驗(yàn)，如果你清楚你的基礎(chǔ)以及Hadoop項(xiàng)目的工作經(jīng)驗(yàn)，公司是愿意雇傭你的。開(kāi)始最重要的事情，是準(zhǔn)備在hadoop管理中準(zhǔn)備一個(gè)偉大的職業(yè)生涯，并且你一定可以成功的掌控一個(gè)hadoop管理員面試。為追求卓越和成功努力吧。

網(wǎng)站欄目：頂級(jí)Hadoop管理員面試問(wèn)題與回答
標(biāo)題URL：http://muchs.cn/article40/chjdho.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供企業(yè)建站、ChatGPT、微信公眾號(hào)、定制網(wǎng)站、搜索引擎優(yōu)化、小程序開(kāi)發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)