hadoop集群管理系統(tǒng)搭建規(guī)劃是什么

本篇文章給大家分享的是有關(guān)hadoop集群管理系統(tǒng)搭建規(guī)劃是什么，小編覺得挺實(shí)用的，因此分享給大家學(xué)習(xí)，希望大家閱讀完這篇文章后可以有所收獲，話不多說，跟著小編一起來看看吧。

創(chuàng)新互聯(lián)堅(jiān)持“要么做到，要么別承諾”的工作理念，服務(wù)領(lǐng)域包括：成都網(wǎng)站建設(shè)、成都做網(wǎng)站、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù)，滿足客戶于互聯(lián)網(wǎng)時(shí)代的禹州網(wǎng)站設(shè)計(jì)、移動媒體設(shè)計(jì)的需求，幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴！

Hadoop分布式集群環(huán)境搭建是每個(gè)入門級新手都非常頭疼的事情，因?yàn)槟憧赡芑ㄙM(fèi)了很久的時(shí)間在搭建運(yùn)行環(huán)境，最終卻不知道什么原因無法創(chuàng)建成功。但對新手來說，運(yùn)行環(huán)境搭建不成功的概率還蠻高的。

在之前的分享文章中給hadoop新手入門推薦的大快搜索DKHadoop發(fā)行版，在運(yùn)行環(huán)境安裝方面的確要比其他的發(fā)行版hadoop要簡單的多，畢竟DKHadoop是對底層重新集成封裝的，對與研究hadoop尤其是入門級新手來說是非常友好的一個(gè)發(fā)行版！

 

1、分布式機(jī)器架構(gòu)圖：

其中機(jī)器1主節(jié)點(diǎn)，機(jī)器2從節(jié)點(diǎn)，機(jī)器3、機(jī)器4等都是計(jì)算節(jié)點(diǎn)。當(dāng)主節(jié)點(diǎn)宕機(jī)后從節(jié)點(diǎn)代替主節(jié)點(diǎn)工作，正常狀態(tài)是從節(jié)點(diǎn)和計(jì)算節(jié)點(diǎn)一樣工作。這種架構(gòu)設(shè)計(jì)保證數(shù)據(jù)完整性。

首先我們保證每臺計(jì)算節(jié)點(diǎn)上分別有一個(gè)DataNode節(jié)點(diǎn)和NodeManager節(jié)點(diǎn)。因?yàn)槎际怯?jì)算節(jié)點(diǎn)，真正干活的。在數(shù)量上我們要保證。那么NameNode和ResourceManager是兩個(gè)非常重要的管理者，我們客戶端的請求，第一時(shí)間與NameNode和ResourceManager打交道。NameNode負(fù)責(zé)管理HDFS文件系統(tǒng)的元數(shù)據(jù)，客戶端不管是讀文件還是寫文件，都要首先找到NameNode獲取文件的元數(shù)據(jù)，再進(jìn)行文件的操作。ResourceManager也是如此，它負(fù)責(zé)管理集群中的資源和任務(wù)調(diào)度，你也可以把它視為“大數(shù)據(jù)操作系統(tǒng)”?？蛻舳四芊裉峤粦?yīng)用并運(yùn)行，就看你的ResourceManager是否正常。

2、達(dá)到多大規(guī)模的數(shù)據(jù)，才值得用大數(shù)據(jù)的方式來處理？

第一，從數(shù)據(jù)量角度，但是并無確定的答案，一般定性角度來說，你覺得這個(gè)數(shù)據(jù)量單機(jī)處理不了，比如內(nèi)存限制，時(shí)間過久等，就用集群，但是要降低時(shí)間，你的處理邏輯必須能分布式處理，定量就是一般數(shù)據(jù)或者未來的數(shù)據(jù)量會達(dá)到PB級別（可能GB）或以上就要用分布式，當(dāng)然前提也是你的處理邏輯可以進(jìn)行分布式。

第二，從算法角度，或者處理邏輯的時(shí)間復(fù)雜度來說，比如雖然你的數(shù)據(jù)記錄不是很多，但是你的算法或者處理邏輯的時(shí)間復(fù)雜度是n的平方，甚至更高，同時(shí)你的算法可以進(jìn)行分布式設(shè)計(jì)，那么就考慮用分布式，比如你的記錄雖然只有1w, 但是時(shí)間復(fù)雜度確是n的平方，那么你想想單機(jī)要多久，要是你的算法可以進(jìn)行分布式處理，那么就考慮用分布式。

3、制約大數(shù)據(jù)處理能力的幾個(gè)問題

a、網(wǎng)絡(luò)帶寬

網(wǎng)絡(luò)是聯(lián)接計(jì)算機(jī)的紐帶，這個(gè)紐帶當(dāng)然越寬越好，這樣可以在計(jì)算機(jī)資源許可的情況下，在單位時(shí)間內(nèi)傳輸更多的數(shù)據(jù)，讓計(jì)算機(jī)處理更多的數(shù)據(jù)?，F(xiàn)在企業(yè)網(wǎng)絡(luò)中，普遍采用的多是百兆網(wǎng)絡(luò)，也有千兆，萬兆雖然有，但是用得不多。

b、磁盤

所有數(shù)據(jù)，不管它從哪里來，最終都要存進(jìn)不同的硬盤里面，或者閃存盤。閃存盤的讀寫效率比硬盤高得多，但是缺點(diǎn)也明顯：價(jià)格貴、容量小?，F(xiàn)在的存儲介質(zhì)主要還是硬盤，硬盤有順序讀寫和隨機(jī)讀寫兩種模型。順序讀寫是磁頭沿著磁道，好象流水線一樣，有規(guī)律的向前滾動進(jìn)行。隨機(jī)讀寫是磁頭跳躍著，找到磁道上留空的地方，把數(shù)據(jù)寫進(jìn)去。很明顯，順序讀寫比隨機(jī)讀寫效率高，所以系統(tǒng)架構(gòu)師在設(shè)計(jì)大數(shù)據(jù)存儲方案時(shí)，都是以順序讀寫為主要選擇。

c、計(jì)算機(jī)的數(shù)量

分布式的集群環(huán)境下，計(jì)算機(jī)的規(guī)模當(dāng)然越大越好。這樣在數(shù)據(jù)等量的情況下，計(jì)算機(jī)數(shù)量越多，分配給每臺計(jì)算機(jī)的數(shù)據(jù)越少，處理效率自然就高了。但是計(jì)算機(jī)的數(shù)量也不是可以無限增加，集群對計(jì)算機(jī)規(guī)模的容納有一個(gè)峰值，超過這個(gè)峰值，再提升就很困難，處理不好還會下降。原因主要來自木桶短板效應(yīng)、邊界效應(yīng)、規(guī)模放大效應(yīng)。根據(jù)多年前的一個(gè)測試，當(dāng)時(shí)以Pentium 3和Pentium 4芯片為基礎(chǔ)平臺，配合100M網(wǎng)絡(luò)，在上面運(yùn)行LAXCUS大數(shù)據(jù)系統(tǒng)。當(dāng)達(dá)到千臺計(jì)算機(jī)的規(guī)模時(shí)，瓶頸開始顯露出來。如果現(xiàn)在用新的X86芯片，加上更高速的網(wǎng)絡(luò)，應(yīng)該是能夠容納更多的計(jì)算機(jī)。

d、代碼質(zhì)量

這不是關(guān)鍵問題，但是是企業(yè)必須關(guān)注的一個(gè)問題。這和程序員編寫的計(jì)算機(jī)代碼質(zhì)量有關(guān)。實(shí)際上，每個(gè)大數(shù)據(jù)產(chǎn)品都是半成品，它們只是提供了一個(gè)計(jì)算框架，要實(shí)際應(yīng)用到企業(yè)生產(chǎn)中，里面還有大量業(yè)務(wù)編碼需要程序員來實(shí)現(xiàn)。要使大數(shù)據(jù)應(yīng)用達(dá)到高質(zhì)量，技術(shù)負(fù)責(zé)人要做好前期設(shè)計(jì)，清楚和規(guī)范業(yè)務(wù)流程，程序員拿到方案后，用統(tǒng)一格式編寫代碼。這是雙方互相配合的過程?；蛘哒f，要做好協(xié)同和協(xié)調(diào)的事情。

以上就是hadoop集群管理系統(tǒng)搭建規(guī)劃是什么，小編相信有部分知識點(diǎn)可能是我們?nèi)粘９ぷ鲿姷交蛴玫降摹ＯＭ隳芡ㄟ^這篇文章學(xué)到更多知識。更多詳情敬請關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

本文名稱：hadoop集群管理系統(tǒng)搭建規(guī)劃是什么
網(wǎng)頁地址：http://muchs.cn/article30/pgogpo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供服務(wù)器托管、動態(tài)網(wǎng)站、外貿(mào)建站、手機(jī)網(wǎng)站建設(shè)、企業(yè)建站、用戶體驗(yàn)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)