企業(yè)級大數(shù)據(jù)平臺

部署：分為測試環(huán)境、生產(chǎn)環(huán)境。
Hadoop發(fā)行版本：Apache、CDH（tar包、rpm包、parcel包，必須由cloudera manager進行管理）、HDP
注意：大數(shù)據(jù)框架內(nèi)禁用IPV6；同時要修改用戶的最大進程數(shù)、單個進程打開的最大文件數(shù)量；
Hadoop 2 三大組件：1. HDFS 2.MapReduce 3 YARN
HDFS：分布式文件系統(tǒng)，從功能上分為namenode、datanode。其中，namenode用于存放集群元數(shù)據(jù)，例如文件名稱層、文件存放在哪個datanode之上、有沒有進行切片等；數(shù)據(jù)是以block形式存儲；namenode中數(shù)據(jù)存放在內(nèi)存中、本地磁盤包括鏡像文件、編輯日志；以塊為單位存儲，在V2中默認大小是128MB；datanode與namenode之間會發(fā)送心跳（證明存活狀態(tài)，默認是每隔3秒鐘，在心跳返回結(jié)果中含有namenode發(fā)送給datanode的指令，如復(fù)制或刪除數(shù)據(jù)塊）、塊狀態(tài)報告（默認是每隔一個小時上報一次）等，是通過底層協(xié)議如RPC進行通信；副本默認是3，默認策略是其中兩個副本在同一個rack不同節(jié)點，第三個副本在不同的rack上；
YARN架構(gòu)：分為node manager（每一個節(jié)點）、resource manager（管理整個集群）

目前成都創(chuàng)新互聯(lián)已為超過千家的企業(yè)提供了網(wǎng)站建設(shè)、域名、虛擬主機、網(wǎng)站托管、企業(yè)網(wǎng)站設(shè)計、盈江網(wǎng)站維護等服務(wù)，公司將堅持客戶導(dǎo)向、應(yīng)用為本的策略，正道將秉承"和諧、參與、激情"的文化，與客戶和合作伙伴齊心協(xié)力一起成長，共同發(fā)展。

新聞名稱：企業(yè)級大數(shù)據(jù)平臺
URL網(wǎng)址：http://www.muchs.cn/article46/ishseg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)網(wǎng)站建設(shè)、自適應(yīng)網(wǎng)站、關(guān)鍵詞優(yōu)化、微信小程序、電子商務(wù)、虛擬主機

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)