怎么在Docker搭建Hadoop集群

這篇文章主要介紹“怎么在Docker搭建Hadoop集群”，在日常操作中，相信很多人在怎么在Docker搭建Hadoop集群問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”怎么在Docker搭建Hadoop集群”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

創(chuàng)新互聯(lián)專業(yè)為企業(yè)提供石棉網站建設、石棉做網站、石棉網站設計、石棉網站制作等企業(yè)網站建設、網頁設計與制作、石棉企業(yè)網站模板建站服務，十年石棉做網站經驗，不只是建網站，更提供有價值的思路和整體網絡服務。

一. 項目介紹

將Hadoop打包到Docker鏡像中，就可以快速地在單個機器上搭建Hadoop集群，這樣可以方便新手測試和學習。

如下圖所示，Hadoop的master和slave分別運行在不同的Docker容器中，其中hadoop-master容器中運行NameNode和ResourceManager，hadoop-slave容器中運行DataNode和NodeManager。NameNode和DataNode是Hadoop分布式文件系統(tǒng)HDFS的組件，負責儲存輸入以及輸出數據，而ResourceManager和NodeManager是Hadoop集群資源管理系統(tǒng)YARN的組件，負責CPU和內存資源的調度。

怎么在Docker搭建Hadoop集群

之前的版本使用serf/DNSmasq為Hadoop集群提供DNS服務，由于Docker網絡功能更新，現(xiàn)在并不需要了。更新的版本中，使用以下命令為Hadoop集群創(chuàng)建單獨的網絡:

sudo docker network create --driver=bridge hadoop

然后在運行Hadoop容器時，使用”–net=hadoop”選項，這時所有容器將運行在hadoop網絡中，它們可以通過容器名稱進行通信。

項目更新要點：

  • 去除serf/dnsmasq

  • 合并Master和Slave鏡像

  • 使用kiwenlau/compile-hadoop項目編譯的Hadoo進行安裝

  • 優(yōu)化Hadoop配置

二. 3節(jié)點Hadoop集群搭建步驟

1. 下載Docker鏡像
sudo docker pull kiwenlau/hadoop:1.0
2. 下載GitHub倉庫
git clone https://github.com/kiwenlau/hadoop-cluster-docker
3. 創(chuàng)建Hadoop網絡
sudo docker network create --driver=bridge hadoop
4. 運行Docker容器
cd hadoop-cluster-docker./start-container.sh

運行結果

start hadoop-master container...start hadoop-slave1 container...start hadoop-slave2 container...root@hadoop-master:~#

  • 啟動了3個容器，1個master, 2個slave

  • 運行后就進入了hadoop-master容器的/root目錄

5. 啟動hadoop
./start-hadoop.sh
6. 運行wordcount
./run-wordcount.sh

運行結果

input file1.txt:Hello Hadoopinput file2.txt:Hello Dockerwordcount output:Docker	1Hadoop	1Hello	2

Hadoop網頁管理地址:

  • NameNode: http://192.168.59.1:50070/

  • ResourceManager: http://192.168.59.1:8088/

192.168.59.1為運行容器的主機的IP。

三. N節(jié)點Hadoop集群搭建步驟

1. 準備

  • 參考第二部分1~3：下載Docker鏡像，下載GitHub倉庫，以及創(chuàng)建Hadoop網絡

2. 重新構建Docker鏡像
./resize-cluster.sh 5

  • 可以指定任意N(N>1)

3. 啟動Docker容器
./start-container.sh 5

  • 與第2步中的N保持一致。

4. 運行Hadoop

  • 參考第二部分5~6：啟動Hadoop，并運行wordcount。

到此，關于“怎么在Docker搭建Hadoop集群”的學習就結束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續(xù)學習更多相關知識，請繼續(xù)關注創(chuàng)新互聯(lián)網站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>

分享名稱：怎么在Docker搭建Hadoop集群
當前URL：http://muchs.cn/article8/jpjcip.html

成都網站建設公司_創(chuàng)新互聯(lián)，為您提供標簽優(yōu)化、靜態(tài)網站、域名注冊、微信公眾號、網站設計、動態(tài)網站

廣告

聲明：本網站發(fā)布的內容（圖片、視頻和文字）以用戶投稿、用戶轉載內容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內容未經允許不得轉載，或轉載時需注明來源： 創(chuàng)新互聯(lián)

成都定制網站網頁設計