這篇文章主要介紹了怎么用ubuntu docker搭建Hadoop集群環(huán)境的相關(guān)知識(shí),內(nèi)容詳細(xì)易懂,操作簡(jiǎn)單快捷,具有一定借鑒價(jià)值,相信大家閱讀完這篇怎么用ubuntu docker搭建Hadoop集群環(huán)境文章都會(huì)有所收獲,下面我們一起來看看吧。
創(chuàng)新互聯(lián)堅(jiān)持“要么做到,要么別承諾”的工作理念,服務(wù)領(lǐng)域包括:成都做網(wǎng)站、網(wǎng)站建設(shè)、外貿(mào)營(yíng)銷網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣等服務(wù),滿足客戶于互聯(lián)網(wǎng)時(shí)代的錯(cuò)那網(wǎng)站設(shè)計(jì)、移動(dòng)媒體設(shè)計(jì)的需求,幫助企業(yè)找到有效的互聯(lián)網(wǎng)解決方案。努力成為您成熟可靠的網(wǎng)絡(luò)建設(shè)合作伙伴!
docker安裝
1、國(guó)際慣例更新下apt軟件包的源
sudo apt-get update
2、安裝軟件包以允許apt通過https使用存儲(chǔ)庫
sudo apt-get install \ apt-transport-https \ ca-certificates \ curl \ software-properties-common
3、因?yàn)楸粔κ褂媒逃W(wǎng)鏡像:
復(fù)制代碼 代碼如下:
curl -fssl https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu/gpg | sudo apt-key add
4、同樣
sudo add-apt-repository \ "deb [arch=amd64] https://mirrors.ustc.edu.cn/docker-ce/linux/ubuntu \ $(lsb_release -cs) \ stable"
5、更新下我們的軟件源
sudo apt-get update
6、安裝docker
sudo apt-get install docker-ce
7、啟動(dòng)docker服務(wù)
sudo service docker start
or
sudo systemctl start docker
8、覺得有必要可以設(shè)置開機(jī)自帶啟動(dòng)
sudo systemctl enable docker
9、關(guān)閉自啟動(dòng)
sudo systemctl disable docker
10、國(guó)內(nèi)訪問docker會(huì)受限制,可以使用加速服務(wù),阿里云、網(wǎng)易云、daocloud
11、運(yùn)行 docker run hello-world
測(cè)試是否安裝成功
12、想要安裝其他image 可以到docker hub上找
或是直接在github上搜索相應(yīng)docker
搭建hadoop集群
搭建過程很簡(jiǎn)單
上步驟說明很詳細(xì):
1、pull鏡像,速度慢的換國(guó)內(nèi)鏡像源
sudo docker pull kiwenlau/hadoop:1.0
200多m不算大,我下過jupyter官方pyspark的docker 5g…
2、克隆項(xiàng)目到本地
git clone https://github.com/kiwenlau/hadoop-cluster-docker
其實(shí)只用到里面的 start-container.sh 文件也可以單獨(dú)下,復(fù)制粘貼啥的
3、start-container.sh 需要修改一下 cd 到文件目錄
sudo gedit start-container.sh
修改如下
開放9000端口還有創(chuàng)建共享文件夾方便以后使用
4、保存之后,創(chuàng)建docker-hadoop網(wǎng)絡(luò)
sudo docker network create --driver=bridge hadoop
5、開啟容器
sudo ./start-container.sh
6、開啟hadoop集群
./start-hadoop.sh
7、測(cè)試一下hadoop,在hdfs上創(chuàng)建 test/input 目錄
hadoop fs -mkdir -p /test/input hadoop fs -ls /test
8、運(yùn)行word-count程序
./run-wordcount.sh
結(jié)果如下
關(guān)于“怎么用ubuntu docker搭建Hadoop集群環(huán)境”這篇文章的內(nèi)容就介紹到這里,感謝各位的閱讀!相信大家對(duì)“怎么用ubuntu docker搭建Hadoop集群環(huán)境”知識(shí)都有一定的了解,大家如果還想學(xué)習(xí)更多知識(shí),歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。
網(wǎng)頁題目:怎么用ubuntudocker搭建Hadoop集群環(huán)境
鏈接地址:http://muchs.cn/article2/jehioc.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供品牌網(wǎng)站建設(shè)、網(wǎng)站營(yíng)銷、做網(wǎng)站、面包屑導(dǎo)航、移動(dòng)網(wǎng)站建設(shè)、外貿(mào)網(wǎng)站建設(shè)
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請(qǐng)盡快告知,我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng),如需處理請(qǐng)聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時(shí)需注明來源: 創(chuàng)新互聯(lián)
營(yíng)銷型網(wǎng)站建設(shè)知識(shí)