阿里云服務(wù)器搭建hadoop集群補充

1 阿里云服務(wù)器選配


首先附上官網(wǎng)鏈接：阿里云官網(wǎng)

成都創(chuàng)新互聯(lián)公司成立于2013年，我們提供高端重慶網(wǎng)站建設(shè)、成都網(wǎng)站制作、成都網(wǎng)站設(shè)計、網(wǎng)站定制、全網(wǎng)營銷推廣、小程序制作、微信公眾號開發(fā)、成都網(wǎng)站推廣服務(wù)，提供專業(yè)營銷思路、內(nèi)容策劃、視覺設(shè)計、程序開發(fā)來完成項目落地，為成都門窗定制企業(yè)提供源源不斷的流量和訂單咨詢。

點擊上邊鏈接，注冊后登陸官網(wǎng)，選擇產(chǎn)品選項，然后選擇云服務(wù)器ECS，就進入云服務(wù)器ECS購買界面。綿陽電信機房

進入云服務(wù)ECS購買界面，點擊立即購買，在界面中分為一鍵購買和自定義購買，如何對配置沒有概念，感覺太麻煩，推薦使用一鍵購買。本文以一鍵購買為例，主要是從以下幾個方面進行選購：成都服務(wù)器托管

  • 地域及可用性
  • 實例規(guī)格
  • 鏡像
  • 網(wǎng)絡(luò)類型（公網(wǎng)帶寬）
  • 購買數(shù)量（購買時長）

地域及可用性：選擇離自己比較近的地域，如我在上海，選擇華東2（上海），搭建hadoop集群的時候，購買的多臺服務(wù)器一定要選擇在同一個區(qū)域，避免后續(xù)配置麻煩。

實例規(guī)格： 選擇CPU，及CPU運行內(nèi)存，搭建hadoop集群的時候，master主機的運行內(nèi)存必須是2G以上，其他節(jié)點可以為1G。我選購的3臺云服務(wù)器的配置為：master：1 vCPU 2GiB，slave1：1 vCPU 1GiB，slave2：1 vCPU 1GiB。

鏡像：選擇服務(wù)器的系統(tǒng)和系統(tǒng)版本，系統(tǒng)可以選擇CentOS和Ubuntu，版本無要求，我選擇是 CentOS 8.0 64位。
網(wǎng)絡(luò)類型（公網(wǎng)帶寬）：選擇帶寬，1-200Mbps都可以選擇，我選擇是1Mbps。

-購買數(shù)量（購買時長）：選擇購買數(shù)量和購買時長之后，付完款，就可以登陸了。配置越高費用越高。我選擇的最低配置一個月：60元。

購買完成后，進入實例。選擇遠(yuǎn)程登陸，輸入自己的密碼，即可進入系統(tǒng)。進入為命令行模式（黑窗口），不是圖形化界面。綿陽電信機房登陸云服務(wù)器的方法，可以通過官網(wǎng)登陸，也可以通過SecureCRT或者Xshell等軟件進行登陸，輸入的IP地址（外網(wǎng)IP地址）和密碼即可。

官網(wǎng)上的一個活動，有想法的可以參與一下。
阿里云大禮包領(lǐng)取

2 使用WEB界面訪問hadoop集群


使用WEB界面訪問HDFS和Yarn，該端口分別為50070和18088，這兩個端口在這個文件中hdfs-site.xml、yarn-site.xml設(shè)置的。忘記的可以參考上一篇文章：阿里云搭建hadoop集群

使用WEB界面訪問HDFS和Yarn的兩個條件：成都服務(wù)器托管

  • 關(guān)閉防火墻
  • 云服務(wù)器安全組配置端口

關(guān)閉防火墻命令：成都服務(wù)器托管

1
2
3
4
5
6
7
8
9
10
11
12
13
#查看防火墻開啟狀態(tài)
systemctl status firewalld
#關(guān)閉防火墻
systemctl stop firewalld
#禁止開機啟動防火墻
systemctl disable firewalld
#開啟防火墻
systemctl start firewalld
#設(shè)置開機啟動防火墻
systemctl enable firewalld
#重啟防火墻
systemctl restart firewalld
123456789101112

云服務(wù)器安全組配置端口：成都服務(wù)器托管

進入控制臺，選擇自己已經(jīng)開通的云服務(wù)器ECS產(chǎn)品，選擇網(wǎng)絡(luò)與安全，點擊安全組，選擇配置規(guī)則，然后選擇手動添加，添加如上兩個端口。成都機柜租用

WEB界面訪問HDFS和Yarn，直接在瀏覽器中輸入外網(wǎng)IP地址：50070訪問HDFS，外網(wǎng)IP地址：18088訪問Yarn。

3 hadoop集群驗證功能


HDFS功能測試：
上傳本地文件到HDFS根目錄，命令如下：成都服務(wù)器托管

1
2
3
hdfs dfs -put spark-3.0.1-bin-hadoop3.2.tgz hdfs://master:9000/
#也可去掉hdfs://master:9000，core-site.xml中設(shè)置的hdfs名字。
hdfs dfs -put spark-3.0.1-bin-hadoop3.2.tgz /

本地文件上傳到HDFS成功的話，會在web端Utilities下Browse the file system中看到上傳的文件，以及文件備份數(shù)，文件塊大小，文件塊的存放位置。

Yarn功能測試
運行一個jar任務(wù)，計算pi（圓周率）大小，命令如下：成都服務(wù)器托管

1
hadoop jar /usr/local/hadoop-3.2.1/share/hadoop/mapreduce/hadoop-mapreduce-examples-3.2.1.jar pi 10 10

找到hadoop文件下的mapreduce例子運行，會在web端看到j(luò)ob歷史。

不求點贊 只求有用

標(biāo)題名稱：阿里云服務(wù)器搭建hadoop集群補充
網(wǎng)站路徑：http://muchs.cn/article36/sihsg.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站設(shè)計、云服務(wù)器、網(wǎng)站排名、商城網(wǎng)站、微信公眾號、App開發(fā)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)