hadoop常用命令總結(jié)-創(chuàng)新互聯(lián)

hadoop常用命令

  • 集群節(jié)點(diǎn)服務(wù)啟停
  • hdfs文件系統(tǒng)管理
  • yarn資源集群管理
  • hadoop啟動(dòng)過(guò)程

  • 集群節(jié)點(diǎn)服務(wù)啟停
    如圖所示腳本所在路徑：主要分類類命令：管理hdfs和管理yarn資源
    服務(wù)啟動(dòng)方式：分別啟動(dòng)各節(jié)點(diǎn)服務(wù)、集群腳本啟動(dòng)整個(gè)服務(wù)。
    hadoop常用命令總結(jié)

    站在用戶的角度思考問(wèn)題，與客戶深入溝通，找到振興網(wǎng)站設(shè)計(jì)與振興網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗(yàn)，讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個(gè)性化、用戶體驗(yàn)好的作品，建站類型包括：成都網(wǎng)站制作、成都網(wǎng)站設(shè)計(jì)、外貿(mào)營(yíng)銷網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、域名注冊(cè)、雅安服務(wù)器托管、企業(yè)郵箱。業(yè)務(wù)覆蓋振興地區(qū)。
    • 單獨(dú)啟停nn、dn服務(wù)

      hadoop-daemon.sh <start | stop> namenode | datanode | journalnode |zkfc
      hadoop-daemons.sh <start | stop> namenode | datanode |z kfc#表示啟動(dòng)集群內(nèi)所有dn/nn服務(wù)

    • 啟動(dòng)yarn服務(wù)

      yarn-daemon.sh start |stop resourcemanager | nodemanager | proxyserver
      yarn-daemons.sh start |stop resourcemanager | nodemanager | proxyserver #表示啟動(dòng)yarn集群內(nèi)所有rm/nm等服務(wù)

    • 啟動(dòng)MapReduce任務(wù)歷史服務(wù)

      mr-jobhistory-daemon.sh start | stop historyserver

    [root@hadoop1 ~]# hadoop-daemons.sh start journalnode
hadoop1: starting journalnode, logging to /hadoop/soft/hadoop-2.7.7/logs/hadoop-root-journalnode-hadoop1.out
hadoop2: starting journalnode, logging to /hadoop/soft/hadoop-2.7.7/logs/hadoop-root-journalnode-hadoop2.out
hadoop3: starting journalnode, logging to /hadoop/soft/hadoop-2.7.7/logs/hadoop-root-journalnode-hadoop3.out
[root@hadoop1 ~]# jps
1628 JournalNode
1663 Jps
[root@hadoop1 ~]# ssh hadoop2 jps
1513 Jps
1452 JournalNode
[root@hadoop1 ~]# ssh hadoop3 jps
1473 Jps
1412 JournalNode
    • 腳本管理所有服務(wù)：需要配置ssh互信以及配置slaves文件

      start-dfs.sh | stop-dfs.sh #啟停所有hdfs服務(wù)
      start-yarn.sh | stop-yarn.sh #啟停所有yarn服務(wù)
      start-all.sh | stop-all.sh #可以啟停所有hdfs、yarn服務(wù)，這兩個(gè)腳本即將廢棄，建議使用上面兩個(gè)腳本管理服務(wù)。
      hadoop常用命令總結(jié)

  • hdfs文件系統(tǒng)管理
    • hadoop命令使用 
      Usage: hadoop [--config confdir] [COMMAND | CLASSNAME]
fs                   run a generic filesystem user client#運(yùn)行一個(gè)文件系統(tǒng)客戶端
version              print the version #查看版本信息
jar <jar>            run a jar file #運(yùn)行jar文件，注使用**yarn jar**運(yùn)行yarn應(yīng)用
distcp <srcurl> <desturl>  #遞歸復(fù)制文件或目錄；DistCp（分布式拷貝）是用于大規(guī)模集群內(nèi)部和集群之間拷貝的工具。 它使用Map/Reduce實(shí)現(xiàn)文件分發(fā)，錯(cuò)誤處理和恢復(fù)，以及報(bào)告生成
archive -archiveName NAME -p <parent path> <src>* <dest> #創(chuàng)建hadoop歸檔文件
classpath            #列出所需要的類庫(kù)

      bash$ hadoop distcp hdfs://nn1:8020/foo/bar hdfs://nn2:8020/bar/foo

    • 用戶文件系統(tǒng)管理相關(guān)命令：操作基本類似Linux 
      [root@hadoop2 ~]# hadoop/hdfs  fs
Usage: hadoop fs [generic options]
[-cat [-ignoreCrc] <src> ...]  #查看文件內(nèi)容
[-checksum <src> ...] #查看文件校驗(yàn)碼
[-chgrp [-R] GROUP PATH...]  #修改文件屬組
[-chmod [-R] <MODE[,MODE]... | OCTALMODE> PATH...] #修改文件權(quán)限
[-chown [-R] [OWNER][:[GROUP]] PATH...] #修改文件屬主或?qū)俳M
[-copyFromLocal [-f] [-p] [-l] <localsrc> ... <dst>] #復(fù)制本地文件到hdfs文件系統(tǒng)，類似put命令
[-copyToLocal [-p] [-ignoreCrc] [-crc] <src> ... <localdst>] #復(fù)制hdfs文件到本地，類似get命令
[-cp [-f] [-p | -p[topax]] <src> ... <dst>] #允許多源復(fù)制操作 ，目標(biāo)路徑必須是目錄
[-createSnapshot <snapshotDir> [<snapshotName>]] #創(chuàng)建快照
[-deleteSnapshot <snapshotDir> <snapshotName>] #刪除快照
[-df [-h] [<path> ...]] #顯示文件系統(tǒng)使用空間
[-du [-s] [-h] <path> ...] #顯示某個(gè)目錄內(nèi)包含的文件的大小，目錄占用空間大小，與Linux命令一樣
[-find <path> ... <expression> ...] #查找文件
[-get [-p] [-ignoreCrc] [-crc] <src> ... <localdst>]
[-getfacl [-R] <path>]
[-getfattr [-R] {-n name | -d} [-e en] <path>]
[-help [cmd ...]] #查看幫助
[-ls [-d] [-h] [-R] [<path> ...]]  #替代“hadoop fs -ls -R”
[-mkdir [-p] <path> ...] #創(chuàng)建目錄
[-moveFromLocal <localsrc> ... <dst>]
[-moveToLocal <src> <localdst>]
[-mv <src> ... <dst>]
[-put [-f] [-p] [-l] <localsrc> ... <dst>]
[-renameSnapshot <snapshotDir> <oldName> <newName>]
[-rm [-f] [-r|-R] [-skipTrash] <src> ...]
[-rmdir [--ignore-fail-on-non-empty] <dir> ...]
[-setfacl [-R] [{-b|-k} {-m|-x <acl_spec>} <path>]|[--set <acl_spec> <path>]]
[-setfattr {-n name [-v value] | -x name} <path>]
[-stat [format] <path> ...] 
[-tail [-f] <file>]
[-test -[defsz] <path>] #測(cè)試命令 ，-d是否為目錄，-e文件是否存在，-z是否為空文件，用法一樣
[-text [-ignoreCrc] <src> ...]
[-touchz <path> ...] #創(chuàng)建 0字節(jié)空文件
[-truncate [-w] <length> <path> ...]
[-usage [cmd ...]] #查看命令的用法

      hadoop常用命令總結(jié)

    • hdfs管理命令 
      [root@hadoop2 ~]# hdfs haadmin  # dfs管理客戶端，查看hdfs狀態(tài)集群
Usage: haadmin 
[-transitionToActive [--forceactive] <serviceId>] 
[-transitionToStandby <serviceId>]
[-failover [--forcefence] [--forceactive] <serviceId> <serviceId>] #以上3條關(guān)于手動(dòng)故障轉(zhuǎn)移命令
[-getServiceState <serviceId>] #查看nn節(jié)點(diǎn)處active還是standby狀態(tài)
[-checkHealth <serviceId>] #檢查nn節(jié)點(diǎn)是否健康
[-help <command>] #查看命令幫助

      hadoop常用命令總結(jié)

      Usage: hdfs dfsadmin ：Note: hdfs超級(jí)管理員才能夠運(yùn)行該命令
[-report [-live] [-dead] [-decommissioning]] #報(bào)告文件系統(tǒng)的基本信息和統(tǒng)計(jì)信息
[-safemode <enter | leave | get | wait>]  #安全模式維護(hù)命令。安全模式是Namenode的一個(gè)狀態(tài)， 不接受對(duì)名字空間的更改(只讀)、 不復(fù)制或刪除塊
[-saveNamespace] #保存當(dāng)前名稱空間到存儲(chǔ)目錄，開(kāi)始新edit-log，需要安全模式
[-rollEdits] 
[-restoreFailedStorage true|false|check]
[-refreshNodes]  #重新讀取hosts和exclude文件，更新允許連到NN的那些需要退出或新加入的Datanode。
[-setQuota <quota> <dirname>...<dirname>] #限制一個(gè)目錄包含最多子目錄和文件 
#hdfs dfsadmin -setQuota 1t  /user/dirname
[-clrQuota <dirname>...<dirname>]
[-setSpaceQuota <quota> [-storageType <storagetype>] <dirname>...<dirname>] #設(shè)置一個(gè)目錄最多使用空間
[-clrSpaceQuota [-storageType <storagetype>] <dirname>...<dirname>]
[-refreshServiceAcl] 
[-refreshUserToGroupsMappings]
[-refreshSuperUserGroupsConfiguration]
[-refreshCallQueue] #刷新請(qǐng)求隊(duì)列
[-refresh <host:ipc_port> <key> [arg1..argn]
[-reconfig <datanode|...> <host:ipc_port> <start|status>]  #將datanode節(jié)點(diǎn)重新加入集群
[-refreshNamenodes datanode_host:ipc_port]
[-deleteBlockPool datanode_host:ipc_port blockpoolId [force]]
[-setBalancerBandwidth <bandwidth in bytes per second>]
[-fetchImage <local directory>]
[-allowSnapshot <snapshotDir>] #某目錄允許快照才可以進(jìn)行快照
[-disallowSnapshot <snapshotDir>]
[-shutdownDatanode <datanode_host:ipc_port> [upgrade]]
[-getDatanodeInfo <datanode_host:ipc_port>]
[-metasave filename]
    • 數(shù)據(jù)塊重新分布，Ctrl-C來(lái)停止平衡過(guò)程

      hadoop balancer [-threshold <threshold>] # 磁盤(pán)容量的百分比
      hdfs達(dá)到平衡狀態(tài)達(dá)到磁盤(pán)使用率偏差值，值越低越平衡，但消耗時(shí)間也越長(zhǎng)。

  • yarn資源集群管理 
    [root@hadoop2 ~]# yarn rmadmin #resourcemanager 客戶端
Usage: yarn rmadmin
-refreshQueues  #重載隊(duì)列的acl、狀態(tài)及調(diào)度器隊(duì)列
-refreshNodes #為RM刷新主機(jī)信息
-refreshSuperUserGroupsConfiguration 
-refreshUserToGroupsMappings 
-refreshAdminAcls 
-refreshServiceAcl 
-addToClusterNodeLabels [label1,label2,label3] (label splitted by ",")
-removeFromClusterNodeLabels [label1,label2,label3] (label splitted by ",")
-replaceLabelsOnNode [node1[:port]=label1,label2 node2[:port]=label1,label2]
-directlyAccessNodeLabelStore 
-transitionToActive [--forceactive] <serviceId>#rm節(jié)點(diǎn)故障轉(zhuǎn)移
-transitionToStandby <serviceId>
-failover [--forcefence] [--forceactive] <serviceId> <serviceId>
-getServiceState <serviceId>#檢查當(dāng)前rm狀態(tài)
-checkHealth <serviceId> 
-help [cmd]
  • ha hadoop啟動(dòng)流程：安裝完第一次啟動(dòng)。。。
    集群搭建環(huán)境：
    步驟1：?jiǎn)?dòng)zookeeper服務(wù)。由于ha hadoop依賴zookeeper服務(wù)。
    hadoop常用命令總結(jié)
    步驟2：hadoop啟動(dòng)
    1. 啟動(dòng)journalnode日志服務(wù)
      hadoop常用命令總結(jié)
    2. 在hadoop1上格式化namenode，僅當(dāng)?shù)谝淮螁?dòng)時(shí)需要格式化。出現(xiàn)該信息表示成功。

      hdfs namenode -format
      hadoop常用命令總結(jié)

    3. 在節(jié)點(diǎn)1上啟動(dòng)namenode節(jié)點(diǎn)，由于采用主備模式NN節(jié)點(diǎn)，hadoop2上nn節(jié)點(diǎn)缺少元數(shù)據(jù)信息還不會(huì)啟動(dòng)，需要手動(dòng)同步一次元數(shù)據(jù)。

      hadoop1：hadoop-daemon.sh start namenode
      hadoop2：hdfs namenode -bootstrapStandby,在啟動(dòng)nn

    4. 在hadoop1上格式化zkfc，無(wú)報(bào)錯(cuò)及為成功（僅在第一次啟動(dòng)之前需要格式化，后面啟動(dòng)不需要格式化）。（如果不進(jìn)行這一步，會(huì)出現(xiàn)namenode無(wú)法向zookeeper注冊(cè)，會(huì)出現(xiàn)兩個(gè)namenode都為備的狀態(tài)。

      hdfs zkfc -formatZK
      hadoop-daemon.sh start zkfc #把故障轉(zhuǎn)移節(jié)點(diǎn)服務(wù)啟動(dòng)，否則當(dāng)前狀態(tài)都為standby！

    5. 然后可以啟動(dòng)各節(jié)點(diǎn)的hdfs、yarn服務(wù)
      hadoop常用命令總結(jié)
    6. 查看各節(jié)點(diǎn)的服務(wù)進(jìn)程是否正常運(yùn)行
      hadoop常用命令總結(jié)
  • webgui訪問(wèn)
    hadoop常用命令總結(jié)
    hadoop常用命令總結(jié)

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

文章標(biāo)題：hadoop常用命令總結(jié)-創(chuàng)新互聯(lián)
網(wǎng)頁(yè)路徑：http://muchs.cn/article40/dpppeo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供動(dòng)態(tài)網(wǎng)站、服務(wù)器托管、營(yíng)銷型網(wǎng)站建設(shè)、網(wǎng)站設(shè)計(jì)公司、網(wǎng)站導(dǎo)航、響應(yīng)式網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)

營(yíng)銷型網(wǎng)站建設(shè)