HDFS存放副本時會優(yōu)先在同一個數(shù)據(jù)節(jié)點備份一份,然后在不同的虛擬機架上備份
目前創(chuàng)新互聯(lián)公司已為上千家的企業(yè)提供了網(wǎng)站建設(shè)、域名、網(wǎng)頁空間、網(wǎng)站托管、企業(yè)網(wǎng)站設(shè)計、商丘網(wǎng)站維護等服務,公司將堅持客戶導向、應用為本的策略,正道將秉承"和諧、參與、激情"的文化,與客戶和合作伙伴齊心協(xié)力一起成長,共同發(fā)展。namenode的HA是靠主備方式保證的,自動切換時要用到zookeeper,手動切換可以通過命令,備節(jié)點可以在數(shù)據(jù)節(jié)點上,一套HDFS-HA最少需要3臺機子
安裝步驟:
#yum install java
#wget http://mirrors.hust.edu.cn/apache/hadoop/common/hadoop-2.6.0/hadoop-2.6.0.tar.gz
#tar -zxvf hadoop-2
#mv hadoop-2.6.0 /usr/local/hadoop
ssh免密碼登錄,分發(fā)公鑰:
#ssh-keygen -t rsa
#ssh-copy-id -i /root/.ssh/id_rsa.pub '-p 22 root@192.168.128.129'
#vim /usr/local/hadoop/etc/hadoop/hadoop-env.sh
export JAVA_HOME=/usr/lib/jvm/java-1.7.0-openjdk-1.7.0.79.x86_64/jre 指定jdk目錄 export HADOOP_PID_DIR=${HADOOP_HOME}/pids export HADOOP_SSH_OPTS="-p 1234" 如果非22的ssh端口,需要這行來指定端口
#vim /usr/local/hadoop/etc/hadoop/core-site.xml 編輯主節(jié)點主要參數(shù)
<configuration> <property> <name>hadoop.tmp.dir</name> <value>file:/hdfs/tmp</value>指定上傳到hdfs數(shù)據(jù)臨時存放目錄,多硬盤可設(shè)多個來備份和提高效率 </property> <property> <name>fs.default.name</name> <value>hdfs://192.168.128.129:9000</value> 指定默認主的訪問方式 </property> </configuration>
#mkdir -p /hdfs/tmp
#vim /usr/local/hadoop/etc/hadoop/hdfs-site.xml 編輯hdfs數(shù)據(jù)存放參數(shù)
<configuration> <property> <name>dfs.replication</name> <value>2</value> 數(shù)據(jù)備份數(shù) </property> <property> <name>dfs.namenode.name.dir</name> <value>file:/hdfs/name</value> name節(jié)點存放數(shù)據(jù)位置,多硬盤可設(shè)置多個來備份和提高效率 </property> <property> <name>dfs.datannode.data.dir</name> <value>file:/hdfs/nodedata</value> 數(shù)據(jù)節(jié)點存數(shù)據(jù)位置,多硬盤可設(shè)多個來備份和提高效率 </property> <property> <name>dfs.namenode.secondary.http-address</name> 指定備name節(jié)點ip <value>hdfs://備節(jié)點ip:50070</value> </property> <name>dfs.webhdfs.enabled</name> 開啟網(wǎng)頁看結(jié)構(gòu)功能 <value>true</value> </property> <property> <name>dfs.permissions</name> 文件操作時禁止檢查權(quán)限 <value>false</value> </property> </configuration>
#mkdir /hdfs/name
#mkdir /hdfs/nodedata
#vim /usr/local/hadoop/etc/hadoop/slaves 添加數(shù)據(jù)節(jié)點的ip或主機名
#export HADOOP_ROOT_LOGGER=DEBUG,console 為了解決本地庫報錯,設(shè)置前端顯示日志
#/usr/local/hadoop/bin/hadoop fs -ls 主要看看需要的GLIBC版本
#wget http://ftp.gnu.org/gnu/glibc/glibc-2.14.tar.gz
#tar -zxvf glibc-2.14
#mkdir glibc-build
#cd glibc-build
#../glibc-2.14/configur --prefix=/usr
#make && make install 最后出現(xiàn)的libc5啥的錯誤無視他
#shutdown -r 0 重啟系統(tǒng)生效
開始使用:
#/usr/local/hadoop/bin/hadoop namenode -format 格式化
#/usr/local/hadoop/sbin/start-dfs.sh 在namenode節(jié)點啟動HDFS stop-dfs.sh 停止
訪問 http://ip:50070 看網(wǎng)頁狀態(tài)
監(jiān)控:
獲取HDFS狀態(tài)命令:
#/usr/local/hadoop/bin/hadoop dfsadmin -report
如果livenode是0的話就刪了所有節(jié)點的tmp、name、data文件夾里的東西,然后再格式化,啟動
另外有需要云服務器可以了解下創(chuàng)新互聯(lián)scvps.cn,海內(nèi)外云服務器15元起步,三天無理由+7*72小時售后在線,公司持有idc許可證,提供“云服務器、裸金屬服務器、高防服務器、香港服務器、美國服務器、虛擬主機、免備案服務器”等云主機租用服務以及企業(yè)上云的綜合解決方案,具有“安全穩(wěn)定、簡單易用、服務可用性高、性價比高”等特點與優(yōu)勢,專為企業(yè)上云打造定制,能夠滿足用戶豐富、多元化的應用場景需求。
名稱欄目:部署HDFS-創(chuàng)新互聯(lián)
URL標題:http://muchs.cn/article16/ddsedg.html
成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián),為您提供域名注冊、網(wǎng)頁設(shè)計公司、網(wǎng)站營銷、做網(wǎng)站、網(wǎng)站改版、面包屑導航
聲明:本網(wǎng)站發(fā)布的內(nèi)容(圖片、視頻和文字)以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主,如果涉及侵權(quán)請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載,或轉(zhuǎn)載時需注明來源: 創(chuàng)新互聯(lián)