在Windows下安裝Hadoop的方法

本篇內(nèi)容介紹了“在Windows下安裝Hadoop的方法”的有關(guān)知識(shí)，在實(shí)際案例的操作過(guò)程中，不少人都會(huì)遇到這樣的困境，接下來(lái)就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細(xì)閱讀，能夠?qū)W有所成！

創(chuàng)新互聯(lián)建站客戶idc服務(wù)中心，提供四川電信科技城機(jī)房、成都服務(wù)器、成都主機(jī)托管、成都雙線服務(wù)器等業(yè)務(wù)的一站式服務(wù)。通過(guò)各地的服務(wù)中心，我們向成都用戶提供優(yōu)質(zhì)廉價(jià)的產(chǎn)品以及開(kāi)放、透明、穩(wěn)定、高性價(jià)比的服務(wù)，資深網(wǎng)絡(luò)工程師在機(jī)房提供7*24小時(shí)標(biāo)準(zhǔn)級(jí)技術(shù)保障。

Windows下運(yùn) 行Hadoop，通常有兩種方式：一種是用VM方式安裝一個(gè)Linux操作系統(tǒng)，這樣基本可以實(shí)現(xiàn)全Linux環(huán)境的Hadoop運(yùn)行；另一種是通過(guò) Cygwin模擬Linux環(huán)境。后者的好處是使用比較方便，安裝過(guò)程也簡(jiǎn)單。在這里咱們就來(lái)看看第二種方案：如何再Windows下快速安裝一個(gè) Hadoop環(huán)境，并結(jié)合Eclipse開(kāi)發(fā)環(huán)境研究和調(diào)整Hadoop代碼。

整個(gè)安裝過(guò)程包括以下三大步驟：

1. 安裝和配置Cygwin（http://cygwin.com/install.html）

2. 安裝和配置Hadoop-1.2.1（http://hadoop.apache.org/docs/stable/cluster_setup.html）

3. 安裝和配置Eclipse開(kāi)發(fā)環(huán)境

1安裝和配置Cygwin

在Windows下通過(guò)安裝Cygwin模擬Linux環(huán)境，然后再安裝Hadoop，是一種簡(jiǎn)單方便的方式，為Hadoop準(zhǔn)備的模擬Linux環(huán)境安裝過(guò)程如下：

1.1下載安裝文件

針對(duì)不同系統(tǒng)類型下載相應(yīng)的安裝文件，下載地址：http://cygwin.com/install.html。

我這里的系統(tǒng)是window 7所以下載的是setup-x86.exe

1.2安裝Cygwin

剛剛下載的文件是模擬Linux系統(tǒng)所依賴的軟件包下載和管理工具，以后想要在模擬Linux環(huán)境中安裝或更新軟件都需要通過(guò)這個(gè)工具來(lái)完成，下面我們就先運(yùn)行起來(lái)這個(gè)工具如下：

1. 左鍵雙擊setup-x86.exe文件運(yùn)行安裝向?qū)В?/p>

cygwin安裝

1. 點(diǎn)擊【下一步】按鈕進(jìn)入程序引導(dǎo)安裝頁(yè)，這里有三個(gè)選項(xiàng)，選擇第一項(xiàng)網(wǎng)絡(luò)安裝：

• 網(wǎng)絡(luò)安裝：通過(guò)網(wǎng)絡(luò)下載并安裝軟件包

• 下載但不安裝：通過(guò)網(wǎng)絡(luò)下載軟件包

• 本地安裝：是用本地軟件包安裝

cygwin安裝

1. 點(diǎn)擊【下一步】進(jìn)入選擇模擬Linux系統(tǒng)的根目錄和用戶的向?qū)ы?yè)。在Linux的文件系統(tǒng)中有且只有一個(gè)根目錄，在這里選擇目錄就是Linux中的那個(gè)根目錄了，這里選擇默認(rèn)：c:\cygwin；用戶選擇第一項(xiàng)：本系統(tǒng)的所有有效用戶。

cygwin安裝

1. 點(diǎn)擊【下一步】選擇本地軟件包目錄，該工具會(huì)自動(dòng)記住并將以后下載的所有軟件包都會(huì)放到這里指定的目錄。我這里選擇：C:\Users\Administrator\Desktop\1，如果選擇不存在目錄，就好提示是否創(chuàng)建目錄選Yes就OK。

cygwin安裝

1. 點(diǎn)擊【下一步】選擇您的網(wǎng)絡(luò)連接，我這里使用的是代理服務(wù)器上網(wǎng)，所以我選擇第二項(xiàng)：使用IE瀏覽器代理設(shè)置。經(jīng)測(cè)試選擇第三項(xiàng)輸入代理服務(wù)器地址和端口，不能正常訪問(wèn)網(wǎng)絡(luò)，原因不明。

cygwin安裝

1. 點(diǎn)擊【下一步】，等待下載鏡像站點(diǎn)列表，下載完成后出現(xiàn)選擇下載軟件包的站點(diǎn)。如圖：

cygwin安裝

1. 根據(jù)自己的情況選擇合適的下載地址，我這里選擇了國(guó)內(nèi)的163站點(diǎn)，點(diǎn)擊【下一步】，這個(gè)工具就會(huì)自動(dòng)下載軟件包信息列表下載完成后進(jìn)入安裝軟件包選擇頁(yè)，如下圖：

cygwin安裝

1. 這一步比較重要，以下軟件包要確保被安裝：

cygwin安裝

注：這個(gè)軟件包列表由前到后包括：分類、當(dāng)前安裝版本，最新版本，安裝可執(zhí)行文件？，安裝源代碼文件？，大小，包名稱和說(shuō)明。

• 基礎(chǔ)軟件包：Base及其下面的所有軟件包，操作方法：點(diǎn)擊Base后面的Default為Install。

• SSH相關(guān)軟件包：Net下的OpenSSL和和OpenSSH，用于Hadoop需要的SSH訪問(wèn)，操作方法：點(diǎn)擊【+】展開(kāi)Net節(jié)點(diǎn)，點(diǎn)擊各個(gè)軟件包前的最新版本號(hào)列的Keep為版本號(hào)即為選中安裝。

• 其他軟件包根據(jù)自己的需要選中是否安裝即可，我這里還選中了Emacs、VIM、Perl、Python、Ruby、Science、subversion等常用工具。

1. 選擇完軟件包點(diǎn)擊【下一步】，進(jìn)入自動(dòng)下載與安裝，如下圖：

   

   cygwin安裝

1. 點(diǎn)擊【下一步】進(jìn)入向?qū)ЫY(jié)束頁(yè)，勾選創(chuàng)建桌面快捷方式點(diǎn)擊【完成即可】，如圖：

   

   cygwin安裝

到這里，您已經(jīng)完成了模擬Linux環(huán)境的安裝，左鍵雙擊桌面上的圖標(biāo)打開(kāi)這個(gè)模擬Linux的終端窗口輸入幾個(gè)常用Linux命令體驗(yàn)下這個(gè)模擬的Linux系統(tǒng)吧，除了可以執(zhí)行Linux常用命令外，還可以執(zhí)行Windows的命令例如：net start service_name等。體驗(yàn)完成后繼續(xù)下面的配置工作。

1.3配置Cygwin的SSH服務(wù)

Cygwin安裝完成后，需要先配置SSH服務(wù)，以滿足Hadoop提出的SSH無(wú)密碼登入，過(guò)程如下：

打開(kāi)模擬Linux的終端，進(jìn)入Linux環(huán)境

執(zhí)行命令：ssh-host-config如圖：

• Hadoop安裝

第一次詢問(wèn)：“Should privilege separation be used? (yes/no)”，輸入no回車。

第二次詢問(wèn)：“Do you want to install sshd a service?”，輸入yes回車。

第三次提示：“Enter the value of CYGWIN for the demon: []”，直接回車。

第四次詢問(wèn)：“Do you want to use a different name? (yes/no)”，輸入no回車。

第五次提示：“Please enter the password for user ‘cyg_server’:”，輸入密碼回車，在此輸入密碼回車。

最后提示配置完成。

1.4啟動(dòng)SSH服務(wù)

在Linux終端或Windows命令行執(zhí)行net start sshd或命令cygrunsrv –S sshd啟動(dòng)SSH服務(wù)。

測(cè)試ssh登入本機(jī)：

在終端執(zhí)行命令：ssh localhost

提示輸入密碼：輸入密碼回車，如下圖：

Hadoop安裝

1.5配置SSH免密碼登入

在終端執(zhí)行命令：ssh-keygen -t dsa -P ” -f ~/.ssh/id_dsa生成秘鑰。

執(zhí)行命令：cat ~/.ssh/id_dsa.pub >> ~/.ssh/authorized_keys生成認(rèn)證文件。

執(zhí)行命令：ssh localhost測(cè)試是否無(wú)需輸入密碼即可登入。

“在Windows下安裝Hadoop的方法”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識(shí)可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實(shí)用文章！

網(wǎng)站欄目：在Windows下安裝Hadoop的方法
標(biāo)題來(lái)源：http://muchs.cn/article40/ihdgho.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供小程序開(kāi)發(fā)、網(wǎng)站維護(hù)、建站公司、做網(wǎng)站、網(wǎng)站設(shè)計(jì)公司、Google

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)