本篇內容介紹了“eclipse如何在Windows或Linux下啟動Debug調式”的有關知識,在實際案例的操作過程中,不少人都會遇到這樣的困境,接下來就讓小編帶領大家學習一下如何處理這些情況吧!希望大家仔細閱讀,能夠學有所成!
成都創(chuàng)新互聯(lián)2013年至今,是專業(yè)互聯(lián)網(wǎng)技術服務公司,擁有項目成都網(wǎng)站制作、成都網(wǎng)站設計、外貿營銷網(wǎng)站建設網(wǎng)站策劃,項目實施與項目整合能力。我們以讓每一個夢想脫穎而出為使命,1280元江夏做網(wǎng)站,已為上家服務,為江夏各地企業(yè)和個人服務,聯(lián)系電話:028-86922220
MR程序的Debug調式換言之就是MR程序的運行模式,MR程序有三種運行模式:本地模式(local)、集群模式(cluster)
Linux環(huán)境下:
1、本地模式:直接通過eclipse右鍵進行Debug即可
2、集群模式:
2.1、將hadoop的配置文件:core-site.xml/hdfs-site.xml/mapreduce-site.xml/yarn.xml拷貝到工程的src目錄下,這樣eclipse就會通過集群進行提交
2.2、提交時需要將本工程的jar包打到給本工程的目錄下
2.3、同時需要設置環(huán)境變量:conf.set("mapreduce.job.jar","wordcount.jar")
Windows環(huán)境下:
首先Windows真的不適合對MR程序進行調式,不僅出現(xiàn)版本不兼容問題,調式起來的出現(xiàn)的各種環(huán)境錯誤也令人費解
1、本地模式:
1.1、首先需要下載windows版本的hadoop程序,并且需要在PATH路徑下指定HADOOP_HOME
1.2、現(xiàn)在可以直接通過eclipse右鍵DEBUG直接調式(由于本人沒有成功在WINDOWS運行本地調式并且出現(xiàn)了如下異常:)
2015-06-03 00:52:10,649 WARN [main] util.NativeCodeLoader (NativeCodeLoader.java:<clinit>(62)) - Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 2015-06-03 00:52:15,730 INFO [main] Configuration.deprecation (Configuration.java:warnOnceIfDeprecated(1009)) - session.id is deprecated. Instead, use dfs.metrics.session-id 2015-06-03 00:52:15,730 INFO [main] jvm.JvmMetrics (JvmMetrics.java:init(76)) - Initializing JVM Metrics with processName=JobTracker, sessionId= Exception in thread "main" org.apache.hadoop.util.Shell$ExitCodeException: at org.apache.hadoop.util.Shell.runCommand(Shell.java:505) at org.apache.hadoop.util.Shell.run(Shell.java:418) at org.apache.hadoop.util.Shell$ShellCommandExecutor.execute(Shell.java:650) at org.apache.hadoop.util.Shell.execCommand(Shell.java:739) at org.apache.hadoop.util.Shell.execCommand(Shell.java:722) at org.apache.hadoop.fs.RawLocalFileSystem.setPermission(RawLocalFileSystem.java:633) at org.apache.hadoop.fs.RawLocalFileSystem.mkdirs(RawLocalFileSystem.java:421) at org.apache.hadoop.fs.FilterFileSystem.mkdirs(FilterFileSystem.java:281) at org.apache.hadoop.mapreduce.JobSubmissionFiles.getStagingDir(JobSubmissionFiles.java:125) at org.apache.hadoop.mapreduce.JobSubmitter.submitJobInternal(JobSubmitter.java:348) at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1285) at org.apache.hadoop.mapreduce.Job$10.run(Job.java:1282) at java.security.AccessController.doPrivileged(Native Method) at javax.security.auth.Subject.doAs(Subject.java:396) at org.apache.hadoop.security.UserGroupInformation.doAs(UserGroupInformation.java:1556) at org.apache.hadoop.mapreduce.Job.submit(Job.java:1282) at org.apache.hadoop.mapreduce.Job.waitForCompletion(Job.java:1303) at com.itheima.hadoop.runner.WordCountRunner.main(WordCountRunner.java:38)
2、集群模式
2.1、將hadoop的配置文件:core-site.xml/hdfs-site.xml/mapreduce-site.xml/yarn.xml拷貝到工程的src目錄下
2.2、修改Hadoop源代碼:YARNRunner.java文件,YARNRunner里面包含大量與Linux環(huán)境相關的配置,需要將器替換成Windows的環(huán)境配置,重新編譯即可,這也是不建議在WINDOWS下調式的原因,因為修改起來非常麻煩
“eclipse如何在Windows或Linux下啟動Debug調式”的內容就介紹到這里了,感謝大家的閱讀。如果想了解更多行業(yè)相關的知識可以關注創(chuàng)新互聯(lián)網(wǎng)站,小編將為大家輸出更多高質量的實用文章!
文章名稱:eclipse如何在Windows或Linux下啟動Debug調式
文章網(wǎng)址:http://muchs.cn/article38/igessp.html
成都網(wǎng)站建設公司_創(chuàng)新互聯(lián),為您提供App設計、標簽優(yōu)化、外貿建站、營銷型網(wǎng)站建設、定制網(wǎng)站、網(wǎng)站維護
聲明:本網(wǎng)站發(fā)布的內容(圖片、視頻和文字)以用戶投稿、用戶轉載內容為主,如果涉及侵權請盡快告知,我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場,如需處理請聯(lián)系客服。電話:028-86922220;郵箱:631063699@qq.com。內容未經(jīng)允許不得轉載,或轉載時需注明來源: 創(chuàng)新互聯(lián)