Hadoop日志小結(jié)-創(chuàng)新互聯(lián)

一、日志分類

十多年的和田縣網(wǎng)站建設(shè)經(jīng)驗(yàn)，針對(duì)設(shè)計(jì)、前端、開發(fā)、售后、文案、推廣等六對(duì)一服務(wù)，響應(yīng)快，48小時(shí)及時(shí)工作處理。營(yíng)銷型網(wǎng)站的優(yōu)勢(shì)是能夠根據(jù)用戶設(shè)備顯示端的尺寸不同，自動(dòng)調(diào)整和田縣建站的顯示方式，使網(wǎng)站能夠適用不同顯示終端，在瀏覽器中調(diào)整網(wǎng)站的寬度，無(wú)論在任何一種瀏覽器上瀏覽網(wǎng)站，都能展現(xiàn)優(yōu)雅布局與設(shè)計(jì)，從而大程度地提升瀏覽體驗(yàn)。創(chuàng)新互聯(lián)從事“和田縣網(wǎng)站設(shè)計(jì)”,“和田縣網(wǎng)站推廣”以來(lái)，每個(gè)客戶項(xiàng)目都認(rèn)真落實(shí)執(zhí)行。

 1、進(jìn)程日志

 進(jìn)程日志即為hadoop各個(gè)守護(hù)進(jìn)程的日志，例如ResourceManager、NodeManager、NameNode、DataNode等守護(hù)進(jìn)程。集群?jiǎn)?dòng)或者運(yùn)行期間出現(xiàn)異常，首先應(yīng)該查看進(jìn)程日志，它是系統(tǒng)排障的重要工具。默認(rèn)位置為${HADOOP_HOME}/logs?？梢栽趍apred-env.sh和yarn-env.sh中分別指定HADOOP_MAPRED_LOG_DIR和YARN_LOG_DIR變量來(lái)改變默認(rèn)位置。

 進(jìn)程日志是滾動(dòng)記錄的，當(dāng)日志達(dá)到指定大小之后，會(huì)滾動(dòng)寫入下一個(gè)文件?？梢栽?HADOOP_HOME/etc/hadoop/log4j.properties中對(duì)文件大小、保留個(gè)數(shù)等進(jìn)行相應(yīng)設(shè)置。

 2、作業(yè)日志

 作業(yè)日志記錄了作業(yè)運(yùn)行的整體情況，以及該作業(yè)的計(jì)數(shù)器統(tǒng)計(jì)信息。比如作業(yè)一共有多少個(gè)map，多少個(gè)reduce，分別在什么時(shí)候哪個(gè)節(jié)點(diǎn)啟動(dòng)，各個(gè)map進(jìn)行了多少文件讀寫、占用了多少CPU時(shí)間等等。作業(yè)日志在系統(tǒng)監(jiān)控和調(diào)優(yōu)方面有重要作用。

 3、Container日志

 Container日志是hadoop各個(gè)container記錄的日志，其中會(huì)包含錯(cuò)誤或失敗的重要信息。如果沒有打開日志聚合，默認(rèn)是分布在各個(gè)nodemanager節(jié)點(diǎn)上的。如果打開了日志聚合選項(xiàng)，則會(huì)統(tǒng)一放在集中的位置（比如HDFS上）。Container日志會(huì)記錄作業(yè)運(yùn)行時(shí)會(huì)發(fā)生的各種運(yùn)行時(shí)信息和錯(cuò)誤，對(duì)于調(diào)試和調(diào)優(yōu)有很大的幫助。

 二、作業(yè)日志位置的移動(dòng)

 作業(yè)日志記錄的是作業(yè)的整體情況，而且會(huì)隨著作業(yè)執(zhí)行的階段變化而改變。

 1、作業(yè)啟動(dòng)后，hadoop會(huì)將作業(yè)日志放在${yarn.app.mapreduce.am.staging-dir}/${user}/.staging/{$job_ID}目錄。其中：

 yarn.app.mapreduce.am.staging-dir在yarn-site.xml中指定，默認(rèn)是/tmp/hadoop-yarn/staging

 ${user}是運(yùn)行作業(yè)的用戶

 例如：grid用戶發(fā)起一個(gè)mr作業(yè)，job_id為job_1483969906296_0002，在其運(yùn)行沒有結(jié)束時(shí)，作業(yè)的日志會(huì)放在/tmp/hadoop-yarn/staging/grid/.staging/job_1483969906296_0002目錄中。

 2、作業(yè)完成后，作業(yè)日志會(huì)被移到${mapreduce.jobhistory.intermediate-done-dir}/${user}，其中${mapreduce.jobhistory.intermediate-done-dir}可以在mapred-site.xml中配置，默認(rèn)值是${yarn.app.mapreduce.am.staging-dir}/history/done_intermediate

 3、第2步的這個(gè)新地址只是個(gè)臨時(shí)的中轉(zhuǎn)站，hadoop會(huì)定時(shí)將這個(gè)目錄中的日志轉(zhuǎn)移到永久地址：${mapreduce.jobhistory.done-dir}/${year}/${month}/${day}/000000目錄中。其中的000000應(yīng)該會(huì)發(fā)生變化，暫時(shí)未確定代表何種變量，以后確認(rèn)后再補(bǔ)充。

 三、其它補(bǔ)充

 1、作業(yè)日志中的jhist文件為json格式，保存了作業(yè)的主要信息

 2、如果需要查看container日志，最好打開日志聚合（在yarn-site.xml中配置yarn.log-aggregation-enable為true），可以使用yarn logs -applicationId <application_id>查看完整的container日志。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無(wú)理由+7*72小時(shí)售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國(guó)服務(wù)器、虛擬主機(jī)、免備案服務(wù)器”等云主機(jī)租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡(jiǎn)單易用、服務(wù)可用性高、性價(jià)比高”等特點(diǎn)與優(yōu)勢(shì)，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場(chǎng)景需求。

網(wǎng)站題目：Hadoop日志小結(jié)-創(chuàng)新互聯(lián)
文章出自：http://muchs.cn/article18/dsijdp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供搜索引擎優(yōu)化、云服務(wù)器、網(wǎng)站排名、虛擬主機(jī)、ChatGPT、App設(shè)計(jì)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)