Hadoop故障處理-創(chuàng)新互聯(lián)

故障描述：

創(chuàng)新互聯(lián)主打移動網(wǎng)站、成都網(wǎng)站制作、網(wǎng)站設(shè)計、外貿(mào)網(wǎng)站建設(shè)、網(wǎng)站改版、網(wǎng)絡(luò)推廣、網(wǎng)站維護、域名注冊、等互聯(lián)網(wǎng)信息服務(wù)，為各行業(yè)提供服務(wù)。在技術(shù)實力的保障下，我們?yōu)榭蛻舫兄Z穩(wěn)定，放心的服務(wù)，根據(jù)網(wǎng)站的內(nèi)容與功能再決定采用什么樣的設(shè)計。最后，要實現(xiàn)符合網(wǎng)站需求的內(nèi)容、功能與設(shè)計，我們還會規(guī)劃穩(wěn)定安全的技術(shù)方案做保障。

 以前上傳圖片以及文件是通過nginx的配置來上傳和下載圖片，文件存儲用的是Hadoop作為文件存儲，昨晚上仿真的過程中，上傳圖片過程中無法連接Hadoop，發(fā)現(xiàn)問題很多：處理完連接報錯后，還是不能上傳圖片，各種報錯。。。。

處理思路：

 一般的故障信息都是日志來入手的。從上傳圖片的整個過程：從前端nginx代理后接入tomcat上傳圖片的實例的日志報錯信息排除

 之前是Hadoop的配置中hdfs的端口修改了9100，但是tomcat的上傳文件的實例中application.properties的配置文件的地址配置有問題，這些是排查故障前發(fā)生的問題，修改后還是有問題，然后繼續(xù)如下的排查！

nginx的配置正常的前提下報錯：

實際日志報錯信息：

    首先打開nginx的日志錯誤日志報的是連接tomcat超時：

[root@web01 server]# tail -100f /webserver/nginx/nginx-upload/logs/error.log

2016/07/10 11:26:51 [error] 18444#0: *17007 upstream timed out (110: Connection timed out) while reading response header from upstream, client: 123.125.138.174, server: online.898china.com, request: "POST /innospace-file-server/file/upload.json?x=100&y=100&w=200&h=200&userId=87 HTTP/1.1", upstream:

發(fā)現(xiàn)nginx連接tomcat超時，此時排查到上傳文件的tomcat實例有問題，直接定位到innospace-file-server的日志在看錯誤信息：

[root@web01 server]# tail -1000f /webserver/tomcat/innospace-file-server/logs/catalina.out

[ERROR] 2016-07-10 11:13:49,958 com.inno.innospace.utils.HDFSUtil - 上傳文件失敗

java.io.IOException: Bad connect ack with firstBadLink as 10.24.198.117:50010

    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.createBlockOutputStream(DFSOutputStream.java:1460) ~[hadoop-hdfs-2.6.3.jar:?]

    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.nextBlockOutputStream(DFSOutputStream.java:1361) ~[hadoop-hdfs-2.6.3.jar:?]

    at org.apache.hadoop.hdfs.DFSOutputStream$DataStreamer.run(DFSOutputStream.java:588) ~[hadoop-hdfs-2.6.3.jar:?]

到這里還真不知道哪里出現(xiàn)的問題，最好只好百度一下：

  發(fā)現(xiàn)與防火墻有關(guān)，數(shù)據(jù)在Hadoop上存儲的是在從slave的節(jié)點上，連接Hadoop主的過程需要50010端口連接，最終在防火墻開啟50010端口

iptables -A INPUT -p tcp --dport 50010 -j ACCEPT

開啟之后問題解決了。

另外有需要云服務(wù)器可以了解下創(chuàng)新互聯(lián)scvps.cn，海內(nèi)外云服務(wù)器15元起步，三天無理由+7*72小時售后在線，公司持有idc許可證，提供“云服務(wù)器、裸金屬服務(wù)器、高防服務(wù)器、香港服務(wù)器、美國服務(wù)器、虛擬主機、免備案服務(wù)器”等云主機租用服務(wù)以及企業(yè)上云的綜合解決方案，具有“安全穩(wěn)定、簡單易用、服務(wù)可用性高、性價比高”等特點與優(yōu)勢，專為企業(yè)上云打造定制，能夠滿足用戶豐富、多元化的應(yīng)用場景需求。

名稱欄目：Hadoop故障處理-創(chuàng)新互聯(lián)
網(wǎng)站路徑：http://muchs.cn/article48/djephp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供外貿(mào)建站、做網(wǎng)站、小程序開發(fā)、營銷型網(wǎng)站建設(shè)、品牌網(wǎng)站制作、網(wǎng)站收錄

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)