利用JAVA讀取HDFS文件數(shù)據(jù)時(shí)出現(xiàn)亂碼如何解決-創(chuàng)新互聯(lián)

利用JAVA讀取HDFS文件數(shù)據(jù)時(shí)出現(xiàn)亂碼如何解決？針對(duì)這個(gè)問題，這篇文章詳細(xì)介紹了相對(duì)應(yīng)的分析和解答，希望可以幫助更多想解決這個(gè)問題的小伙伴找到更簡(jiǎn)單易行的方法。

創(chuàng)新互聯(lián)-專業(yè)網(wǎng)站定制、快速模板網(wǎng)站建設(shè)、高性價(jià)比阿爾山網(wǎng)站開發(fā)、企業(yè)建站全套包干低至880元,成熟完善的模板庫(kù),直接使用。一站式阿爾山網(wǎng)站制作公司更省心,省錢,快速模板網(wǎng)站建設(shè)找我們，業(yè)務(wù)覆蓋阿爾山地區(qū)。費(fèi)用合理售后完善，10多年實(shí)體公司更值得信賴。

使用JAVA api讀取HDFS文件亂碼踩坑

想寫一個(gè)讀取HFDS上的部分文件數(shù)據(jù)做預(yù)覽的接口，根據(jù)網(wǎng)上的博客實(shí)現(xiàn)后，發(fā)現(xiàn)有時(shí)讀取信息會(huì)出現(xiàn)亂碼，例如讀取一個(gè)csv時(shí)，字符串之間被逗號(hào)分割

  • 英文字符串a(chǎn)aa，能正常顯示
  • 中文字符串“你好”，能正常顯示
  • 中英混合字符串如“aaa你好”，出現(xiàn)亂碼

查閱了眾多博客，解決方案大概都是：使用xxx字符集解碼。抱著不信的想法，我依次嘗試，果然沒用。

解決思路

因?yàn)镠DFS支持6種字符集編碼，每個(gè)本地文件編碼方式又是極可能不一樣的，我們上傳本地文件的時(shí)候其實(shí)就是把文件編碼成字節(jié)流上傳到文件系統(tǒng)存儲(chǔ)。那么在GET文件數(shù)據(jù)時(shí)，面對(duì)不同文件、不同字符集編碼的字節(jié)流，肯定不是一種固定字符集解碼就能正確解碼的吧。

那么解決方案其實(shí)有兩種

  • 固定HDFS的編解碼字符集。比如我選用UTF-8，那么在上傳文件時(shí)統(tǒng)一編碼，即把不同文件的字節(jié)流都轉(zhuǎn)化為UTF-8編碼再進(jìn)行存儲(chǔ)。這樣的話在獲取文件數(shù)據(jù)的時(shí)候，采用UTF-8字符集解碼就沒什么問題了。但這樣做的話仍然會(huì)在轉(zhuǎn)碼部分存在諸多問題，且不好實(shí)現(xiàn)。
  • 動(dòng)態(tài)解碼。根據(jù)文件的編碼字符集選用對(duì)應(yīng)的字符集對(duì)解碼，這樣的話并不會(huì)對(duì)文件的原生字符流進(jìn)行改動(dòng)，基本不會(huì)亂碼。

我選用動(dòng)態(tài)解碼的思路后，其難點(diǎn)在于如何判斷使用哪種字符集解碼。參考下面的內(nèi)容，獲得了解決方案

java檢測(cè)文本(字節(jié)流)的編碼方式

需求：

某文件或者某字節(jié)流要檢測(cè)他的編碼格式。

實(shí)現(xiàn)：

基于jchardet

<dependency>
	<groupId>net.sourceforge.jchardet</groupId>
	<artifactId>jchardet</artifactId>
	<version>1.0</version>
</dependency>

網(wǎng)頁(yè)標(biāo)題：利用JAVA讀取HDFS文件數(shù)據(jù)時(shí)出現(xiàn)亂碼如何解決-創(chuàng)新互聯(lián)
當(dāng)前鏈接：http://muchs.cn/article24/coeije.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供響應(yīng)式網(wǎng)站、靜態(tài)網(wǎng)站、移動(dòng)網(wǎng)站建設(shè)、App設(shè)計(jì)、電子商務(wù)、動(dòng)態(tài)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來源： 創(chuàng)新互聯(lián)

外貿(mào)網(wǎng)站制作