Java中怎么通過內(nèi)存映射處理大文件

今天就跟大家聊聊有關(guān)Java中怎么通過內(nèi)存映射處理大文件，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

站在用戶的角度思考問題，與客戶深入溝通，找到田林網(wǎng)站設(shè)計(jì)與田林網(wǎng)站推廣的解決方案，憑借多年的經(jīng)驗(yàn)，讓設(shè)計(jì)與互聯(lián)網(wǎng)技術(shù)結(jié)合，創(chuàng)造個(gè)性化、用戶體驗(yàn)好的作品，建站類型包括：成都做網(wǎng)站、網(wǎng)站建設(shè)、外貿(mào)營(yíng)銷網(wǎng)站建設(shè)、企業(yè)官網(wǎng)、英文網(wǎng)站、手機(jī)端網(wǎng)站、網(wǎng)站推廣、域名申請(qǐng)、網(wǎng)站空間、企業(yè)郵箱。業(yè)務(wù)覆蓋田林地區(qū)。

01、使用 MappedByteBuffer 讀取文件

假設(shè)現(xiàn)在有一個(gè)文件，名叫 cmower.txt，里面的內(nèi)容是：

沉默王二，一個(gè)有趣的程序員

PS：哎，改不了王婆賣瓜自賣自夸這個(gè)臭毛病了，因?yàn)槲恼卤槐I得都怕了。

這個(gè)文件放在 /resource 目錄下，我們可以通過下面的方法獲取到它：

ClassLoader classLoader = Cmower.class.getClassLoader();
Path path = Paths.get(classLoader.getResource("cmower.txt").getPath());

Path 既可以表示一個(gè)目錄，也可以表示一個(gè)文件，就像 File 那樣——當(dāng)然了，Path 是用來(lái)取代 File 的。

然后，從文件中獲取一個(gè) channel（通道，對(duì)磁盤文件的一種抽象）。

FileChannel fileChannel = FileChannel.open(path);

緊接著，調(diào)用 FileChannel 類的 map 方法從 channel 中獲取 MappedByteBuffer，此類擴(kuò)展了 ByteBuffer——提供了一些內(nèi)存映射文件的基本操作方法。

MappedByteBuffer mappedByteBuffer = fileChannel.map(mode, position, size);

稍微解釋一下 map 方法的三個(gè)參數(shù)。

1）mode 為文件映射模式，分為三種：

  • MapMode.READ_ONLY（只讀），任何試圖修改緩沖區(qū)的操作將導(dǎo)致拋出 ReadOnlyBufferException 異常。

  • MapMode.READ_WRITE（讀/寫），任何對(duì)緩沖區(qū)的更改都會(huì)在某個(gè)時(shí)刻寫入文件中。需要注意的是，其他映射同一個(gè)文件的程序可能不能立即看到這些修改，多個(gè)程序同時(shí)進(jìn)行文件映射的行為依賴于操作系統(tǒng)。

  • MapMode.PRIVATE（私有）， 對(duì)緩沖區(qū)的更改不會(huì)被寫入到該文件，任何修改對(duì)這個(gè)緩沖區(qū)來(lái)說都是私有的。

2）position 為文件映射時(shí)的起始位置。

3）size 為要映射的區(qū)域的大小，必須是非負(fù)數(shù)，不得大于Integer.MAX_VALUE。

一旦把文件映射到內(nèi)存緩沖區(qū)，我們就可以把里面的數(shù)據(jù)讀入到 CharBuffer 中并打印出來(lái)。具體的代碼示例如下。

CharBuffer charBuffer = null;
ClassLoader classLoader = Cmower.class.getClassLoader();
Path path = Paths.get(classLoader.getResource("cmower.txt").getPath());
try (FileChannel fileChannel = FileChannel.open(path)) {
 MappedByteBuffer mappedByteBuffer = fileChannel.map(MapMode.READ_ONLY, 0, fileChannel.size());

 if (mappedByteBuffer != null) {
  charBuffer = Charset.forName("UTF-8").decode(mappedByteBuffer);
 }

 System.out.println(charBuffer.toString());
} catch (IOException e) {
 e.printStackTrace();
}

由于 decode() 方法的參數(shù)是 MappedByteBuffer，這就意味著我們是從內(nèi)存中而不是磁盤中讀入的文件內(nèi)容，所以速度會(huì)非常快。

02、使用 MappedByteBuffer 寫入文件

假設(shè)現(xiàn)在要把下面的內(nèi)容寫入到一個(gè)文件，名叫 cmower1.txt。

沉默王二，《Web全棧開發(fā)進(jìn)階之路》作者

這個(gè)文件還沒有創(chuàng)建，計(jì)劃放在項(xiàng)目的 classpath 目錄下。

Path path = Paths.get("cmower1.txt");

具體位置見下圖所示。

Java中怎么通過內(nèi)存映射處理大文件

然后，創(chuàng)建文件的通道。

FileChannel fileChannel = FileChannel.open(path, StandardOpenOption.READ, StandardOpenOption.WRITE,
    StandardOpenOption.TRUNCATE_EXISTING)

仍然使用的 open 方法，不過增加了 3 個(gè)參數(shù)，前 2 個(gè)很好理解，表示文件可讀（READ）、可寫（WRITE）；第 3 個(gè)參數(shù) TRUNCATE_EXISTING 的意思是如果文件已經(jīng)存在，并且文件已經(jīng)打開將要進(jìn)行 WRITE 操作，則其長(zhǎng)度被截?cái)酁?0。

緊接著，仍然調(diào)用 FileChannel 類的 map 方法從 channel 中獲取 MappedByteBuffer。

 MappedByteBuffer mappedByteBuffer = fileChannel.map(MapMode.READ_WRITE, 0, 1024);

這一次，我們把模式調(diào)整為 MapMode.READ_WRITE，并且指定文件大小為 1024，即 1KB 的大小。然后使用 MappedByteBuffer 中的 put() 方法將 CharBuffer 的內(nèi)容保存到文件中。具體的代碼示例如下。

CharBuffer charBuffer = CharBuffer.wrap("沉默王二，《Web全棧開發(fā)進(jìn)階之路》作者");
Path path = Paths.get("cmower1.txt");
try (FileChannel fileChannel = FileChannel.open(path, StandardOpenOption.READ, StandardOpenOption.WRITE,
  StandardOpenOption.TRUNCATE_EXISTING)) {
 MappedByteBuffer mappedByteBuffer = fileChannel.map(MapMode.READ_WRITE, 0, 1024);

 if (mappedByteBuffer != null) {
  mappedByteBuffer.put(Charset.forName("UTF-8").encode(charBuffer));
 }

} catch (IOException e) {
 e.printStackTrace();
}

可以打開 cmower1.txt 查看一下內(nèi)容，確認(rèn)預(yù)期的內(nèi)容有沒有寫入成功。

03、MappedByteBuffer 的遺憾

據(jù)說，在 Java 中使用 MappedByteBuffer 是一件非常麻煩并且痛苦的事，主要表現(xiàn)有：

1）一次 map 的大小最好限制在 1.5G 左右，重復(fù) map 會(huì)增加虛擬內(nèi)存回收和重新分配的壓力。也就是說，如果文件大小不確定的話，就不太友好。

2）虛擬內(nèi)存由操作系統(tǒng)來(lái)決定什么時(shí)候刷新到磁盤，這個(gè)時(shí)間不太容易被程序控制。

3）MappedByteBuffer 的回收方式比較詭異。

再次強(qiáng)調(diào)，這三種說法都是據(jù)說，我暫時(shí)能力有限，也不能確定這種說法的準(zhǔn)確性，很遺憾。

04、比較文件操作的處理時(shí)間

嗨，朋友，閱讀完以上的內(nèi)容之后，我想你一定對(duì)內(nèi)存映射文件有了大致的了解。但我相信，如果你是一名負(fù)責(zé)任的程序員，你一定還想知道：內(nèi)存映射文件的讀取速度究竟有多快。

為了得出結(jié)論，我叫了另外三名競(jìng)賽的選手：InputStream（普通輸入流）、BufferedInputStream（帶緩沖的輸入流）、RandomAccessFile（隨機(jī)訪問文件）。

讀取的對(duì)象是加勒比海盜4驚濤怪浪.mkv，大小為 1.71G。

1）普通輸入流

public static void inputStream(Path filename) {
 try (InputStream is = Files.newInputStream(filename)) {
  int c;
  while((c = is.read()) != -1) {
  }
 } catch (IOException e) {
  e.printStackTrace();
 }
}

2）帶緩沖的輸入流

public static void bufferedInputStream(Path filename) {
 try (InputStream is = new BufferedInputStream(Files.newInputStream(filename))) {
  int c;
  while((c = is.read()) != -1) {
  }
 } catch (IOException e) {
  e.printStackTrace();
 }
}

3）隨機(jī)訪問文件

public static void randomAccessFile(Path filename) {
 try (RandomAccessFile randomAccessFile = new RandomAccessFile(filename.toFile(), "r")) {
  for (long i = 0; i < randomAccessFile.length(); i++) {
   randomAccessFile.seek(i);
  }
 } catch (IOException e) {
  e.printStackTrace();
 }
}

4）內(nèi)存映射文件

public static void mappedFile(Path filename) {
 try (FileChannel fileChannel = FileChannel.open(filename)) {
  long size = fileChannel.size();
  MappedByteBuffer mappedByteBuffer = fileChannel.map(MapMode.READ_ONLY, 0, size);
  for (int i = 0; i < size; i++) {
   mappedByteBuffer.get(i);
  }
 } catch (IOException e) {
  e.printStackTrace();
 }
}

測(cè)試程序也很簡(jiǎn)單，大致如下：

long start = System.currentTimeMillis();
bufferedInputStream(Paths.get("jialebi.mkv"));
long end = System.currentTimeMillis();
System.out.println(end-start);

四名選手的結(jié)果如下表所示。

方法時(shí)間
普通輸入流龜速，沒有耐心等出結(jié)果
隨機(jī)訪問文件龜速，沒有耐心等下去
帶緩沖的輸入流29966
內(nèi)存映射文件914

普通輸入流和隨機(jī)訪問文件都慢得要命，真的是龜速，我沒有耐心等待出結(jié)果；帶緩沖的輸入流的表現(xiàn)還不錯(cuò)，但相比內(nèi)存映射文件就遜色多了。由此得出的結(jié)論就是：內(nèi)存映射文件，上G大文件輕松處理。

看完上述內(nèi)容，你們對(duì)Java中怎么通過內(nèi)存映射處理大文件有進(jìn)一步的了解嗎？如果還想了解更多知識(shí)或者相關(guān)內(nèi)容，請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝大家的支持。

文章題目：Java中怎么通過內(nèi)存映射處理大文件
分享地址：http://muchs.cn/article30/jpeoso.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供Google、軟件開發(fā)、關(guān)鍵詞優(yōu)化、、網(wǎng)站設(shè)計(jì)公司、企業(yè)網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)

微信小程序開發(fā)