Linux和Java使用零拷貝的方法

這期內(nèi)容當(dāng)中小編將會給大家?guī)碛嘘P(guān)Linux和Java使用零拷貝的方法，文章內(nèi)容豐富且以專業(yè)的角度為大家分析和敘述，閱讀完這篇文章希望大家可以有所收獲。

為東鄉(xiāng)族等地區(qū)用戶提供了全套網(wǎng)頁設(shè)計制作服務(wù)，及東鄉(xiāng)族網(wǎng)站建設(shè)行業(yè)解決方案。主營業(yè)務(wù)為成都網(wǎng)站建設(shè)、網(wǎng)站設(shè)計、東鄉(xiāng)族網(wǎng)站設(shè)計，以傳統(tǒng)方式定制建設(shè)網(wǎng)站，并提供域名空間備案等一條龍服務(wù)，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務(wù)。我們深信只要達到每一位用戶的要求，就會得到認可，從而選擇與我們長期合作。這樣，我們也可以走得更遠！

Linux傳統(tǒng)IO

大家好，我是一段躺在Linux磁盤上的數(shù)據(jù)?，F(xiàn)在要把我從磁盤發(fā)到網(wǎng)卡，需要經(jīng)過以下步驟：

讀操作

如上圖：操作系統(tǒng)把內(nèi)存分為了內(nèi)核空間和用戶空間。首先位于用戶空間的應(yīng)用程序使用發(fā)起數(shù)據(jù)讀操作，比如JVM發(fā)起read()系統(tǒng)調(diào)用。這個時候操作系統(tǒng)會進行一次上下文切換：從用戶空間切換到內(nèi)核空間。

然后內(nèi)核空間通知磁盤，內(nèi)核把我從磁盤copy到內(nèi)核緩沖區(qū)。這個過程是由一個叫“DMA（Direct memory access）”的硬件來做的，所以不需要CPU的參與。

然后內(nèi)核把我從內(nèi)核緩沖區(qū)copy到應(yīng)用程序緩沖區(qū)，這里需要CPU的參與。

最后進行上下文切換，又換回到用戶空間的上下文。

整個讀操作的過程需要兩次上下文切換和兩次copy。

寫操作

寫操作與讀操作類似，只是方向相反而已，仍然需要兩次上下文切換和兩次數(shù)據(jù)的copy。我可能會被寫到磁盤，也可能會被寫到網(wǎng)卡。

內(nèi)存映射

從上面的過程可以看到，如果想把我從磁盤發(fā)送到網(wǎng)卡，需要總共4次上下文切換和4次copy操作。我被操作系統(tǒng)在內(nèi)核空間和用戶空間之間來回復(fù)制，但其實我在這期間什么也沒有做，什么也沒有變化，就是復(fù)制而已，所以這個IO模型太浪費操作系統(tǒng)資源了，我被復(fù)制這么多次，身心疲憊。而且操作系統(tǒng)的資源是非常寶貴滴~

現(xiàn)在主流的操作系統(tǒng)都使用了虛擬內(nèi)存。簡單來說，就是用虛擬地址取代物理地址，這樣做可以讓多個虛擬內(nèi)存只想同一個物理地址，虛擬內(nèi)存的空間可以遠遠大于物理內(nèi)存的空間。

那如果操作系統(tǒng)能夠把用戶空間的應(yīng)用程序緩沖區(qū)和內(nèi)核空間的內(nèi)核緩沖區(qū)映射到同一個物理地址，那豈不是就少了很多復(fù)制的過程？如下圖：

Linux零拷貝

所以為了解決這個問題，聰明的Linux開發(fā)者們寫了一些新的系統(tǒng)調(diào)用來做這個事。主要有兩種方式：

• mmap + write
• sendfile

mmap + write

mmap()系統(tǒng)調(diào)用首先會使用DMA copy的方式將我從磁盤讀取到內(nèi)核緩沖區(qū)，然后通過內(nèi)存映射的方式，使用戶緩沖區(qū)和內(nèi)核讀緩沖區(qū)的內(nèi)存地址為同一內(nèi)存地址，也就是說，不需要CPU再將我從內(nèi)核讀緩沖區(qū)復(fù)制到用戶緩沖區(qū)啦！

當(dāng)使用write()系統(tǒng)調(diào)用的時候，CPU將我從內(nèi)核緩沖區(qū)（等同于用戶緩沖區(qū)）直接寫入到需要發(fā)送的內(nèi)核緩沖區(qū)，比如網(wǎng)絡(luò)發(fā)送緩沖區(qū)（socket buffer），然后通過DMA的方式將我傳入到網(wǎng)卡驅(qū)動程序（或磁盤）中準(zhǔn)備發(fā)送。

mmap + write的方式讀寫數(shù)據(jù)總共需要兩次系統(tǒng)調(diào)用，4次上下文切換，2次DMA Copy和1次CPU Copy。

sendfile

sendfile也是一個系統(tǒng)調(diào)用，它其實本質(zhì)上就是把上述兩個系統(tǒng)調(diào)用的功能合起來，變成了一個調(diào)用。這樣做的好處是，操作系統(tǒng)只需要2次上下文切換了，減少了2次上下文切換的開銷。

gather

Linux2.4內(nèi)核對sendfile進行了優(yōu)化，提供了gather操作，這個操作可以把上圖中的最后一次CPU copy去掉，原理就是不復(fù)制數(shù)據(jù)，而是把數(shù)據(jù)在之前的內(nèi)核緩沖區(qū)（比如圖中的案例是Read Buffer）的內(nèi)存地址、偏移量記錄發(fā)送給目標(biāo)內(nèi)核緩沖區(qū)（比如圖中案例的Socket Buffer），這樣在最后的DMA copy階段就可以拿著這個指針直接去找數(shù)據(jù)copy了。

Java NIO使用零拷貝

Linux的零拷貝確實能夠節(jié)約一些操作系統(tǒng)的資源。所以Java的NIO為了支持零拷貝，提供了一些類：

• DirectByteBuffer
• FileChannel

在之前的《Java NIO - Buffer》這篇文章里大概介紹了DirectByteBuffer。ByteBuffer主要有兩種實現(xiàn)，一種是DirectByteBuffer， 一種是HeapByteBuffer。

其中，DirectByteBuffer直接在堆外分配內(nèi)存，底層是直接通過JNI調(diào)用操作系統(tǒng)的NIO系統(tǒng)調(diào)用，所以性能會比較高。而HeapByteBuffer是堆內(nèi)內(nèi)存，而且數(shù)據(jù)需要多一次拷貝，所以性能比較低。

FileChannel是Java NIO提供的用于復(fù)制文件的類，可以把文件復(fù)制到磁盤或者網(wǎng)絡(luò)等。

map方法其實就是采用了操作系統(tǒng)中的內(nèi)存映射方式，將內(nèi)核緩沖區(qū)的內(nèi)存和用戶緩沖區(qū)的內(nèi)存做了一個地址映射。

transferTo方法直接將當(dāng)前通道內(nèi)容傳輸?shù)搅硪粋€通道，也就是說這種方式不會有內(nèi)核緩沖區(qū)到用戶緩沖區(qū)的讀寫問題。底層是sendfile系統(tǒng)調(diào)用。transferFrom方法同理。

示例代碼：

File file = new File("test.txt");RandomAccessFile raf = new RandomAccessFile(file, "rw");FileChannel fileChannel = raf.getChannel();SocketChannel socketChannel = SocketChannel.open(new InetSocketAddress("", 8080));// 直接使用了transferTo()進行通道間的數(shù)據(jù)傳輸fileChannel.transferTo(0, fileChannel.size(), socketChannel);

零拷貝的再次理解

1. 零拷貝，是從操作系統(tǒng)的角度來說的。因為內(nèi)核緩沖區(qū)之間，沒有數(shù)據(jù)是重復(fù)的（只有 kernel buffer 有一份數(shù)據(jù)）。

2. 零拷貝不僅僅帶來更少的數(shù)據(jù)復(fù)制，還能帶來其他的性能優(yōu)勢，例如更少的上下文切換，更少的 CPU 緩存?zhèn)喂蚕硪约盁o CPU 校驗和計算。

mmap和sendFile的區(qū)別

1. mmap 適合小數(shù)據(jù)量讀寫，sendFile 適合大文件傳輸。

2. mmap 需要 4 次上下文切換，3 次數(shù)據(jù)拷貝；sendFile 需要 3 次上下文切換，最少 2 次數(shù)據(jù)拷貝。

3. sendFile 可以利用 DMA 方式，減少 CPU 拷貝，mmap 則不能（必須從內(nèi)核拷貝到 Socket 緩沖區(qū)）。

上述就是小編為大家分享的Linux和Java使用零拷貝的方法了，如果剛好有類似的疑惑，不妨參照上述分析進行理解。如果想知道更多相關(guān)知識，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道。

分享題目：Linux和Java使用零拷貝的方法
新聞來源：http://muchs.cn/article28/phoejp.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站維護、App設(shè)計、App開發(fā)、網(wǎng)站排名、網(wǎng)站制作、靜態(tài)網(wǎng)站

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)