如何入門(mén)ApacheFlink中的Flinksink

如何入門(mén)ApacheFlink中的Flinksink，相信很多沒(méi)有經(jīng)驗(yàn)的人對(duì)此束手無(wú)策，為此本文總結(jié)了問(wèn)題出現(xiàn)的原因和解決方法，通過(guò)這篇文章希望你能解決這個(gè)問(wèn)題。

10余年的興和網(wǎng)站建設(shè)經(jīng)驗(yàn)，針對(duì)設(shè)計(jì)、前端、開(kāi)發(fā)、售后、文案、推廣等六對(duì)一服務(wù)，響應(yīng)快，48小時(shí)及時(shí)工作處理。營(yíng)銷(xiāo)型網(wǎng)站的優(yōu)勢(shì)是能夠根據(jù)用戶(hù)設(shè)備顯示端的尺寸不同，自動(dòng)調(diào)整興和建站的顯示方式，使網(wǎng)站能夠適用不同顯示終端，在瀏覽器中調(diào)整網(wǎng)站的寬度，無(wú)論在任何一種瀏覽器上瀏覽網(wǎng)站，都能展現(xiàn)優(yōu)雅布局與設(shè)計(jì)，從而大程度地提升瀏覽體驗(yàn)。創(chuàng)新互聯(lián)建站從事“興和網(wǎng)站設(shè)計(jì)”,“興和網(wǎng)站推廣”以來(lái)，每個(gè)客戶(hù)項(xiàng)目都認(rèn)真落實(shí)執(zhí)行。

將DataSet中的數(shù)據(jù)Sink到哪里去。使用的是對(duì)應(yīng)的OutPutFormat，也可以使用自定義的sink，有可能寫(xiě)到hbase中，hdfs中。

  • writeAsText() / TextOutputFormat ，以String的形式寫(xiě)入

  • writeAsCsv(...) / CsvOutputFormat，以CSV的方式寫(xiě)進(jìn)去

  • print() / printToErr() / print(String msg) / printToErr(String msg)以標(biāo)準(zhǔn)輸出

 writeAsText

object DataSetSinkApp {
  def main(args: Array[String]): Unit = {
    val environment = ExecutionEnvironment.getExecutionEnvironment
    val data = 1.to(10)
    val text = environment.fromCollection(data)
    val filePath = "E:/test"
    text.writeAsText(filePath)
    environment.execute("DataSetSinkApp")
  }
}

如果E:/test文件或者文件夾存在，將無(wú)法執(zhí)行成功。除非增加一個(gè)WriteMode.OVERWRITE

text.writeAsText(filePath, WriteMode.OVERWRITE)

這樣就在E盤(pán)下新建了一個(gè)test文件，內(nèi)容是1到10。

那么如何保存到文件夾中？

text.writeAsText(filePath, WriteMode.OVERWRITE).setParallelism(2)

設(shè)置并行度為2，這樣就存到test文件夾下，兩個(gè)文件1和2

默認(rèn)情況下，不設(shè)置并行度，會(huì)把結(jié)果寫(xiě)到一個(gè)文件中，如果設(shè)置并行度，那么每一個(gè)并行度都對(duì)應(yīng)一個(gè)輸出。

Java

    public static void main(String[] args) throws Exception {
        ExecutionEnvironment executionEnvironment = ExecutionEnvironment.getExecutionEnvironment();
        List<Integer> info = new ArrayList<>();
        for(int i = 1;i <=10; i++) {
            info.add(i);
        }
        DataSource<Integer> data1 = executionEnvironment.fromCollection(info);
        String filePath = "E:/test2";
        data1.writeAsText(filePath, FileSystem.WriteMode.OVERWRITE);
        executionEnvironment.execute("JavaDataSetSinkApp");
    }

看完上述內(nèi)容，你們掌握如何入門(mén)ApacheFlink中的Flinksink的方法了嗎？如果還想學(xué)到更多技能或想了解更多相關(guān)內(nèi)容，歡迎關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝各位的閱讀！

文章題目：如何入門(mén)ApacheFlink中的Flinksink
標(biāo)題鏈接：http://muchs.cn/article8/gdehop.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站收錄、網(wǎng)站排名、虛擬主機(jī)、定制開(kāi)發(fā)、手機(jī)網(wǎng)站建設(shè)、App設(shè)計(jì)

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶(hù)投稿、用戶(hù)轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)

成都做網(wǎng)站