Sparkexamples源碼分析

這篇文章主要介紹“Spark examples源碼分析”，在日常操作中，相信很多人在Spark examples源碼分析問題上存在疑惑，小編查閱了各式資料，整理出簡單好用的操作方法，希望對大家解答”Spark examples源碼分析”的疑惑有所幫助！接下來，請跟著小編一起來學習吧！

十余年成都創(chuàng)新互聯(lián)網(wǎng)站建設,由一走到現(xiàn)在，當中離不開團隊頑強的創(chuàng)業(yè)精神，離不開伴隨我們同行的客戶與專業(yè)的合作伙伴，創(chuàng)力信息一直秉承以“見一個客戶，了解一個行業(yè)，交一個朋友”的方式為經(jīng)營理念，提出“讓每一個客戶成為我們的終身客戶”為目標，以為用戶提供精細化服務，全面滿足用戶需求為宗旨，誠信經(jīng)營，更大限度為用戶創(chuàng)造價值。期待邁向下一個更好的十余年。

SparkSQLExample

private def runBasicDataFrameExample(spark: SparkSession): Unit = {

    val df = spark.read.json("hdfs://master:9000/sparkfiles/people.json")
    df.show()
    import spark.implicits._
    df.printSchema()
    df.select("name").show()
    df.select($"name", $"age" + 1).show()
    df.filter($"age" > 21).show()
    df.groupBy("age").count().show()
    df.createOrReplaceTempView("people")

    val sqlDF = spark.sql("SELECT * FROM people")
    sqlDF.show()

}

people.json的文件內(nèi)容如下所示：

{"name":"Michael"}
{"name":"Andy", "age":30}
{"name":"Justin", "age":19}

首先是讀取文件，構(gòu)建一個DataFrame，而DataFrame定義在package object sql當中，其實質(zhì)上是Dataset[Row]的別名。

之后我們看一下df.show()，它的輸出是這個樣子的（真不嫌麻煩）：

df.printSchema()輸出的是json的結(jié)構(gòu)信息：

df.select("name").show()，對于select方法而言，返回的還是一個DataFrame，當中只包含一列name。

df.select($"name", $"age" + 1).show()，返回一個DataFrame，所有人的年齡+1。

df.groupBy("age").count().show()，這行代碼我們需要詳細說一下，首先，groupBy的返回值是一個RelationalGroupedDataset， A set of methods for aggregations on a DataFrame, created by Dataset.groupBy. 當中提供了min，max，count等等聚合函數(shù)。count的結(jié)構(gòu)又是一個DataFrame

最后一段很有趣，可以臨時創(chuàng)建一個view，然后用sql進行查詢。

df.createOrReplaceTempView("people")

val sqlDF = spark.sql("SELECT * FROM people")
sqlDF.show()

到此，關(guān)于“Spark examples源碼分析”的學習就結(jié)束了，希望能夠解決大家的疑惑。理論與實踐的搭配能更好的幫助大家學習，快去試試吧！若想繼續(xù)學習更多相關(guān)知識，請繼續(xù)關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編會繼續(xù)努力為大家?guī)砀鄬嵱玫奈恼拢?/p>

文章名稱：Sparkexamples源碼分析
本文鏈接：http://muchs.cn/article18/pipsdp.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供云服務器、定制網(wǎng)站、建站公司、網(wǎng)站收錄、小程序開發(fā)、網(wǎng)站設計

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)