SparkSQL中的RDD與DataFrame轉(zhuǎn)換實例用法

這篇文章主要講解了“Spark SQL中的RDD與DataFrame轉(zhuǎn)換實例用法”，文中的講解內(nèi)容簡單清晰，易于學習與理解，下面請大家跟著小編的思路慢慢深入，一起來研究和學習“Spark SQL中的RDD與DataFrame轉(zhuǎn)換實例用法”吧！

為可克達拉等地區(qū)用戶提供了全套網(wǎng)頁設計制作服務，及可克達拉網(wǎng)站建設行業(yè)解決方案。主營業(yè)務為網(wǎng)站制作、網(wǎng)站設計、可克達拉網(wǎng)站設計，以傳統(tǒng)方式定制建設網(wǎng)站，并提供域名空間備案等一條龍服務，秉承以專業(yè)、用心的態(tài)度為用戶提供真誠的服務。我們深信只要達到每一位用戶的要求，就會得到認可，從而選擇與我們長期合作。這樣，我們也可以走得更遠！

一.第一種方式RDD轉(zhuǎn)化為DataFrame

1.官網(wǎng)

2.解釋

反射
把schema信息全部定義在case class 類里面

3.代碼

package core
import org.apache.spark.sql.SparkSession
import org.apache.spark.sql.types.StructType
object Test {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .appName("Test")
      .master("local[2]")
      .getOrCreate()
    val mess = spark.sparkContext.textFile("file:///D:\\test\\person.txt")
    import spark.implicits._
    val result = mess.map(_.split(",")).map(x => Info(x(0).toInt,x(1),x(2).toInt)).toDF()
   // result.map(x => x(0)).show() //在1.x 版本是可以的 在2.x不可以需要價格rdd
    result.rdd.map(x => x(0)).collect().foreach(println)
    result.rdd.map(x => x.getAs[Int]("id")).collect().foreach(println)
  }
}
case class Info(id:Int,name:String,age:Int)

4.注意事項

注意2.2版本以前 類的構(gòu)造方法參數(shù)有限
在2.2后沒有限制了

二.第二種轉(zhuǎn)換方式

1.官網(wǎng)

2.解釋

制定scheme信息 就是編程的方式   作用到Row 上面

3.步驟

4.步驟解釋

從原有的RDD轉(zhuǎn)化 ，類似于textFile
一個StructType匹配Row里面的數(shù)據(jù)結(jié)構(gòu)（幾列），就是幾個StructField 
通過createDataFrame  把schema與RDD關聯(lián)上

5.源碼解釋StructType

6.源碼解釋

StructField 可以理解為一列
StructType  包含  1-n 個StructField

7.最終代碼

package core
import org.apache.spark.sql.types.{IntegerType, StringType, StructField, StructType}
import org.apache.spark.sql.{Row, SparkSession}
object TestRDD2 {
  def main(args: Array[String]): Unit = {
    val spark = SparkSession.builder()
      .appName("TestRDD2")
      .master("local[2]")
      .getOrCreate()
    val mess = spark.sparkContext.textFile("file:///D:\\test\\person.txt")
    val result = mess.map(_.split(",")).map(x => Row(x(0).toInt, x(1), x(2).toInt))
    //工作中這樣寫
    val structType = new StructType(
      Array(
          StructField("id", IntegerType, true),
          StructField("name", StringType, true),
          StructField("age", IntegerType, true)
      )
    )
    val schema = StructType(structType)
    val info = spark.createDataFrame(result,schema)
    info.show()
  }
}

8.經(jīng)典錯誤

9.原因解決

自己定義的schema信息與Row中的信息不匹配
val result = mess.map(_.split(",")).map(x => Row(x(0), x(1), x(2)))
//工作中這樣寫
val structType = new StructType(
  Array(
      StructField("id", IntegerType, true),
      StructField("name", StringType, true),
      StructField("age", IntegerType, true)
  )
)
上面的是string 要的是int ，一定要注意因為會經(jīng)常出錯要轉(zhuǎn)化類型
val result = mess.map(_.split(",")).map(x => Row(x(0).toInt, x(1), x(2).toInt))

三.方法的使用

1.spark-shell 有的方法在代碼要自己隱士磚換

df.select('name).show  這個在spark-shell 可以
或者df.select('name').show 
但是代碼里面不行，需要隱士轉(zhuǎn)

2.show源碼

show源碼  默認是true  顯示小于等于20條，對應行中的字符
是false就全部顯示出來
show(30,false)   也是全部顯示出來不會截斷
show(5)  但是后面的多與20字符就不會顯示
你可以show（5，false）

3.select方法源碼

4.select 方法調(diào)用走的位置

df.select("name").show(false)
import spark.implicits._
//這樣不隱士轉(zhuǎn)換不行
df.select('name).show(false)
df.select($"name")
第一個select走的底層源碼是 第一個源碼圖
2,3個select走的源碼是第二個

5.head源碼

head 默認調(diào)第一條，你想展示幾條就調(diào)幾條

6.first() 展示第一條  底層調(diào)用的是head

7.sort源碼

sort源碼默認升序
降序解釋中有

四.sql的操作方法

1.官網(wǎng)臨時試圖

2.全局試圖操作

全局視圖加上  global_temp 規(guī)定

五.雜項

1.報錯

2.原因及代碼

 val spark = SparkSession.builder()
   .appName("Test")
   .master("local[2]")
   .getOrCreate()
 val mess = spark.sparkContext.textFile("file:///D:\\test\\person.txt")
 import spark.implicits._
 val result = mess.map(_.split(",")).map(x => Info(x(0).toInt,x(1),x(2).toInt)).toDF()
 //在1.x 版本是可以的 在2.x不可以需要價格rdd
 result.map(x => x(0)).show() 
 這樣寫是對的
 result.rdd.map(x => x(0)).collect().foreach(println)
 去類中的數(shù)據(jù)兩種寫法:
 result.rdd.map(x => x(0)).collect().foreach(println)
result.rdd.map(x => x.getAs[Int]("id")).collect().foreach(println)

3.注意轉(zhuǎn)義字符

對于分隔符 |   你切分一定要加轉(zhuǎn)義字符，否則數(shù)據(jù)不對

感謝各位的閱讀，以上就是“Spark SQL中的RDD與DataFrame轉(zhuǎn)換實例用法”的內(nèi)容了，經(jīng)過本文的學習后，相信大家對Spark SQL中的RDD與DataFrame轉(zhuǎn)換實例用法這一問題有了更深刻的體會，具體使用情況還需要大家實踐驗證。這里是創(chuàng)新互聯(lián)，小編將為大家推送更多相關知識點的文章，歡迎關注！

當前名稱：SparkSQL中的RDD與DataFrame轉(zhuǎn)換實例用法
轉(zhuǎn)載來源：http://muchs.cn/article34/ghcppe.html

成都網(wǎng)站建設公司_創(chuàng)新互聯(lián)，為您提供網(wǎng)站導航、靜態(tài)網(wǎng)站、動態(tài)網(wǎng)站、微信公眾號、App設計、關鍵詞優(yōu)化

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)