Spark2.2.0中RDD轉(zhuǎn)DataFrame的方式是什么

今天就跟大家聊聊有關(guān)Spark2.2.0中RDD轉(zhuǎn)DataFrame的方式是什么，可能很多人都不太了解，為了讓大家更加了解，小編給大家總結(jié)了以下內(nèi)容，希望大家根據(jù)這篇文章可以有所收獲。

成都創(chuàng)新互聯(lián)致力于成都網(wǎng)站制作、成都網(wǎng)站設(shè)計(jì),成都網(wǎng)站設(shè)計(jì),集團(tuán)網(wǎng)站建設(shè)等服務(wù)標(biāo)準(zhǔn)化，推過標(biāo)準(zhǔn)化降低中小企業(yè)的建站的成本，并持續(xù)提升建站的定制化服務(wù)水平進(jìn)行質(zhì)量交付，讓企業(yè)網(wǎng)站從市場(chǎng)競(jìng)爭(zhēng)中脫穎而出。 選擇成都創(chuàng)新互聯(lián)，就選擇了安全、穩(wěn)定、美觀的網(wǎng)站建設(shè)服務(wù)！

Spark SQL如何將現(xiàn)有的RDDs轉(zhuǎn)換為數(shù)據(jù)集。

方法：通過編程接口，該接口允許您構(gòu)造一個(gè)模式，然后將其應(yīng)用于現(xiàn)有的RDD。雖然此方法更詳細(xì)，但它允許您在列及其類型直到運(yùn)行時(shí)才知道時(shí)構(gòu)造數(shù)據(jù)集。

數(shù)據(jù)準(zhǔn)備studentData.txt

1001,20,zhangsan1002,17,lisi1003,24,wangwu1004,16,zhaogang

代碼實(shí)例：

package com.unicom.ljs.spark220.study;
import org.apache.spark.SparkConf;import org.apache.spark.SparkContext;import org.apache.spark.api.java.JavaRDD;import org.apache.spark.api.java.JavaSparkContext;import org.apache.spark.api.java.function.Function;import org.apache.spark.rdd.RDD;import org.apache.spark.sql.*;import org.apache.spark.sql.types.*;
import java.util.ArrayList;import java.util.List;
/** * @author: Created By lujisen * @company ChinaUnicom Software JiNan * @date: 2020-01-21 13:42 * @version: v1.0 * @description: com.unicom.ljs.spark220.study */public class RDD2DataFrameProgramatically {    public static void main(String[] args) {        SparkConf sparkConf = new SparkConf().setMaster("local[*]").setAppName("RDD2DataFrameProgramatically");        JavaSparkContext sc = new JavaSparkContext(sparkConf);        SQLContext sqlContext = new SQLContext(sc);
        JavaRDD<String> lineRDD =sc.textFile("C:\\Users\\Administrator\\Desktop\\studentData.txt");        JavaRDD<Row> rowJavaRDD = lineRDD.map(new Function<String, Row>() {            @Override            public Row call(String line) throws Exception {                String[] splitLine = line.split(",");                return RowFactory.create(Integer.valueOf(splitLine[0])                        ,Integer.valueOf(splitLine[1])                        ,splitLine[2]);            }        });        List<StructField> structFields=new ArrayList<StructField>();        /*StructField structField1=new StructField("id", DataTypes.IntegerType,true);*/        structFields.add(DataTypes.createStructField("id",DataTypes.IntegerType,true));        structFields.add(DataTypes.createStructField("age",DataTypes.IntegerType,true));        structFields.add(DataTypes.createStructField("name",DataTypes.StringType,true));
        StructType structType=DataTypes.createStructType(structFields);

        Dataset<Row> dataFrame = sqlContext.createDataFrame(rowJavaRDD, structType);
        dataFrame.registerTempTable("studentInfo");
        Dataset<Row> resultDataSet = sqlContext.sql("select  * from studentInfo where age > 17");
        List<Row> collect = resultDataSet.javaRDD().collect();        for(Row row: collect){            System.out.println(row);        }        sc.close();    }}

pom.xml關(guān)鍵依賴：

<spark.version>2.2.0</spark.version>
<scala.version>2.11.8</scala.version>
<dependency>    <groupId>org.apache.spark</groupId>    <artifactId>spark-sql_2.11</artifactId>    <version>${spark.version}</version></dependency><dependency>    <groupId>org.apache.spark</groupId>    <artifactId>spark-core_2.11</artifactId>    <version>${spark.version}</version></dependency>

看完上述內(nèi)容，你們對(duì)Spark2.2.0中RDD轉(zhuǎn)DataFrame的方式是什么有進(jìn)一步的了解嗎？如果還想了解更多知識(shí)或者相關(guān)內(nèi)容，請(qǐng)關(guān)注創(chuàng)新互聯(lián)行業(yè)資訊頻道，感謝大家的支持。

新聞名稱：Spark2.2.0中RDD轉(zhuǎn)DataFrame的方式是什么
網(wǎng)頁(yè)路徑：http://www.muchs.cn/article6/ijcpog.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供Google、網(wǎng)站建設(shè)、搜索引擎優(yōu)化、全網(wǎng)營(yíng)銷推廣、營(yíng)銷型網(wǎng)站建設(shè)、品牌網(wǎng)站制作

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請(qǐng)盡快告知，我們將會(huì)在第一時(shí)間刪除。文章觀點(diǎn)不代表本網(wǎng)站立場(chǎng)，如需處理請(qǐng)聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時(shí)需注明來(lái)源： 創(chuàng)新互聯(lián)

成都網(wǎng)站建設(shè)