spark怎么通過jdbc方式連接關(guān)系型數(shù)據(jù)庫

本篇內(nèi)容介紹了“spark怎么通過jdbc方式連接關(guān)系型數(shù)據(jù)庫”的有關(guān)知識，在實際案例的操作過程中，不少人都會遇到這樣的困境，接下來就讓小編帶領(lǐng)大家學(xué)習(xí)一下如何處理這些情況吧！希望大家仔細閱讀，能夠?qū)W有所成！

創(chuàng)新互聯(lián)建站專注于郁南網(wǎng)站建設(shè)服務(wù)及定制，我們擁有豐富的企業(yè)做網(wǎng)站經(jīng)驗。 熱誠為您提供郁南營銷型網(wǎng)站建設(shè)，郁南網(wǎng)站制作、郁南網(wǎng)頁設(shè)計、郁南網(wǎng)站官網(wǎng)定制、重慶小程序開發(fā)服務(wù)，打造郁南網(wǎng)絡(luò)公司原創(chuàng)品牌,更為您提供郁南網(wǎng)站排名全網(wǎng)營銷落地服務(wù)。

1 創(chuàng)建sparkSession對象

val sparkSession = SparkSession.builder().appName("findIPRel").getOrCreate()

2 jdbc鏈接創(chuàng)建DataFrame對象

    val jdbcDF = sparkSession.read
      .format("jdbc")
      .option("driver", "org.postgresql.Driver")  //必須添加
      .option("url", "jdbc:postgresql://121.36.61.51:5432/xsbigdatadb")
      .option("dbtable", "ods_proto_log")
      .option("user", "postgres")
      .option("password", "root@456")
      .load()

其中需要注意的是一定要加上對driver選項的指定，否則就算你的類路徑中含有對應(yīng)數(shù)據(jù)庫的jdbc包，也會報找不到合適的驅(qū)動的錯誤。

3 通過dataFrame對象使用dsl方式對數(shù)據(jù)進行查詢

val ori = jdbcDF.select("srcip","dstip").rdd.map{
      case Row(col1:String,col2:String) => (col1,col2)
      case _ =>(srcIp,srcIp)
    }

4.其他

• maven中添加pg數(shù)據(jù)庫的jdbc報的依賴

        <dependency>
            <groupId>org.postgresql</groupId>
            <artifactId>postgresql</artifactId>
            <version>42.2.18</version>
        </dependency>

• spark提交指定依賴jar包 在提交命令中加上--jars選項，例如spark-submit --class com.pxu.spark.core.FindIpRel --jars ./postgresql-42.2.18.jar --master spark://master:7077 ./sparkLearn-1.0-SNAPSHOT-jar-with-dependencies.jar 192.168.14.17 192.168.73.58 4 hdfs://master:9000/submitTest/output/out3

“spark怎么通過jdbc方式連接關(guān)系型數(shù)據(jù)庫”的內(nèi)容就介紹到這里了，感謝大家的閱讀。如果想了解更多行業(yè)相關(guān)的知識可以關(guān)注創(chuàng)新互聯(lián)網(wǎng)站，小編將為大家輸出更多高質(zhì)量的實用文章！

名稱欄目：spark怎么通過jdbc方式連接關(guān)系型數(shù)據(jù)庫
鏈接URL：http://muchs.cn/article10/jcjcgo.html

成都網(wǎng)站建設(shè)公司_創(chuàng)新互聯(lián)，為您提供用戶體驗、搜索引擎優(yōu)化、網(wǎng)站建設(shè)、建站公司、軟件開發(fā)、網(wǎng)站收錄

廣告

聲明：本網(wǎng)站發(fā)布的內(nèi)容（圖片、視頻和文字）以用戶投稿、用戶轉(zhuǎn)載內(nèi)容為主，如果涉及侵權(quán)請盡快告知，我們將會在第一時間刪除。文章觀點不代表本網(wǎng)站立場，如需處理請聯(lián)系客服。電話：028-86922220；郵箱：631063699@qq.com。內(nèi)容未經(jīng)允許不得轉(zhuǎn)載，或轉(zhuǎn)載時需注明來源： 創(chuàng)新互聯(lián)